JP2010097449A - Image composition device, image composition method and image composition program - Google Patents

Image composition device, image composition method and image composition program Download PDF

Info

Publication number
JP2010097449A
JP2010097449A JP2008268131A JP2008268131A JP2010097449A JP 2010097449 A JP2010097449 A JP 2010097449A JP 2008268131 A JP2008268131 A JP 2008268131A JP 2008268131 A JP2008268131 A JP 2008268131A JP 2010097449 A JP2010097449 A JP 2010097449A
Authority
JP
Japan
Prior art keywords
image
face
composition
composite
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008268131A
Other languages
Japanese (ja)
Inventor
Kazunori Kita
一記 喜多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2008268131A priority Critical patent/JP2010097449A/en
Publication of JP2010097449A publication Critical patent/JP2010097449A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To obtain an image of a natural face without incongruity when processing an optional person's face to a face resembling a face of another person. <P>SOLUTION: When an image composition mode is set in a digital camera provided with the image composition mode, a CPU 6 is made to perform processing of setting a composition ratio of a first image and a second image according to a request of a user, and processing of composing the first image and the second image at the set composition ratio to generate a composition image, and the generated composition image is made to be displayed on a display 13. When composing the second image to the first image to generate the composition image, such a characteristic that the user intends as a characteristic of the first image is secured in the composition image. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、例えば異なる2つの顔画像から新たな顔画像を生成する画像合成装置、及び画像合成方法、画像合成プログラムに関するものである。   The present invention relates to an image composition apparatus, an image composition method, and an image composition program that generate a new face image from two different face images, for example.

従来、2つの顔写真を掛け合わせて別の顔写真を作成し、利用者に提供するサービスがある(非特許文献1参照)。かかるサービスによれば、利用者は、自身の顔と著名人等の顔との合成画像を見て楽しむことができる。これは、映画等において使用されるモーフィング(morphing)と呼ばれるコンピュータグラフィックスの手法(以下、モーフィング合成処理という)を利用したもので、一方の顔画像から他方の顔画像へ変形する間の顔画像を補完する技術を用いて2つの顔の中間的な特徴を有する顔を生成するものである。係る技術を用いれば、自分の顔と、好みの有名人や芸能人の顔とを合成した顔を簡単に得ることができる。
Morph Thingホームページ、[online]、インターネット<URL:http://www.morphthing.com/>
Conventionally, there is a service in which two face photographs are combined to create another face photograph and provided to the user (see Non-Patent Document 1). According to this service, the user can see and enjoy a composite image of his / her face and a celebrity's face. This uses a computer graphics technique called morphing (hereinafter referred to as morphing composition processing) used in movies and the like, and is a face image during transformation from one face image to the other face image. Is used to generate a face having an intermediate feature between the two faces. By using such a technique, it is possible to easily obtain a face obtained by synthesizing one's face with the face of a favorite celebrity or entertainer.
Morph Thing homepage, [online], Internet <URL: http://www.morphthing.com/>

しかしながら、上記の技術を用いれば任意の人物の顔を他の人物の顔に似た顔に加工した画像を容易に取得することができるが、上記の技術においては、例えば両者の顔の特徴が著しく異なっている場合には、新たに生成される合成画像が、例えばユーザの意図に反し元の顔の特徴が余り残っていない顔画像となってしまう場合も多い。係ることから、例えば任意の人物の顔を他の人物の顔に似た顔に加工したい場合には甚だ不便である等の問題があった。   However, if the above technique is used, an image obtained by processing an arbitrary person's face into a face resembling the face of another person can be easily obtained. If they are significantly different, the newly generated composite image often becomes, for example, a face image that does not have much of the original facial features against the user's intention. For this reason, there is a problem that it is extremely inconvenient when it is desired to process the face of an arbitrary person into a face similar to the face of another person.

本発明は、かかる従来の課題に鑑みてなされたものであり、任意の人物の顔を他の人物の顔に似た顔に加工した場合に、違和感のない自然な顔の画像を容易に得ることができる画像合成装置、及び画像合成方法、それらの実現に使用される画像合成プログラムを提供することを目的とする。   The present invention has been made in view of such conventional problems, and when a face of an arbitrary person is processed into a face similar to the face of another person, an image of a natural face without a sense of incongruity is easily obtained. An object of the present invention is to provide an image composition apparatus, an image composition method, and an image composition program used for realizing them.

前記課題を解決するため請求項1記載の発明に係る画像合成装置にあっては、第1の画像と第2の画像との合成比率を使用者の要求に応じて設定する合成比率設定手段と、この合成比率設定手段により設定された合成比率で前記第1の画像と前記第2の画像とを合成して合成画像を生成する画像合成手段とを備えたことを特徴とする。   In order to solve the above-described problem, in the image composition device according to the first aspect of the present invention, composition ratio setting means for setting a composition ratio between the first image and the second image according to a user's request; The image processing apparatus further includes image combining means for generating a combined image by combining the first image and the second image at the combining ratio set by the combining ratio setting means.

また、請求項2記載の発明に係る画像合成装置にあっては、前記第1の画像は第1の顔画像であり、かつ前記第2の画像は第2の顔画像であって、前記画像合成手段は、合成画像として第3の顔画像を生成することを特徴とする。   In the image composition device according to the second aspect of the present invention, the first image is a first face image, and the second image is a second face image, and the image The synthesizing means generates a third face image as a synthesized image.

また、請求項3記載の発明に係る画像合成装置にあっては、前記第1の画像について前記第2の画像を合成する部位を使用者の要求に応じて設定する部位設定手段を備え、前記画像合成手段は、前記合成画像の生成に際し、前記第1の画像であって前記部位設定手段により設定された部位と、当該部位と対応する前記第2の画像の対応部位とを前記合成比率設定手段により設定された合成比率で合成することを特徴とする。   Further, in the image composition device according to the invention of claim 3, the image composition apparatus further comprises a part setting means for setting a part for synthesizing the second image for the first image according to a user's request, The image synthesizing unit, when generating the synthesized image, sets the combination ratio between the first image and the part set by the part setting unit and the corresponding part of the second image corresponding to the part. The synthesis is performed at a synthesis ratio set by the means.

また、請求項4記載の発明に係る画像合成装置にあっては、前記部位設定手段は、使用者の要求に応じ、前記第1の画像について前記第2の画像を合成する部位を複数設定し、前記合成比率設定手段は、使用者の要求に応じ、前記第1の画像と前記第2の画像との合成比率を前記部位設定手段により設定された部位毎に設定する前記画像合成手段は、前記合成画像の生成に際し、前記第1の画像であって前記部位設定手段により設定された複数の部位と、当該複数の部位と対応する前記第2の画像の複数の対応部位とを、前記合成比率設定手段により部位毎に設定された合成比率で合成することを特徴とする。   In the image composition device according to the invention described in claim 4, the part setting means sets a plurality of parts for compositing the second image for the first image in response to a user's request. The composition ratio setting means sets the composition ratio of the first image and the second image for each part set by the part setting means in response to a user request. When the composite image is generated, the combination of the plurality of parts that are the first image and set by the part setting unit and the plurality of corresponding parts of the second image that correspond to the plurality of parts. The composition is characterized by combining at a composition ratio set for each part by the ratio setting means.

また、請求項5記載の発明に係る画像合成装置にあっては、複数の所定の画像を記憶した画像記憶手段と、この画像記憶手段に記憶されている複数の画像の中で、前記第1の画像に類似する類似画像を前記第2の画像として抽出する類似画像抽出手段とをさらに備え、前記画像合成手段は、前記合成比率設定手段により設定された合成比率で、前記第1の画像と前記類似画像抽出手段により前記第2の画像として抽出された類似画像とを合成して合成画像を生成することを特徴とする。   In the image composition device according to the fifth aspect of the present invention, among the image storage means storing a plurality of predetermined images and the plurality of images stored in the image storage means, the first A similar image extracting unit that extracts a similar image similar to the first image as the second image, and the image synthesizing unit includes the first image and the first image at a synthesis ratio set by the synthesis ratio setting unit. The synthesized image is generated by synthesizing the similar image extracted as the second image by the similar image extracting means.

また、請求項6記載の発明に係る画像合成装置にあっては、被写体を撮像する撮像手段と、この撮像手段により撮像された被写体の画像を記録する記憶手段とを備え、前記画像合成手段は、前記記憶手段に記録された画像に基づく前記第1の画像と前記第2の画像とを合成して合成画像を生成することを特徴とする。   According to a sixth aspect of the present invention, there is provided an image synthesizing apparatus comprising: an imaging unit that captures an image of a subject; and a storage unit that records an image of the subject imaged by the imaging unit. The first image and the second image based on the image recorded in the storage unit are synthesized to generate a synthesized image.

また、請求項7記載の発明に係る画像合成方法にあっては、第1の画像と第2の画像とを合成し合成画像を生成する画像合成方法であって、第1の画像と第2の画像との合成比率を使用者の要求に応じて設定する工程と、設定した合成比率で前記第1の画像と前記第2の画像とを合成して合成画像を生成する工程とを含むことを特徴とする。   The image composition method according to claim 7 is an image composition method for generating a composite image by combining the first image and the second image, the first image and the second image. A step of setting a composite ratio of the first image and the second image according to a user request, and a step of generating a composite image by combining the first image and the second image at the set composite ratio. It is characterized by.

また、請求項8記載の発明に係る画像合成プログラムにあっては、第1の画像と第2の画像とを合成し合成画像を生成する画像合成装置が有するコンピュータに、第1の画像と第2の画像との合成比率を使用者の要求に応じて設定する手順と、設定した合成比率で前記第1の画像と前記第2の画像とを合成して合成画像を生成する手順とを実行されることを特徴とする。   In the image composition program according to the invention described in claim 8, the first image and the first image are stored in a computer included in an image composition apparatus that synthesizes the first image and the second image to generate a composite image. A procedure for setting a composite ratio with the second image according to a user's request and a procedure for generating a composite image by combining the first image and the second image at the set composite ratio are executed. It is characterized by being.

本発明によれば、任意の人物の顔を他の人物の顔に似た顔に加工した場合に、違和感のない自然な顔の画像を容易に得ることが可能となる。   According to the present invention, when a face of an arbitrary person is processed into a face similar to the face of another person, it is possible to easily obtain a natural face image without a sense of incongruity.

以下、本発明の一実施の形態を図にしたがって説明する。図1は、本発明の画像合成装置としての機能を備えたデジタルカメラの電子回路構成の概略を示すブロック図である。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing an outline of an electronic circuit configuration of a digital camera having a function as an image composition apparatus of the present invention.

図1は、デジタルカメラは、撮影した被写体の画像データを取り込むためカメラモジュール1を有している。カメラモジュール1は、結像光学系ブロック2と、イメージセンサ3、ISP(lmage Signa1 Processor)4、光学系駆動制御部5から構成される。前記結像光学系ブロック2は、図示しない撮像レンズを構成するレンズ群を駆動するズームモータ及び合焦モータと、絞り、メカニカルシャッタを含み、それらがCPU6の命令に従い光学系駆動制御部5により駆動を制御される。   In FIG. 1, the digital camera has a camera module 1 for capturing image data of a photographed subject. The camera module 1 includes an imaging optical system block 2, an image sensor 3, an ISP (lmage Signa1 Processor) 4, and an optical system drive control unit 5. The imaging optical system block 2 includes a zoom motor and a focusing motor for driving a lens group constituting an imaging lens (not shown), an aperture, and a mechanical shutter, which are driven by an optical system drive control unit 5 in accordance with a command from the CPU 6. Controlled.

イメージセンサ3はCCDやCMOSセンサ等であり、前記撮像レンズにより結像された被写体の光学像を光電変換するとともにA/D変換し、デジタルデータとしてISP4に出力する。イメージセンサ3の出力は、その受光面におけるカラーフィルタ配列(本実施形態ではベイヤー配列)に従った出力である。ISP4は、入力したデジタルデータに対し、色の調整、データフォーマット変換(ベイヤーデータからY,Cb,Crデータへの変換)を行う。   The image sensor 3 is a CCD, CMOS sensor, or the like, and photoelectrically converts and A / D-converts the optical image of the subject formed by the imaging lens, and outputs the digital data to the ISP 4. The output of the image sensor 3 is an output according to the color filter array (Bayer array in this embodiment) on the light receiving surface. The ISP 4 performs color adjustment and data format conversion (conversion from Bayer data to Y, Cb, Cr data) on the input digital data.

カメラモジュール1(ISP4)からの出力信号(Y,Cr,Cbの各データ)は、DMA7によってDRAM等で構成されるワークメモリ8へ転送される。ワークメモリ8へ転送されたデータは、画像処理部9によってRGB形式の画像データに変換された後、表示制御部12を介してVRAM11に転送される。   Output signals (Y, Cr, and Cb data) from the camera module 1 (ISP 4) are transferred by the DMA 7 to the work memory 8 constituted by a DRAM or the like. The data transferred to the work memory 8 is converted into RGB format image data by the image processing unit 9 and then transferred to the VRAM 11 via the display control unit 12.

また、画像処理部9は、CPU6の命令に従って、ワークメモリ8内のY,Cr,Cbの各データを圧縮しJPEG等の所定のファイルフォーマットの画像データに変換する。変換後の画像データはフラッシュメモリ10に保存される一方、必要に応じて読み出されて画像処理部9によって伸張され、ワークメモリ8内に展開される。   Further, the image processing unit 9 compresses each data of Y, Cr, Cb in the work memory 8 according to a command of the CPU 6 and converts it into image data of a predetermined file format such as JPEG. The converted image data is stored in the flash memory 10, read out as necessary, decompressed by the image processing unit 9, and expanded in the work memory 8.

表示制御部12は、VRAM11に格納された画像データに基づく表示データを生成し液晶モニタ等からなる表示部13に出力し、表示部13において画像を表示させる。例えば撮影待機状態において所定のフレームレートでカメラモジュール1により逐次取り込まれた画像をスルー画像として表示部13に表示させる。また、フラッシュメモリ10から読み出され伸張された後の画像データに基づく記録画像を表示部13に表示させる。さらに、前記画像データに、必要に応じて撮影条件情報や、デジタルカメラの種々の動作設定に用いられるメニュー画面等の種々のOSD(On Screen Display)データを合成したり、メニュー画面のみからなる表示データを生成し表示部13に出力したりする。   The display control unit 12 generates display data based on the image data stored in the VRAM 11 and outputs the display data to the display unit 13 including a liquid crystal monitor or the like, and causes the display unit 13 to display an image. For example, an image sequentially captured by the camera module 1 at a predetermined frame rate in the shooting standby state is displayed on the display unit 13 as a through image. Further, a recorded image based on the image data read from the flash memory 10 and expanded is displayed on the display unit 13. Further, the image data may be combined with various OSD (On Screen Display) data such as a menu screen used for various operation settings of the digital camera, as necessary, or a display composed of only the menu screen. Data is generated and output to the display unit 13.

キー入力部14は、図示しない電源ボタン、モード設定キー、シャッターボタン、メニューキー、カーソルキー及びSETキーからなるコントロールキー等を含み各キーの操作状態を示す状態信号をCPU6へ出力する。上記モード設定キーは、デジタルカメラの基本の動作モードを撮影モード、又は記録画像の表示用の再生モードに設定するためのキーである。また、コントロールキーは、デジタルカメラにおいて一般的な上下左右の方向指示操作や確定操作が可能な構造を有するキーであり、デジタルカメラにおける種々の動作内容を設定するためのメニュー画面や設定画面での項目選択や、選択した項目の設定値の選択、設定内容の決定等に使用される。   The key input unit 14 includes a power key, a mode setting key, a shutter button, a menu key, a control key including a cursor key, and a SET key, which are not shown, and outputs a status signal indicating the operation state of each key to the CPU 6. The mode setting key is a key for setting a basic operation mode of the digital camera to a shooting mode or a playback mode for displaying a recorded image. In addition, the control key is a key having a structure capable of performing a direction instructing operation and confirming operation in the up / down / left / right directions generally used in a digital camera. This is used for selecting an item, selecting a setting value of the selected item, determining setting contents, and the like.

USB制御部15は、USBケーブルを介してUSB接続端子部16に接続されたパーソナルコンピュータ等とデジタルカメラの間における画像データの通信を制御する。   The USB control unit 15 controls communication of image data between a personal computer or the like connected to the USB connection terminal unit 16 via a USB cable and the digital camera.

図2は、前記フラッシュメモリ10のメモリ空間を示す概念図である。フラッシュメモリ10には、図示したようにプログラムデータ格納領域10a、設定データ格納領域10b、顔画像データ格納領域10c、撮影画像データ格納領域10dが確保されている。   FIG. 2 is a conceptual diagram showing a memory space of the flash memory 10. The flash memory 10 has a program data storage area 10a, a setting data storage area 10b, a face image data storage area 10c, and a photographed image data storage area 10d as shown in the figure.

プログラムデータ格納領域10aには、CPU6の動作プログラム、及び動作プログラムに付随する各種のデータ(AE制御用のプログラムAEデータ等)が記憶されている。設定データ格納領域10bには、前述したOSDデータや、デジタルカメラの動作内容に関する各種の設定データであって、ユーザにより設定されたデータや自動的に設定されたデータといった適宜書き替えられるデータが記憶されている。撮影画像データ格納領域10dには、画像処理部9により圧縮され所定のファイルフォーマットの画像データに変換された撮影画像のデータが記憶されている。   The program data storage area 10a stores an operation program for the CPU 6 and various data (AE control program AE data, etc.) accompanying the operation program. The setting data storage area 10b stores the OSD data described above and various setting data related to the operation contents of the digital camera, such as data set by the user and automatically set data. Has been. The photographed image data storage area 10d stores photographed image data compressed by the image processing unit 9 and converted into image data of a predetermined file format.

また、顔画像データ格納領域10cにはユーザによって予め登録された人物の顔画像データが記憶されており、本実施形態においては前記フラッシュメモリ10により本発明の画像記憶手段が実現されている。   The face image data storage area 10c stores face image data of a person registered in advance by the user. In the present embodiment, the flash memory 10 implements the image storage means of the present invention.

そして、CPU6は、前記キー入力部14からの状態信号と、前記動作プログラムに従いデジタルカメラの各部の動作を制御する。例えば、シャッターボタンを押したときの撮影動作、画像データの記録、記録した画像の再生・表示、メニューキーやカーソルキー、SETキーの操作に応じた各種の機能設定画面の表示制御や、設定内容の変更等を行う。   The CPU 6 controls the operation of each part of the digital camera in accordance with the status signal from the key input unit 14 and the operation program. For example, shooting operations when the shutter button is pressed, recording of image data, playback / display of recorded images, display control of various function setting screens according to operations of menu keys, cursor keys, and SET keys, and setting contents Make changes.

また、CPU6は、ユーザによって再生モードの下位モードである顔登録モードが設定されたときには、前記フラッシュメモリ10(撮影画像データ格納領域10d)に記録されている記録画像から、ユーザに所望の画像であって人物を写した画像を選択させ、選択された画像から任意の人物の顔領域を二値化や輪郭抽出、パターンマッチング等の画像認識技術を用いて、例えば一定の配置関係にある目や鼻や口が存在する部分を認識する等の公知の顔検出技術を用いて検出するとともに、検出した顔領域を切り出し、その画像データを前記フラッシュメモリ10(顔画像データ格納領域10c)に記憶させる。さらに、顔登録モードでは、ユーザの要求に応じ、USBケーブルを介してしてパーソナルコンピュータ等から送られた顔部分の画像データも前記フラッシュメモリ10(顔画像データ格納領域10c)に記憶させる。   When the face registration mode, which is a lower mode of the playback mode, is set by the user, the CPU 6 uses a desired image from the recorded image recorded in the flash memory 10 (the photographed image data storage area 10d). Then, an image showing a person is selected, and the face area of an arbitrary person is selected from the selected image using image recognition techniques such as binarization, contour extraction, pattern matching, etc. Detection is performed using a known face detection technique such as recognizing a part where the nose or mouth is present, and the detected face area is cut out and the image data is stored in the flash memory 10 (face image data storage area 10c). . Further, in the face registration mode, in response to a user request, image data of a face portion sent from a personal computer or the like via a USB cable is also stored in the flash memory 10 (face image data storage area 10c).

また、CPU6は、再生モードの下位モードとして設けられている画像合成モードがユーザによって設定されたときには、後述する処理を実行することにより本発明の合成比率設定手段、画像合成手段、部位設定手段、類似画像抽出手段として機能する。なお、上記画像合成モードは、任意の人物の顔を他の人物の顔に似た顔に加工することを主たる目的として予め設けられているものであり、より具体的には、異なる2つの顔画像を所定の方法で合成して合成画像(本発明における第3の顔画像)を生成するためのモードである。   In addition, when an image composition mode provided as a lower mode of the reproduction mode is set by the user, the CPU 6 executes processing described later to perform a composition ratio setting unit, an image composition unit, a part setting unit, It functions as a similar image extraction means. Note that the image composition mode is provided in advance for the purpose of processing a face of an arbitrary person into a face similar to the face of another person, and more specifically, two different faces. This is a mode for generating a composite image (the third face image in the present invention) by combining the images by a predetermined method.

次に、以上の構成からなるデジタルカメラにおいて上記画像合成モードが設定されたときのCPU6の処理を図3のフローチャートに従い説明する。   Next, the processing of the CPU 6 when the image composition mode is set in the digital camera having the above configuration will be described with reference to the flowchart of FIG.

画像合成モードが設定されるとCPU6は、まず、顔画像を合成する際の単位(合成単位)をユーザに設定させる(ステップS1)。なお、本実施形態では合成単位として「顔単位」と「部位単位」の2種類が設定可能であり、係る処理では、所定の選択画面を表示するとともにユーザにいずれか一方の合成単位を選択させる。さらに、表示部13にフラッシュメモリ10に記録されている撮影画像のサムネイルを一覧表示するなどして、ユーザに所望する画像を選択させる(ステップS2)。但し、このときユーザには、任意の人物の顔を正面から写した画像を選択させる。係る画像が本発明における第1の画像であり、以下の説明ではここで選択された画像を元画像という。   When the image composition mode is set, the CPU 6 first causes the user to set a unit (composition unit) for composing a face image (step S1). In the present embodiment, two types, “face unit” and “part unit”, can be set as the composition unit. In such processing, a predetermined selection screen is displayed and the user selects one of the composition units. . Further, a list of photographed image thumbnails recorded in the flash memory 10 is displayed on the display unit 13 to allow the user to select a desired image (step S2). However, at this time, the user is allowed to select an image obtained by copying the face of an arbitrary person from the front. Such an image is the first image in the present invention, and in the following description, the image selected here is referred to as an original image.

次に、CPU6は、前記フラッシュメモリ10(顔画像データ格納領域10c)に記憶されている顔画像データの中から、元画像における人物の顔と最も類似する顔画像(以下、類似モデル画像という)のデータ、つまり本発明の第2の画像を3つ抽出する(ステップS3)。なお、係る処理では、まず元画像から先に述べた顔画像の登録時と同様に公知の顔検出技術を用いて顔領域(顔部分)を検出した後、例えば当該顔領域の顔の複数の特徴項目(顔の輪郭や、目と鼻と口の位置関係等)毎に、記憶されている全ての顔画像データについてマッチングを行い、各々の類似度を検査し、上記複数の特徴項目毎の類似度に基づく所定の順位付け基準に従い、記憶されている全ての顔画像データを類似度合が高い順に順位付けを行い、順位が1番目から3番目までの顔画像を類似モデル画像として抽出する。   Next, the CPU 6 selects the face image most similar to the person's face in the original image (hereinafter referred to as a similar model image) from the face image data stored in the flash memory 10 (face image data storage area 10c). Data, that is, three second images of the present invention are extracted (step S3). In this process, first, after detecting a face area (face part) using a known face detection technique in the same manner as the registration of the face image described above from the original image, for example, a plurality of faces of the face area are detected. For each feature item (face outline, positional relationship between eyes, nose and mouth, etc.), all the stored face image data is matched, the degree of similarity is examined, and each of the plurality of feature items is checked. In accordance with a predetermined ranking criterion based on the similarity, all the stored face image data are ranked in descending order of similarity, and the face images with the first to third ranks are extracted as similar model images.

引き続き、CPU6は、当初ユーザに選択させた合成単位を判別した後(ステップS4)、その判別結果に応じて、後述する以下の処理を行う。   Subsequently, after determining the composition unit initially selected by the user (step S4), the CPU 6 performs the following processing described later according to the determination result.

まず、ユーザにより合成単位として「顔単位」が選択されていた場合の処理について説明する。「顔単位」が選択されていた場合においてCPU6は、対象とする類似モデル画像を順に変えて、元画像に、各類似モデル画像を3段階の合成比率で個別に合成し、類似モデル画像、合成比率ごとに合成画像を生成し、生成した合成画像のデータをワークメモリ8に一時記憶する(ステップS5)。上記3段階の合成比率は、それぞれが元画像に対して類似モデル画像を合成する比率であるとともに、互いに4%ずつ異なり、動作開始当初は4%、8%、12%である。また、上記の元画像と類似モデル画像との合成は、既説したモーフィング合成処理に基づくものである。   First, a process when “face unit” is selected as a synthesis unit by the user will be described. When “face unit” is selected, the CPU 6 changes the target similar model images in order, and individually synthesizes each similar model image into the original image at a three-step synthesis ratio. A composite image is generated for each ratio, and the generated composite image data is temporarily stored in the work memory 8 (step S5). The above three-stage synthesis ratios are ratios for synthesizing the similar model image with the original image, differ by 4% from each other, and are 4%, 8%, and 12% at the beginning of the operation. Further, the synthesis of the original image and the similar model image is based on the morphing synthesis process described above.

ここで、元画像と類似モデル画像とを対象とした基本的な合成方法の概略を図5に示す。まず、元画像fに顔の輪郭や目、鼻、口等の要部Aの領域を特定するための特徴点(図で黒丸)を設定し、係る特徴点に基づいてメッシュMsを生成し、同様に合成対象となる類似モデル画像gに、各々が元画像fの各特徴点と対応するとともに顔の輪郭や目、鼻、口等の要部Bを特定する特徴点(図で黒丸)を設定し、係る特徴点に基づいてメッシュMtを生成する。   Here, FIG. 5 shows an outline of a basic synthesis method for an original image and a similar model image. First, a feature point (black circle in the figure) for specifying the region of the main part A such as the face outline, eyes, nose and mouth is set in the original image f, and a mesh Ms is generated based on the feature point. Similarly, feature points (black circles in the figure) that correspond to each feature point of the original image f and that specify the main part B such as the face outline, eyes, nose, mouth, etc., are displayed on the similar model image g to be synthesized. Set and generate a mesh Mt based on the feature points.

次に、メッシュMsとメッシュMtとの間に、線形補間(linearly interpolate)により中間メッシュMiを生成する。次に、メッシュMsと中間メッシュMiとを用いて、元画像f内の各メッシュの画像Lsの各点をワープ(変形変換)して第1のメッシュ画像(image1)を生成するとともに、メッシュMtと中間メッシュMiとを用いて、類似モデル画像g内の各メッシュの画像Lgの各点をワープ(変形変換)して第2の画像(image2)を生成する。しかる後、第1のメッシュ画像(image1)と第2の画像(image2)との画素値(輝度、色差)をクロス・ディゾルブ混合(cross-dissolve)するか、または、まばらな中間点の画素を線形補間(linearly interpolate)して、モーフィング合成画像(image3)を生成する。   Next, an intermediate mesh Mi is generated between the mesh Ms and the mesh Mt by linearly interpolate. Next, using the mesh Ms and the intermediate mesh Mi, each point of the image Ls of each mesh in the original image f is warped (transformed) to generate a first mesh image (image1), and the mesh Mt And the intermediate mesh Mi, each point of the image Lg of each mesh in the similar model image g is warped (transformed) to generate a second image (image2). Thereafter, the pixel values (luminance, color difference) of the first mesh image (image1) and the second image (image2) are cross-dissolved, or sparse intermediate pixels are A morphing composite image (image3) is generated by linearly interpolating.

そして、ステップS5では、上述した中間メッシュMiの生成に際し、その配置を前述した合成比率に応じて決定する。例えば合成比率が90%、すなわち「元画像:類似モデル画像」=1:9であれば、メッシュMsとメッシュMtとの間を1:9に内分する中間メッシュMiを生成することにより、所定の合成比率を有する合成画像(モーフィング合成画像)をそれぞれ生成する。   In step S5, when the above-described intermediate mesh Mi is generated, the arrangement is determined according to the above-described synthesis ratio. For example, if the composition ratio is 90%, that is, “original image: similar model image” = 1: 9, by generating an intermediate mesh Mi that internally divides the mesh Ms and the mesh Mt into 1: 9, a predetermined value is obtained. Each of the composite images (morphing composite images) having the composite ratio is generated.

しかる後、CPU6は、上述したように各々の類似モデル画像ごとに3段階の合成比率の合成画像を生成した後には、それらを元画像及び類似モデル画像と共に表示部13に表示させる(ステップS6)。   After that, after generating the composite image with the composite ratio of three stages for each similar model image as described above, the CPU 6 displays them on the display unit 13 together with the original image and the similar model image (step S6). .

図6は、その場合における表示部13の表示画面G1の一例を便宜的に示した図である。ステップS6においてCPU6は、表示画面G1の左上に元画像201を表示させ、かつ表示画面G1の右側に寄せて3種類の類似モデル画像202a〜202cを縦並びで表示させる。そして、元画像201と、画面右上の1番目の類似モデル画像202aとの間には、双方の画像に基づき生成した合成画像であって、合成時における1番目の類似モデル画像202aの合成比率が異なる3種類の合成画像203a〜203cを横並びで表示させ、同様にその下に、2番目の類似モデル画像202bに対応する3種類の合成画像203a〜203cを、さらにその下に、3番目の類似モデル画像202cに対応する3段階の合成画像203a〜203cを横並びで表示させる。   FIG. 6 is a diagram conveniently showing an example of the display screen G1 of the display unit 13 in that case. In step S6, the CPU 6 displays the original image 201 on the upper left side of the display screen G1, and displays three types of similar model images 202a to 202c in a vertical arrangement in close proximity to the right side of the display screen G1. Between the original image 201 and the first similar model image 202a in the upper right of the screen, a composite image generated based on both images, and the composition ratio of the first similar model image 202a at the time of composition is Three different types of composite images 203a to 203c are displayed side by side, and similarly, there are three types of composite images 203a to 203c corresponding to the second similar model image 202b, and a third similar image thereunder. Three-stage composite images 203a to 203c corresponding to the model image 202c are displayed side by side.

また、各々の合成画像203a〜203cに重ねて、それらが対応する類似モデル画像202a〜202cの元画像201に対する合成比率(n%)を表示させる。さらに、表示画面G1の下辺には、各々の合成画像203a〜203cをスクロールさせるためのスクロールバー301を表示させる。   In addition, a composite ratio (n%) of the similar model images 202a to 202c corresponding to the composite images 203a to 203c with respect to the original image 201 is displayed. Further, a scroll bar 301 for scrolling the respective composite images 203a to 203c is displayed on the lower side of the display screen G1.

その後、CPU6はユーザによるスクロール指示、記録候補の選択指示、合成画像の記録指示の有無を逐次検出する。ここで、上記スクロール指示は、例えばコントロールキーの操作によりスクロールバー301を選択して状態での、スクロールバー301によって右方向又は左方向の方向指示であり、記録候補の選択指示は、コントロールキーによる方向指示操作及び決定操作である。   Thereafter, the CPU 6 sequentially detects the presence / absence of a scroll instruction, a recording candidate selection instruction, and a composite image recording instruction by the user. Here, the scroll instruction is, for example, a direction instruction in the right direction or the left direction by the scroll bar 301 in a state where the scroll bar 301 is selected by operating the control key. It is a direction instruction operation and a determination operation.

そして、以上の表示画面G1の表示中においてユーザによるスクロール指示を検出したときには(ステップS7でYES)、前述した3段階の合成比率を増加、若しくは減少させるように1段階ずつ変更した後(ステップS8)、ステップS5へ戻り、元画像201に対する各々の類似モデル画像202a〜202cの合成比率を変更後の合成比率に変えて、新たな合成画像203a〜203cを生成し(ステップS6)、それを表示画面G1に表示させる。   When a scroll instruction from the user is detected while the display screen G1 is being displayed (YES in step S7), the above-described three-stage composition ratio is changed step by step so as to increase or decrease (step S8). ), Returning to step S5, changing the composite ratio of each of the similar model images 202a to 202c with respect to the original image 201 to the composite ratio after the change, generating new composite images 203a to 203c (step S6), and displaying them It is displayed on the screen G1.

例えばスクロール指示があったとき、各々の類似モデル画像202a〜202cに対応する合成画像203a〜203cとして合成比率が8%、12%、16%の合成画像を表示させていた場合には、それらを合成比率が12%、16%、20%の3種類の合成画像、若しくは合成比率が4%、8%、12%の3種類の合成画像に変更する。   For example, when a scroll instruction is given, if composite images with composite ratios of 8%, 12%, and 16% are displayed as composite images 203a to 203c corresponding to the similar model images 202a to 202c, these are displayed. The composite image is changed to three types of composite images with a composite ratio of 12%, 16%, and 20%, or three composite images with composite ratios of 4%, 8%, and 12%.

また、スクロール指示が検出できないときには(ステップS7でNO)、引き続きユーザの指示に応じて記録候補の合成画像を設定する(ステップS9)。すなわち所定のキー操作に応じて選択状態を示すマーク(図の例では丸印)を、各々の類似モデル画像202a〜202cに対応する合成画像203a〜203cのいずれかに重ねて表示するとともに、それをコントロールキーによる方向指示操作に応じて移動させるとともに、決定操作に応じて上記マークを固定表示とする。   If the scroll instruction cannot be detected (NO in step S7), a composite image of recording candidates is continuously set according to the user instruction (step S9). That is, a mark indicating a selection state (a circle in the example in the figure) corresponding to a predetermined key operation is displayed so as to be superimposed on any of the composite images 203a to 203c corresponding to the similar model images 202a to 202c. Is moved according to a direction instruction operation using a control key, and the mark is fixedly displayed according to a determination operation.

そして、上述したステップS5以降の処理を繰り返す間に、いずれかの時点でユーザによる記録指示を検出したら(ステップS10でYES)、その時点で選択されている(記録候補として設定してある)1又は複数の合成画像をフラッシュメモリ10の撮影画像データ格納領域10dに記録する(ステップS11)。   If a recording instruction by the user is detected at any point during the repetition of the processing from step S5 described above (YES in step S10), it is selected at that point (set as a recording candidate) 1 Alternatively, a plurality of composite images are recorded in the captured image data storage area 10d of the flash memory 10 (step S11).

一方、前述したステップS4でユーザにより合成単位として「部位単位」が選択されていた場合、CPU6は図4に示した処理へ移行する。この場合には、まず、ユーザに予定のキー操作によって、予め決められている複数の部位の中から合成対象とする1又は複数の顔の部位を選択させ、かつ部位毎の合成比率(0%〜100%)を設定させる(ステップS12)。なお、本実施形態において選択可能な部位は、輪郭、目、眉毛、鼻、唇の5つの部位である(図7参照)。   On the other hand, if “partial unit” is selected as the synthesis unit by the user in step S4 described above, the CPU 6 proceeds to the process shown in FIG. In this case, first, the user selects one or a plurality of facial parts to be synthesized from a plurality of predetermined parts by a scheduled key operation, and the composition ratio (0% for each part) ˜100%) is set (step S12). It should be noted that the selectable parts in the present embodiment are five parts: contour, eyes, eyebrows, nose, and lips (see FIG. 7).

次に、選択された1又は複数の部位毎の合成比率を設定された合成比率として元画像と各々の類似モデル画像とを既説したモーフィング合成処理に基づいて合成する。具体的には、選択された部位に対応する中間メッシュMi(図5参照)の生成に際して、当該部位について設定された合成比率が90%、すなわち「元画像:類似モデル画像」=1:9であれば、元画像fのメッシュMsと類似モデル画像gのメッシュMtとの間を1:9に内分する中間メッシュMiを生成する一方、選択されていない部位に対応する中間メッシュMiを元画像fのメッシュMsとする処理を行い、類似モデル画像と同数の合成画像を生成する。また生成した合成画像のデータをワークメモリ8に一時記憶する(ステップS13)。   Next, the original image and each similar model image are combined based on the morphing combining process described above, with the combination ratio for each of the selected one or a plurality of parts being set. Specifically, when the intermediate mesh Mi (see FIG. 5) corresponding to the selected part is generated, the composition ratio set for the part is 90%, that is, “original image: similar model image” = 1: 9. If there is, an intermediate mesh Mi that internally divides the mesh Ms of the original image f and the mesh Mt of the similar model image g into 1: 9 is generated, while the intermediate mesh Mi corresponding to the unselected part is generated as the original image. A process of setting the mesh Ms of f is performed, and the same number of synthesized images as the similar model images are generated. The generated composite image data is temporarily stored in the work memory 8 (step S13).

しかる後、CPU6は、各々の類似モデル画像を対象として生成した合成画像を元画像及び類似モデル画像と共に表示部13に表示させる(ステップS14)。図7は、その場合における表示部13の表示画面G2の一例を便宜的に示した図であり、ステップS14においてCPU6は、表示画面G2の上部中央に、元画像201を表示させ、かつ表示画面G2の右側に寄せて3種類の類似モデル画像202a〜202cを縦並びで表示させる。そして、元画像201と、画面右上の1番目の類似モデル画像202aとの間には、双方の画像に基づき生成した合成画像であって、1又は複数の特定の部位が特定の比率で合成された合成画像203を表示させ、同様にその下に、2番目の類似モデル画像202bとの間で合成した合成画像203を、さらにその下に、3番目の類似モデル画像202cとの間で合成した合成画像203をそれぞれ表示させる。   Thereafter, the CPU 6 causes the display unit 13 to display the composite image generated for each similar model image together with the original image and the similar model image (step S14). FIG. 7 is a diagram conveniently showing an example of the display screen G2 of the display unit 13 in that case. In step S14, the CPU 6 displays the original image 201 in the upper center of the display screen G2, and displays the display screen. Three types of similar model images 202a to 202c are displayed in a vertical arrangement in the right side of G2. And between the original image 201 and the 1st similar model image 202a of the screen upper right, it is the synthesized image produced | generated based on both images, Comprising: One or several specific site | parts are synthesize | combined by the specific ratio. The synthesized image 203 is displayed, and similarly, the synthesized image 203 synthesized with the second similar model image 202b is synthesized below it, and further synthesized with the third similar model image 202c below it. Each of the composite images 203 is displayed.

また、図示したように表示画面G2の左側には、選択可能な顔の部位(輪郭、目、眉毛、鼻、唇)、及びその時点で選択されている部位と、部位毎に設定されている合成比率を表示する。本実施形態では、各部位の選択の有無は所謂ラジオボタン401で示し、かつ合成比率はスライダ402の位置で表示する。   Further, as shown in the drawing, on the left side of the display screen G2, selectable facial parts (contour, eyes, eyebrows, nose, lips), a part selected at that time, and a part are set. Displays the composition ratio. In this embodiment, whether or not each part is selected is indicated by a so-called radio button 401, and the composition ratio is displayed at the position of the slider 402.

その後、CPU6はユーザによる合成部位の変更、又は合成比率の変更の有無、記録候補の選択指示、合成画像の記録指示を逐次検出する。ここで、合成部位の変更は、例えばコントロールキーの操作により、任意の部位を選択した状態でラジオボタン401のオンオフ状態の変更指示であり、合成比率の変更は、任意の部位を選択した状態での右方向又は左方向の方向指示であり、また、記録候補の選択指示は、コントロールキーによる方向指示操作及び決定操作である。   Thereafter, the CPU 6 sequentially detects whether the user has changed the synthesis site or whether the synthesis ratio has been changed, a recording candidate selection instruction, and a composite image recording instruction. Here, the change of the synthesis part is an instruction to change the on / off state of the radio button 401 in a state where an arbitrary part is selected, for example, by operating a control key, and the change of the synthesis ratio is a state where an arbitrary part is selected. The direction selection instruction is a direction instruction operation and a determination operation by a control key.

そして、前記表示画面G2の表示中において合成部位の変更、又は合成比率の変更を検出したときには(ステップS15でYES)、前述したステップS13へ戻り、変更後の設定内容に従い新たな合成画像を生成し、生成した合成画像のデータをワークメモリ8に一時記憶するとともに、それを表示画面G2内に表示させる。   When a change in the synthesis site or a change in the synthesis ratio is detected during display of the display screen G2 (YES in step S15), the process returns to step S13 described above, and a new synthesized image is generated according to the changed setting contents. Then, the generated composite image data is temporarily stored in the work memory 8 and displayed in the display screen G2.

また、合成部位の変更、又は合成比率の変更が検出できないときには(ステップS15でNO)、引き続きユーザの指示に応じて記録候補の合成画像を設定する(ステップS16)。すなわち所定のキー操作に応じて選択状態を示すマーク(図の例では丸印)を、各々の類似モデル画像202a〜202cの各々のに対応する合成画像203のいずれかに重ねて表示するとともに、それをコントロールキーによる方向指示操作に応じて移動させるとともに、決定操作に応じて上記マークを固定表示とする。   If a change in the synthesis site or a change in the synthesis ratio cannot be detected (NO in step S15), a composite image of a recording candidate is continuously set according to the user's instruction (step S16). In other words, a mark indicating a selected state according to a predetermined key operation (a circle in the example in the figure) is displayed so as to be superimposed on one of the composite images 203 corresponding to each of the similar model images 202a to 202c. The mark is moved according to the direction instruction operation using the control key, and the mark is fixedly displayed according to the determination operation.

そして、上述したステップS13〜ステップS16の処理を繰り返す間に、いずれかの時点でユーザによる記録指示を検出したら(ステップS17でYES)、その時点で、図3のステップS11へ進み、選択されている(記録候補として設定してある)1又は複数の合成画像をフラッシュメモリ10の撮影画像データ格納領域10dに記録する。これにより画像合成モードによる1回の処理を終了する。   If a user's recording instruction is detected at any point in time while repeating the above-described steps S13 to S16 (YES in step S17), the process proceeds to step S11 in FIG. One or a plurality of composite images (set as recording candidates) are recorded in the captured image data storage area 10 d of the flash memory 10. This completes one process in the image composition mode.

以上のように本実施形態のデジタルカメラにおいては、画像合成モードを用いることにより、任意の人物の顔を、他の人物の顔に似た顔に加工した画像を簡単に得ることができる。しかも、その際には、ユーザが合成単位として「顔単位」を選択すれば、元画像と類似モデル画像との合成比率を所望の比率に調整することができるため、合成後(加工後)の顔画像にユーザが意図する程度で元の人物の顔の特徴を確保することができる。その結果、任意の人物の顔を他の人物の顔に似た顔に加工した場合には、違和感のない自然な顔の画像を得ることができる。   As described above, in the digital camera of the present embodiment, by using the image composition mode, an image obtained by processing an arbitrary person's face into a face similar to the face of another person can be easily obtained. In addition, in this case, if the user selects “face unit” as the synthesis unit, the synthesis ratio between the original image and the similar model image can be adjusted to a desired ratio. The facial features of the original person can be ensured in the face image to the extent intended by the user. As a result, when an arbitrary person's face is processed into a face similar to the face of another person, an image of a natural face without a sense of incongruity can be obtained.

さらに、本実施形態においては、ユーザが最初に元画像を指定すると、フラッシュメモリ10に記憶されている顔画像の中からその元画像における人物の顔と最も類似する顔の画像である類似モデル画像が自動的に抽出されるため、任意の人物の顔を他の人物の顔に似た顔に加工した場合には、違和感のない自然な顔の画像を容易に得ることができる。   Further, in the present embodiment, when the user first designates an original image, a similar model image that is an image of a face most similar to a human face in the original image among the face images stored in the flash memory 10. Therefore, when an arbitrary person's face is processed into a face similar to the face of another person, a natural face image without a sense of incongruity can be easily obtained.

また、ユーザが合成単位として「部位単位」を選択すれば、顔の各部位を単位として、しかも必要な部位についてのみ元画像と類似モデル画像とを合成させることができる。したがって、合成後(加工後)の顔画像として、ユーザの細かな意図を反映した顔画像を生成することができる。さらに、その際には部位毎に合成比率を指定することができることから、ユーザにおけるより一層細かな意図を反映した顔画像を生成することができる。   Further, if the user selects “part unit” as the synthesis unit, the original image and the similar model image can be synthesized only for necessary parts with each part of the face as a unit. Therefore, it is possible to generate a face image reflecting the user's detailed intention as a face image after synthesis (after processing). Furthermore, since the composition ratio can be designated for each part at that time, it is possible to generate a face image reflecting a finer intention of the user.

なお、本実施形態においては、前述した画像合成モードが、任意の人物の顔を他の人物の顔に似た顔に加工することを主たる目的として予め設けられているものであって、画像合成モードにおいては、元画像を指定すると、元画像と合成する画像として類似モデル画像を自動的に抽出し、係る元画像と類似モデル画像とを合成して新たな画像を生成する構成について説明したが、画像合成モードを幅広い使用目的に対応するものにする場合には、元画像と合成する画像を、登録された人物の顔画像や、記録されている他の撮影画像(人物の顔部分の撮影画像)の中からユーザに手動で選択させるようにしても構わない。   In the present embodiment, the above-described image composition mode is provided in advance for the purpose of processing an arbitrary person's face into a face similar to the face of another person. In the mode, when an original image is designated, a similar model image is automatically extracted as an image to be combined with the original image, and the original image and the similar model image are combined to generate a new image. When the image compositing mode is to be used for a wide range of purposes, the image to be composited with the original image can be a registered person's face image or other recorded images (photographs of the person's face). You may make it make a user select manually from (image).

また、元画像と合成する画像は、必ずしも自機で撮影されたものである必要はなく、フラッシュメモリ10に記憶されている画像であれば任意の画像を使用することができる。例えば、好みの有名人や芸能人の顔の画像を予め記憶しておけば、自分の顔の全部、又は一部を有名人等に似せて美容整形した場合の顔を確認することもできる。また、同一人物について第1の年齢のときに撮影された第1の顔画像と、第2の年齢のときに撮影された第2の顔画像とを記憶しておけば、第1の年齢から第2の年齢までの間の任意の年齢のときの顔を擬似的に確認することができる。さらに、例えば顔画像として多数の顔画像を登録(記憶)しておき、合成単位として「部位単位」を選択して特定部位のみの合成を行った後、合成後の画像を元画像として再び特定部位のみの合成を行う作業を繰り返し行えば、違和感のない自然な顔のモンタージュ画像を得ることができる。   Further, the image to be combined with the original image does not necessarily have to be taken by the own device, and any image can be used as long as it is an image stored in the flash memory 10. For example, if an image of the face of a favorite celebrity or entertainer is stored in advance, it is possible to confirm the face when all or part of his / her face is cosmetically shaped to resemble a celebrity or the like. Further, if the first face image taken at the first age and the second face image taken at the second age are stored for the same person, the first age can be stored. A face at an arbitrary age up to the second age can be confirmed in a pseudo manner. Furthermore, for example, a large number of face images are registered (stored) as face images, “part unit” is selected as a synthesis unit, and only a specific part is synthesized, and then the synthesized image is identified again as an original image. If the operation of combining only the parts is repeated, a natural montage image without a sense of incongruity can be obtained.

さらに、本実施形態においては合成する2つの画像が人物の顔画像である場合について説明したが、これに限らず、本発明は人物の顔画像以外の画像を対象として合成する場合にも適用することができる。例えば一方、又は双方の画像をペット等の動物の顔であっても構わないし、また、それ以外の任意の画像同士を対象として新たな画像を合成する場合にも適用することができる。   Furthermore, although the case where the two images to be combined are human face images has been described in the present embodiment, the present invention is not limited to this, and the present invention is also applicable to a case of combining images other than human face images. be able to. For example, one or both images may be the face of an animal such as a pet, and the present invention can also be applied to a case where a new image is synthesized with any other image as a target.

また、ここでは本発明をデジタルカメラに適用した場合について説明したが、本発明は、異なる2つの画像を合成する機能を有する機器であれば、パーソナルコンピュータ等の任意の画像合成装置にも適用することができる。   Although the case where the present invention is applied to a digital camera has been described here, the present invention is also applicable to an arbitrary image composition device such as a personal computer as long as the device has a function of combining two different images. be able to.

本発明に係るデジタルカメラのブロック図である。1 is a block diagram of a digital camera according to the present invention. フラッシュメモリのメモリ空間を示す概念図である。It is a conceptual diagram which shows the memory space of flash memory. 画像合成モードが設定されたときのCPUの処理内容を示したフローチャートである。It is the flowchart which showed the processing content of CPU when the image composition mode is set. 図3に続くフローチャートである。It is a flowchart following FIG. 元画像と類似モデル画像との合成方法を示す模式説明図である。It is a schematic explanatory drawing which shows the synthetic | combination method of an original image and a similar model image. 合成単位として「顔単位」が選択されていた場合の合成画像を含む表示画面の一例を示した図である。It is the figure which showed an example of the display screen containing a synthesized image when "the face unit" is selected as a synthetic | combination unit. 合成単位として「部位単位」が選択されていた場合の合成画像を含む表示画面の一例を示した図である。It is the figure which showed an example of the display screen containing a synthetic image when "partial unit" is selected as a synthetic | combination unit.

符号の説明Explanation of symbols

1 カメラモジュール
3 イメージセンサ
6 CPU
7 DMA
8 ワークメモリ
9 画像処理部
10 フラッシュメモリ
14 キー入力部
1 Camera module 3 Image sensor 6 CPU
7 DMA
8 Work memory 9 Image processing unit 10 Flash memory 14 Key input unit

Claims (7)

第1の画像と第2の画像との合成比率を使用者の要求に応じて設定する合成比率設定手段と、
この合成比率設定手段により設定された合成比率で前記第1の画像と前記第2の画像とを合成して合成画像を生成する画像合成手段と
を備えたことを特徴とする画像合成装置。
A composition ratio setting means for setting a composition ratio of the first image and the second image according to a user's request;
An image composition apparatus comprising: an image composition unit configured to compose the first image and the second image at a composition ratio set by the composition ratio setting unit to generate a composite image.
前記第1の画像は第1の顔画像であり、かつ前記第2の画像は第2の顔画像であって、
前記画像合成手段は、合成画像として第3の顔画像を生成する
ことを特徴とする請求項1記載の画像合成装置。
The first image is a first face image and the second image is a second face image;
The image synthesizing apparatus according to claim 1, wherein the image synthesizing unit generates a third face image as a synthesized image.
前記第1の画像について前記第2の画像を合成する部位を使用者の要求に応じて設定する部位設定手段を備え、
前記画像合成手段は、前記合成画像の生成に際し、前記第1の画像であって前記部位設定手段により設定された部位と、当該部位と対応する前記第2の画像の対応部位とを前記合成比率設定手段により設定された合成比率で合成する
ことを特徴とする請求項1又は2記載の画像合成装置。
A site setting means for setting a site for synthesizing the second image for the first image according to a user's request;
The image synthesizing unit, when generating the synthesized image, combines the part of the first image that is set by the part setting unit and the corresponding part of the second image corresponding to the part. The image synthesizing apparatus according to claim 1, wherein the images are synthesized at a synthesis ratio set by a setting unit.
前記部位設定手段は、使用者の要求に応じ、前記第1の画像について前記第2の画像を合成する部位を複数設定し、
前記合成比率設定手段は、使用者の要求に応じ、前記第1の画像と前記第2の画像との合成比率を前記部位設定手段により設定された部位毎に設定する
前記画像合成手段は、前記合成画像の生成に際し、前記第1の画像であって前記部位設定手段により設定された複数の部位と、当該複数の部位と対応する前記第2の画像の複数の対応部位とを、前記合成比率設定手段により部位毎に設定された合成比率で合成する
ことを特徴とする請求項3記載の画像合成装置。
The part setting means sets a plurality of parts for combining the second image with respect to the first image according to a user's request,
The composition ratio setting means sets a composition ratio of the first image and the second image for each part set by the part setting means in response to a user's request. In generating a composite image, the plurality of parts that are the first image and set by the part setting unit and the corresponding parts of the second image that correspond to the plurality of parts are combined with each other. The image synthesizing apparatus according to claim 3, wherein the composition is performed at a composition ratio set for each part by the setting unit.
複数の所定の画像を記憶した画像記憶手段と、
この画像記憶手段に記憶されている複数の画像の中で、前記第1の画像に類似する類似画像を前記第2の画像として抽出する類似画像抽出手段と
をさらに備え、
前記画像合成手段は、前記合成比率設定手段により設定された合成比率で、前記第1の画像と前記類似画像抽出手段により前記第2の画像として抽出された類似画像とを合成して合成画像を生成する
ことを特徴とする請求項1乃至4いずれか記載の画像合成装置。
Image storage means for storing a plurality of predetermined images;
A similar image extracting means for extracting, as the second image, a similar image similar to the first image among the plurality of images stored in the image storage means,
The image synthesizing unit synthesizes the first image and the similar image extracted as the second image by the similar image extracting unit by the synthesis ratio set by the synthesis ratio setting unit, and generates a synthesized image. The image synthesizing apparatus according to claim 1, wherein the image synthesizing apparatus is generated.
第1の画像と第2の画像とを合成し合成画像を生成する画像合成方法であって、
第1の画像と第2の画像との合成比率を使用者の要求に応じて設定する工程と、
設定した合成比率で前記第1の画像と前記第2の画像とを合成して合成画像を生成する工程と
を含むことを特徴とする画像合成方法。
An image composition method for compositing a first image and a second image to generate a composite image,
Setting a composite ratio of the first image and the second image according to a user's request;
And a step of synthesizing the first image and the second image at a set composition ratio to generate a composite image.
第1の画像と第2の画像とを合成し合成画像を生成する画像合成装置が有するコンピュータに、
第1の画像と第2の画像との合成比率を使用者の要求に応じて設定する手順と、
設定した合成比率で前記第1の画像と前記第2の画像とを合成して合成画像を生成する手順と
を実行されることを特徴とする画像合成プログラム。
A computer included in an image composition device that composes a first image and a second image to generate a composite image,
A procedure for setting a composite ratio of the first image and the second image according to a user's request;
An image synthesizing program comprising: executing a procedure of synthesizing the first image and the second image at a set synthesis ratio to generate a synthesized image.
JP2008268131A 2008-10-17 2008-10-17 Image composition device, image composition method and image composition program Pending JP2010097449A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008268131A JP2010097449A (en) 2008-10-17 2008-10-17 Image composition device, image composition method and image composition program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008268131A JP2010097449A (en) 2008-10-17 2008-10-17 Image composition device, image composition method and image composition program

Publications (1)

Publication Number Publication Date
JP2010097449A true JP2010097449A (en) 2010-04-30

Family

ID=42259077

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008268131A Pending JP2010097449A (en) 2008-10-17 2008-10-17 Image composition device, image composition method and image composition program

Country Status (1)

Country Link
JP (1) JP2010097449A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5856343B1 (en) * 2015-06-30 2016-02-09 株式会社コロプラ User interface program and computer mounting method
JP2019054447A (en) * 2017-09-15 2019-04-04 キヤノン株式会社 Imaging control apparatus and control method therefor, program and storage medium
JP2021528714A (en) * 2018-04-13 2021-10-21 ライン プラス コーポレーションLINE Plus Corporation Avatar generator and computer program
KR20220043960A (en) * 2020-09-28 2022-04-06 김상철 Electronic terminal device which is able to create a composite image with the face image of a celebrity and the face image of a user and the operating method thereof

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5856343B1 (en) * 2015-06-30 2016-02-09 株式会社コロプラ User interface program and computer mounting method
WO2017002727A1 (en) * 2015-06-30 2017-01-05 株式会社コロプラ User interface program and computer implementation method
JP2019054447A (en) * 2017-09-15 2019-04-04 キヤノン株式会社 Imaging control apparatus and control method therefor, program and storage medium
JP7030458B2 (en) 2017-09-15 2022-03-07 キヤノン株式会社 Imaging control device, its control method, and program, and storage medium
JP2021528714A (en) * 2018-04-13 2021-10-21 ライン プラス コーポレーションLINE Plus Corporation Avatar generator and computer program
JP7031009B2 (en) 2018-04-13 2022-03-07 ライン プラス コーポレーション Avatar generator and computer program
KR20220043960A (en) * 2020-09-28 2022-04-06 김상철 Electronic terminal device which is able to create a composite image with the face image of a celebrity and the face image of a user and the operating method thereof
KR102384983B1 (en) 2020-09-28 2022-04-29 김상철 Electronic terminal device which is able to create a composite image with the face image of a celebrity and the face image of a user and the operating method thereof

Similar Documents

Publication Publication Date Title
US8599251B2 (en) Camera
US9251765B2 (en) Image processing device, image processing method, and program for generating composite image
KR20140093557A (en) Method and apparatus for photographing of a portable terminal
KR20050062573A (en) Portable telephone
EP2720226B1 (en) Photographing apparatus for synthesizing an image from a sequence of captures of the same scene.
JP2009124340A (en) Imaging apparatus, photographing support method, and photographing support program
JP2008288798A (en) Imaging apparatus
JP5282530B2 (en) Digital camera
JP4854786B2 (en) Imaging device, imaging method, and integrated circuit
JP2008252716A (en) Imaging device
JP2010097449A (en) Image composition device, image composition method and image composition program
JP2009081786A (en) Imaging apparatus, subject separating method, and program
JP2008124830A (en) Imaging apparatus
JP2009038478A (en) Program, image processing apparatus, imaging apparatus, and image processing method
JP2013117908A (en) Image processor, image processing method, and imaging apparatus
JP6332864B2 (en) Image processing apparatus, image processing method, and program
JP2007166383A (en) Digital camera, image composing method, and program
JP5195317B2 (en) Camera device, photographing method, and photographing control program
JP2006270488A (en) Imaging apparatus and image processing method
JP2009118084A (en) Digital camera
JP2009089083A (en) Age estimation photographing device and age estimation photographing method
JP6512208B2 (en) Image processing apparatus, image processing method and program
JP2010016693A (en) Electronic camera
JP2008089758A (en) Image display device, image display method, and program
JP2012186538A (en) Electronic camera, image display device, program, and recording medium