JP2010097449A - Image composition device, image composition method and image composition program - Google Patents
Image composition device, image composition method and image composition program Download PDFInfo
- Publication number
- JP2010097449A JP2010097449A JP2008268131A JP2008268131A JP2010097449A JP 2010097449 A JP2010097449 A JP 2010097449A JP 2008268131 A JP2008268131 A JP 2008268131A JP 2008268131 A JP2008268131 A JP 2008268131A JP 2010097449 A JP2010097449 A JP 2010097449A
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- composition
- composite
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、例えば異なる2つの顔画像から新たな顔画像を生成する画像合成装置、及び画像合成方法、画像合成プログラムに関するものである。 The present invention relates to an image composition apparatus, an image composition method, and an image composition program that generate a new face image from two different face images, for example.
従来、2つの顔写真を掛け合わせて別の顔写真を作成し、利用者に提供するサービスがある(非特許文献1参照)。かかるサービスによれば、利用者は、自身の顔と著名人等の顔との合成画像を見て楽しむことができる。これは、映画等において使用されるモーフィング(morphing)と呼ばれるコンピュータグラフィックスの手法(以下、モーフィング合成処理という)を利用したもので、一方の顔画像から他方の顔画像へ変形する間の顔画像を補完する技術を用いて2つの顔の中間的な特徴を有する顔を生成するものである。係る技術を用いれば、自分の顔と、好みの有名人や芸能人の顔とを合成した顔を簡単に得ることができる。
しかしながら、上記の技術を用いれば任意の人物の顔を他の人物の顔に似た顔に加工した画像を容易に取得することができるが、上記の技術においては、例えば両者の顔の特徴が著しく異なっている場合には、新たに生成される合成画像が、例えばユーザの意図に反し元の顔の特徴が余り残っていない顔画像となってしまう場合も多い。係ることから、例えば任意の人物の顔を他の人物の顔に似た顔に加工したい場合には甚だ不便である等の問題があった。 However, if the above technique is used, an image obtained by processing an arbitrary person's face into a face resembling the face of another person can be easily obtained. If they are significantly different, the newly generated composite image often becomes, for example, a face image that does not have much of the original facial features against the user's intention. For this reason, there is a problem that it is extremely inconvenient when it is desired to process the face of an arbitrary person into a face similar to the face of another person.
本発明は、かかる従来の課題に鑑みてなされたものであり、任意の人物の顔を他の人物の顔に似た顔に加工した場合に、違和感のない自然な顔の画像を容易に得ることができる画像合成装置、及び画像合成方法、それらの実現に使用される画像合成プログラムを提供することを目的とする。 The present invention has been made in view of such conventional problems, and when a face of an arbitrary person is processed into a face similar to the face of another person, an image of a natural face without a sense of incongruity is easily obtained. An object of the present invention is to provide an image composition apparatus, an image composition method, and an image composition program used for realizing them.
前記課題を解決するため請求項1記載の発明に係る画像合成装置にあっては、第1の画像と第2の画像との合成比率を使用者の要求に応じて設定する合成比率設定手段と、この合成比率設定手段により設定された合成比率で前記第1の画像と前記第2の画像とを合成して合成画像を生成する画像合成手段とを備えたことを特徴とする。 In order to solve the above-described problem, in the image composition device according to the first aspect of the present invention, composition ratio setting means for setting a composition ratio between the first image and the second image according to a user's request; The image processing apparatus further includes image combining means for generating a combined image by combining the first image and the second image at the combining ratio set by the combining ratio setting means.
また、請求項2記載の発明に係る画像合成装置にあっては、前記第1の画像は第1の顔画像であり、かつ前記第2の画像は第2の顔画像であって、前記画像合成手段は、合成画像として第3の顔画像を生成することを特徴とする。 In the image composition device according to the second aspect of the present invention, the first image is a first face image, and the second image is a second face image, and the image The synthesizing means generates a third face image as a synthesized image.
また、請求項3記載の発明に係る画像合成装置にあっては、前記第1の画像について前記第2の画像を合成する部位を使用者の要求に応じて設定する部位設定手段を備え、前記画像合成手段は、前記合成画像の生成に際し、前記第1の画像であって前記部位設定手段により設定された部位と、当該部位と対応する前記第2の画像の対応部位とを前記合成比率設定手段により設定された合成比率で合成することを特徴とする。
Further, in the image composition device according to the invention of
また、請求項4記載の発明に係る画像合成装置にあっては、前記部位設定手段は、使用者の要求に応じ、前記第1の画像について前記第2の画像を合成する部位を複数設定し、前記合成比率設定手段は、使用者の要求に応じ、前記第1の画像と前記第2の画像との合成比率を前記部位設定手段により設定された部位毎に設定する前記画像合成手段は、前記合成画像の生成に際し、前記第1の画像であって前記部位設定手段により設定された複数の部位と、当該複数の部位と対応する前記第2の画像の複数の対応部位とを、前記合成比率設定手段により部位毎に設定された合成比率で合成することを特徴とする。 In the image composition device according to the invention described in claim 4, the part setting means sets a plurality of parts for compositing the second image for the first image in response to a user's request. The composition ratio setting means sets the composition ratio of the first image and the second image for each part set by the part setting means in response to a user request. When the composite image is generated, the combination of the plurality of parts that are the first image and set by the part setting unit and the plurality of corresponding parts of the second image that correspond to the plurality of parts. The composition is characterized by combining at a composition ratio set for each part by the ratio setting means.
また、請求項5記載の発明に係る画像合成装置にあっては、複数の所定の画像を記憶した画像記憶手段と、この画像記憶手段に記憶されている複数の画像の中で、前記第1の画像に類似する類似画像を前記第2の画像として抽出する類似画像抽出手段とをさらに備え、前記画像合成手段は、前記合成比率設定手段により設定された合成比率で、前記第1の画像と前記類似画像抽出手段により前記第2の画像として抽出された類似画像とを合成して合成画像を生成することを特徴とする。 In the image composition device according to the fifth aspect of the present invention, among the image storage means storing a plurality of predetermined images and the plurality of images stored in the image storage means, the first A similar image extracting unit that extracts a similar image similar to the first image as the second image, and the image synthesizing unit includes the first image and the first image at a synthesis ratio set by the synthesis ratio setting unit. The synthesized image is generated by synthesizing the similar image extracted as the second image by the similar image extracting means.
また、請求項6記載の発明に係る画像合成装置にあっては、被写体を撮像する撮像手段と、この撮像手段により撮像された被写体の画像を記録する記憶手段とを備え、前記画像合成手段は、前記記憶手段に記録された画像に基づく前記第1の画像と前記第2の画像とを合成して合成画像を生成することを特徴とする。 According to a sixth aspect of the present invention, there is provided an image synthesizing apparatus comprising: an imaging unit that captures an image of a subject; and a storage unit that records an image of the subject imaged by the imaging unit. The first image and the second image based on the image recorded in the storage unit are synthesized to generate a synthesized image.
また、請求項7記載の発明に係る画像合成方法にあっては、第1の画像と第2の画像とを合成し合成画像を生成する画像合成方法であって、第1の画像と第2の画像との合成比率を使用者の要求に応じて設定する工程と、設定した合成比率で前記第1の画像と前記第2の画像とを合成して合成画像を生成する工程とを含むことを特徴とする。 The image composition method according to claim 7 is an image composition method for generating a composite image by combining the first image and the second image, the first image and the second image. A step of setting a composite ratio of the first image and the second image according to a user request, and a step of generating a composite image by combining the first image and the second image at the set composite ratio. It is characterized by.
また、請求項8記載の発明に係る画像合成プログラムにあっては、第1の画像と第2の画像とを合成し合成画像を生成する画像合成装置が有するコンピュータに、第1の画像と第2の画像との合成比率を使用者の要求に応じて設定する手順と、設定した合成比率で前記第1の画像と前記第2の画像とを合成して合成画像を生成する手順とを実行されることを特徴とする。 In the image composition program according to the invention described in claim 8, the first image and the first image are stored in a computer included in an image composition apparatus that synthesizes the first image and the second image to generate a composite image. A procedure for setting a composite ratio with the second image according to a user's request and a procedure for generating a composite image by combining the first image and the second image at the set composite ratio are executed. It is characterized by being.
本発明によれば、任意の人物の顔を他の人物の顔に似た顔に加工した場合に、違和感のない自然な顔の画像を容易に得ることが可能となる。 According to the present invention, when a face of an arbitrary person is processed into a face similar to the face of another person, it is possible to easily obtain a natural face image without a sense of incongruity.
以下、本発明の一実施の形態を図にしたがって説明する。図1は、本発明の画像合成装置としての機能を備えたデジタルカメラの電子回路構成の概略を示すブロック図である。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing an outline of an electronic circuit configuration of a digital camera having a function as an image composition apparatus of the present invention.
図1は、デジタルカメラは、撮影した被写体の画像データを取り込むためカメラモジュール1を有している。カメラモジュール1は、結像光学系ブロック2と、イメージセンサ3、ISP(lmage Signa1 Processor)4、光学系駆動制御部5から構成される。前記結像光学系ブロック2は、図示しない撮像レンズを構成するレンズ群を駆動するズームモータ及び合焦モータと、絞り、メカニカルシャッタを含み、それらがCPU6の命令に従い光学系駆動制御部5により駆動を制御される。
In FIG. 1, the digital camera has a
イメージセンサ3はCCDやCMOSセンサ等であり、前記撮像レンズにより結像された被写体の光学像を光電変換するとともにA/D変換し、デジタルデータとしてISP4に出力する。イメージセンサ3の出力は、その受光面におけるカラーフィルタ配列(本実施形態ではベイヤー配列)に従った出力である。ISP4は、入力したデジタルデータに対し、色の調整、データフォーマット変換(ベイヤーデータからY,Cb,Crデータへの変換)を行う。
The
カメラモジュール1(ISP4)からの出力信号(Y,Cr,Cbの各データ)は、DMA7によってDRAM等で構成されるワークメモリ8へ転送される。ワークメモリ8へ転送されたデータは、画像処理部9によってRGB形式の画像データに変換された後、表示制御部12を介してVRAM11に転送される。
Output signals (Y, Cr, and Cb data) from the camera module 1 (ISP 4) are transferred by the DMA 7 to the work memory 8 constituted by a DRAM or the like. The data transferred to the work memory 8 is converted into RGB format image data by the
また、画像処理部9は、CPU6の命令に従って、ワークメモリ8内のY,Cr,Cbの各データを圧縮しJPEG等の所定のファイルフォーマットの画像データに変換する。変換後の画像データはフラッシュメモリ10に保存される一方、必要に応じて読み出されて画像処理部9によって伸張され、ワークメモリ8内に展開される。
Further, the
表示制御部12は、VRAM11に格納された画像データに基づく表示データを生成し液晶モニタ等からなる表示部13に出力し、表示部13において画像を表示させる。例えば撮影待機状態において所定のフレームレートでカメラモジュール1により逐次取り込まれた画像をスルー画像として表示部13に表示させる。また、フラッシュメモリ10から読み出され伸張された後の画像データに基づく記録画像を表示部13に表示させる。さらに、前記画像データに、必要に応じて撮影条件情報や、デジタルカメラの種々の動作設定に用いられるメニュー画面等の種々のOSD(On Screen Display)データを合成したり、メニュー画面のみからなる表示データを生成し表示部13に出力したりする。
The
キー入力部14は、図示しない電源ボタン、モード設定キー、シャッターボタン、メニューキー、カーソルキー及びSETキーからなるコントロールキー等を含み各キーの操作状態を示す状態信号をCPU6へ出力する。上記モード設定キーは、デジタルカメラの基本の動作モードを撮影モード、又は記録画像の表示用の再生モードに設定するためのキーである。また、コントロールキーは、デジタルカメラにおいて一般的な上下左右の方向指示操作や確定操作が可能な構造を有するキーであり、デジタルカメラにおける種々の動作内容を設定するためのメニュー画面や設定画面での項目選択や、選択した項目の設定値の選択、設定内容の決定等に使用される。
The
USB制御部15は、USBケーブルを介してUSB接続端子部16に接続されたパーソナルコンピュータ等とデジタルカメラの間における画像データの通信を制御する。
The
図2は、前記フラッシュメモリ10のメモリ空間を示す概念図である。フラッシュメモリ10には、図示したようにプログラムデータ格納領域10a、設定データ格納領域10b、顔画像データ格納領域10c、撮影画像データ格納領域10dが確保されている。
FIG. 2 is a conceptual diagram showing a memory space of the
プログラムデータ格納領域10aには、CPU6の動作プログラム、及び動作プログラムに付随する各種のデータ(AE制御用のプログラムAEデータ等)が記憶されている。設定データ格納領域10bには、前述したOSDデータや、デジタルカメラの動作内容に関する各種の設定データであって、ユーザにより設定されたデータや自動的に設定されたデータといった適宜書き替えられるデータが記憶されている。撮影画像データ格納領域10dには、画像処理部9により圧縮され所定のファイルフォーマットの画像データに変換された撮影画像のデータが記憶されている。
The program
また、顔画像データ格納領域10cにはユーザによって予め登録された人物の顔画像データが記憶されており、本実施形態においては前記フラッシュメモリ10により本発明の画像記憶手段が実現されている。
The face image
そして、CPU6は、前記キー入力部14からの状態信号と、前記動作プログラムに従いデジタルカメラの各部の動作を制御する。例えば、シャッターボタンを押したときの撮影動作、画像データの記録、記録した画像の再生・表示、メニューキーやカーソルキー、SETキーの操作に応じた各種の機能設定画面の表示制御や、設定内容の変更等を行う。
The
また、CPU6は、ユーザによって再生モードの下位モードである顔登録モードが設定されたときには、前記フラッシュメモリ10(撮影画像データ格納領域10d)に記録されている記録画像から、ユーザに所望の画像であって人物を写した画像を選択させ、選択された画像から任意の人物の顔領域を二値化や輪郭抽出、パターンマッチング等の画像認識技術を用いて、例えば一定の配置関係にある目や鼻や口が存在する部分を認識する等の公知の顔検出技術を用いて検出するとともに、検出した顔領域を切り出し、その画像データを前記フラッシュメモリ10(顔画像データ格納領域10c)に記憶させる。さらに、顔登録モードでは、ユーザの要求に応じ、USBケーブルを介してしてパーソナルコンピュータ等から送られた顔部分の画像データも前記フラッシュメモリ10(顔画像データ格納領域10c)に記憶させる。
When the face registration mode, which is a lower mode of the playback mode, is set by the user, the
また、CPU6は、再生モードの下位モードとして設けられている画像合成モードがユーザによって設定されたときには、後述する処理を実行することにより本発明の合成比率設定手段、画像合成手段、部位設定手段、類似画像抽出手段として機能する。なお、上記画像合成モードは、任意の人物の顔を他の人物の顔に似た顔に加工することを主たる目的として予め設けられているものであり、より具体的には、異なる2つの顔画像を所定の方法で合成して合成画像(本発明における第3の顔画像)を生成するためのモードである。
In addition, when an image composition mode provided as a lower mode of the reproduction mode is set by the user, the
次に、以上の構成からなるデジタルカメラにおいて上記画像合成モードが設定されたときのCPU6の処理を図3のフローチャートに従い説明する。
Next, the processing of the
画像合成モードが設定されるとCPU6は、まず、顔画像を合成する際の単位(合成単位)をユーザに設定させる(ステップS1)。なお、本実施形態では合成単位として「顔単位」と「部位単位」の2種類が設定可能であり、係る処理では、所定の選択画面を表示するとともにユーザにいずれか一方の合成単位を選択させる。さらに、表示部13にフラッシュメモリ10に記録されている撮影画像のサムネイルを一覧表示するなどして、ユーザに所望する画像を選択させる(ステップS2)。但し、このときユーザには、任意の人物の顔を正面から写した画像を選択させる。係る画像が本発明における第1の画像であり、以下の説明ではここで選択された画像を元画像という。
When the image composition mode is set, the
次に、CPU6は、前記フラッシュメモリ10(顔画像データ格納領域10c)に記憶されている顔画像データの中から、元画像における人物の顔と最も類似する顔画像(以下、類似モデル画像という)のデータ、つまり本発明の第2の画像を3つ抽出する(ステップS3)。なお、係る処理では、まず元画像から先に述べた顔画像の登録時と同様に公知の顔検出技術を用いて顔領域(顔部分)を検出した後、例えば当該顔領域の顔の複数の特徴項目(顔の輪郭や、目と鼻と口の位置関係等)毎に、記憶されている全ての顔画像データについてマッチングを行い、各々の類似度を検査し、上記複数の特徴項目毎の類似度に基づく所定の順位付け基準に従い、記憶されている全ての顔画像データを類似度合が高い順に順位付けを行い、順位が1番目から3番目までの顔画像を類似モデル画像として抽出する。
Next, the
引き続き、CPU6は、当初ユーザに選択させた合成単位を判別した後(ステップS4)、その判別結果に応じて、後述する以下の処理を行う。
Subsequently, after determining the composition unit initially selected by the user (step S4), the
まず、ユーザにより合成単位として「顔単位」が選択されていた場合の処理について説明する。「顔単位」が選択されていた場合においてCPU6は、対象とする類似モデル画像を順に変えて、元画像に、各類似モデル画像を3段階の合成比率で個別に合成し、類似モデル画像、合成比率ごとに合成画像を生成し、生成した合成画像のデータをワークメモリ8に一時記憶する(ステップS5)。上記3段階の合成比率は、それぞれが元画像に対して類似モデル画像を合成する比率であるとともに、互いに4%ずつ異なり、動作開始当初は4%、8%、12%である。また、上記の元画像と類似モデル画像との合成は、既説したモーフィング合成処理に基づくものである。
First, a process when “face unit” is selected as a synthesis unit by the user will be described. When “face unit” is selected, the
ここで、元画像と類似モデル画像とを対象とした基本的な合成方法の概略を図5に示す。まず、元画像fに顔の輪郭や目、鼻、口等の要部Aの領域を特定するための特徴点(図で黒丸)を設定し、係る特徴点に基づいてメッシュMsを生成し、同様に合成対象となる類似モデル画像gに、各々が元画像fの各特徴点と対応するとともに顔の輪郭や目、鼻、口等の要部Bを特定する特徴点(図で黒丸)を設定し、係る特徴点に基づいてメッシュMtを生成する。 Here, FIG. 5 shows an outline of a basic synthesis method for an original image and a similar model image. First, a feature point (black circle in the figure) for specifying the region of the main part A such as the face outline, eyes, nose and mouth is set in the original image f, and a mesh Ms is generated based on the feature point. Similarly, feature points (black circles in the figure) that correspond to each feature point of the original image f and that specify the main part B such as the face outline, eyes, nose, mouth, etc., are displayed on the similar model image g to be synthesized. Set and generate a mesh Mt based on the feature points.
次に、メッシュMsとメッシュMtとの間に、線形補間(linearly interpolate)により中間メッシュMiを生成する。次に、メッシュMsと中間メッシュMiとを用いて、元画像f内の各メッシュの画像Lsの各点をワープ(変形変換)して第1のメッシュ画像(image1)を生成するとともに、メッシュMtと中間メッシュMiとを用いて、類似モデル画像g内の各メッシュの画像Lgの各点をワープ(変形変換)して第2の画像(image2)を生成する。しかる後、第1のメッシュ画像(image1)と第2の画像(image2)との画素値(輝度、色差)をクロス・ディゾルブ混合(cross-dissolve)するか、または、まばらな中間点の画素を線形補間(linearly interpolate)して、モーフィング合成画像(image3)を生成する。 Next, an intermediate mesh Mi is generated between the mesh Ms and the mesh Mt by linearly interpolate. Next, using the mesh Ms and the intermediate mesh Mi, each point of the image Ls of each mesh in the original image f is warped (transformed) to generate a first mesh image (image1), and the mesh Mt And the intermediate mesh Mi, each point of the image Lg of each mesh in the similar model image g is warped (transformed) to generate a second image (image2). Thereafter, the pixel values (luminance, color difference) of the first mesh image (image1) and the second image (image2) are cross-dissolved, or sparse intermediate pixels are A morphing composite image (image3) is generated by linearly interpolating.
そして、ステップS5では、上述した中間メッシュMiの生成に際し、その配置を前述した合成比率に応じて決定する。例えば合成比率が90%、すなわち「元画像:類似モデル画像」=1:9であれば、メッシュMsとメッシュMtとの間を1:9に内分する中間メッシュMiを生成することにより、所定の合成比率を有する合成画像(モーフィング合成画像)をそれぞれ生成する。 In step S5, when the above-described intermediate mesh Mi is generated, the arrangement is determined according to the above-described synthesis ratio. For example, if the composition ratio is 90%, that is, “original image: similar model image” = 1: 9, by generating an intermediate mesh Mi that internally divides the mesh Ms and the mesh Mt into 1: 9, a predetermined value is obtained. Each of the composite images (morphing composite images) having the composite ratio is generated.
しかる後、CPU6は、上述したように各々の類似モデル画像ごとに3段階の合成比率の合成画像を生成した後には、それらを元画像及び類似モデル画像と共に表示部13に表示させる(ステップS6)。
After that, after generating the composite image with the composite ratio of three stages for each similar model image as described above, the
図6は、その場合における表示部13の表示画面G1の一例を便宜的に示した図である。ステップS6においてCPU6は、表示画面G1の左上に元画像201を表示させ、かつ表示画面G1の右側に寄せて3種類の類似モデル画像202a〜202cを縦並びで表示させる。そして、元画像201と、画面右上の1番目の類似モデル画像202aとの間には、双方の画像に基づき生成した合成画像であって、合成時における1番目の類似モデル画像202aの合成比率が異なる3種類の合成画像203a〜203cを横並びで表示させ、同様にその下に、2番目の類似モデル画像202bに対応する3種類の合成画像203a〜203cを、さらにその下に、3番目の類似モデル画像202cに対応する3段階の合成画像203a〜203cを横並びで表示させる。
FIG. 6 is a diagram conveniently showing an example of the display screen G1 of the
また、各々の合成画像203a〜203cに重ねて、それらが対応する類似モデル画像202a〜202cの元画像201に対する合成比率(n%)を表示させる。さらに、表示画面G1の下辺には、各々の合成画像203a〜203cをスクロールさせるためのスクロールバー301を表示させる。
In addition, a composite ratio (n%) of the
その後、CPU6はユーザによるスクロール指示、記録候補の選択指示、合成画像の記録指示の有無を逐次検出する。ここで、上記スクロール指示は、例えばコントロールキーの操作によりスクロールバー301を選択して状態での、スクロールバー301によって右方向又は左方向の方向指示であり、記録候補の選択指示は、コントロールキーによる方向指示操作及び決定操作である。
Thereafter, the
そして、以上の表示画面G1の表示中においてユーザによるスクロール指示を検出したときには(ステップS7でYES)、前述した3段階の合成比率を増加、若しくは減少させるように1段階ずつ変更した後(ステップS8)、ステップS5へ戻り、元画像201に対する各々の類似モデル画像202a〜202cの合成比率を変更後の合成比率に変えて、新たな合成画像203a〜203cを生成し(ステップS6)、それを表示画面G1に表示させる。
When a scroll instruction from the user is detected while the display screen G1 is being displayed (YES in step S7), the above-described three-stage composition ratio is changed step by step so as to increase or decrease (step S8). ), Returning to step S5, changing the composite ratio of each of the
例えばスクロール指示があったとき、各々の類似モデル画像202a〜202cに対応する合成画像203a〜203cとして合成比率が8%、12%、16%の合成画像を表示させていた場合には、それらを合成比率が12%、16%、20%の3種類の合成画像、若しくは合成比率が4%、8%、12%の3種類の合成画像に変更する。
For example, when a scroll instruction is given, if composite images with composite ratios of 8%, 12%, and 16% are displayed as
また、スクロール指示が検出できないときには(ステップS7でNO)、引き続きユーザの指示に応じて記録候補の合成画像を設定する(ステップS9)。すなわち所定のキー操作に応じて選択状態を示すマーク(図の例では丸印)を、各々の類似モデル画像202a〜202cに対応する合成画像203a〜203cのいずれかに重ねて表示するとともに、それをコントロールキーによる方向指示操作に応じて移動させるとともに、決定操作に応じて上記マークを固定表示とする。
If the scroll instruction cannot be detected (NO in step S7), a composite image of recording candidates is continuously set according to the user instruction (step S9). That is, a mark indicating a selection state (a circle in the example in the figure) corresponding to a predetermined key operation is displayed so as to be superimposed on any of the
そして、上述したステップS5以降の処理を繰り返す間に、いずれかの時点でユーザによる記録指示を検出したら(ステップS10でYES)、その時点で選択されている(記録候補として設定してある)1又は複数の合成画像をフラッシュメモリ10の撮影画像データ格納領域10dに記録する(ステップS11)。
If a recording instruction by the user is detected at any point during the repetition of the processing from step S5 described above (YES in step S10), it is selected at that point (set as a recording candidate) 1 Alternatively, a plurality of composite images are recorded in the captured image
一方、前述したステップS4でユーザにより合成単位として「部位単位」が選択されていた場合、CPU6は図4に示した処理へ移行する。この場合には、まず、ユーザに予定のキー操作によって、予め決められている複数の部位の中から合成対象とする1又は複数の顔の部位を選択させ、かつ部位毎の合成比率(0%〜100%)を設定させる(ステップS12)。なお、本実施形態において選択可能な部位は、輪郭、目、眉毛、鼻、唇の5つの部位である(図7参照)。
On the other hand, if “partial unit” is selected as the synthesis unit by the user in step S4 described above, the
次に、選択された1又は複数の部位毎の合成比率を設定された合成比率として元画像と各々の類似モデル画像とを既説したモーフィング合成処理に基づいて合成する。具体的には、選択された部位に対応する中間メッシュMi(図5参照)の生成に際して、当該部位について設定された合成比率が90%、すなわち「元画像:類似モデル画像」=1:9であれば、元画像fのメッシュMsと類似モデル画像gのメッシュMtとの間を1:9に内分する中間メッシュMiを生成する一方、選択されていない部位に対応する中間メッシュMiを元画像fのメッシュMsとする処理を行い、類似モデル画像と同数の合成画像を生成する。また生成した合成画像のデータをワークメモリ8に一時記憶する(ステップS13)。 Next, the original image and each similar model image are combined based on the morphing combining process described above, with the combination ratio for each of the selected one or a plurality of parts being set. Specifically, when the intermediate mesh Mi (see FIG. 5) corresponding to the selected part is generated, the composition ratio set for the part is 90%, that is, “original image: similar model image” = 1: 9. If there is, an intermediate mesh Mi that internally divides the mesh Ms of the original image f and the mesh Mt of the similar model image g into 1: 9 is generated, while the intermediate mesh Mi corresponding to the unselected part is generated as the original image. A process of setting the mesh Ms of f is performed, and the same number of synthesized images as the similar model images are generated. The generated composite image data is temporarily stored in the work memory 8 (step S13).
しかる後、CPU6は、各々の類似モデル画像を対象として生成した合成画像を元画像及び類似モデル画像と共に表示部13に表示させる(ステップS14)。図7は、その場合における表示部13の表示画面G2の一例を便宜的に示した図であり、ステップS14においてCPU6は、表示画面G2の上部中央に、元画像201を表示させ、かつ表示画面G2の右側に寄せて3種類の類似モデル画像202a〜202cを縦並びで表示させる。そして、元画像201と、画面右上の1番目の類似モデル画像202aとの間には、双方の画像に基づき生成した合成画像であって、1又は複数の特定の部位が特定の比率で合成された合成画像203を表示させ、同様にその下に、2番目の類似モデル画像202bとの間で合成した合成画像203を、さらにその下に、3番目の類似モデル画像202cとの間で合成した合成画像203をそれぞれ表示させる。
Thereafter, the
また、図示したように表示画面G2の左側には、選択可能な顔の部位(輪郭、目、眉毛、鼻、唇)、及びその時点で選択されている部位と、部位毎に設定されている合成比率を表示する。本実施形態では、各部位の選択の有無は所謂ラジオボタン401で示し、かつ合成比率はスライダ402の位置で表示する。
Further, as shown in the drawing, on the left side of the display screen G2, selectable facial parts (contour, eyes, eyebrows, nose, lips), a part selected at that time, and a part are set. Displays the composition ratio. In this embodiment, whether or not each part is selected is indicated by a so-called
その後、CPU6はユーザによる合成部位の変更、又は合成比率の変更の有無、記録候補の選択指示、合成画像の記録指示を逐次検出する。ここで、合成部位の変更は、例えばコントロールキーの操作により、任意の部位を選択した状態でラジオボタン401のオンオフ状態の変更指示であり、合成比率の変更は、任意の部位を選択した状態での右方向又は左方向の方向指示であり、また、記録候補の選択指示は、コントロールキーによる方向指示操作及び決定操作である。
Thereafter, the
そして、前記表示画面G2の表示中において合成部位の変更、又は合成比率の変更を検出したときには(ステップS15でYES)、前述したステップS13へ戻り、変更後の設定内容に従い新たな合成画像を生成し、生成した合成画像のデータをワークメモリ8に一時記憶するとともに、それを表示画面G2内に表示させる。 When a change in the synthesis site or a change in the synthesis ratio is detected during display of the display screen G2 (YES in step S15), the process returns to step S13 described above, and a new synthesized image is generated according to the changed setting contents. Then, the generated composite image data is temporarily stored in the work memory 8 and displayed in the display screen G2.
また、合成部位の変更、又は合成比率の変更が検出できないときには(ステップS15でNO)、引き続きユーザの指示に応じて記録候補の合成画像を設定する(ステップS16)。すなわち所定のキー操作に応じて選択状態を示すマーク(図の例では丸印)を、各々の類似モデル画像202a〜202cの各々のに対応する合成画像203のいずれかに重ねて表示するとともに、それをコントロールキーによる方向指示操作に応じて移動させるとともに、決定操作に応じて上記マークを固定表示とする。
If a change in the synthesis site or a change in the synthesis ratio cannot be detected (NO in step S15), a composite image of a recording candidate is continuously set according to the user's instruction (step S16). In other words, a mark indicating a selected state according to a predetermined key operation (a circle in the example in the figure) is displayed so as to be superimposed on one of the
そして、上述したステップS13〜ステップS16の処理を繰り返す間に、いずれかの時点でユーザによる記録指示を検出したら(ステップS17でYES)、その時点で、図3のステップS11へ進み、選択されている(記録候補として設定してある)1又は複数の合成画像をフラッシュメモリ10の撮影画像データ格納領域10dに記録する。これにより画像合成モードによる1回の処理を終了する。
If a user's recording instruction is detected at any point in time while repeating the above-described steps S13 to S16 (YES in step S17), the process proceeds to step S11 in FIG. One or a plurality of composite images (set as recording candidates) are recorded in the captured image
以上のように本実施形態のデジタルカメラにおいては、画像合成モードを用いることにより、任意の人物の顔を、他の人物の顔に似た顔に加工した画像を簡単に得ることができる。しかも、その際には、ユーザが合成単位として「顔単位」を選択すれば、元画像と類似モデル画像との合成比率を所望の比率に調整することができるため、合成後(加工後)の顔画像にユーザが意図する程度で元の人物の顔の特徴を確保することができる。その結果、任意の人物の顔を他の人物の顔に似た顔に加工した場合には、違和感のない自然な顔の画像を得ることができる。 As described above, in the digital camera of the present embodiment, by using the image composition mode, an image obtained by processing an arbitrary person's face into a face similar to the face of another person can be easily obtained. In addition, in this case, if the user selects “face unit” as the synthesis unit, the synthesis ratio between the original image and the similar model image can be adjusted to a desired ratio. The facial features of the original person can be ensured in the face image to the extent intended by the user. As a result, when an arbitrary person's face is processed into a face similar to the face of another person, an image of a natural face without a sense of incongruity can be obtained.
さらに、本実施形態においては、ユーザが最初に元画像を指定すると、フラッシュメモリ10に記憶されている顔画像の中からその元画像における人物の顔と最も類似する顔の画像である類似モデル画像が自動的に抽出されるため、任意の人物の顔を他の人物の顔に似た顔に加工した場合には、違和感のない自然な顔の画像を容易に得ることができる。
Further, in the present embodiment, when the user first designates an original image, a similar model image that is an image of a face most similar to a human face in the original image among the face images stored in the
また、ユーザが合成単位として「部位単位」を選択すれば、顔の各部位を単位として、しかも必要な部位についてのみ元画像と類似モデル画像とを合成させることができる。したがって、合成後(加工後)の顔画像として、ユーザの細かな意図を反映した顔画像を生成することができる。さらに、その際には部位毎に合成比率を指定することができることから、ユーザにおけるより一層細かな意図を反映した顔画像を生成することができる。 Further, if the user selects “part unit” as the synthesis unit, the original image and the similar model image can be synthesized only for necessary parts with each part of the face as a unit. Therefore, it is possible to generate a face image reflecting the user's detailed intention as a face image after synthesis (after processing). Furthermore, since the composition ratio can be designated for each part at that time, it is possible to generate a face image reflecting a finer intention of the user.
なお、本実施形態においては、前述した画像合成モードが、任意の人物の顔を他の人物の顔に似た顔に加工することを主たる目的として予め設けられているものであって、画像合成モードにおいては、元画像を指定すると、元画像と合成する画像として類似モデル画像を自動的に抽出し、係る元画像と類似モデル画像とを合成して新たな画像を生成する構成について説明したが、画像合成モードを幅広い使用目的に対応するものにする場合には、元画像と合成する画像を、登録された人物の顔画像や、記録されている他の撮影画像(人物の顔部分の撮影画像)の中からユーザに手動で選択させるようにしても構わない。 In the present embodiment, the above-described image composition mode is provided in advance for the purpose of processing an arbitrary person's face into a face similar to the face of another person. In the mode, when an original image is designated, a similar model image is automatically extracted as an image to be combined with the original image, and the original image and the similar model image are combined to generate a new image. When the image compositing mode is to be used for a wide range of purposes, the image to be composited with the original image can be a registered person's face image or other recorded images (photographs of the person's face). You may make it make a user select manually from (image).
また、元画像と合成する画像は、必ずしも自機で撮影されたものである必要はなく、フラッシュメモリ10に記憶されている画像であれば任意の画像を使用することができる。例えば、好みの有名人や芸能人の顔の画像を予め記憶しておけば、自分の顔の全部、又は一部を有名人等に似せて美容整形した場合の顔を確認することもできる。また、同一人物について第1の年齢のときに撮影された第1の顔画像と、第2の年齢のときに撮影された第2の顔画像とを記憶しておけば、第1の年齢から第2の年齢までの間の任意の年齢のときの顔を擬似的に確認することができる。さらに、例えば顔画像として多数の顔画像を登録(記憶)しておき、合成単位として「部位単位」を選択して特定部位のみの合成を行った後、合成後の画像を元画像として再び特定部位のみの合成を行う作業を繰り返し行えば、違和感のない自然な顔のモンタージュ画像を得ることができる。
Further, the image to be combined with the original image does not necessarily have to be taken by the own device, and any image can be used as long as it is an image stored in the
さらに、本実施形態においては合成する2つの画像が人物の顔画像である場合について説明したが、これに限らず、本発明は人物の顔画像以外の画像を対象として合成する場合にも適用することができる。例えば一方、又は双方の画像をペット等の動物の顔であっても構わないし、また、それ以外の任意の画像同士を対象として新たな画像を合成する場合にも適用することができる。 Furthermore, although the case where the two images to be combined are human face images has been described in the present embodiment, the present invention is not limited to this, and the present invention is also applicable to a case of combining images other than human face images. be able to. For example, one or both images may be the face of an animal such as a pet, and the present invention can also be applied to a case where a new image is synthesized with any other image as a target.
また、ここでは本発明をデジタルカメラに適用した場合について説明したが、本発明は、異なる2つの画像を合成する機能を有する機器であれば、パーソナルコンピュータ等の任意の画像合成装置にも適用することができる。 Although the case where the present invention is applied to a digital camera has been described here, the present invention is also applicable to an arbitrary image composition device such as a personal computer as long as the device has a function of combining two different images. be able to.
1 カメラモジュール
3 イメージセンサ
6 CPU
7 DMA
8 ワークメモリ
9 画像処理部
10 フラッシュメモリ
14 キー入力部
1
7 DMA
8
Claims (7)
この合成比率設定手段により設定された合成比率で前記第1の画像と前記第2の画像とを合成して合成画像を生成する画像合成手段と
を備えたことを特徴とする画像合成装置。 A composition ratio setting means for setting a composition ratio of the first image and the second image according to a user's request;
An image composition apparatus comprising: an image composition unit configured to compose the first image and the second image at a composition ratio set by the composition ratio setting unit to generate a composite image.
前記画像合成手段は、合成画像として第3の顔画像を生成する
ことを特徴とする請求項1記載の画像合成装置。 The first image is a first face image and the second image is a second face image;
The image synthesizing apparatus according to claim 1, wherein the image synthesizing unit generates a third face image as a synthesized image.
前記画像合成手段は、前記合成画像の生成に際し、前記第1の画像であって前記部位設定手段により設定された部位と、当該部位と対応する前記第2の画像の対応部位とを前記合成比率設定手段により設定された合成比率で合成する
ことを特徴とする請求項1又は2記載の画像合成装置。 A site setting means for setting a site for synthesizing the second image for the first image according to a user's request;
The image synthesizing unit, when generating the synthesized image, combines the part of the first image that is set by the part setting unit and the corresponding part of the second image corresponding to the part. The image synthesizing apparatus according to claim 1, wherein the images are synthesized at a synthesis ratio set by a setting unit.
前記合成比率設定手段は、使用者の要求に応じ、前記第1の画像と前記第2の画像との合成比率を前記部位設定手段により設定された部位毎に設定する
前記画像合成手段は、前記合成画像の生成に際し、前記第1の画像であって前記部位設定手段により設定された複数の部位と、当該複数の部位と対応する前記第2の画像の複数の対応部位とを、前記合成比率設定手段により部位毎に設定された合成比率で合成する
ことを特徴とする請求項3記載の画像合成装置。 The part setting means sets a plurality of parts for combining the second image with respect to the first image according to a user's request,
The composition ratio setting means sets a composition ratio of the first image and the second image for each part set by the part setting means in response to a user's request. In generating a composite image, the plurality of parts that are the first image and set by the part setting unit and the corresponding parts of the second image that correspond to the plurality of parts are combined with each other. The image synthesizing apparatus according to claim 3, wherein the composition is performed at a composition ratio set for each part by the setting unit.
この画像記憶手段に記憶されている複数の画像の中で、前記第1の画像に類似する類似画像を前記第2の画像として抽出する類似画像抽出手段と
をさらに備え、
前記画像合成手段は、前記合成比率設定手段により設定された合成比率で、前記第1の画像と前記類似画像抽出手段により前記第2の画像として抽出された類似画像とを合成して合成画像を生成する
ことを特徴とする請求項1乃至4いずれか記載の画像合成装置。 Image storage means for storing a plurality of predetermined images;
A similar image extracting means for extracting, as the second image, a similar image similar to the first image among the plurality of images stored in the image storage means,
The image synthesizing unit synthesizes the first image and the similar image extracted as the second image by the similar image extracting unit by the synthesis ratio set by the synthesis ratio setting unit, and generates a synthesized image. The image synthesizing apparatus according to claim 1, wherein the image synthesizing apparatus is generated.
第1の画像と第2の画像との合成比率を使用者の要求に応じて設定する工程と、
設定した合成比率で前記第1の画像と前記第2の画像とを合成して合成画像を生成する工程と
を含むことを特徴とする画像合成方法。 An image composition method for compositing a first image and a second image to generate a composite image,
Setting a composite ratio of the first image and the second image according to a user's request;
And a step of synthesizing the first image and the second image at a set composition ratio to generate a composite image.
第1の画像と第2の画像との合成比率を使用者の要求に応じて設定する手順と、
設定した合成比率で前記第1の画像と前記第2の画像とを合成して合成画像を生成する手順と
を実行されることを特徴とする画像合成プログラム。 A computer included in an image composition device that composes a first image and a second image to generate a composite image,
A procedure for setting a composite ratio of the first image and the second image according to a user's request;
An image synthesizing program comprising: executing a procedure of synthesizing the first image and the second image at a set synthesis ratio to generate a synthesized image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008268131A JP2010097449A (en) | 2008-10-17 | 2008-10-17 | Image composition device, image composition method and image composition program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008268131A JP2010097449A (en) | 2008-10-17 | 2008-10-17 | Image composition device, image composition method and image composition program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010097449A true JP2010097449A (en) | 2010-04-30 |
Family
ID=42259077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008268131A Pending JP2010097449A (en) | 2008-10-17 | 2008-10-17 | Image composition device, image composition method and image composition program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010097449A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5856343B1 (en) * | 2015-06-30 | 2016-02-09 | 株式会社コロプラ | User interface program and computer mounting method |
JP2019054447A (en) * | 2017-09-15 | 2019-04-04 | キヤノン株式会社 | Imaging control apparatus and control method therefor, program and storage medium |
JP2021528714A (en) * | 2018-04-13 | 2021-10-21 | ライン プラス コーポレーションLINE Plus Corporation | Avatar generator and computer program |
KR20220043960A (en) * | 2020-09-28 | 2022-04-06 | 김상철 | Electronic terminal device which is able to create a composite image with the face image of a celebrity and the face image of a user and the operating method thereof |
-
2008
- 2008-10-17 JP JP2008268131A patent/JP2010097449A/en active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5856343B1 (en) * | 2015-06-30 | 2016-02-09 | 株式会社コロプラ | User interface program and computer mounting method |
WO2017002727A1 (en) * | 2015-06-30 | 2017-01-05 | 株式会社コロプラ | User interface program and computer implementation method |
JP2019054447A (en) * | 2017-09-15 | 2019-04-04 | キヤノン株式会社 | Imaging control apparatus and control method therefor, program and storage medium |
JP7030458B2 (en) | 2017-09-15 | 2022-03-07 | キヤノン株式会社 | Imaging control device, its control method, and program, and storage medium |
JP2021528714A (en) * | 2018-04-13 | 2021-10-21 | ライン プラス コーポレーションLINE Plus Corporation | Avatar generator and computer program |
JP7031009B2 (en) | 2018-04-13 | 2022-03-07 | ライン プラス コーポレーション | Avatar generator and computer program |
KR20220043960A (en) * | 2020-09-28 | 2022-04-06 | 김상철 | Electronic terminal device which is able to create a composite image with the face image of a celebrity and the face image of a user and the operating method thereof |
KR102384983B1 (en) | 2020-09-28 | 2022-04-29 | 김상철 | Electronic terminal device which is able to create a composite image with the face image of a celebrity and the face image of a user and the operating method thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8599251B2 (en) | Camera | |
US9251765B2 (en) | Image processing device, image processing method, and program for generating composite image | |
KR20140093557A (en) | Method and apparatus for photographing of a portable terminal | |
KR20050062573A (en) | Portable telephone | |
EP2720226B1 (en) | Photographing apparatus for synthesizing an image from a sequence of captures of the same scene. | |
JP2009124340A (en) | Imaging apparatus, photographing support method, and photographing support program | |
JP2008288798A (en) | Imaging apparatus | |
JP5282530B2 (en) | Digital camera | |
JP4854786B2 (en) | Imaging device, imaging method, and integrated circuit | |
JP2008252716A (en) | Imaging device | |
JP2010097449A (en) | Image composition device, image composition method and image composition program | |
JP2009081786A (en) | Imaging apparatus, subject separating method, and program | |
JP2008124830A (en) | Imaging apparatus | |
JP2009038478A (en) | Program, image processing apparatus, imaging apparatus, and image processing method | |
JP2013117908A (en) | Image processor, image processing method, and imaging apparatus | |
JP6332864B2 (en) | Image processing apparatus, image processing method, and program | |
JP2007166383A (en) | Digital camera, image composing method, and program | |
JP5195317B2 (en) | Camera device, photographing method, and photographing control program | |
JP2006270488A (en) | Imaging apparatus and image processing method | |
JP2009118084A (en) | Digital camera | |
JP2009089083A (en) | Age estimation photographing device and age estimation photographing method | |
JP6512208B2 (en) | Image processing apparatus, image processing method and program | |
JP2010016693A (en) | Electronic camera | |
JP2008089758A (en) | Image display device, image display method, and program | |
JP2012186538A (en) | Electronic camera, image display device, program, and recording medium |