JP2010114708A - Camera device, photographing method, photographing control program - Google Patents

Camera device, photographing method, photographing control program Download PDF

Info

Publication number
JP2010114708A
JP2010114708A JP2008286190A JP2008286190A JP2010114708A JP 2010114708 A JP2010114708 A JP 2010114708A JP 2008286190 A JP2008286190 A JP 2008286190A JP 2008286190 A JP2008286190 A JP 2008286190A JP 2010114708 A JP2010114708 A JP 2010114708A
Authority
JP
Japan
Prior art keywords
image
face
images
unit
composite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008286190A
Other languages
Japanese (ja)
Other versions
JP5195317B2 (en
JP2010114708A5 (en
Inventor
Kazunori Kita
一記 喜多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2008286190A priority Critical patent/JP5195317B2/en
Publication of JP2010114708A publication Critical patent/JP2010114708A/en
Publication of JP2010114708A5 publication Critical patent/JP2010114708A5/ja
Application granted granted Critical
Publication of JP5195317B2 publication Critical patent/JP5195317B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To surely acquire an image desired by a user in the case of photographing an image obtained by combining the face of a person being an object with an image of another person. <P>SOLUTION: This camera device has a predetermined photographing mode in which the face of the person being an object is combined with another face image with a predetermined method to generate a composite image, and the composite image is recorded as a photographed image. In the predetermined photographing mode, a model image 101a and a plurality of composite images 202a to 202c obtained by combining an image of the face portion of the object with the model image 101a with different composition ratios are displayed side by side, overlapping a through image 201. The user is allowed to select one or more his/her desired composite images from the plurality of composite images 202a to 202c, and the selected one or more composite images are recorded as a photographed image in accordance with a photographing instruction. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、被写体となっている人物の顔に他の人物の画像を合成する機能を備えたカメラ装置、及び撮影方法、撮影制御プログラムに関するものである。   The present invention relates to a camera device, a photographing method, and a photographing control program having a function of synthesizing another person's image on the face of a person who is a subject.

従来、撮影待機中に撮像した画像から、顔認識レコードに予め登録されている人物の顔を検出し、撮影時には、検出した人物に対応付けて予め登録されている画質パラメータによる画像処理を施した撮影画像を記録するカメラが提案されている(特許文献1参照)。係るカメラでは、被写体となっている人物の年齢や性別等に応じた品質の撮影画像を取得することができる。
特開2007−274264号公報
Conventionally, a face of a person registered in advance in a face recognition record is detected from an image captured during shooting standby, and image processing is performed using image quality parameters registered in advance in association with the detected person during shooting. A camera that records captured images has been proposed (see Patent Document 1). With such a camera, it is possible to acquire a photographed image having a quality according to the age and sex of the person who is the subject.
JP 2007-274264 A

しかしながら、上記従来の技術においては、ユーザは撮影後にしか画像処理が施された撮影画像を見ることができない。そのため、画像処理が施された撮影画像がユーザが結果的に意図したものとは異なる場合もあるが、撮影時に施す画像処理の内容が、例えば色合いや、シャープネス、彩度といった様な画質に関するものである場合には、上記のような事態は比較的起こりにくい。一方、撮影時に施す画像処理が、被写体となっている人物の顔に他の人物の顔を合成する処理である場合には、ユーザは、撮影時点において実際に記録される画像を正確に思い描くことができない。したがって、その場合には、最終的に得られた画像がユーザが意図したものとは異なる事態が起こりやすいという問題があった。   However, in the above-described conventional technique, the user can view a captured image that has been subjected to image processing only after shooting. As a result, the captured image that has undergone image processing may differ from what the user intended as a result, but the content of the image processing that is performed at the time of shooting is related to image quality such as hue, sharpness, and saturation. In such a case, the above situation is relatively difficult to occur. On the other hand, when the image processing to be performed at the time of shooting is a process of synthesizing another person's face with the face of the person who is the subject, the user must accurately imagine the image actually recorded at the time of shooting. I can't. Therefore, in that case, there is a problem that a situation where the finally obtained image is different from the one intended by the user is likely to occur.

本発明は、かかる従来の課題に鑑みてなされたものであり、被写体となっている人物の顔に他の人物の画像を合成した画像を撮影する場合に、ユーザが所望する画像をより確実に取得することができるカメラ装置、及び撮影方法、撮影制御プログラムを提供することを目的とする。   The present invention has been made in view of such conventional problems, and when shooting an image obtained by synthesizing an image of another person on the face of the person who is the subject, the image desired by the user can be more reliably obtained. It is an object of the present invention to provide a camera device, a photographing method, and a photographing control program that can be acquired.

前記課題を解決するため請求項1記載の発明に係るカメラ装置にあっては、被写体を撮像する撮像手段と、この撮像手段により撮像された被写体像をスルー画像として表示する表示手段とを備えたカメラ装置において、前記撮像手段により撮像された被写体像から人物の顔領域を検出する顔検出手段と、合成用の顔画像が記憶された画像記憶手段と、前記顔検出手段により検出された人物の顔領域に、前記画像記憶手段に記憶されている合成用の顔画像を複数の合成比率で合成して複数の合成画像を生成する画像合成手段と、この画像合成手段により生成された複数の合成画像を、前記表示手段にスルー画像と共に表示させる表示制御手段と、この表示制御手段によって前記表示手段に表示された複数の合成画像のうちから所望する合成画像を使用者に選択させる選択制御手段と、使用者の撮影要求に応答し、前記選択制御手段が使用者に選択させた合成画像を前記記録媒体に記録させる記録制御手段とを備えたことを特徴とする。   In order to solve the above-described problem, the camera device according to the first aspect of the present invention includes an imaging unit that captures an image of a subject and a display unit that displays a subject image captured by the imaging unit as a through image. In the camera device, a face detection means for detecting a face area of a person from the subject image captured by the imaging means, an image storage means for storing a face image for synthesis, and a person detected by the face detection means An image synthesizing unit that generates a plurality of synthesized images by synthesizing the face image for synthesis stored in the image storage unit in a face area at a plurality of synthesis ratios, and a plurality of synthesized images generated by the image synthesizing unit. Display control means for displaying an image together with a through image on the display means, and a desired composite image among a plurality of composite images displayed on the display means by the display control means A selection control unit that allows a user to select; and a recording control unit that records a composite image selected by the user by the selection control unit on the recording medium in response to a user's photographing request. To do.

また、請求項2記載の発明に係るカメラ装置にあっては、前記画像合成手段が前記複数の合成画像を生成する際の複数の合成比率を使用者の要求に応じて変化させる合成比率制御手段を備えたことを特徴とする。   In the camera device according to the second aspect of the present invention, a composition ratio control means for changing a plurality of composition ratios when the image composition means generates the plurality of composition images according to a user's request. It is provided with.

また、請求項3記載の発明に係るカメラ装置にあっては、前記画像記憶手段には合成用の顔画像が複数記憶される一方、前記画像記憶手段に記憶されている複数の顔画像の中から、前記顔検出手段により検出された人物の顔領域の画像と類似する顔画像を抽出する類似画像抽出手段を備え、前記画像合成手段は、前記顔検出手段により検出された人物の顔領域に、前記類似画像抽出手段により抽出された顔画像を複数の合成比率で合成して複数の合成画像を生成することを特徴とする。   In the camera device according to the third aspect of the present invention, a plurality of face images for synthesis are stored in the image storage unit, while a plurality of face images stored in the image storage unit are stored. A similar image extracting means for extracting a face image similar to the image of the person's face area detected by the face detecting means, and the image synthesizing means is added to the person's face area detected by the face detecting means. The face image extracted by the similar image extracting means is synthesized at a plurality of synthesis ratios to generate a plurality of synthesized images.

また、請求項4記載の発明に係るカメラ装置にあっては、前記画像記憶手段には合成用の顔画像が複数記憶される一方、前記画像記憶手段に記憶されている複数の顔画像のうちから所望する顔画像を使用者に選択させる顔画像選択制御手段を備え、前記画像合成手段は、前記顔検出手段により検出された人物の顔領域に、前記顔画像選択制御手段が使用者に選択させた顔画像を複数の合成比率で合成して複数の合成画像を生成することを特徴とする。   In the camera device according to the fourth aspect of the invention, a plurality of face images for synthesis are stored in the image storage unit, and a plurality of face images stored in the image storage unit are included. A face image selection control unit that allows the user to select a desired face image from the image, and the image synthesis unit selects the user's face area detected by the face detection unit by the face image selection control unit. A plurality of synthesized images are generated by synthesizing the face images made at a plurality of synthesis ratios.

また、請求項5記載の発明に係るカメラ装置にあっては、前記記録制御手段は、前記画像合成手段により生成された複数の合成画像を単一の画像ファイルに格納して前記記録媒体に記録させることを特徴とする。   According to a fifth aspect of the present invention, the recording control means stores a plurality of synthesized images generated by the image synthesizing means in a single image file and records them on the recording medium. It is characterized by making it.

また、請求項6記載の発明に係る撮影方法にあっては、被写体を撮像する撮像手段と、この撮像手段により撮像された被写体像をスルー画像として表示する表示手段とを備えたカメラ装置において、前記撮像手段により撮像された被写体像から人物の顔領域を検出する工程と、検出した人物の顔領域に、合成用の顔画像を複数の合成比率で合成して複数の合成画像を生成する工程と、生成した複数の合成画像を前記スルー画像とともに表示させる工程と、使用者の撮影要求に応答し、生成した合成画像を記録する工程とを含むことを特徴とする。   According to a sixth aspect of the present invention, there is provided a camera apparatus comprising: an imaging unit that images a subject; and a display unit that displays a subject image captured by the imaging unit as a through image. A step of detecting a person's face area from the subject image captured by the imaging means, and a step of generating a plurality of synthesized images by synthesizing the detected face image of the person at a plurality of synthesis ratios. And a step of displaying a plurality of generated composite images together with the through image, and a step of recording the generated composite images in response to a user's photographing request.

また、請求項7記載の発明に係る撮影制御プログラムにあっては、被写体を撮像する撮像手段と、この撮像手段により撮像された被写体像をスルー画像として表示する表示手段とを備えたカメラ装置が有するコンピュータに、前記撮像手段により撮像された被写体像から人物の顔領域を検出する処理と、検出した人物の顔領域に、合成用の顔画像を複数の合成比率で合成して複数の合成画像を生成する処理と、生成した複数の合成画像を前記スルー画像とともに表示させる処理と、使用者の撮影要求に応答し、生成した合成画像を記録する処理とを実行させることを特徴とする。   According to a seventh aspect of the present invention, there is provided a camera apparatus comprising: an imaging unit that captures an image of a subject; and a display unit that displays a subject image captured by the imaging unit as a through image. A computer having a process of detecting a face area of a person from the subject image captured by the imaging unit, and a plurality of composite images by combining the detected face image of the person with a composite face image at a plurality of composite ratios. , A process for displaying a plurality of generated composite images together with the through image, and a process for recording the generated composite image in response to a user's photographing request.

本発明によれば、被写体となっている人物の顔に他の人物の画像を合成した画像を撮影する場合に、ユーザが所望する画像をより確実に取得することがで可能となる。   According to the present invention, when an image obtained by synthesizing another person's image on the face of the person who is the subject is photographed, an image desired by the user can be obtained more reliably.

以下、本発明の一実施の形態を図にしたがって説明する。図1は、本発明のカメラ装置であるデジタルカメラの電子回路構成の概略を示すブロック図である。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing an outline of an electronic circuit configuration of a digital camera which is a camera apparatus of the present invention.

このデジタルカメラは、撮影した被写体の画像データを取り込むためカメラモジュール1を有している。カメラモジュール1は、結像光学系ブロック2と、イメージセンサ3、ISP(lmage Signa1 Processor)4、光学系駆動制御部5から構成される。前記結像光学系ブロック2は、図示しない撮像レンズを構成するレンズ群を駆動するズームモータ及び合焦モータと、絞り、メカニカルシャッタを含み、それらがCPU6の命令に従い光学系駆動制御部5により駆動を制御される。   This digital camera has a camera module 1 for capturing image data of a photographed subject. The camera module 1 includes an imaging optical system block 2, an image sensor 3, an ISP (lmage Signa1 Processor) 4, and an optical system drive control unit 5. The imaging optical system block 2 includes a zoom motor and a focusing motor for driving a lens group constituting an imaging lens (not shown), an aperture, and a mechanical shutter, which are driven by an optical system drive control unit 5 in accordance with a command from the CPU 6. Controlled.

イメージセンサ3はCCDやCMOSセンサ等からなる本発明の撮像手段であり、前記撮像レンズにより結像された被写体の光学像を光電変換するとともにA/D変換し、デジタルデータとしてISP4に出力する。イメージセンサ3の出力は、その受光面におけるカラーフィルタ配列(本実施形態ではベイヤー配列)に従った出力である。ISP4は、入力したデジタルデータに対し、色の調整、データフォーマット変換(ベイヤーデータからY,Cb,Crデータへの変換)を行う。   The image sensor 3 is an image pickup means of the present invention comprising a CCD, a CMOS sensor or the like, and photoelectrically converts and A / D converts an optical image of a subject imaged by the image pickup lens and outputs it to the ISP 4 as digital data. The output of the image sensor 3 is an output according to the color filter array (Bayer array in this embodiment) on the light receiving surface. The ISP 4 performs color adjustment and data format conversion (conversion from Bayer data to Y, Cb, Cr data) on the input digital data.

カメラモジュール1(ISP4)からの出力信号(Y,Cr,Cbの各データ)は、DMA7によってDRAM等で構成されるワークメモリ8へ転送される。ワークメモリ8へ転送されたデータは、画像処理部9によってRGB形式の画像データに変換された後、表示制御部12を介してVRAM11に転送される。   Output signals (Y, Cr, and Cb data) from the camera module 1 (ISP 4) are transferred by the DMA 7 to the work memory 8 constituted by a DRAM or the like. The data transferred to the work memory 8 is converted into RGB format image data by the image processing unit 9 and then transferred to the VRAM 11 via the display control unit 12.

表示制御部12は、VRAM11に格納された画像データに基づく表示データ(ビデオ信号)を生成するデジタルビデオエンコーダを含み、上記表示データに基づく画像を表示する液晶モニタからなる表示部13に出力し、VRAM11に格納された画像データに基づく画像を表示部13において表示させる。例えば撮影待機状態において所定のフレームレートでカメラモジュール1により逐次取り込まれた画像をスルー画像として表示させる。さらに、表示制御部12は、前記画像データに撮影条件情報や、デジタルカメラの種々の動作設定に用いられるメニュー画面等の種々のOSD(On Screen Display)データを合成したり、メニュー画面のみからなる表示データを生成し、それらを表示部13に表示させる。なお、表示部13が本発明の表示手段である。   The display control unit 12 includes a digital video encoder that generates display data (video signal) based on image data stored in the VRAM 11, and outputs the display data to a display unit 13 including a liquid crystal monitor that displays an image based on the display data. An image based on the image data stored in the VRAM 11 is displayed on the display unit 13. For example, an image sequentially captured by the camera module 1 at a predetermined frame rate in the shooting standby state is displayed as a through image. Further, the display control unit 12 combines the image data with various OSD (On Screen Display) data such as shooting condition information and a menu screen used for various operation settings of the digital camera, or includes only the menu screen. Display data is generated and displayed on the display unit 13. The display unit 13 is a display unit of the present invention.

また、撮影時において前記ワークメモリ8に格納されたY,Cr,Cbの各データは、画像処理部9によってJPEG方式の画像データに圧縮符号化され、CPU6によって画像ファイルとしてフラッシュメモリ10に保存される。フラッシュメモリ10に記録された画像データは、CPU6により必要に応じて読み出された後、画像処理部9によって伸張され、ワークメモリ8内に展開された後、表示部13において再生表示される。   The Y, Cr, and Cb data stored in the work memory 8 at the time of shooting is compressed and encoded into JPEG image data by the image processing unit 9 and stored in the flash memory 10 as an image file by the CPU 6. The The image data recorded in the flash memory 10 is read by the CPU 6 as necessary, decompressed by the image processing unit 9, developed in the work memory 8, and reproduced and displayed on the display unit 13.

キー入力部14は、図示しない電源ボタン、モード設定キー、シャッタキー、メニューキー、カーソルキー及びSETキーからなるコントロールキー等を含み各キーの操作状態を示す状態信号をCPU6へ出力する。上記モード設定キーは、デジタルカメラの基本の動作モードを記録モード、又は記録画像の表示用の再生モードに設定するためのキーである。上記コントロールキーは、デジタルカメラにおいて一般的な上下左右の方向指示操作や確定操作が可能な構造を有するキーであり、デジタルカメラにおける種々の動作内容を設定するためのメニュー画面や設定画面での項目選択や、選択した項目の設定値の選択、設定内容の決定等に使用される。また、シャッタキーは、半押し操作(ハーフシャッター)と全押し操作との2段階操作が可能な所謂ハーフシャッター機能を備えたものであり、記録モードでは半押し操作がAE動作の開始トリガとなる。   The key input unit 14 includes a power button, a mode setting key, a shutter key, a menu key, a control key including a cursor key, and a SET key (not shown), and outputs a status signal indicating the operation state of each key to the CPU 6. The mode setting key is a key for setting a basic operation mode of the digital camera to a recording mode or a reproduction mode for displaying a recorded image. The above control key is a key that has a structure that allows general up / down / left / right direction instruction operation and confirmation operation in a digital camera, and is an item on a menu screen or setting screen for setting various operation contents in the digital camera. It is used for selection, selection of setting values of selected items, determination of setting contents, and the like. The shutter key has a so-called half shutter function capable of two-step operation of half-press operation (half-shutter) and full-press operation. In the recording mode, the half-press operation becomes a start trigger for the AE operation. .

USB制御部15は、USBケーブルを介してUSB接続端子部16に接続されたパーソナルコンピュータ等とデジタルカメラの間における画像データの通信を制御する。   The USB control unit 15 controls communication of image data between a personal computer or the like connected to the USB connection terminal unit 16 via a USB cable and the digital camera.

図2は、前記フラッシュメモリ10のメモリ空間を示す概念図である。フラッシュメモリ10には、図示したようにプログラムデータ格納領域10a、設定データ格納領域10b、モデル画像データ格納領域10c、撮影画像データ格納領域10dが確保されている。   FIG. 2 is a conceptual diagram showing a memory space of the flash memory 10. As shown, the flash memory 10 has a program data storage area 10a, a setting data storage area 10b, a model image data storage area 10c, and a captured image data storage area 10d.

プログラムデータ格納領域10aには、CPU6の動作プログラム、及び前述したOSDデータや、動作プログラムに付随する各種のデータ(AE制御用のプログラムAEデータ等)が記憶されている。設定データ格納領域10bには、デジタルカメラの動作内容に関する各種の設定データであって、ユーザにより設定されたデータや自動的に設定されたデータといった適宜書き替えられるデータが記憶されている。撮影画像データ格納領域10dには、画像処理部9により圧縮された画像データが格納された画像ファイルが記憶されている。   The program data storage area 10a stores an operation program for the CPU 6, the above-described OSD data, and various data accompanying the operation program (AE control program AE data and the like). The setting data storage area 10b stores various setting data related to the operation contents of the digital camera, and data that can be rewritten as appropriate, such as data set by the user and automatically set data. The captured image data storage area 10d stores an image file in which the image data compressed by the image processing unit 9 is stored.

また、モデル画像データ格納領域10cにはユーザによって予め登録された人物の顔画像データが記憶されており、本実施形態においては前記フラッシュメモリ10が本発明の画像記憶手段として機能する。   The model image data storage area 10c stores face image data of a person registered in advance by the user. In the present embodiment, the flash memory 10 functions as the image storage means of the present invention.

そして、CPU6は、前記キー入力部14からの状態信号と、前記動作プログラムに従いデジタルカメラの各部の動作を制御する。例えば、シャッタキーを押したときの撮影動作、画像データの記録、記録した画像の再生・表示、メニューキーやカーソルキー、SETキーの操作に応じた各種の機能設定画面の表示制御や、設定内容の変更等を行う。   The CPU 6 controls the operation of each part of the digital camera in accordance with the status signal from the key input unit 14 and the operation program. For example, shooting operations when the shutter key is pressed, recording of image data, playback / display of recorded images, display control of various function setting screens according to operations of menu keys, cursor keys, and SET keys, and setting contents Make changes.

また、CPU6は、ユーザによって再生モードの下位モードである顔登録モードが設定されたときには、前記フラッシュメモリ10(撮影画像データ格納領域10d)に記録されている記録画像(画像データ)から、ユーザに所望の画像であって人物を写した画像を選択させ、選択された画像から任意の人物の顔領域を二値化や輪郭抽出、パターンマッチング等の画像認識技術を用いて、例えば一定の配置関係にある目や鼻や口が存在する部分を認識する等の公知の顔検出技術を用いて検出するとともに、検出した顔領域を切り出し、その画像データ(以後、顔画像データ)を前記モデル画像データ格納領域10cに記憶させる。さらに、顔登録モードでは、ユーザの要求に応じ、USBケーブルを介してしてパーソナルコンピュータ等から送られた顔画像データも前記モデル画像データ格納領域10cに記憶させる。   Further, when the face registration mode, which is a lower mode of the reproduction mode, is set by the user, the CPU 6 notifies the user from the recorded image (image data) recorded in the flash memory 10 (captured image data storage area 10d). Select a desired image that is a copy of a person, and use an image recognition technique such as binarization, contour extraction, or pattern matching to select a person's face area from the selected image. In addition to detection using a known face detection technique such as recognizing a portion where an eye, nose, or mouth is present, the detected face area is cut out and the image data (hereinafter referred to as face image data) is extracted from the model image data. Store in the storage area 10c. Further, in the face registration mode, face image data sent from a personal computer or the like via a USB cable is also stored in the model image data storage area 10c in response to a user request.

また、CPU6は、記録モードの下位モードとして設けられている合成モードがユーザによって設定されたときには、後述する処理を実行するとともに本発明の顔検出手段、画像合成手段、表示制御手段、記録制御手段、選択制御手段、顔画像選択制御手段、合成比率制御手段、類似画像抽出手段として機能する。ここで、上記合成モードは、被写体となっている人物の顔を加工し、より具体的には被写体の顔に他の顔画像を所定の方法で合成して合成画像を生成し、それを撮影画像として記録する撮影モードである。   In addition, when the synthesis mode provided as a lower mode of the recording mode is set by the user, the CPU 6 executes processing to be described later and performs face detection means, image synthesis means, display control means, and recording control means of the present invention. , Function as selection control means, face image selection control means, composition ratio control means, and similar image extraction means. Here, in the above-described synthesis mode, the face of the person who is the subject is processed, more specifically, another face image is synthesized on the subject's face by a predetermined method to generate a synthesized image, and the photographed image is taken. This is a shooting mode for recording as an image.

次に、以上の構成からなるデジタルカメラにおいて上記合成モードが設定されたときのCPU6の処理を図3のフローチャートに従い説明する。   Next, the processing of the CPU 6 when the above-described synthesis mode is set in the digital camera having the above configuration will be described with reference to the flowchart of FIG.

合成モードが設定されるとCPU6は、記録モードにおける他の撮影モードの場合と同様、直ちにフラッシュメモリ10のプログラムデータ格納領域10aに記憶されている撮像処理に係るプログラムを読み出し係るプログラムに従った動作を開始するとともに、前記液晶モニタ(表示部13)におけるライブビュー表示、つまりイメージセンサ3により周期的に撮像した画像のスルー表示を開始する(ステップS1)。なお、これと同時にAE処理やAWB処理等も開始する。   When the compositing mode is set, the CPU 6 immediately reads out the program related to the imaging process stored in the program data storage area 10a of the flash memory 10 as in the case of the other shooting modes in the recording mode, and operates according to the program. And a live view display on the liquid crystal monitor (display unit 13), that is, a through display of an image periodically picked up by the image sensor 3 is started (step S1). At the same time, AE processing, AWB processing, and the like are started.

さらにライブビュー表示の開始直後には、モデル画像の選択方法をユーザに設定させる(ステップS2)。本実施形態では選択方法として「自動選択」と「手動選択」の2種類が設定可能であり、具体的には前記液晶モニタに選択方法の設定画面をスルー画像にOSD表示することにより、所定のキー操作によってユーザに選択方法を選択的に設定させる。   Further, immediately after the start of the live view display, the user is made to set the model image selection method (step S2). In this embodiment, two types of selection methods, “automatic selection” and “manual selection”, can be set. Specifically, a selection method setting screen is displayed on the through image on the liquid crystal monitor, and a predetermined image is displayed. The user selectively sets the selection method by key operation.

引き続き、ユーザにより設定されたモデル画像の選択方法を判別し、選択方法として手動選択が設定された場合には(ステップS3で「手動選択」)、前記液晶モニタにモデル画像を表示させる(ステップS4)。係る処理では、フラッシュメモリ10のモデル画像データ格納領域10cに記録されている顔画像データを読み出すとともに、図4に例示したように、読み出した顔画像データに基づく複数のモデル画像101a,101b,101c,・・・を選択候補として一覧表示したモデル画像の選択画面G1を前記液晶モニタに表示させて、所望するモデル画像(顔)をユーザに選択させる。   Subsequently, the selection method of the model image set by the user is determined. When manual selection is set as the selection method (“manual selection” in step S3), the model image is displayed on the liquid crystal monitor (step S4). ). In this processing, the face image data recorded in the model image data storage area 10c of the flash memory 10 is read out, and as illustrated in FIG. 4, a plurality of model images 101a, 101b, 101c based on the read face image data are used. ,... As model selection candidates are displayed on the liquid crystal monitor, and the user selects a desired model image (face).

その後、いずれかのモデル画像の選択指示を検知するまで前記選択画像G1の表示を継続し(ステップS5でYES)、やがて選択指示を検知したら(ステップS5でYES)、それに応じ、選択されたモデル画像を合成に使用するモデル画像として設定する(ステップS6)。   Thereafter, the display of the selection image G1 is continued until a selection instruction for one of the model images is detected (YES in step S5). If a selection instruction is detected in a while (YES in step S5), the model selected accordingly The image is set as a model image used for composition (step S6).

引き続き、上記のようにモデル画像を設定をした後、また、ユーザにより選択されたモデル画像の選択方法が自動選択であった場合(ステップS3で「自動選択」)には直ちに、ユーザによるモデル画像の再設定指示の有無、及びシャッタキーの半押し操作の有無を逐次検知し(ステップS7,S8)、モデル画像の再設定指示を検知したときには(ステップS7でYES)、前述したステップS2以降の処理を繰り返す。   Subsequently, after setting the model image as described above, if the selection method of the model image selected by the user is automatic selection (“automatic selection” in step S3), the model image is immediately displayed by the user. Is detected sequentially (steps S7 and S8), and when a model image reset instruction is detected (YES in step S7), the steps after step S2 described above are performed. Repeat the process.

一方、シャッタキーの半押し操作を検知したときには(ステップS8でYES)、その時点のスルー画像、つまりVRAM11に格納された画像データから、被写体となっている任意の人物の顔部分の領域である顔領域を検出する(ステップS9)。係る処理では、既説した顔登録モードの場合と同様に、任意の人物の顔領域を公知の顔検出技術を用いて検出し、検出した顔領域の部分画像をワークメモリ8に記憶する。   On the other hand, when a half-press operation of the shutter key is detected (YES in step S8), it is a region of the face portion of an arbitrary person who is the subject from the through image at that time, that is, the image data stored in the VRAM 11. A face area is detected (step S9). In this process, as in the face registration mode described above, a face area of an arbitrary person is detected using a known face detection technique, and a partial image of the detected face area is stored in the work memory 8.

次に、その時点で設定されているモデル画像の選択方法が手動選択であれば(ステップS10で「手動選択」)、直ちに上記の部分画像に、前述したステップS6で設定したモデル画像であってユーザによって選択されているモデル画像を後述する異なる合成比率でそれぞれ合成した複数の合成画像(顔画像)を生成する(ステップS12)。   Next, if the model image selection method set at that time is manual selection (“manual selection” in step S10), the model image set in step S6 described above is immediately added to the partial image. A plurality of synthesized images (face images) obtained by synthesizing the model images selected by the user at different synthesis ratios described later are generated (step S12).

また、その時点で設定されているモデル画像の選択方法が自動選択であれば(ステップS10で「自動選択」)、フラッシュメモリ10のモデル画像データ格納領域10cに顔画像データとして記録されているモデル画像の中で、スルー画像から検出した人物の顔に最も類似するモデル画像を抽出する(ステップS11)。係る処理においては、ステップS9で検出した顔領域の部分画像と各々のモデル画像との間で複数の特徴点(例えば顔の輪郭や、目の距離、目と鼻と口のと距離の比率)の類似度を演算するとともに、総合的に類似度が最も高いモデル画像を抽出する。しかる後、上記の部分画像に、抽出したモデル画像を後述する異なる合成比率でそれぞれ合成した複数の合成画像(顔画像)を生成する(ステップS12)。   If the model image selection method set at that time is automatic selection (“automatic selection” in step S10), the model recorded as face image data in the model image data storage area 10c of the flash memory 10 is used. A model image most similar to the human face detected from the through image is extracted from the images (step S11). In such processing, a plurality of feature points (for example, face contour, eye distance, eye-nose-mouth distance ratio) between the partial image of the face area detected in step S9 and each model image. And the model image having the highest overall similarity is extracted. Thereafter, a plurality of synthesized images (face images) obtained by synthesizing the extracted model images at different synthesis ratios described later are generated on the partial images (step S12).

本実施形態において上述した合成比率は、互いに10%ずつ異なる3種類でありステップS12の処理では3種類の合成画像を生成する。なお、動作開始当初の合成比率は10%、20%、30%の3種類である。また、被写体の顔領域の部分画像とモデル画像との合成は、公知のモーフィング技術に基づくものである。   The composition ratios described above in the present embodiment are three types different from each other by 10%, and three types of composite images are generated in the process of step S12. Note that there are three types of synthesis ratios at the beginning of operation: 10%, 20%, and 30%. The synthesis of the partial image of the face area of the subject and the model image is based on a known morphing technique.

図5は、被写体の顔領域の部分画像とモデル画像(顔画像)との合成方法の概略を示した図である。なお、以下の説明では上記部分画像を便宜的に元画像という。まず、元画像とモデル画像との合成に際しては、元画像fに顔の輪郭や目、鼻、口等の要部Aの領域を特定するための特徴点(図で黒丸)を設定し、係る特徴点に基づいてメッシュMsを生成し、同様に合成対象となるモデル画像gに、各々が元画像fの各特徴点と対応するとともに顔の輪郭や目、鼻、口等の要部Bを特定する特徴点(図で黒丸)を設定し、係る特徴点に基づいてメッシュMtを生成する。   FIG. 5 is a diagram showing an outline of a method for synthesizing a partial image of a face area of a subject and a model image (face image). In the following description, the partial image is referred to as an original image for convenience. First, when synthesizing the original image and the model image, feature points (black circles in the figure) are set in the original image f for specifying the region of the main part A such as the outline of the face, eyes, nose and mouth. A mesh Ms is generated on the basis of the feature points. Similarly, the model image g to be synthesized is associated with each feature point of the original image f and the main part B such as the face outline, eyes, nose, mouth, and the like. A feature point to be identified (black circle in the figure) is set, and a mesh Mt is generated based on the feature point.

次に、メッシュMsとメッシュMtとの間に、線形補間(linearly interpolate)により中間メッシュMiを生成する。次に、メッシュMsと中間メッシュMiとを用いて、元画像f内の各メッシュの画像Lsの各点をワープ(変形変換)して第1のメッシュ画像(image1)を生成するとともに、メッシュMtと中間メッシュMiとを用いて、モデル画像g内の各メッシュの画像Lgの各点をワープ(変形変換)して第2の画像(image2)を生成する。しかる後、第1のメッシュ画像(image1)と第2の画像(image2)との画素値(輝度、色差)をクロス・ディゾルブ混合(cross-dissolve)するか、または、まばらな中間点の画素を線形補間(linearly interpolate)して合成画像(image3)を生成する。   Next, an intermediate mesh Mi is generated between the mesh Ms and the mesh Mt by linearly interpolate. Next, using the mesh Ms and the intermediate mesh Mi, each point of the image Ls of each mesh in the original image f is warped (transformed) to generate a first mesh image (image1), and the mesh Mt And the intermediate mesh Mi, each point of the image Lg of each mesh in the model image g is warped (transformed) and a second image (image2) is generated. Thereafter, the pixel values (luminance, color difference) of the first mesh image (image1) and the second image (image2) are cross-dissolved, or sparse intermediate pixels are detected. A composite image (image3) is generated by linearly interpolating.

前述したステップS12では、上述した中間メッシュMiの生成に際し、その配置を前述した合成比率に応じて決定する。例えば合成比率が10%、すなわち「元画像:モデル画像」=9:1であれば、メッシュMsとメッシュMtとの間を9:1に内分する中間メッシュMiを生成することにより、所定の合成比率を有する合成画像をそれぞれ生成する。   In step S12 described above, when the intermediate mesh Mi described above is generated, its arrangement is determined according to the above-described synthesis ratio. For example, if the composition ratio is 10%, that is, “original image: model image” = 9: 1, by generating an intermediate mesh Mi that internally divides the mesh Ms and the mesh Mt into 9: 1, A composite image having a composite ratio is generated.

しかる後、CPU6は、ステップS12において上述したように3段階の合成比率の合成画像を生成した後には、生成した各々の合成画像をスルー画像に重ねて表示部13に表示させる(ステップS13)。図6は、その際における表示部13における液晶モニタの表示画面G2の一例を便宜的に示した図である。なお、同図は、前述したように手動又は自動で選択されたモデル画像が図4で左上に例示したモデル画像101aである場合の例である。   Thereafter, after generating the composite image of the three-stage composite ratio as described above in step S12, the CPU 6 causes the display unit 13 to display each of the generated composite images on the through image (step S13). FIG. 6 is a diagram conveniently showing an example of the display screen G2 of the liquid crystal monitor in the display unit 13 at that time. This figure shows an example in which the model image selected manually or automatically as described above is the model image 101a illustrated on the upper left in FIG.

すなわち、図示したように本実施形態では、スルー画像201を表示している表示画面G2の下辺側に合成比率が異なる3種類の合成画像202a〜202cとモデル画像101とを横並びで表示させる。同時に合成画像202a〜202cの下には各々におけるモデル画像の合成比率(n%)を表示させる。なお、モデル画像101の表示は省略しても構わない。   That is, as illustrated, in the present embodiment, the three types of synthesized images 202a to 202c having different synthesis ratios and the model image 101 are displayed side by side on the lower side of the display screen G2 displaying the through image 201. At the same time, the composite ratio (n%) of the model images in each of the composite images 202a to 202c is displayed. Note that the display of the model image 101 may be omitted.

その後、CPU6は、以上の表示画面G2の表示中にユーザによるスクロール指示(コントロールキーにより方向指示)の有無を検出し、それを検出する毎に(ステップS14でYES)、検出したスクロール方向に応じて増減する新たな合成比率の合成画像を生成するとともに、生成した合成画像が最大または最小の合成比率となる3種類の部分画像を表示部13に表示させる(ステップS15)。例えば直前に表示していた合成画像202a〜202cが図6に示したように合成比率が10%、20%、30%の合成画像であるときに、合成比率を増加する方向へのスクロール指示があった場合には、合成比率が20%、30%、30%の合成画像を表示させる。なお、その際には合成比率(n%)も変化させる。   Thereafter, the CPU 6 detects whether or not there is a scroll instruction (direction instruction by the control key) by the user while the display screen G2 is displayed, and each time it is detected (YES in step S14), the CPU 6 responds to the detected scroll direction. In addition to generating a composite image with a new composite ratio that is increased or decreased, three types of partial images in which the generated composite image has the maximum or minimum composite ratio are displayed on the display unit 13 (step S15). For example, when the composite images 202a to 202c displayed immediately before are composite images with composite ratios of 10%, 20%, and 30% as shown in FIG. 6, an instruction to scroll to increase the composite ratio is issued. If there is, a composite image with a composite ratio of 20%, 30%, or 30% is displayed. At that time, the composition ratio (n%) is also changed.

また、前記表示画面G2を表示した後、又は、ステップS15によって表示画面G2における合成画像をスクロールさせた後においては、ユーザによる記録候補の選択操作に応じて記録候補の合成画像を設定する(ステップS16)。すなわち所定のキー操作に応じて選択状態を示すマークや選択枠を1又は複数の合成画像に重ねて表示する。   In addition, after displaying the display screen G2 or after scrolling the composite image on the display screen G2 in step S15, a composite image of the record candidate is set according to the recording candidate selection operation by the user (step S15). S16). That is, in accordance with a predetermined key operation, a mark indicating a selection state and a selection frame are displayed on one or a plurality of composite images.

引き続き、記録候補の合成画像を設定した後には、シャッタキーの全押しの有無を確認し、シャッタキーの全押しが検知できなければ(ステップS17でNO)、ステップS14に戻り、ユーザのキー操作に応じた合成画像のスクロール表示(ステップ15)や、記録候補の設定(ステップS16)を繰り返し行う。   Subsequently, after setting the composite image of the recording candidate, it is confirmed whether or not the shutter key is fully pressed. If the shutter key is not fully pressed (NO in step S17), the process returns to step S14 and the user's key operation is performed. In response to this, scroll display of the composite image (step 15) and setting of the recording candidate (step S16) are repeatedly performed.

その後、CPU6はシャッタキーの全押しを検知したら(ステップS17でYES)、その時点で設定している(ユーザにより選択されている)1又は複数の合成画像を元画像と共に後述する拡張形式の画像ファイルとしてフラッシュメモリ10の撮影画像データ格納領域10dに一括して記録し(ステップS18)、撮影処理を完了する。   Thereafter, when the CPU 6 detects that the shutter key is fully pressed (YES in step S17), the one or a plurality of composite images set at that time (selected by the user) together with the original image is an extended format image to be described later. The files are collectively recorded in the photographed image data storage area 10d of the flash memory 10 as a file (step S18), and the photographing process is completed.

図7は、係る処理においてCPU6により生成される拡張形式の画像ファイルの概略構造を示した図である。拡張形式の画像ファイルは、複数の画像データを主画像データ、及び単一又は複数の副画像データとして個別に再生可能に一括して格納する構造であって、基本的にはExif(Exchangeable Image File Format)フォーマットに準拠するファイル形式になっているが、主画像ヘッダに上記副画像データの管理情報が含まれる点で異なっている。   FIG. 7 is a diagram showing a schematic structure of an extended format image file generated by the CPU 6 in such processing. The extended format image file has a structure in which a plurality of image data is stored in a batch so as to be individually reproducible as main image data and single or a plurality of sub image data, and is basically an Exif (Exchangeable Image File). Format) is a file format conforming to the format, but is different in that the management information of the sub-image data is included in the main image header.

すなわち、図7(a)に示したように拡張形式の画像ファイル500は、SOIマーカから始まる主画像データ領域に続いて、主画像データ領域と同様にSOIマーカから始まる複数の副画像データ領域(図で副画像(1),(2),(3),・・・)が連結された構成である。各々の副画像データ領域の構成は主画像データ領域と同様であり、図7(b)、(c)に示したように、主画像ヘッダに対応する各々の副画像ヘッダの構成もJPEG圧縮データの基本構造に則ったものである。   That is, as shown in FIG. 7A, the extended format image file 500 has a plurality of sub-image data areas (starting from the SOI marker, similar to the main image data area) following the main image data area starting from the SOI marker. In the figure, sub-images (1), (2), (3),. The configuration of each sub-image data area is the same as that of the main image data area. As shown in FIGS. 7B and 7C, the configuration of each sub-image header corresponding to the main image header is also JPEG compressed data. It conforms to the basic structure of

また、図7(d)に示したように主画像ヘッダを構成する主画像情報(0th IFD)には、圧縮されている主画像に関する付属情報である「Exif IFD」、「Value of Exif IFD」に加え、圧縮されている各々の副画像に関する付属情報「IFD」、「Value of IFD」が、副画像データの管理情報として副画像の数分だけ格納されるとともに、主画像の「Exif IFD」に副画像の管理情報として副画像領域有無情報等が格納される。   Also, as shown in FIG. 7D, the main image information (0th IFD) constituting the main image header includes “Exif IFD” and “Value of Exif IFD” which are auxiliary information regarding the compressed main image. In addition, the auxiliary information “IFD” and “Value of IFD” relating to each compressed sub-image are stored as the number of sub-images as sub-image data management information, and the “Exif IFD” of the main image is stored. The sub-image area presence / absence information is stored as sub-image management information.

そして、ステップS18においてCPU6は、スルー画像として表示していた元画像の圧縮後の画像データを主画像データとし、かつユーザにより選択されてた1又は複数の合成画像の圧縮後の画像データを副画像データとして格納した拡張形式の画像ファイルを生成し、それをフラッシュメモリ10に記録する。   In step S18, the CPU 6 uses the compressed image data of the original image displayed as the through image as the main image data, and the compressed image data of one or a plurality of composite images selected by the user as the sub image data. An extended format image file stored as image data is generated and recorded in the flash memory 10.

なお、図3では省略したが、シャッタキーの半押しされてからシャッタキーが全押しされるまでの間に、いずれかの時点でシャッタキーの半押し状態が解除されたときには、その時手点で直ちにステップS2へ戻る。   Although omitted in FIG. 3, if the shutter key is half-pressed at any point in time after the shutter key is half-pressed until the shutter key is fully pressed, Immediately return to step S2.

以上のように本実施形態のデジタルカメラにおいては、前述した合成モードを用いて人物撮影を行えば、撮影時に被写体となっている人物の顔に他の人物の顔(モデル画像)を合成した画像(合成画像)を撮影画像として記録することができる。そして、その際には、ユーザはシャッタキーを全押しする以前の撮影待機状態の段階で、撮影画像として記録可能な複数の合成画像であって、モデル画像の合成比率が異なる複数の合成画像をスルー画面上で事前に確認でき、しかも所望する合成画像のみを記録することができる。   As described above, in the digital camera of the present embodiment, when a person is photographed using the above-described composition mode, an image obtained by compositing another person's face (model image) on the face of the person who is the subject at the time of photographing. (Composite image) can be recorded as a captured image. In this case, the user selects a plurality of composite images that can be recorded as photographed images at different stages of the standby state before fully pressing the shutter key and that have different composite ratios of model images. It can be confirmed in advance on the through screen, and only the desired composite image can be recorded.

したがって、合成モードでの撮影時に施す画像処理の内容が被写体となっている人物の顔に他の人物の顔を合成するものであって、撮影時点において実際に記録される画像を正確に思い描くことができないものであっても、ユーザは所望する画像を確実に取得することができる。   Therefore, the content of the image processing performed when shooting in the composite mode is to combine the face of another person with the face of the person who is the subject, and accurately imagine the image actually recorded at the time of shooting Even if it is not possible, the user can reliably obtain a desired image.

また、本実施形態では、前述した複数の合成画像におけるモデル画像の合成比率を必要に応じて変化させることができるため、ユーザは所望する画像をより一層確実に取得することができる。   Further, in the present embodiment, since the combination ratio of the model images in the plurality of combined images described above can be changed as necessary, the user can acquire a desired image even more reliably.

また、モデル画像の選択方法として自動選択を設定すれば、フラッシュメモリ10に記憶されているモデル画像の中から、被写体となっている人物の顔と最も類似する顔のモデル画像が自動的に抽出され、それを用いた合成処理が行われるため、合成画像として、違和感のない自然な顔の画像を容易に得ることができる。   If automatic selection is set as the model image selection method, the model image of the face most similar to the face of the person who is the subject is automatically extracted from the model images stored in the flash memory 10. Since a synthesis process using the image is performed, it is possible to easily obtain a natural face image without a sense of incongruity as a synthesized image.

なお、本実施形態においては、モデル画像の選択方法として自動選択と手動選択との2種類の方法が設けられ、モデル画像の選択方法をユーザが適宜設定可能なものについて説明したが、モデル画像の選択方法は上記2種類の方法のいずれか一方のみであっても構わない。   In the present embodiment, two types of model image selection methods, automatic selection and manual selection, are provided, and the model image selection method can be appropriately set by the user. The selection method may be only one of the above two methods.

また、ユーザに選択された1又は複数の合成画像を、スルー画像として表示していた被写体画像(元画像)と共に1つの画像ファイルに一括して記録するものについて説明したが、スルー画像として表示していた被写体画像を記録することなく、ユーザに選択された合成画像が複数のときには、それらのみを1つの画像ファイルに一括して記録し、かつユーザに選択された合成画像が1つのときには、それを通常の画像ファイルとして記録するようにしてもよい。さらに、ユーザに選択された合成画像が複数のときであっても、それらを通常の画像ファイルとして記録するようにしてもよい。   In addition, although one or a plurality of composite images selected by the user are collectively recorded in one image file together with the subject image (original image) displayed as a through image, it is displayed as a through image. When there are a plurality of composite images selected by the user without recording the subject image that has been recorded, only those composite images are recorded in a single image file, and when there is only one composite image selected by the user, May be recorded as a normal image file. Furthermore, even when there are a plurality of composite images selected by the user, they may be recorded as normal image files.

また、本実施形態においては、シャッタキーが半押しされた時点の撮影画像を対象としてもモデル画像の合成比率が異なる3種類の合成画像を生成し、それらの合成画像を記録候補としたが以下のようにしてもよい。例えば上記3種類の合成画像をシャッタキーの半押し操作に関係なく、撮影待機状態で所定のフレームで新たな画像が撮像される毎に生成するものとし、スルー画面上に表示する合成画像を逐次更新するとともに、その間にはスクロール指示に応じた合成比率の変更、及び合成画像を更新のみを行う。そして、シャッタキーが全押しされた時点で表示中の合成画像を記録候補として確定し、それらの中から所望とする合成画像を選択させた後、選択された1又は複数の合成画像を記録するようにしてもよい。   In this embodiment, three types of synthesized images having different model image synthesis ratios are generated even for a captured image at the time when the shutter key is half-pressed, and these synthesized images are used as recording candidates. It may be as follows. For example, the above three types of composite images are generated every time a new image is captured in a predetermined frame in the shooting standby state regardless of half-pressing of the shutter key, and the composite images displayed on the through screen are sequentially generated. In the meantime, only the composition ratio change according to the scroll instruction and the composite image are updated. Then, when the shutter key is fully pressed, the composite image being displayed is determined as a recording candidate, and a desired composite image is selected from them, and then the selected composite image or images are recorded. You may do it.

また、合成モードでの撮影時に最終的に記録する合成画像は、被写体の顔部分のみの合成画像なくともよく、顔部分に前述した合成処理を施した状態の顔部分以外を含めた全体画像であっても構わない。   In addition, the composite image that is finally recorded at the time of shooting in the composite mode does not have to be a composite image of only the face portion of the subject, but is an entire image including the face portion other than the face portion that has been subjected to the composite processing described above. It does not matter.

また、本発明をデジタルカメラに用いた場合について説明したが、本発明は静止画撮影時に被写体となっている人物の顔に他の人物の画像を合成する機能を備えたものであれば、例えば静止画撮影機能を有するデジタルビデオカメラや、カメラ付き携帯電話端末等の他のカメラ装置にも適用することができる。   Further, although the case where the present invention is used in a digital camera has been described, the present invention is, for example, as long as it has a function of combining an image of another person with the face of a person who is a subject at the time of still image shooting. The present invention can also be applied to other camera devices such as a digital video camera having a still image shooting function and a mobile phone terminal with a camera.

本発明に係るデジタルカメラのブロック図である。1 is a block diagram of a digital camera according to the present invention. フラッシュメモリのメモリ空間を示す概念図である。It is a conceptual diagram which shows the memory space of flash memory. 合成モードによる撮影時におけるCPUの処理内容を示したフローチャートである。It is the flowchart which showed the processing content of CPU at the time of imaging | photography by synthetic | combination mode. モデル画像の選択画面の一例を示した図である。It is the figure which showed an example of the selection screen of a model image. 元画像とモデル画像との基本的な合成方法を示す模式説明図である。It is a schematic explanatory drawing which shows the basic composition method of an original image and a model image. 表示部における顔部分の合成画像の表示方法の一例を示した図である。It is the figure which showed an example of the display method of the composite image of the face part in a display part. 合成モードによる撮影時に記される拡張形式の画像ファイルにおけるファイル構成を示す図である。It is a figure which shows the file structure in the image file of the extended format described at the time of imaging | photography by a synthetic | combination mode.

符号の説明Explanation of symbols

1 カメラモジュール
3 イメージセンサ
6 CPU
7 DMA
8 ワークメモリ
9 画像処理部
10 フラッシュメモリ
10a プログラムデータ格納領域
10b 設定データ格納領域
10c モデル画像データ格納領域
10d 撮影画像データ格納領域
11 VRAM
12 表示制御部
13 表示部
14 キー入力部
1 Camera module 3 Image sensor 6 CPU
7 DMA
8 Work memory 9 Image processing unit 10 Flash memory 10a Program data storage area 10b Setting data storage area 10c Model image data storage area 10d Captured image data storage area 11 VRAM
12 Display control unit 13 Display unit 14 Key input unit

Claims (7)

被写体を撮像する撮像手段と、この撮像手段により撮像された被写体像をスルー画像として表示する表示手段とを備えたカメラ装置において、
前記撮像手段により撮像された被写体像から人物の顔領域を検出する顔検出手段と、
合成用の顔画像が記憶された画像記憶手段と、
前記顔検出手段により検出された人物の顔領域に、前記画像記憶手段に記憶されている合成用の顔画像を複数の合成比率で合成して複数の合成画像を生成する画像合成手段と、
この画像合成手段により生成された複数の合成画像を、前記表示手段にスルー画像と共に表示させる表示制御手段と、
この表示制御手段によって前記表示手段に表示された複数の合成画像のうちから所望する合成画像を使用者に選択させる選択制御手段と、
使用者の撮影要求に応答し、前記選択制御手段が使用者に選択させた合成画像を前記記録媒体に記録させる記録制御手段と
を備えたことを特徴とするカメラ装置。
In a camera apparatus including an imaging unit that images a subject and a display unit that displays a subject image captured by the imaging unit as a through image,
Face detection means for detecting a face area of a person from a subject image imaged by the imaging means;
Image storage means for storing a face image for synthesis;
Image synthesizing means for synthesizing a face image for synthesis stored in the image storage means with a plurality of synthesis ratios to a face area of the person detected by the face detecting means to generate a plurality of synthesized images;
Display control means for displaying a plurality of composite images generated by the image composition means together with a through image on the display means;
Selection control means for allowing a user to select a desired composite image from among a plurality of composite images displayed on the display means by the display control means;
A camera apparatus comprising: a recording control unit that records a composite image selected by the user by the selection control unit on the recording medium in response to a user's photographing request.
前記画像合成手段が前記複数の合成画像を生成する際の複数の合成比率を使用者の要求に応じて変化させる合成比率制御手段を備えたことを特徴とする請求項1記載のカメラ装置。   The camera apparatus according to claim 1, further comprising a composition ratio control unit configured to change a plurality of composition ratios when the image composition unit generates the plurality of composite images according to a user's request. 前記画像記憶手段には合成用の顔画像が複数記憶される一方、
前記画像記憶手段に記憶されている複数の顔画像の中から、前記顔検出手段により検出された人物の顔領域の画像と類似する顔画像を抽出する類似画像抽出手段を備え、
前記画像合成手段は、前記顔検出手段により検出された人物の顔領域に、前記類似画像抽出手段により抽出された顔画像を複数の合成比率で合成して複数の合成画像を生成する
ことを特徴とする請求項1又は2記載のカメラ装置。
The image storage means stores a plurality of face images for synthesis,
A similar image extracting means for extracting a face image similar to the image of the face area of the person detected by the face detecting means from the plurality of face images stored in the image storing means;
The image synthesizing unit generates a plurality of synthesized images by synthesizing the face image extracted by the similar image extracting unit with a plurality of synthesis ratios in the face area of the person detected by the face detecting unit. The camera device according to claim 1 or 2.
前記画像記憶手段には合成用の顔画像が複数記憶される一方、
前記画像記憶手段に記憶されている複数の顔画像のうちから所望する顔画像を使用者に選択させる顔画像選択制御手段を備え、
前記画像合成手段は、前記顔検出手段により検出された人物の顔領域に、前記顔画像選択制御手段が使用者に選択させた顔画像を複数の合成比率で合成して複数の合成画像を生成する
ことを特徴とする請求項1又は2記載のカメラ装置。
The image storage means stores a plurality of face images for synthesis,
A face image selection control means for allowing a user to select a desired face image from a plurality of face images stored in the image storage means;
The image synthesizing unit generates a plurality of synthesized images by synthesizing the face image selected by the user by the face image selection control unit at a plurality of synthesis ratios with the face area of the person detected by the face detecting unit. The camera device according to claim 1, wherein:
前記記録制御手段は、前記画像合成手段により生成された複数の合成画像を単一の画像ファイルに格納して前記記録媒体に記録させる
ことを特徴とする請求項1乃至4いずれか記載のカメラ装置。
5. The camera device according to claim 1, wherein the recording control unit stores a plurality of synthesized images generated by the image synthesizing unit in a single image file and records the same on the recording medium. 6. .
被写体を撮像する撮像手段と、この撮像手段により撮像された被写体像をスルー画像として表示する表示手段とを備えたカメラ装置において、
前記撮像手段により撮像された被写体像から人物の顔領域を検出する工程と、
検出した人物の顔領域に、合成用の顔画像を複数の合成比率で合成して複数の合成画像を生成する工程と、
生成した複数の合成画像を前記スルー画像とともに表示させる工程と、
使用者の撮影要求に応答し、生成した合成画像を記録する工程と
を含むことを特徴とする撮影方法。
In a camera apparatus including an imaging unit that images a subject and a display unit that displays a subject image captured by the imaging unit as a through image,
Detecting a human face area from the subject image captured by the imaging means;
Generating a plurality of synthesized images by synthesizing a face image for synthesis with a plurality of synthesis ratios in the detected human face area;
Displaying a plurality of generated composite images together with the through image;
And a step of recording the generated composite image in response to a user's photographing request.
被写体を撮像する撮像手段と、この撮像手段により撮像された被写体像をスルー画像として表示する表示手段とを備えたカメラ装置が有するコンピュータに、
前記撮像手段により撮像された被写体像から人物の顔領域を検出する処理と、
検出した人物の顔領域に、合成用の顔画像を複数の合成比率で合成して複数の合成画像を生成する処理と、
生成した複数の合成画像を前記スルー画像とともに表示させる処理と、
使用者の撮影要求に応答し、生成した合成画像を記録する処理と
を実行させることを特徴とする撮影制御プログラム。
A computer having a camera device including an imaging unit that images a subject and a display unit that displays a subject image captured by the imaging unit as a through image;
A process of detecting a human face area from the subject image captured by the imaging means;
A process of generating a plurality of synthesized images by synthesizing a face image for synthesis with a plurality of synthesis ratios in the detected human face area;
Processing to display a plurality of generated composite images together with the through image;
A shooting control program that executes a process of recording a generated composite image in response to a shooting request of a user.
JP2008286190A 2008-11-07 2008-11-07 Camera device, photographing method, and photographing control program Expired - Fee Related JP5195317B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008286190A JP5195317B2 (en) 2008-11-07 2008-11-07 Camera device, photographing method, and photographing control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008286190A JP5195317B2 (en) 2008-11-07 2008-11-07 Camera device, photographing method, and photographing control program

Publications (3)

Publication Number Publication Date
JP2010114708A true JP2010114708A (en) 2010-05-20
JP2010114708A5 JP2010114708A5 (en) 2011-12-08
JP5195317B2 JP5195317B2 (en) 2013-05-08

Family

ID=42302911

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008286190A Expired - Fee Related JP5195317B2 (en) 2008-11-07 2008-11-07 Camera device, photographing method, and photographing control program

Country Status (1)

Country Link
JP (1) JP5195317B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015211395A (en) * 2014-04-28 2015-11-24 オリンパス株式会社 Information apparatus, image processing method, and program
JP2016059046A (en) * 2014-09-10 2016-04-21 株式会社モルフォ Image synthesis device, image synthesis method, image synthesis program, and recording medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11185048A (en) * 1997-12-19 1999-07-09 Star Net Kk Method and device processing image
JP2004363772A (en) * 2003-06-03 2004-12-24 Fuji Photo Film Co Ltd Camera and method for morphing
JP2008211843A (en) * 2008-05-19 2008-09-11 Casio Comput Co Ltd Imaging apparatus and imaging control program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11185048A (en) * 1997-12-19 1999-07-09 Star Net Kk Method and device processing image
JP2004363772A (en) * 2003-06-03 2004-12-24 Fuji Photo Film Co Ltd Camera and method for morphing
JP2008211843A (en) * 2008-05-19 2008-09-11 Casio Comput Co Ltd Imaging apparatus and imaging control program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015211395A (en) * 2014-04-28 2015-11-24 オリンパス株式会社 Information apparatus, image processing method, and program
JP2016059046A (en) * 2014-09-10 2016-04-21 株式会社モルフォ Image synthesis device, image synthesis method, image synthesis program, and recording medium
US10074165B2 (en) 2014-09-10 2018-09-11 Morpho, Inc. Image composition device, image composition method, and recording medium

Also Published As

Publication number Publication date
JP5195317B2 (en) 2013-05-08

Similar Documents

Publication Publication Date Title
US8259193B2 (en) Image file reproduction apparatus and image data reproduction apparatus
TWI420902B (en) Camera, camera control program, and camera control method
JP4645685B2 (en) Camera, camera control program, and photographing method
US9251765B2 (en) Image processing device, image processing method, and program for generating composite image
JP4340806B2 (en) Image processing apparatus, method, and program
JP2009213123A (en) Imaging device and method for its image processing
JP5782813B2 (en) Imaging apparatus and image display method
JP2010130437A (en) Imaging device and program
JP2007310813A (en) Image retrieving device and camera
TW201031189A (en) Photographing apparatus, photographing method and computer readable storage medium storing program therein
JP2010021921A (en) Electronic camera and image processing program
JP4725854B2 (en) Image display device and image display method
JP2010087722A (en) Photographing device, and method for editing moving picture
US20050212943A1 (en) Digital camera
JP2007325152A (en) Imaging device, and program thereof
JP2007257465A (en) Image display device, method, and program
JP2010177731A (en) Image reproducing device and imaging apparatus
JP5195317B2 (en) Camera device, photographing method, and photographing control program
JP2007274661A (en) Imaging apparatus, image reproducing device and program
JP2010097449A (en) Image composition device, image composition method and image composition program
US20050162520A1 (en) Digital camera and method of controlling the same
JP5170217B2 (en) Camera, camera control program, and photographing method
JP5167964B2 (en) Display control apparatus, display control method, and program
JP2010087723A (en) Photographing device, and method for editing moving picture
JP2009071480A (en) Imaging device, imaging method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111026

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111026

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130121

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5195317

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees