JP2006203600A - Imaging apparatus, image processor, image processing system, and image processing method and program - Google Patents
Imaging apparatus, image processor, image processing system, and image processing method and program Download PDFInfo
- Publication number
- JP2006203600A JP2006203600A JP2005013582A JP2005013582A JP2006203600A JP 2006203600 A JP2006203600 A JP 2006203600A JP 2005013582 A JP2005013582 A JP 2005013582A JP 2005013582 A JP2005013582 A JP 2005013582A JP 2006203600 A JP2006203600 A JP 2006203600A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- person
- persons
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、被写体となる複数の人物を撮影して得られる画像を処理する技術に関する。 The present invention relates to a technique for processing an image obtained by photographing a plurality of persons as subjects.
集合写真などの複数の人物の撮影を行う際には、被写体となる複数の人物の全員の視線が、撮影時点において撮像装置に向いていることが望ましい。したがって、撮像装置を取り扱う撮影者は、複数の人物の視線の状態を把握しつつ撮影を行う必要があるが、通常、このような視線の把握は困難かつ煩雑である。 When shooting a plurality of persons such as a group photo, it is desirable that the lines of sight of all of the plurality of persons serving as subjects are directed to the imaging device at the time of shooting. Therefore, a photographer who handles the imaging apparatus needs to take a picture while grasping the line-of-sight states of a plurality of persons. Usually, such line-of-sight is difficult and complicated.
このため、近年、撮影待機状態において予備的に撮影して得られる画像に基づいて、構図（画像として取得される領域）内の人物の視線の向きを自動判別し、構図内の全員の視線が撮像装置に向いているときのみ撮影を実行する撮像装置などが提案されている（例えば、特許文献１参照。）。 For this reason, in recent years, the direction of the line of sight of a person in a composition (area acquired as an image) is automatically determined based on an image obtained by preliminary shooting in a shooting standby state, and the lines of sight of all persons in the composition are There has been proposed an imaging apparatus that performs imaging only when facing the imaging apparatus (for example, see Patent Document 1).
なお、本発明に関連する技術を開示する先行技術文献として、下記の文献がある。 As prior art documents disclosing techniques related to the present invention, there are the following documents.
しかしながら、上記特許文献１に示すような撮像装置を用いたとしても、ある瞬間としての一の撮影時点において、被写体となる複数の人物の全員の視線が撮像装置に向く必要がある。このため例えば、被写体となる複数の人物のうちに比較的小さな子供が多く含まれる場合などにおいては、全員の視線が撮像装置に向くまでに時間を要し、相当の時間にわたって撮影を実施できないということもある。
However, even if an imaging apparatus as shown in
本発明は、上記課題に鑑みてなされたものであり、被写体となる複数の人物の全員が一の撮影時点において好ましい状態とならなくても、多くの好ましい状態の人物像を含む画像を取得できる技術を提供することを目的とする。 The present invention has been made in view of the above problems, and can acquire images including human images in many preferable states even when all of a plurality of persons serving as subjects do not have a preferable state at the time of shooting. The purpose is to provide technology.
上記課題を解決するため、請求項１の発明は、撮像装置であって、同一の複数の人物の撮影を複数回行うことにより複数の画像を取得する撮像手段と、前記複数の人物ごとに、前記複数の画像にそれぞれ含まれる当該人物に係る人物像のうちから一の人物像を合成対象像として選択する第１選択手段と、前記複数の人物ごとの前記合成対象像を用いて一の合成画像を生成する合成手段と、を備えている。
In order to solve the above-mentioned problem, the invention of
また、請求項２の発明は、請求項１に記載の撮像装置において、前記複数の画像のうちの一の画像をベース画像として選択する第２選択手段、をさらに備え、前記合成手段は、前記複数の人物ごとの前記合成対象像のうち前記ベース画像に含まれない前記合成対象像を、前記ベース画像に合成することで、前記合成画像を生成する。
The invention according to
また、請求項３の発明は、請求項２に記載の撮像装置において、前記第２選択手段は、前記複数の画像のうち、所定の状態条件を満足する人物像を最も多く含む画像を前記ベース画像として選択する。
Further, the invention according to
また、請求項４の発明は、請求項２に記載の撮像装置において、前記第２選択手段は、前記複数の画像のうち、ユーザから指定された画像を前記ベース画像として選択する。 According to a fourth aspect of the present invention, in the imaging apparatus according to the second aspect, the second selection unit selects an image designated by the user from the plurality of images as the base image.
また、請求項５の発明は、請求項２に記載の撮像装置において、前記第２選択手段は、前記複数の画像のうち、所定の状態条件を満足する人物像を最も多く含む画像を前記ベース画像として選択する自動選択手段と、前記複数の画像のうち、ユーザから指定された画像を前記ベース画像として選択する手動選択手段と、を備え、前記自動選択手段と前記手動選択手段とのいずれを能動化するかをユーザから受け付ける手段、をさらに備えている。 According to a fifth aspect of the present invention, in the imaging apparatus according to the second aspect, the second selection unit includes, as the base, an image including the largest number of human images satisfying a predetermined state condition among the plurality of images. Automatic selection means for selecting as an image; and manual selection means for selecting, as the base image, an image designated by a user among the plurality of images, and any of the automatic selection means and the manual selection means Means for accepting activation from the user.
また、請求項６の発明は、請求項１ないし５のいずれかに記載の撮像装置において、前記第１選択手段は、所定の状態条件を満足する人物像を前記合成対象像として選択する。 According to a sixth aspect of the present invention, in the imaging apparatus according to any of the first to fifth aspects, the first selection unit selects a person image that satisfies a predetermined state condition as the composition target image.
また、請求項７の発明は、請求項１ないし５のいずれかに記載の撮像装置において、前記第１選択手段は、ユーザから指定された人物像を前記合成対象像として選択する。 According to a seventh aspect of the present invention, in the imaging device according to any one of the first to fifth aspects, the first selection means selects a person image designated by a user as the composition target image.
また、請求項８の発明は、請求項１ないし５のいずれかに記載の撮像装置において、前記第１選択手段は、所定の状態条件を満足する人物像を前記合成対象像として選択する自動選択手段と、ユーザから指定された人物像を前記合成対象像として選択する手動選択手段と、を備え、前記自動選択手段と前記手動選択手段とのいずれを能動化するかをユーザから受け付ける手段、をさらに備えている。
The invention according to
また、請求項９の発明は、請求項３、５、６及び８のいずれかに記載の撮像装置において、前記状態条件の候補となる複数の条件のうちから少なくとも一つを、前記状態条件としてユーザから受け付ける手段、をさらに備えている。
The invention according to
また、請求項１０の発明は、請求項１ないし９のいずれかに記載の撮像装置において、前記撮像手段は、ユーザからの一回の撮影指示に応答して、前記複数の画像を取得する。 According to a tenth aspect of the present invention, in the imaging apparatus according to any one of the first to ninth aspects, the imaging means acquires the plurality of images in response to a single shooting instruction from a user.
また、請求項１１の発明は、請求項１０に記載の撮像装置において、前記複数の画像の取得相互の時間間隔をユーザから受け付ける手段、をさらに備えている。 According to an eleventh aspect of the present invention, in the imaging apparatus according to the tenth aspect, the image pickup apparatus further includes means for receiving a time interval between the acquisition of the plurality of images from the user.
また、請求項１２の発明は、請求項１０に記載の撮像装置において、前記一の撮影指示に応答して取得する画像の枚数をユーザから受け付ける手段、をさらに備えている。 According to a twelfth aspect of the present invention, in the imaging apparatus according to the tenth aspect, the image pickup apparatus further includes means for receiving from the user the number of images to be acquired in response to the one shooting instruction.
また、請求項１３の発明は、画像処理装置であって、同一の複数の人物の撮影を複数回行うことにより取得された複数の画像を準備する準備手段と、前記複数の人物ごとに、前記複数の画像にそれぞれ含まれる当該人物に係る人物像のうちから一の人物像を合成対象像として選択する選択手段と、前記複数の人物ごとの前記合成対象像を用いて一の合成画像を生成する合成手段と、を備えている。 The invention of claim 13 is an image processing apparatus, comprising: a preparation means for preparing a plurality of images acquired by performing photographing of the same plurality of persons a plurality of times; and for each of the plurality of persons, Using the selection means for selecting one person image as a composition target image from among the person images related to the person included in each of the plurality of images, and generating the one composite image using the composition target image for each of the plurality of persons And synthesizing means.
また、請求項１４の発明は、被写体を撮影して画像を取得する撮像装置と、前記撮像装置で取得された画像を処理する画像処理装置とを含む画像処理システムであって、前記撮像装置は、同一の複数の人物の撮影を複数回行うことにより複数の画像を取得する撮像手段、を備え、前記画像処理装置は、前記複数の人物ごとに、前記複数の画像にそれぞれ含まれる当該人物に係る人物像のうちから一の人物像を合成対象像として選択する選択手段と、前記複数の人物ごとの前記合成対象像を用いて一の合成画像を生成する合成手段と、を備えている。 The invention of claim 14 is an image processing system including an imaging device that captures an image by capturing a subject, and an image processing device that processes an image acquired by the imaging device. An imaging means for acquiring a plurality of images by photographing the same plurality of persons a plurality of times, and the image processing device includes, for each of the plurality of persons, a corresponding person included in each of the plurality of images. Selecting means for selecting one of the person images as a composition target image; and composition means for generating one composite image using the composition target images for each of the plurality of persons.
また、請求項１５の発明は、画像を処理する方法であって、同一の複数の人物の撮影を複数回行うことにより取得された複数の画像を準備する準備工程と、前記複数の人物ごとに、前記複数の画像にそれぞれ含まれる当該人物に係る人物像のうちから一の人物像を合成対象像として選択する選択工程と、前記複数の人物ごとの前記合成対象像を用いて一の合成画像を生成する合成工程と、を備えている。
The invention of
また、請求項１６の発明は、画像を処理するプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、同一の複数の人物の撮影を複数回行うことにより取得された複数の画像を準備する準備工程と、前記複数の人物ごとに、前記複数の画像にそれぞれ含まれる当該人物に係る人物像のうちから一の人物像を合成対象像として選択する選択工程と、前記複数の人物ごとの前記合成対象像を用いて一の合成画像を生成する合成工程と、を実行させる。
Further, the invention of
請求項１ないし１６の発明によれば、複数の人物ごとに複数の画像のうちから選択された合成対象像を用いて合成画像を生成するため、被写体となる複数の人物の全員が一の撮影時点において好ましい状態とならなくても、多くの好ましい状態の人物像を含む画像を取得できる。 According to the first to sixteenth aspects, since a composite image is generated using a composite target image selected from a plurality of images for each of a plurality of persons, all of a plurality of persons as subjects are photographed by one person. Even if it does not become a preferable state at the time, an image including a number of human images in a preferable state can be acquired.
また、特に請求項２の発明によれば、ベース画像に合成対象像を合成することで合成画像を生成するため、人物像以外の背景等を含む自然な合成画像を生成できる。 In particular, according to the second aspect of the present invention, since the composite image is generated by combining the base image with the target image, a natural composite image including a background other than the human image can be generated.
また、特に請求項３の発明によれば、ベース画像として好ましい画像を自動的に選択できる。
In particular, according to the invention of
また、特に請求項４の発明によれば、ユーザが所望の画像をベース画像として選択できる。
In particular, according to the invention of
また、特に請求項５の発明によれば、ベース画像を自動で選択するか、手動で選択するかをユーザが所望に切り替えることができる。 In particular, according to the invention of claim 5, the user can switch the base image as desired either automatically or manually.
また、特に請求項６の発明によれば、合成対象像として好ましい人物像を自動的に選択できる。
In particular, according to the invention of
また、特に請求項７の発明によれば、ユーザが所望の人物像を合成対象像として選択できる。 In particular, according to the invention of claim 7, the user can select a desired person image as a composition target image.
また、特に請求項８の発明によれば、合成対象像を自動で選択するか、手動で選択するかをユーザが所望に切り替えることができる。
In particular, according to the invention of
また、特に請求項９の発明によれば、ユーザが所望の状態条件を設定できる。
In particular, according to the invention of
また、特に請求項１０の発明によれば、一回の撮影指示のみで、撮影を複数回行って複数の画像を取得することができる。
In particular, according to the invention of
また、特に請求項１１の発明によれば、ユーザ所望の時間間隔で、複数の画像を取得できる。
In particular, according to the invention of
また、特に請求項１２の発明によれば、ユーザ所望の枚数の画像から、合成画像を生成できる。 According to the twelfth aspect of the invention, it is possible to generate a composite image from a desired number of images.
以下では、本発明の実施の形態の一として、被写体を撮影して画像を取得する撮像装置であるとともに、取得した画像を処理する画像処理装置でもあるデジタルカメラについて説明する。 Hereinafter, as an embodiment of the present invention, a digital camera that is an imaging device that captures an image by capturing a subject and that is also an image processing device that processes the acquired image will be described.
＜１．外観構成＞
図１はデジタルカメラ１を示す斜視図であり、図２はデジタルカメラ１の背面側の構成を示す図である。このデジタルカメラ１は、主に静止画像を取得するデジタルスチルカメラとして構成されている。
<1. Appearance configuration>
FIG. 1 is a perspective view showing the
図１に示すように、デジタルカメラ１の前面側には、フラッシュ３１及び光学ファインダ３２の対物窓、並びに、複数のレンズ群を有する撮影レンズ３が設けられる。また、この撮影レンズ３の後方位置となるデジタルカメラ１の内部の適所には、ＣＣＤなどの撮像センサ２が設けられている。撮像センサ２は、撮影レンズ３に入射して結像される被写体からの反射光を露光（受光）することにより、被写体の画像を取得する。本実施の形態において「撮影」とは、「撮像センサ２による被写体からの反射光の１回の継続的な露光」の意に相当する。したがって、デジタルカメラ１においては、一回の撮影により、一枚の画像が取得されることになる。
As shown in FIG. 1, on the front side of the
デジタルカメラ１の上面側には、ユーザから撮影指示を受け付けるシャッタボタン３４、及び、電源のオンオフを切り替えるためのメインスイッチ３３が配置されている。デジタルカメラ１の側面部には、記録媒体であるメモリカード９を着脱可能なカードスロット３５が形成される。デジタルカメラ１において取得された画像は、このメモリカード９に記録される。
On the upper surface side of the
また、図２に示すように、デジタルカメラ１の背面側には、光学ファインダ３２の接眼窓、動作モードを切り替えるためのモード切替レバー３６、各種表示を行う液晶モニタ４、並びに、ユーザ操作を受け付けるための十字キー３７、確定ボタン３８及びファンクションボタン群３９（３９ａ〜３９ｄ）が設けられている。
Further, as shown in FIG. 2, on the back side of the
液晶モニタ４は、メモリカード９に記録された画像の表示、及び、各種設定を行うための設定メニューの表示など各種表示を行なう。また、ユーザから撮影指示がなされる前の撮影待機状態においては、液晶モニタ４は、構図内に存在する被写体の状態をほぼリアルタイムに示すライブビュー表示を行う。なお、本実施の形態において「構図」とは、「画像として取得される領域」の意である。これにより液晶モニタ４は、構図の決定（フレーミング）にも利用される。
The liquid crystal monitor 4 performs various displays such as displaying an image recorded in the
十字キー３７、確定ボタン３８及びファンクションボタン群３９には、デジタルカメラ１の動作モードや動作状態に応じて機能が動的に割り当てられる。十字キー３７は、上下左右の各方向を示す４つのボタンが一体構成されたものであり、主として項目の移動や表示対象とする画像の選択などに利用される。また、確定ボタン３８は、各種の確定指示に利用される。
Functions are dynamically assigned to the cross key 37, the
デジタルカメラ１は、「通常撮影モード」と「合成画像モード」と「再生モード」との３つの動作モードを備えている。これらの動作モードは、モード切替レバー３６をスライドさせることより切り替えられる。このうち「通常撮影モード」及び「合成画像モード」は、被写体を撮影して画像を取得し、画像をメモリカード９に記録する動作モードである。一方、「再生モード」は、メモリカード９に記録された画像を液晶モニタ４に表示する動作モードである。
The
「通常撮影モード」は、一般的なデジタルカメラの撮影動作を行う動作モードである。すなわち、「通常撮影モード」においては、ユーザからの一の撮影指示に応答して、被写体の撮影が一回なされ、一の画像が取得される。取得された一の画像は所定の処理が施された後、そのままメモリカード９に記録されることになる。
The “normal shooting mode” is an operation mode for performing a shooting operation of a general digital camera. That is, in the “normal shooting mode”, the subject is shot once and one image is acquired in response to one shooting instruction from the user. The acquired one image is recorded in the
一方、「合成画像モード」は、集合写真などの複数の人物を被写体とする場合を対象とした動作モードである。この「合成画像モード」においては、視線がデジタルカメラ１に向いた人物像を多く含む一の合成画像が、複数の画像を用いて生成される。より具体的には、ユーザからの一の撮影指示に応答して、被写体の撮影が複数回なされ、複数の画像が取得される。そして、取得された複数の画像から一の合成画像が生成され、生成された合成画像がメモリカード９に記録されることになる。
On the other hand, the “composite image mode” is an operation mode for a case where a plurality of persons such as a group photo are subjects. In the “composite image mode”, a single composite image including a large number of human images whose line of sight faces the
＜２．内部構成＞
図３はデジタルカメラ１の主たる内部構成を示すブロック図である。図に示すように、デジタルカメラ１は、その内部に装置全体を統括的に制御する全体制御部６を備えている。全体制御部６は、マイクロコンピュータを備えて構成され、各種の演算処理を行うＣＰＵ６１、演算の作業領域などに利用されるＲＡＭ６２、制御プログラムやデータ等が記憶されるＲＯＭ６３、及び、計時回路であるタイマ６４を備えている。デジタルカメラ１の各処理部は、この全体制御部６に対して電気的に接続され、全体制御部６の制御下において動作する。
<2. Internal configuration>
FIG. 3 is a block diagram showing the main internal configuration of the
撮影レンズ３を介して撮像センサ２で取得された画像は、デジタルカメラ１の内部の処理部に出力され、所定の処理が施される。デジタルカメラ１は、この画像を取り扱うハードウェアの処理部として、信号処理回路５３、画像メモリ５４及び画像処理部５５を備えている。
An image acquired by the
信号処理回路５３は、撮像センサ２から出力されたアナログの電荷信号としての画像に対して信号処理を行うものである。信号処理回路５３は、ＣＤＳ（相関二重サンプリング）回路、ＡＧＣ（オートゲインコントロール）回路、及び、Ａ／Ｄ変換器を有している。撮像センサ２から出力されたアナログの電荷信号は、このような信号処理回路５３の各構成により、ノイズの低減及びレベル調整がなされるともに、デジタル信号へ変換される。デジタル信号へ変換された画像は、信号処理回路５３から出力され、画像を記憶するＤＲＡＭなどの画像メモリ５４に格納される。
The
画像処理部５５は、画像メモリ５４に格納された画像に対して、色補間処理、γ補正処理、解像度変換処理及び圧縮処理等の各種の画像処理を施すものである。このような画像処理部５５の画像処理により、液晶モニタ４への表示に適した形式の画像や、メモリカード９への記録に適した圧縮形式の画像などが生成される。
The
カードＩ／Ｆ５６は、カードスロット３５に装着されるメモリカード９への画像の記録や、メモリカード９からの画像の読み出し等を行う。このカードＩ／Ｆ５６は全体制御部６に電気的に接続され、全体制御部６からの信号に基づいて画像の記録や読み出しを行う。また、液晶モニタ４も全体制御部６に電気的に接続され、全体制御部６の制御下において画像の表示や動画像の再生表示などの各種の表示を行う。
The card I /
操作入力部３０は、上述したシャッタボタン３４、モード切替レバー３６、十字キー３７、確定ボタン３８及びファンクションボタン群３９等を含む操作部材をひとつの機能ブロックとして示している。ユーザにより操作入力部３０が操作されると、当該操作に係る処理や制御を示す信号が発生して全体制御部６に入力される。例えば、シャッタボタン３４が押下されると、撮影指示を示す信号が全体制御部６に入力され、これにより、全体制御部６はユーザからの撮影指示を認識する。
The
全体制御部６は、デジタルカメラ１の制御に係る各種の機能を有している。このような機能は、ＲＯＭ６３に記憶される制御プログラムに従ってＣＰＵ６１が演算処理を行うことにより（すなわち、ソフトウェア的に）実現される。制御プログラムは、ＲＯＭ６３内に予め記憶されるものであるが、メモリカード９から読み出すなどにより、新たな制御プログラムをＲＯＭ６３に格納することも可能とされている。図３において、撮像制御部７１、人物抽出部７２、人物判定部７３、ベース選択部７４、ベスト選択部７５、及び、画像合成部７６は、このようなソフトウェア的に実現される全体制御部６の機能の一部を模式的に示している。
The
撮像制御部７１は、「通常撮影モード」及び「合成画像モード」における画像の取得に係る制御を行なう。例えば、「合成画像モード」においてユーザからの撮影指示がなされたとき、それに応答して所定の枚数の画像の取得を行うように、撮像制御部７１は撮像センサ２に指示信号を送出する。
The
また、人物抽出部７２、人物判定部７３、ベース選択部７４、ベスト選択部７５、画像合成部７６は、「合成画像モード」において、複数の画像を用いて一の合成画像を生成する機能である。これらの機能の詳細は後述する。
The
＜３．合成画像モードの基本動作＞
次に、「合成画像モード」におけるデジタルカメラ１の動作について説明する。図４は、デジタルカメラ１の「合成画像モード」における基本的な動作の流れを示す図である。
<3. Basic operation of composite image mode>
Next, the operation of the
デジタルカメラ１は「合成画像モード」に設定されると、まず、ユーザからの撮影指示（シャッタボタン３４の押下）を待機する撮影待機状態となる（ステップＳ２にてＮｏの間）。このとき、液晶モニタ４においてライブビュー表示がなされる（ステップＳ１）。
When the
「合成画像モード」は集合写真などの複数の人物を被写体とする場合を対象とした動作モードであるため、このような撮影待機状態においては、光学ファインダ３２やライブビュー表示を利用して、被写体とすべき複数の人物が含まれるように構図がユーザ（撮影者）により決定されることになる。なお、「合成画像モード」では、後述のように複数回の撮影がなされるが、これらの撮影の相互間で構図が変更しないように、三脚などを用いてデジタルカメラ１を固定配置することが望ましい。
Since the “composite image mode” is an operation mode for a case where a plurality of persons such as a group photo is the subject, in such a shooting standby state, the subject is obtained using the
そして、ユーザから一の撮影指示がなされると（ステップＳ２にてＹｅｓ）、これに応答して、被写体となる同一の複数の人物の撮影が複数回なされ、複数の画像が取得される。すなわち、撮像制御部７１の制御により、「撮影（ステップＳ３）」、及び、「その撮影により取得された画像の画像メモリ５４への格納（ステップＳ４）」が、タイマ６４を用いて所定の時間間隔ごとに、所定回数繰り返される（ステップＳ５）。本実施の形態では、一の撮影指示に応答して例えば４回の撮影が行われるようになっており、撮影相互の時間間隔（画像の取得相互の時間間隔）は例えば０．２秒とされている。したがって、画像メモリ５４には、同一の複数の人物に係り、かつ、互いに取得タイミングが異なる４枚の画像が格納されることになる。
Then, when one shooting instruction is given from the user (Yes in step S2), in response to this, shooting of the same plurality of persons as the subject is performed a plurality of times, and a plurality of images are acquired. That is, under the control of the
このようにして複数の画像が取得されると、続いて、取得された複数の画像を用いて、視線がデジタルカメラ１に向いた人物像を多く含む一の合成画像を生成する合成画像生成処理が全体制御部６によりなされる（ステップＳ６）。そして、生成された合成画像がメモリカード９に記録される（ステップＳ７）。その後、デジタルカメラ１は再び撮影待機状態（ステップＳ１，Ｓ２）に戻ることになる。
When a plurality of images are acquired in this way, subsequently, a composite image generation process for generating a single composite image including a large number of human images whose line of sight faces the
＜４．合成画像生成処理＞
次に、合成画像生成処理（ステップＳ６）について詳細に説明する。前述したように、合成画像生成処理は、同一の複数の人物を撮影して得られる複数の画像（本実施の形態では４枚の画像）（以下、「元画像」という。）から、視線がデジタルカメラ１に向いた人物像を多く含む一の合成画像を生成する処理となる。
<4. Composite image generation processing>
Next, the composite image generation process (step S6) will be described in detail. As described above, in the composite image generation process, the line of sight is obtained from a plurality of images (four images in the present embodiment) (hereinafter referred to as “original images”) obtained by photographing the same plurality of persons. This is a process of generating one composite image including many human images that are suitable for the
以下では、図５ないし図８に示す４枚の元画像Ｐ１〜Ｐ４から一の合成画像を生成する場合を適宜、具体例として用いて説明する。これらの４枚の元画像Ｐ１〜Ｐ４は、同一の４名の人物を撮影して得られたものである。以下、この被写体となった４名の人物を左からＡ，Ｂ，Ｃ，Ｄと表現する。そして、元画像Ｐ１（図５）に含まれる人物Ａ〜Ｄの像（人物像）をそれぞれＡ１〜Ｄ１と表現する。同様に、元画像Ｐ２（図６）に含まれる人物像をＡ２〜Ｄ２、元画像Ｐ３（図７）に含まれる人物像をＡ３〜Ｄ３、元画像Ｐ４（図８）に含まれる人物像をＡ４〜Ｄ４とそれぞれ表現するものとする。 Hereinafter, a case where one composite image is generated from the four original images P1 to P4 shown in FIGS. 5 to 8 will be described as a specific example as appropriate. These four original images P1 to P4 are obtained by photographing the same four persons. Hereinafter, the four persons who are the subjects are expressed as A, B, C, and D from the left. The images (person images) of the persons A to D included in the original image P1 (FIG. 5) are expressed as A1 to D1, respectively. Similarly, the person images included in the original image P2 (FIG. 6) are A2 to D2, the person images included in the original image P3 (FIG. 7) are A3 to D3, and the person images included in the original image P4 (FIG. 8) are displayed. Assume that each of A4 to D4 is expressed.
図５ないし図８に示すように、４枚の元画像Ｐ１〜Ｐ４のいずれにおいても、視線がデジタルカメラ１に向いていない状態の人物像が含まれている。すなわち、元画像Ｐ１（図５）においては、人物像Ｂ１の視線はデジタルカメラ１に向いているが、他の人物像Ａ１，Ｃ１，Ｄ１の視線はデジタルカメラ１に向いていない。また、元画像Ｐ２（図６）においては、人物像Ａ２の視線はデジタルカメラ１に向いているが、他の人物像Ｂ２，Ｃ２，Ｄ２の視線はデジタルカメラ１に向いていない。また、元画像Ｐ３（図７）においては、人物像Ｂ３，Ｃ３の視線はデジタルカメラ１に向いているが、他の人物像Ａ３，Ｄ３の視線はデジタルカメラ１に向いていない。さらに、元画像Ｐ４（図８）においては、人物像Ｄ４の視線はデジタルカメラ１に向いているが、他の人物像Ａ４，Ｂ４，Ｃ４の視線はデジタルカメラ１に向いていない。
As shown in FIGS. 5 to 8, any of the four original images P <b> 1 to P <b> 4 includes a human image in a state where the line of sight does not face the
合成画像生成処理は、視線がデジタルカメラ１に向いていない状態の人物像が含まれているこのような複数の元画像から、視線がデジタルカメラ１に向いている状態の人物像のみを含む一の合成画像を生成することを目標として行われる。
The composite image generation process includes only a person image in which the line of sight is directed to the
図９は、合成画像生成処理の詳細な流れを示す図である。合成画像生成処理にあたっては、まず、複数の元画像のそれぞれから人物像が人物抽出部７２により抽出され、抽出された人物像のそれぞれに関してその視線がデジタルカメラ１に向いているか否かが人物判定部７３により判定される（ステップＳ１１〜Ｓ１４）。
FIG. 9 is a diagram showing a detailed flow of the composite image generation process. In the composite image generation processing, first, a person image is extracted from each of a plurality of original images by the
すなわち、まず、複数の元画像のうちの一の画像が、その時点において処理対象とすべき画像（以下、「注目画像」という。）として決定される（ステップＳ１１）。そして、注目画像から人物の顔に相当する顔領域が、人物像（正確には、人物像の一部）として抽出される。この人物像の抽出結果は、注目画像中における所定の座標系の座標情報として表現される。この顔領域を抽出する手法としては、例えば特許文献２に開示されているように、注目画像の各画素が示す色相や彩度に基づいて、人物の肌色に近似する領域を顔領域として抽出する手法などが利用できる（ステップＳ１２）。
That is, first, one of the plurality of original images is determined as an image to be processed at that time (hereinafter referred to as “target image”) (step S11). Then, a face area corresponding to a person's face is extracted from the target image as a person image (more precisely, a part of the person image). This person image extraction result is expressed as coordinate information of a predetermined coordinate system in the target image. As a method for extracting the face area, for example, as disclosed in
これにより、例えば図５に示す画像Ｐ１が注目画像である場合は、人物Ａ〜Ｄのそれぞれの顔を示す顔領域Ｆａ〜Ｆｄが、人物像Ａ１〜Ｄ１として抽出されることになる。 Thereby, for example, when the image P1 shown in FIG. 5 is the target image, the face areas Fa to Fd indicating the faces of the persons A to D are extracted as the person images A1 to D1.
続いて、抽出された人物像（顔領域）のそれぞれに関して、その人物像の視線（正確には、人物像が示す人物の視線）がデジタルカメラ１に向いているか否かが判定される。換言すれば、人物像のそれぞれに関して「視線がデジタルカメラ１に向いている状態である」という「状態条件」を満足するか否かの判定がなされることになる。このような画像中の人物像の視線の向きの判定には、例えば特許文献２に開示されているように、顔領域から眼領域及び瞳領域をさらに求め、瞳が眼の中のどの位置にあるかに基づいて判定する手法などが利用できる（ステップＳ１３）。
Subsequently, for each of the extracted person images (face regions), it is determined whether or not the line of sight of the person image (more precisely, the line of sight of the person indicated by the person image) is facing the
これにより、例えば図５に示す画像Ｐ１が注目画像である場合は、人物像Ｂ１（顔領域Ｆｂ）に関しては「状態条件を満足する（視線がデジタルカメラ１に向いている）」という判定がなされ、人物像Ａ１，Ｃ１，Ｄ１（顔領域Ｆａ，Ｆｃ，Ｆｄ）に関しては「状態条件を満足しない（視線がデジタルカメラ１に向いていない）」という判定がなされることになる。 Thereby, for example, when the image P1 shown in FIG. 5 is the target image, the determination is made that “the state condition is satisfied (the line of sight faces the digital camera 1)” with respect to the human image B1 (face region Fb). For the human images A1, C1, and D1 (face areas Fa, Fc, and Fd), it is determined that “the state condition is not satisfied (the line of sight does not face the digital camera 1)”.
このようにして一の注目画像に関して、人物像の抽出、及び、人物像が状態条件を満足するか否かの判定が完了すると、抽出された各人物像の座標情報、及び、判定結果がＲＡＭ６２に記憶される。続いて、複数の元画像のうち、人物像の抽出及びその判定がなされていない画像がある場合は（ステップＳ１４にてＹｅｓ）、処理はステップＳ１１に戻り、次の元画像が注目画像とされて上記と同様にして人物像の抽出及びその判定が行われる。そして同様の処理が繰り返されて、全ての元画像に関して人物像の抽出及びその判定が行われ、抽出された各人物像の座標情報、及び、判定結果がＲＡＭ６２に記憶される。
When the extraction of the person image and the determination as to whether or not the person image satisfies the state condition are completed for one attention image in this way, the coordinate information and the determination result of each extracted person image are stored in the
なお、抽出される人物像の数は複数の元画像の相互間で一致するはずであり、また、人物像の座標位置も複数の元画像の相互間でほぼ一致するはずである。このため、全ての元画像に関しての人物像の抽出が完了した時点で、複数の元画像の相互間において人物像の数が一致するか、及び、人物像の座標位置がほぼ一致するかの判定を行い、いずれかが満足されない場合はエラーとして処理を中止してもよい。以下の説明では、複数の元画像の相互間において、人物像の数が一致し、かつ、人物像の座標位置がほぼ一致しているものとする。 It should be noted that the number of extracted person images should match between the plurality of original images, and the coordinate positions of the person images should also approximately match between the plurality of original images. Therefore, when the extraction of the person images for all the original images is completed, it is determined whether the number of person images matches between the plurality of original images and the coordinate positions of the person images substantially match. If either of them is not satisfied, the processing may be stopped as an error. In the following description, it is assumed that the number of person images is the same and the coordinate positions of the person images are substantially the same among a plurality of original images.
全ての元画像に関して人物像の抽出及びその判定が完了すると、次に、各人物像の判定結果に基づいて、複数の元画像のうちから、合成画像を生成する際に主成分（ベース）となるベース画像がベース選択部７４により選択される。具体的には、複数の元画像のうち、状態条件を満足する人物像を最も多く含む元画像が、ベース画像として選択される（ステップＳ１５）。
When the extraction of the person image and the determination thereof are completed for all the original images, the main component (base) and the base image are generated when a composite image is generated from the plurality of original images based on the determination result of each person image. The
例えば、図５ないし図８に示す４枚の元画像Ｐ１〜Ｐ４においては、状態条件を満足する人物像の数は、元画像Ｐ１（図５）では１つ（人物像Ｂ１）、元画像Ｐ２（図６）では１つ（人物像Ａ２）、元画像Ｐ３（図７）では２つ（人物像Ｂ３，Ｃ３）、元画像Ｐ４（図８）では１つ（人物像Ｄ４）である。このため、状態条件を満足する人物像を最も多く含む元画像は元画像Ｐ３であり、この元画像Ｐ３がベース画像として選択されることになる。 For example, in the four original images P1 to P4 shown in FIGS. 5 to 8, the number of person images satisfying the state condition is one (person image B1) in the original image P1 (FIG. 5), and the original image P2 In FIG. 6, there is one (person image A <b> 2), in the original image P <b> 3 (FIG. 7), two (person images B <b> 3 and C <b> 3), and in the original image P <b> 4 (FIG. 8) one (person image D <b> 4). For this reason, the original image including the most human images satisfying the state condition is the original image P3, and this original image P3 is selected as the base image.
ベース画像が選択されると、次に、被写体となった複数の人物ごとに、複数の元画像のうちから一の元画像が、ベスト画像としてベスト選択部７５により選択される。この処理は、具体的には、被写体となった複数の人物ごとに、複数の元画像にそれぞれ含まれる当該人物に係る人物像のうちから、合成対象とすべき一の人物像を合成対象像として選択する処理となる（ステップＳ１６〜Ｓ１８）。
When the base image is selected, next, for each of a plurality of persons who are subjects, one of the plurality of original images is selected by the
すなわち、まず、被写体となった複数の人物のうちの一の人物が、その時点において処理対象とすべき人物（以下、「注目人物」という。）として決定される（ステップＳ１１）。なお、被写体となった複数の人物のそれぞれは、元画像から抽出された人物像に基づいて認識される。この際、複数の元画像の相互間において座標位置がほぼ一致している人物像が、同一人物に係る人物像として認識される。 That is, first, one of a plurality of persons who are subjects is determined as a person to be processed at that time (hereinafter referred to as “attention person”) (step S11). It should be noted that each of the plurality of persons that are subjects is recognized based on the person image extracted from the original image. At this time, human images whose coordinate positions are substantially the same among a plurality of original images are recognized as human images related to the same person.
例えば、図５ないし図８に示す元画像Ｐ１〜Ｐ４を用いる場合は、人物像Ａ１〜Ａ４、人物像Ｂ１〜Ｂ４、人物像Ｃ１〜Ｃ４、人物像Ｄ１〜Ｄ４がそれぞれ同一の人物に係る人物像として認識される。そして、それに基づき、被写体として４人の人物Ａ〜Ｄが存在すると認識される。さらに、それら４人の人物Ａ〜Ｄのうちから例えば人物Ａが注目人物として決定されることになる。 For example, when the original images P1 to P4 shown in FIG. 5 to FIG. 8 are used, the person images A1 to A4, the person images B1 to B4, the person images C1 to C4, and the person images D1 to D4 belong to the same person. Recognized as an image. Based on this, it is recognized that there are four persons A to D as subjects. Further, for example, the person A among the four persons A to D is determined as the attention person.
次に、複数の元画像にそれぞれ含まれる注目人物に関する人物像のうちから、合成対象とすべき一の人物像が合成対象像として選択される。合成対象とする人物像は、視線がデジタルカメラ１に向いていることが望ましい。このため、合成対象像の選択にあたっては、注目人物に係る人物像それぞれについての状態条件を満足するか否かの判定結果が参照され、状態条件を満足する人物像が合成対象像として選択される。そして、この合成対象像を含む元画像が、注目人物に係るベスト画像として選択されることになる。
Next, one person image to be synthesized is selected as a synthesis target image from among the person images related to the person of interest included in each of the plurality of original images. It is desirable that the person image to be combined has a line of sight toward the
このとき、状態条件を満足する人物像が複数存在したときは、そのうちでベース画像に含まれるものがあれば、その人物像が合成対象像として選択される。一方、状態条件を満足する人物像が複数存在したとき、そのうちにベース画像に含まれるものが存在しなければ、撮影順位がベース画像に最も近い元画像に含まれる人物像が合成対象像として選択される。なおこのとき、撮影順位がベース画像に最も近い元画像が２つ存在するときには、いずれを選択してもよい。例えば撮影順位が早いほうを選択すればよい。また逆に、状態条件を満足する人物像が一つも存在しないときは、ベース画像に含まれる人物像が合成対象像として選択される。 At this time, when there are a plurality of person images satisfying the state condition, if there are those included in the base image, the person images are selected as the synthesis target images. On the other hand, when there are multiple human images that satisfy the state condition, if there are no human images included in the base image, the human image included in the original image whose shooting order is closest to the base image is selected as the composition target image. Is done. At this time, when there are two original images whose shooting order is closest to the base image, any of them may be selected. For example, the one with the higher shooting order may be selected. Conversely, when there is no person image that satisfies the state condition, the person image included in the base image is selected as the composition target image.
このようにして一の注目人物に関して、ベスト画像（すなわち、合成対象像）の選択が完了すると、その選択結果がＲＡＭ６２に記憶される。続いて、複数の人物のうち、ベスト画像の選択がなされていない画像がある場合は（ステップＳ１８にてＹｅｓ）、処理はステップＳ１６に戻り、次の人物が注目人物とされて上記と同様にしてベスト画像の選択が行われる。そして同様の処理が繰り返されて、全ての人物に関してベスト画像の選択が行われることになる。
In this way, when the selection of the best image (that is, the compositing target image) is completed for one person of interest, the selection result is stored in the
例えば図５ないし図８に示す元画像Ｐ１〜Ｐ４を用いる場合において、人物Ａが注目人物のときは、人物Ａに係る人物像Ａ１〜Ａ４のうち、元画像Ｐ２中の人物像Ａ２のみが状態条件を満足する。このため、人物Ａに係る合成対象像としては人物像Ａ２が選択され、人物Ａに係るベスト画像としては元画像Ｐ２が選択される。 For example, in the case where the original images P1 to P4 shown in FIGS. 5 to 8 are used, when the person A is an attention person, only the person image A2 in the original image P2 among the person images A1 to A4 related to the person A is in a state. Satisfy the conditions. Therefore, the person image A2 is selected as the composition target image related to the person A, and the original image P2 is selected as the best image related to the person A.
また、人物Ｂが注目人物のときは、人物Ｂに係る人物像Ｂ１〜Ｂ４のうち、元画像Ｐ１中の人物像Ｂ１と元画像Ｐ３中の人物像Ｂ３とが状態条件を満足する。前述したように、元画像Ｐ１〜Ｐ４を用いる場合には、そのうちの元画像Ｐ３がベース画像として選択される。このため、人物Ｂに係る合成対象像としてはベース画像である元画像Ｐ３に含まれる人物像Ｂ３が選択され、人物Ｂに係るベスト画像としては元画像Ｐ３が選択される。同様にして、人物Ｃに係る合成対象像としては人物像Ｃ３が選択され、人物Ｃに係るベスト画像としては元画像Ｐ３が選択される。さらに、人物Ｄに係る合成対象像としては人物像Ｄ４が選択され、人物Ｄに係るベスト画像としては元画像Ｐ４が選択されることになる。 Further, when the person B is the target person, among the person images B1 to B4 related to the person B, the person image B1 in the original image P1 and the person image B3 in the original image P3 satisfy the state condition. As described above, when the original images P1 to P4 are used, the original image P3 is selected as the base image. Therefore, the person image B3 included in the original image P3 that is the base image is selected as the composition target image related to the person B, and the original image P3 is selected as the best image related to the person B. Similarly, the person image C3 is selected as the compositing target image related to the person C, and the original image P3 is selected as the best image related to the person C. Further, the person image D4 is selected as the composition target image related to the person D, and the original image P4 is selected as the best image related to the person D.
全ての人物に関してベスト画像の選択が行われると、次に、被写体となった複数の人物ごとに選択されたベスト画像のうちベース画像と一致しないものから、合成対象像が画像合成部７６により切り出される。換言すれば、被写体となった複数の人物ごとに選択された合成対象像のうち、ベース画像に含まれない合成対象像が切り出される（トリミングされる）ことになる（ステップＳ１９）。
When the best images have been selected for all the persons, the image to be combined is cut out by the
例えば、図５ないし図８に示す元画像Ｐ１〜Ｐ４を用いる場合においては、人物Ａのベスト画像（元画像Ｐ２）と、人物Ｄのベスト画像（元画像Ｐ４）とは、ベース画像（元画像Ｐ３）と異なる。つまり、人物Ａの合成対象像たる人物像Ａ２と、人物Ｄの合成対象像たる人物像Ｄ４とは、ベース画像に含まれていない。このため、図１０に示すように、元画像Ｐ２から人物Ａに係る人物像Ａ２が切り出され、元画像Ｐ４から人物Ｄに係る人物像Ｄ４が切り出される。 For example, when the original images P1 to P4 shown in FIGS. 5 to 8 are used, the best image (original image P2) of the person A and the best image (original image P4) of the person D are the base image (original image). Different from P3). That is, the person image A2 that is the composition target image of the person A and the person image D4 that is the composition target image of the person D are not included in the base image. Therefore, as shown in FIG. 10, a person image A2 related to the person A is cut out from the original image P2, and a person image D4 related to the person D is cut out from the original image P4.
このように元画像から合成対象像を切り出す際には、例えば、図１０に示すように人物像として抽出された顔領域を少なくとも含む矩形領域Ａ２１，Ｄ４１が切り出される。このような矩形領域のサイズ（縦横の幅）及び座標位置は、顔領域のサイズ及び座標位置に基づいて決定されることになる。この際、図１０に示すように、矩形領域は、顔領域のみならず、人物の体の一部に相当する領域を含むように決定されることが好ましい。 When the composition target image is cut out from the original image in this way, for example, rectangular areas A21 and D41 including at least the face area extracted as a person image are cut out as shown in FIG. The size (width and width) and coordinate position of such a rectangular area are determined based on the size and coordinate position of the face area. At this time, as shown in FIG. 10, it is preferable that the rectangular area is determined so as to include not only the face area but also an area corresponding to a part of the human body.
このようにして合成対象像（矩形領域）が切り出されると、切り出された合成対象像（矩形領域）がそれぞれ、ベース画像に対して画像合成部７６により合成される。切り出された合成対象像を合成するベース画像中の位置は、切り出された合成対象像に含まれる顔領域の中心位置と、ベース画像中に含まれる同一人物に係る人物像の顔領域の中心位置とが一致するように決定される。これにより、視線がデジタルカメラ１に向いた人物像を多く含む一の合成画像が生成されることになる（ステップＳ２０）。
When the compositing target image (rectangular area) is cut out in this way, the cut out compositing target image (rectangular area) is synthesized with the base image by the
例えば、図１０に示すように、人物Ａの合成対象像たる人物像Ａ２（矩形領域Ａ２１）は、ベース画像たる元画像Ｐ３中の人物Ａに係る人物像Ａ３の位置に合成される。また、人物Ｄの合成対象像たる人物像Ｄ４（矩形領域Ｄ４１）は、ベース画像たる元画像Ｐ３中の人物Ｄに係る人物像Ｄ３の位置に合成される。そして、これにより、一の合成画像Ｐ５が生成されることになる。 For example, as shown in FIG. 10, a person image A2 (rectangular area A21) that is a composition target image of the person A is synthesized at the position of the person image A3 related to the person A in the original image P3 that is the base image. In addition, the person image D4 (rectangular area D41), which is a composition target image of the person D, is synthesized at the position of the person image D3 related to the person D in the original image P3, which is the base image. As a result, one composite image P5 is generated.
図１１は、図５ないし図８に示す元画像Ｐ１〜Ｐ４を用いて生成された合成画像Ｐ５を示す図である。図に示すように、合成画像Ｐ５には、人物Ａ、Ｂ、Ｃ、Ｄそれぞれの合成対象像Ａ２、Ｂ３、Ｃ３、Ｄ４が含まれている。これにより、全ての人物像Ａ２、Ｂ３、Ｃ３、Ｄ４の視線は、デジタルカメラ１に向いた状態となっている。すなわち、視線がデジタルカメラ１に向いていない状態の人物像が含まれている複数の元画像Ｐ１〜Ｐ４から、上述した合成画像生成処理により、視線がデジタルカメラ１に向いている状態の人物像のみを含む一の合成画像Ｐ５が生成されたわけである。
FIG. 11 is a diagram showing a composite image P5 generated using the original images P1 to P4 shown in FIGS. As shown in the figure, the synthesized image P5 includes the images A2, B3, C3, and D4 for each of the persons A, B, C, and D. As a result, the lines of sight of all the human images A2, B3, C3, and D4 are in a state facing the
以上説明したように、デジタルカメラ１では、同一の複数の人物の撮影を複数回行うことにより複数の画像が取得される。そして、被写体となった複数の人物ごとに、複数の画像にそれぞれ含まれる当該人物に係る人物像のうちから一の人物像が合成対象像として選択され、複数の人物ごとに選択された合成対象像を用いて一の合成画像が生成される。したがって、一の撮影時点において被写体となる複数の人物の全員の視線がデジタルカメラ１に向いた状態とならなくても、視線がデジタルカメラ１に向いた人物像を多く含む画像を取得できる。これにより、撮影者たるユーザは、複数の人物の全員の視線がデジタルカメラ１に向くまで待つことなく撮影指示を行うことができる。
As described above, in the
また、複数の画像のうちの一の画像がベース画像として選択され、複数の人物ごとに選択された合成対象像のうちベース画像に含まれない合成対象像をベース画像に合成することで、一の合成画像が生成される。これにより、人物像以外の背景等を含む自然な合成画像を生成できる。 In addition, one image of a plurality of images is selected as a base image, and a compositing target image that is not included in the base image among the compositing target images selected for each of a plurality of persons is combined with the base image. A composite image is generated. As a result, a natural composite image including a background other than a human image can be generated.
また、ベース画像の選択にあたっては、複数の画像のうち状態条件を満足する人物像を最も多く含む画像が自動的に選択される。これにより、ユーザの煩雑な操作を伴うことなく、ベース画像として好ましい画像を自動的に選択できる。 Further, when selecting the base image, an image including the most human images satisfying the state condition among a plurality of images is automatically selected. As a result, it is possible to automatically select a preferable image as the base image without complicated operations by the user.
また、合成対象像の選択（ベスト画像の選択）にあたっては、状態条件を満足する人物像が自動的に選択される。これにより、ユーザの煩雑な操作を伴うことなく、合成対象像として好ましい人物像（ベスト画像として好ましい画像）を自動的に選択できる。 Further, when selecting a compositing target image (selecting the best image), a human image satisfying the state condition is automatically selected. Accordingly, it is possible to automatically select a person image that is preferable as a composition target image (an image that is preferable as the best image) without complicated operations by the user.
また、シャッタボタン３４の一度の押下、すなわち、ユーザからの一の撮影指示に応答して、被写体の撮影が複数回なされ複数の元画像が取得される。このため、ユーザは一回の撮影指示のみで、合成画像の生成に用いる複数の元画像を取得することができ、何度も撮影指示を行う必要がない。
Further, in response to a single press of the
＜５．他の実施の形態＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態（以下、「第１形態」という。）に限定されるものではなく様々な変形が可能である。以下では、このような他の実施の形態について説明する。
<5. Other embodiments>
Although the embodiment of the present invention has been described above, the present invention is not limited to the above-described embodiment (hereinafter referred to as “first embodiment”), and various modifications are possible. Hereinafter, such other embodiments will be described.
＜５−１．第２形態：手動選択＞
第１形態では、ベース画像はＣＰＵ６１の機能たるベース選択部７４により自動選択されていたが、ユーザが手動で選択するようになっていてもよい。
<5-1. Second form: Manual selection>
In the first mode, the base image is automatically selected by the
この場合においては、図９のステップＳ１５において、ベース画像の選択が自動的になされず、複数の元画像のうちから一の画像の指定をユーザから受け付け、これにより指定された画像がベース画像として選択される。 In this case, the selection of the base image is not automatically performed in step S15 in FIG. 9, but the designation of one of the plurality of original images is received from the user, and the image designated thereby is used as the base image. Selected.
図１２は、ベース画像の指定をユーザから受け付ける際の液晶モニタ４の画面の例を示す図である。図に示すように、液晶モニタ４には、ベース画像の候補となる複数の元画像Ｐ１〜Ｐ４が表示される。ユーザは、このような液晶モニタ４の画面を参照しつつ、十字キー３７を操作することにより矩形の選択枠Ｆｒを所望の元画像まで移動させ、確定ボタン３８を押下する。これにより、ユーザからの一の元画像の指定がＣＰＵ６１のベース選択部７４に受け付けられる。ベース選択部７４は、このようにして指定された画像をベース画像として選択することになる。これによれば、ユーザが所望の画像をベース画像として選択でき、最終的に所望の合成画像を生成できることになる。
FIG. 12 is a diagram illustrating an example of the screen of the liquid crystal monitor 4 when the designation of the base image is received from the user. As shown in the figure, the liquid crystal monitor 4 displays a plurality of original images P1 to P4 that are candidates for the base image. The user moves the rectangular selection frame Fr to a desired original image by operating the cross key 37 while referring to the screen of the
また、第１形態では、人物ごとのベスト画像も、ＣＰＵ６１の機能たるベスト選択部７５により自動選択されていたが、ユーザが手動で選択するようになっていてもよい。この場合においては、図９のステップＳ１７において、ベスト画像の選択が自動的になされず、複数の元画像のうちから一の画像の指定をユーザから受け付け、これにより指定された画像が注目人物のベスト画像として選択される。
In the first embodiment, the best image for each person is also automatically selected by the
この場合においても、図１２と同様の画面が液晶モニタ４に表示される。この画面に基づくユーザからの一の元画像の指定がＣＰＵ６１のベスト選択部７５に受け付けられ、ベスト選択部７５は指定された画像をベスト画像として選択することになる。これによれば、ユーザが所望の画像を注目人物のベスト画像として選択でき（すなわち、所望の人物像を合成対象像として選択でき）、最終的に所望の合成画像を生成できることになる。
Even in this case, a screen similar to that shown in FIG. The designation of one original image from the user based on this screen is received by the
なお、ベース画像及びベスト画像の双方をユーザが手動で選択するようになっている場合は、自動的に選択する際に選択基準に利用される元画像中の人物像が状態条件を満足するか否かの判定結果は不要である。このため、この場合は、図９のステップＳ１３の人物像が状態条件を満足するか否かの判定を行わなくてよい。 If the user manually selects both the base image and the best image, does the person image in the original image used as a selection criterion satisfy the state condition when selecting automatically? No determination result is required. For this reason, in this case, it is not necessary to determine whether or not the person image in step S13 in FIG. 9 satisfies the state condition.
＜５−２．第３形態：自動選択と手動選択との切り替え＞
ベース画像を自動で選択する機能（自動選択機能）と、手動で選択する機能（手動選択機能）との双方を一のデジタルカメラが備えていてもよい。この場合は、自動選択機能と手動選択機能とのいずれを有効とするか（能動化するか）をユーザから受け付けることになる。
<5-2. Third mode: switching between automatic selection and manual selection>
One digital camera may have both a function of automatically selecting a base image (automatic selection function) and a function of manually selecting a base image (manual selection function). In this case, it is accepted from the user whether the automatic selection function or the manual selection function is to be enabled (activated).
具体的には、撮影待機状態（図４のステップＳ１，Ｓ２）における所定の操作により液晶モニタ４に表示される設定メニューにおいて、ユーザはベース画像を自動選択するか手動選択するかを選択する。 Specifically, in the setting menu displayed on the liquid crystal monitor 4 by a predetermined operation in the shooting standby state (steps S1 and S2 in FIG. 4), the user selects whether to select the base image automatically or manually.
図１３は、ベース画像の選択にあたって自動選択機能と手動選択機能とのいずれを有効とするかを受け付けるための設定メニューの例を示す図である。ユーザは、このような液晶モニタ４の画面を参照しつつ、十字キー３７を操作することによりカーソルＣｒを「自動」及び「手動」のいずれかの項目に移動させ、確定ボタン３８を押下する。これにより、カーソルＣｒにて選択された項目がＣＰＵ６１に受け付けられる。そして、「自動」が選択されたときは自動選択機能が有効とされて第１形態と同様の自動選択動作がなされ、「手動」が選択されたときは手動選択機能が有効とされて第２形態と同様の手動選択動作がなされることになる。これによれば、ベース画像を自動で選択するか、手動で選択するかをユーザが所望に切り替えることができる。
FIG. 13 is a diagram illustrating an example of a setting menu for accepting which of the automatic selection function and the manual selection function is valid when selecting a base image. The user moves the cursor Cr to either “automatic” or “manual” by operating the cross key 37 while referring to the screen of the
同様に、ベスト画像（すなわち、合成対象像）の選択に係る自動選択機能と手動選択機能との双方を一のデジタルカメラが備えていてもよい。この場合も、液晶モニタ４に表示される設定メニューにおいて、自動選択機能と手動選択機能とのいずれを有効とするか（能動化するか）をユーザから受け付けることになる。
Similarly, one digital camera may be provided with both an automatic selection function and a manual selection function related to selection of the best image (that is, a synthesis target image). Also in this case, in the setting menu displayed on the
図１４は、ベスト画像の選択にあたって自動選択機能と手動選択機能とのいずれを有効とするかを受け付けるための設定メニューの例を示す図である。ユーザは、このような画面を参照しつつ「自動」及び「手動」のいずれかの項目を選択して確定ボタン３８を押下すると、選択された項目がＣＰＵ６１に受け付けられる。そして、「自動」が選択されたときは自動選択機能が有効とされて第１形態と同様の自動選択動作がなされ、「手動」が選択されたときは手動選択機能が有効とされて第２形態と同様の手動選択動作がなされることになる。これによれば、ベスト画像（すなわち、合成対象像）を自動で選択するか、手動で選択するかをユーザが所望に切り替えることができる。
FIG. 14 is a diagram illustrating an example of a setting menu for accepting which of the automatic selection function and the manual selection function is valid when selecting the best image. When the user selects either “automatic” or “manual” item and presses the
＜５−３．第４形態：状態条件の選択＞
第１形態では、図９のステップＳ１３において、各人物像に関して「視線がデジタルカメラ１に向いている状態である」という「状態条件」を満足するか否かの判定がなされていたが、この状態条件は、その候補となる複数の条件のうちからユーザが所望のものを選択できるようになっていてもよい。この場合は、液晶モニタ４に表示される設定メニューにおいて状態条件をユーザから受け付けることになる。
<5-3. Fourth Mode: Selection of State Conditions>
In the first mode, in step S13 of FIG. 9, it is determined whether or not the “state condition” that “the line of sight is facing the
図１５は、状態条件を受け付けるための設定メニューの例を示す図である。図に示すように、液晶モニタ４の画面には、「視線の向き」「顔の向き」「顔の部品」「眼の開閉」「表情」の５つの項目が表示されている。これらの項目は、それぞれ状態条件の候補となる条件に対応している。ユーザは、このような液晶モニタ４の画面を参照しつつ、十字キー３７を操作することによりカーソルＣｒをいずれかの項目に移動させ、確定ボタン３８を押下する。これにより、カーソルＣｒにて選択された項目に対応する条件が、図９のステップＳ１３の判定に用いるべき「状態条件」としてＣＰＵ６１に受け付けられる。
FIG. 15 is a diagram illustrating an example of a setting menu for accepting state conditions. As shown in the figure, on the screen of the
ここで、「視線の向き」の項目は「視線がデジタルカメラ１に向いている状態である」という条件に対応している。この条件は、上記第１形態における状態条件と同一である。
Here, the item “direction of line of sight” corresponds to the condition “line of sight is facing the
また、「顔の向き」の項目は「顔全体の向きがデジタルカメラ１に向いている状態である」という条件に対応している。すなわち、この項目が選択された場合は、人物像の顔全体の向きがデジタルカメラ１に向いているか否かが判定される。この判定には、例えば特許文献２に開示された手法などが利用できる。
Further, the item “face orientation” corresponds to the condition “the whole face is facing the
また、「顔の部品」の項目は「顔の部品が全て見えている状態である」という条件に対応している。すなわち、この項目が選択された場合は、人物像の顔領域において眼、鼻、口などの顔の部品の全てが存在しているか否かが判定される。この判定には、例えば特許文献２に開示された手法などが利用できる。
In addition, the item “Face Parts” corresponds to the condition “all face parts are visible”. That is, when this item is selected, it is determined whether or not all facial parts such as eyes, nose, and mouth are present in the face area of the person image. For this determination, for example, the technique disclosed in
また、「眼の開閉」の項目は「眼が開いている状態である」という条件に対応している。すなわち、この項目が選択された場合は、人物像の眼が開いているか否かが判定される。この判定には、例えば特許文献３に開示された手法などが利用できる。
Further, the item “open / close eye” corresponds to the condition “eye open”. That is, when this item is selected, it is determined whether or not the eyes of the person image are open. For this determination, for example, the technique disclosed in
また、「表情」の項目は「表情が笑顔の状態である」という条件に対応している。すなわち、この項目が選択された場合は、人物像の表情が笑顔であるか否かが判定される。この判定には、例えば特許文献４ないし６に開示された手法などが利用できる。
Further, the item “expression” corresponds to the condition that “the expression is in a smiling state”. That is, when this item is selected, it is determined whether or not the facial expression of the person image is a smile. For this determination, for example, methods disclosed in
これによれば、ユーザが所望の状態条件を設定できるため、所望の状態となる人物像を多く含む合成画像を生成できる。 According to this, since the user can set a desired state condition, it is possible to generate a composite image including many human images in a desired state.
＜５−４．第５形態：状態条件の複数選択＞
第４形態では、状態条件の候補となる複数の条件のうちから一の条件のみをユーザから受け付けていたが、複数の条件をユーザから受け付け可能となっていてもよい。
<5-4. Fifth Form: Multiple Selection of State Conditions>
In the fourth embodiment, only one condition is received from the user among a plurality of conditions that are candidates for state conditions, but a plurality of conditions may be received from the user.
図１６は、この場合における状態条件を受け付けるための設定メニューの例を示す図である。図に示すように、この場合においても、液晶モニタ４の画面には、状態条件の候補となる条件に対応する項目として「視線の向き」「顔の向き」「顔の部品」「眼の開閉」「表情」の５つの項目が表示されるが、それぞれの項目の左側にはチェックボックスが表示される。またさらに、条件とは無関係な「選択終了」の項目も表示される。 FIG. 16 is a diagram illustrating an example of a setting menu for accepting the state condition in this case. As shown in the figure, in this case as well, items on the screen of the liquid crystal monitor 4 corresponding to conditions that are candidates for the state condition are “direction of gaze”, “face orientation”, “face components”, “opening / closing of eyes” "Expression" is displayed in five items, and a check box is displayed on the left side of each item. Furthermore, an item “end selection” unrelated to the condition is also displayed.
このような画面において、カーソルＣｒをいずれかの項目に移動させ確定ボタン３８を押下すると、指定された旨を示すチェックマークＣＭがチェックボックスに表示される。このチェックマークが入れられた項目に対応する条件が、状態条件として指定されることになる。ユーザは、このような画面を利用して、所望の項目のチェックボックスにチェックマークＣＭを入れていくことで、複数の条件を状態条件として指定することができる。
In such a screen, when the cursor Cr is moved to any item and the
そして、少なくとも一つの項目のチェックボックスにチェックマークＣＭを入れた後、「選択終了」の項目を選択して確定ボタン３８を押下すると、チェックボックスにチェックマークＣＭが入れられた項目に対応する条件が、図９のステップＳ１３の判定に用いるべき「状態条件」としてＣＰＵ６１に受け付けられる。
Then, after putting a check mark CM in the check box of at least one item, selecting the “selection end” item and pressing the
複数の条件が「状態条件」とされたときは、図９のステップＳ１３の判定においては、人物像が「状態条件」とされた複数の条件のそれぞれを満足するか否かの判定がなされる。そして、複数の条件の全てを満足する人物像のみが、最終的に「状態条件」を満足する人物像として判定されることとなる。これによれば、ユーザにとってより好ましい状態となる人物像を多く含む合成画像を生成できる。 When the plurality of conditions are “state conditions”, in the determination in step S13 of FIG. 9, it is determined whether or not the person image satisfies each of the plurality of conditions set as “state conditions”. . Only a human image that satisfies all of the plurality of conditions is finally determined as a human image that satisfies the “state condition”. According to this, it is possible to generate a composite image including a large number of human images that are more favorable for the user.
＜５−５．第６形態：撮影条件の設定＞
第１形態では、一の撮影指示に応答して取得される合成画像の生成に用いる元画像の枚数（撮影枚数）と、元画像の取得相互の時間間隔（撮影の時間間隔）とは予め定められていたが、これらをユーザが所望の数値に設定できるようになっていてもよい。この場合は、液晶モニタ４に表示される設定メニューにおいて撮影枚数及び撮影の時間間隔をユーザから受け付けることになる。
<5-5. Sixth Form: Setting of Shooting Conditions>
In the first embodiment, the number of original images (number of images to be used) used to generate a composite image acquired in response to one shooting instruction and the time interval between acquisition of the original images (time interval for shooting) are determined in advance. However, the user may be able to set these to desired numerical values. In this case, in the setting menu displayed on the
図１７は、撮影枚数をユーザから受け付けるための設定メニューの例を示す図である。図に示すように、液晶モニタ４の画面には、撮影枚数を示す数値ＮＰが表示される。この数値ＮＰは、十字キー３７を操作することにより、例えば、２から１０（枚）までの間で変更することができる。数値ＮＰを所望のものとした後、確定ボタン３８を押下すると、表示されている数値ＮＰが「撮影枚数」としてＣＰＵ６１に受け付けられることになる。
FIG. 17 is a diagram illustrating an example of a setting menu for accepting the number of shots from the user. As shown in the figure, a numerical value NP indicating the number of shots is displayed on the screen of the
また、図１８は、撮影の時間間隔をユーザから受け付けるための設定メニューの例を示す図である。図に示すように、液晶モニタ４の画面には、撮影の時間間隔を示す数値ＴＩが表示される。この数値ＴＩは、十字キー３７を操作することにより、例えば、０．１から１．０（秒）までの間で変更することができる。数値ＴＩを所望のものとした後、確定ボタン３８を押下すると、表示されている数値ＴＩが「撮影の時間間隔」としてＣＰＵ６１に受け付けられることになる。
FIG. 18 is a diagram illustrating an example of a setting menu for accepting a shooting time interval from the user. As shown in the figure, a numerical value TI indicating a shooting time interval is displayed on the screen of the
このようにして、「撮影枚数」及び「撮影の時間間隔」を受け付けた後に一の撮影指示がなされると、撮像制御部７１の制御により、ユーザから受け付けた「撮影の時間間隔」ごとに、ユーザから受け付けた「撮影枚数」に一致する回数の撮影が繰り返されることになる（図４：ステップＳ３〜Ｓ５）。そして、この複数回の撮影によって得られた複数の元画像を用いて合成画像生成処理がなされて一の合成画像が生成される。これにより、ユーザは、所望の撮影間隔で得られた所望の枚数の元画像を用いて合成画像を生成できることになる。
In this way, when one shooting instruction is made after receiving the “number of shots” and the “shooting time interval”, the control of the
ところで、「撮影の時間間隔」と「撮影枚数−１」とを乗算した時間が、一の撮影指示に応答してなされる撮影の総時間となるが、この撮影の総時間があまりに長いと、被写体が大きく動いてしまい、自然な合成画像を生成できない可能性がある。このため、撮影の総時間が所定時間以内となるように、「撮影の時間間隔」あるいは「撮影枚数」に設定可能な上限値が定められるようになっていてもよい。例えば、撮影の総時間を２秒以内とする場合において、「撮影枚数」を５枚としたときは、「撮影の時間間隔」として設定可能な上限値は０．５秒とされることになる（０．５秒×（５−１）枚＝２秒）。 By the way, the time obtained by multiplying the “shooting time interval” and the “number of shots minus 1” is the total shooting time in response to one shooting instruction. If the total shooting time is too long, There is a possibility that the subject moves greatly and a natural composite image cannot be generated. For this reason, an upper limit value that can be set in the “shooting time interval” or the “number of shots” may be determined so that the total shooting time is within a predetermined time. For example, when the total shooting time is within 2 seconds and the “number of shots” is 5, the upper limit value that can be set as the “shooting time interval” is 0.5 seconds. (0.5 seconds × (5-1) sheets = 2 seconds).
＜５−６．第７形態：システム＞
第１形態では、単体のデジタルカメラ１が元画像の取得及び合成画像生成処理を行うようにしていたが、同様の処理を、デジタルカメラと汎用のコンピュータとを備える画像処理システムで行うようにしてもよい。
<5-6. Seventh form: System>
In the first embodiment, the single
図１９は、この場合における画像処理システム１００を示す図である。画像処理システム１００は、画像を取得するデジタルカメラ１０１と、デジタルカメラ１０１で取得された画像を用いて画像合成処理を行うコンピュータ１０２とを含んでいる。
FIG. 19 is a diagram showing the
デジタルカメラ１０１は、上記実施の形態のデジタルカメラ１と同様の構成のものを用いることができる。デジタルカメラ１０１は、上記実施の形態のデジタルカメラ１と同様にして、同一の複数の人物を撮影を複数回行って、合成画像生成処理に用いる複数の元画像を取得する。ただし、取得された複数の元画像は、合成画像生成処理が施されることなく、そのままメモリカード９に記録される。このようにしてメモリカード９に記録された複数の元画像は、メモリカード９を媒介として、あるいは、専用の通信ケーブルや電気通信回線を介して、コンピュータ１０２に転送される。
A
コンピュータ１０２は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスク、ディスプレイ及び通信部等を備えた汎用のコンピュータで構成される。そして、コンピュータ１０２内部のＣＰＵ、ＲＯＭ、ＲＡＭ等が、上記第１形態と同様の合成画像生成処理を行なう機能を実現する。すなわち、ＣＰＵ、ＲＯＭ、ＲＡＭ等が、図３に示す人物抽出部７２、人物判定部７３、ベース選択部７４、ベスト選択部７５、画像合成部７６と同様に機能することとなる。
The
このような合成画像生成処理を行なう機能は、ＣＤ−ＲＯＭ等の記録媒体９１から、あるいは、インターネットなどの電気通信回線を介して取得され、コンピュータ１０２内にインストールされるプログラムにより実現される。すなわち、このプログラムに従ってＣＰＵ、ＲＯＭ、ＲＡＭ等が機能することにより、合成画像生成処理を行なう機能が実現される。これにより、汎用のコンピュータ１０２が、合成画像生成処理を行なう画像処理装置として機能することになる。
The function of performing such a composite image generation process is realized by a program that is acquired from a
図２０は、コンピュータ１０２によってなされる画像処理の流れを示す図である。デジタルカメラ１０１から転送された複数の元画像は、コンピュータ１０２のハードディスクに記憶される。このため、合成画像生成処理にあたっては、まず、プログラムに従ってＣＰＵ等によって実現される機能により、ハードディスクから複数の元画像がＲＡＭに読み出されて、処理可能に準備される（ステップＳ３１）。
FIG. 20 is a diagram illustrating a flow of image processing performed by the
そして、合成画像生成処理を行なう機能により、ＲＡＭに読み出された複数の元画像に対して合成画像生成処理が行われる。この合成画像生成処理は、図９に示す処理と同一である（ステップＳ３２）。この処理により生成された合成画像は、ハードディスクに記憶されることになる（ステップＳ３３）。 The composite image generation process is performed on the plurality of original images read into the RAM by the function of performing the composite image generation process. This composite image generation process is the same as the process shown in FIG. 9 (step S32). The composite image generated by this process is stored in the hard disk (step S33).
このように、本形態によれば、第１形態と同様の処理を、デジタルカメラと汎用のコンピュータとで分散して行うことができる。 Thus, according to the present embodiment, the same processing as that of the first embodiment can be performed in a distributed manner between the digital camera and the general-purpose computer.
＜５−７．その他の変形例＞
第１形態では、図９のステップＳ１３において、各人物像に関して「状態条件」を満足するか否かの判定がなされていたが、各人物像に関して「状態条件」を満足する程度（度合い）を点数として導出するようにしてもよい。そして、この場合の合成対象像の選択にあたっては、複数の元画像にそれぞれ含まれる人物像のうちで、最も点数の高いものを合成対象像として選択すればよい。なお、この場合においても、ベース画像に含まれる人物像は他の元画像に含まれる人物像よりも合成対象像として優先的に選択されることが好ましいため、ベース画像に含まれる人物像に所定点を加点してもよい。
<5-7. Other variations>
In the first embodiment, whether or not the “state condition” is satisfied with respect to each person image is determined in step S13 of FIG. 9, but the degree (degree) of satisfying the “state condition” with respect to each person image is determined. You may make it derive | lead-out as a score. In selecting the compositing target image in this case, it is only necessary to select the person image included in each of the plurality of original images having the highest score as the compositing target image. Even in this case, since the human image included in the base image is preferably selected as the synthesis target image preferentially over the human image included in the other original image, the human image included in the base image A fixed point may be added.
また、第２形態では、合成対象像を手動で選択するにあたっては、ベスト画像の選択により間接的に合成対象像が選択されていたが、任意の元画像中の領域をユーザが直接的に指定して合成対象像を選択する態様であってもよい。 In the second mode, when the synthesis target image is manually selected, the synthesis target image is selected indirectly by selecting the best image. However, the user directly specifies an area in any original image. Then, an aspect of selecting a compositing target image may be used.
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。 Further, in the above-described embodiment, it has been described that various functions are realized in software by the arithmetic processing of the CPU according to the program. However, some of these functions are realized by an electrical hardware circuit. Also good. Conversely, some of the functions realized by the hardware circuit may be realized by software.
１ デジタルカメラ
２ 撮像センサ
４ 液晶モニタ
６ 全体制御部
９ メモリカード
３４ シャッタボタン
９１ 記録媒体
DESCRIPTION OF
Claims (16)
同一の複数の人物の撮影を複数回行うことにより複数の画像を取得する撮像手段と、
前記複数の人物ごとに、前記複数の画像にそれぞれ含まれる当該人物に係る人物像のうちから一の人物像を合成対象像として選択する第１選択手段と、
前記複数の人物ごとの前記合成対象像を用いて一の合成画像を生成する合成手段と、
を備えることを特徴とする撮像装置。 An imaging device comprising:
Imaging means for acquiring a plurality of images by performing photographing of the same plurality of persons a plurality of times;
First selection means for selecting, for each of the plurality of persons, one person image from among the person images related to the person included in the plurality of images as a composition target image;
Combining means for generating one combined image using the combination target images for each of the plurality of persons;
An imaging apparatus comprising:
前記複数の画像のうちの一の画像をベース画像として選択する第２選択手段、
をさらに備え、
前記合成手段は、前記複数の人物ごとの前記合成対象像のうち前記ベース画像に含まれない前記合成対象像を、前記ベース画像に合成することで、前記合成画像を生成することを特徴とする撮像装置。 The imaging device according to claim 1,
Second selection means for selecting one of the plurality of images as a base image;
Further comprising
The synthesizing unit generates the synthesized image by synthesizing the synthesis target image not included in the base image among the synthesis target images for each of the plurality of persons with the base image. Imaging device.
前記第２選択手段は、前記複数の画像のうち、所定の状態条件を満足する人物像を最も多く含む画像を前記ベース画像として選択することを特徴とする撮像装置。 The imaging device according to claim 2,
The image pick-up apparatus, wherein the second selecting means selects, as the base image, an image including the largest number of human images satisfying a predetermined state condition among the plurality of images.
前記第２選択手段は、前記複数の画像のうち、ユーザから指定された画像を前記ベース画像として選択することを特徴とする撮像装置。 The imaging device according to claim 2,
The imaging apparatus according to claim 2, wherein the second selection unit selects an image designated by a user from the plurality of images as the base image.
前記第２選択手段は、
前記複数の画像のうち、所定の状態条件を満足する人物像を最も多く含む画像を前記ベース画像として選択する自動選択手段と、
前記複数の画像のうち、ユーザから指定された画像を前記ベース画像として選択する手動選択手段と、
を備え、
前記自動選択手段と前記手動選択手段とのいずれを能動化するかをユーザから受け付ける手段、
をさらに備えることを特徴とする撮像装置。 The imaging device according to claim 2,
The second selection means includes
Automatic selection means for selecting, as the base image, an image including the largest number of human images satisfying a predetermined state condition among the plurality of images;
Manual selection means for selecting, as the base image, an image designated by a user among the plurality of images;
With
Means for accepting from the user which of the automatic selection means and the manual selection means is to be activated;
An image pickup apparatus further comprising:
前記第１選択手段は、所定の状態条件を満足する人物像を前記合成対象像として選択することを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 5,
The imaging apparatus according to claim 1, wherein the first selection unit selects a person image satisfying a predetermined state condition as the synthesis target image.
前記第１選択手段は、ユーザから指定された人物像を前記合成対象像として選択することを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 5,
The imaging apparatus according to claim 1, wherein the first selection unit selects a human image designated by a user as the synthesis target image.
前記第１選択手段は、
所定の状態条件を満足する人物像を前記合成対象像として選択する自動選択手段と、
ユーザから指定された人物像を前記合成対象像として選択する手動選択手段と、
を備え、
前記自動選択手段と前記手動選択手段とのいずれを能動化するかをユーザから受け付ける手段、
をさらに備えることを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 5,
The first selection means includes
Automatic selection means for selecting a person image satisfying a predetermined state condition as the composition target image;
Manual selection means for selecting a person image designated by the user as the synthesis target image;
With
Means for accepting from the user which of the automatic selection means and the manual selection means is to be activated;
An image pickup apparatus further comprising:
前記状態条件の候補となる複数の条件のうちから少なくとも一つを、前記状態条件としてユーザから受け付ける手段、
をさらに備えることを特徴とする撮像装置。 The imaging apparatus according to any one of claims 3, 5, 6, and 8.
Means for accepting at least one of a plurality of conditions as candidates for the state condition from the user as the state condition;
An image pickup apparatus further comprising:
前記撮像手段は、ユーザからの一回の撮影指示に応答して、前記複数の画像を取得することを特徴とする撮像装置。 The imaging device according to any one of claims 1 to 9,
The image pickup device acquires the plurality of images in response to a single shooting instruction from a user.
前記複数の画像の取得相互の時間間隔をユーザから受け付ける手段、
をさらに備えることを特徴とする撮像装置。 The imaging device according to claim 10.
Means for receiving a time interval between the acquisition of the plurality of images from a user;
An image pickup apparatus further comprising:
前記一の撮影指示に応答して取得する画像の枚数をユーザから受け付ける手段、
をさらに備えることを特徴とする撮像装置。 The imaging device according to claim 10.
Means for receiving from the user the number of images to be acquired in response to the one shooting instruction;
An image pickup apparatus further comprising:
同一の複数の人物の撮影を複数回行うことにより取得された複数の画像を準備する準備手段と、
前記複数の人物ごとに、前記複数の画像にそれぞれ含まれる当該人物に係る人物像のうちから一の人物像を合成対象像として選択する選択手段と、
前記複数の人物ごとの前記合成対象像を用いて一の合成画像を生成する合成手段と、
を備えることを特徴とする画像処理装置。 An image processing apparatus,
Preparing means for preparing a plurality of images acquired by performing photographing of the same plurality of persons a plurality of times;
Selecting means for selecting one person image as a composition target image for each of the plurality of persons from among the person images related to the person included in the plurality of images;
Combining means for generating one combined image using the combination target images for each of the plurality of persons;
An image processing apparatus comprising:
前記撮像装置は、
同一の複数の人物の撮影を複数回行うことにより複数の画像を取得する撮像手段、
を備え、
前記画像処理装置は、
前記複数の人物ごとに、前記複数の画像にそれぞれ含まれる当該人物に係る人物像のうちから一の人物像を合成対象像として選択する選択手段と、
前記複数の人物ごとの前記合成対象像を用いて一の合成画像を生成する合成手段と、
を備えることを特徴とする画像処理システム。 An image processing system including an imaging device that captures an image by capturing a subject and an image processing device that processes an image acquired by the imaging device,
The imaging device
An imaging means for acquiring a plurality of images by performing imaging of the same plurality of persons a plurality of times;
With
The image processing apparatus includes:
Selecting means for selecting one person image as a composition target image for each of the plurality of persons from among the person images related to the person included in the plurality of images;
Combining means for generating one combined image using the combination target images for each of the plurality of persons;
An image processing system comprising:
同一の複数の人物の撮影を複数回行うことにより取得された複数の画像を準備する準備工程と、
前記複数の人物ごとに、前記複数の画像にそれぞれ含まれる当該人物に係る人物像のうちから一の人物像を合成対象像として選択する選択工程と、
前記複数の人物ごとの前記合成対象像を用いて一の合成画像を生成する合成工程と、
を備えることを特徴とする画像処理方法。 A method of processing an image comprising:
A preparation step of preparing a plurality of images acquired by performing photographing of the same plurality of persons a plurality of times;
For each of the plurality of persons, a selection step of selecting one person image as a composition target image from among person images related to the person included in each of the plurality of images;
A synthesis step of generating one synthesized image using the synthesis target image for each of the plurality of persons;
An image processing method comprising:
同一の複数の人物の撮影を複数回行うことにより取得された複数の画像を準備する準備工程と、
前記複数の人物ごとに、前記複数の画像にそれぞれ含まれる当該人物に係る人物像のうちから一の人物像を合成対象像として選択する選択工程と、
前記複数の人物ごとの前記合成対象像を用いて一の合成画像を生成する合成工程と、
を実行させることを特徴とするプログラム。
A program for processing an image, wherein the computer executes the program on the computer,
A preparation step of preparing a plurality of images acquired by performing photographing of the same plurality of persons a plurality of times;
For each of the plurality of persons, a selection step of selecting one person image as a composition target image from among person images related to the person included in each of the plurality of images;
A synthesis step of generating one synthesized image using the synthesis target image for each of the plurality of persons;
A program characterized by having executed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005013582A JP2006203600A (en) | 2005-01-21 | 2005-01-21 | Imaging apparatus, image processor, image processing system, and image processing method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005013582A JP2006203600A (en) | 2005-01-21 | 2005-01-21 | Imaging apparatus, image processor, image processing system, and image processing method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006203600A true JP2006203600A (en) | 2006-08-03 |
Family
ID=36961196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005013582A Pending JP2006203600A (en) | 2005-01-21 | 2005-01-21 | Imaging apparatus, image processor, image processing system, and image processing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006203600A (en) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008099080A (en) * | 2006-10-13 | 2008-04-24 | Tatsumi Denshi Kogyo Kk | Automatic photographing apparatus and automatic photographing method |
| JP2008182485A (en) * | 2007-01-24 | 2008-08-07 | Fujifilm Corp | Photographing device and photographing method |
| JP2008205838A (en) * | 2007-02-20 | 2008-09-04 | Canon Inc | Imaging apparatus and control method thereof |
| WO2008149925A1 (en) * | 2007-06-08 | 2008-12-11 | Nikon Corporation | Imaging device, image display device, and program |
| JP2009237899A (en) * | 2008-03-27 | 2009-10-15 | Advanced Telecommunication Research Institute International | Image processing apparatus |
| JP2010016678A (en) * | 2008-07-04 | 2010-01-21 | Casio Comput Co Ltd | Image synthesizer, image synthesis program, and image synthesis method |
| JP2010045421A (en) * | 2008-08-08 | 2010-02-25 | Casio Comput Co Ltd | Imaging apparatus, image processing method, and program |
| JP2010098404A (en) * | 2008-10-15 | 2010-04-30 | Nec Corp | Imaging device, mobile terminal provided with imaging device, portrait image processing method, portrait image processing program, and recording medium |
| JP2010130266A (en) * | 2008-11-27 | 2010-06-10 | Hoya Corp | Image capturing apparatus, and method of reproducing image |
| US8107771B2 (en) | 2007-03-19 | 2012-01-31 | Sony Corporation | Image processing apparatus and image processing method |
| CN102469263A (en) * | 2010-11-16 | 2012-05-23 | 卡西欧计算机株式会社 | Imaging apparatus and image synthesizing method |
| US8363910B2 (en) | 2007-03-08 | 2013-01-29 | Sony Corporation | Image processing device, image processing method, and program |
| US8456536B2 (en) | 2007-03-26 | 2013-06-04 | Sony Corporation | Image processing apparatus, image processing method and program with sightline detection |
| US8482651B2 (en) | 2007-02-15 | 2013-07-09 | Sony Corporation | Image processing device and image processing method |
| US8872929B2 (en) | 2007-06-25 | 2014-10-28 | Sony Corporation | Picture imaging apparatus and imaging control method |
| US8976255B2 (en) | 2011-02-28 | 2015-03-10 | Olympus Imaging Corp. | Imaging apparatus |
| JP2019504514A (en) * | 2016-11-29 | 2019-02-14 | 北京小米移動軟件有限公司Ｂｅｉｊｉｎｇ Ｘｉａｏｍｉ Ｍｏｂｉｌｅ Ｓｏｆｔｗａｒｅ Ｃｏ．，Ｌｔｄ． | Photo composition method, apparatus, program, and recording medium |
| JP2020162123A (en) * | 2019-06-04 | 2020-10-01 | マクセル株式会社 | Imaging apparatus and image processing method |
-
2005
- 2005-01-21 JP JP2005013582A patent/JP2006203600A/en active Pending
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008099080A (en) * | 2006-10-13 | 2008-04-24 | Tatsumi Denshi Kogyo Kk | Automatic photographing apparatus and automatic photographing method |
| JP2008182485A (en) * | 2007-01-24 | 2008-08-07 | Fujifilm Corp | Photographing device and photographing method |
| US8482651B2 (en) | 2007-02-15 | 2013-07-09 | Sony Corporation | Image processing device and image processing method |
| JP2008205838A (en) * | 2007-02-20 | 2008-09-04 | Canon Inc | Imaging apparatus and control method thereof |
| US8363910B2 (en) | 2007-03-08 | 2013-01-29 | Sony Corporation | Image processing device, image processing method, and program |
| US8107771B2 (en) | 2007-03-19 | 2012-01-31 | Sony Corporation | Image processing apparatus and image processing method |
| US8456536B2 (en) | 2007-03-26 | 2013-06-04 | Sony Corporation | Image processing apparatus, image processing method and program with sightline detection |
| WO2008149925A1 (en) * | 2007-06-08 | 2008-12-11 | Nikon Corporation | Imaging device, image display device, and program |
| US8587658B2 (en) | 2007-06-08 | 2013-11-19 | Nikon Corporation | Imaging device, image display device, and program with intruding object detection |
| US8872929B2 (en) | 2007-06-25 | 2014-10-28 | Sony Corporation | Picture imaging apparatus and imaging control method |
| JP2009237899A (en) * | 2008-03-27 | 2009-10-15 | Advanced Telecommunication Research Institute International | Image processing apparatus |
| JP2010016678A (en) * | 2008-07-04 | 2010-01-21 | Casio Comput Co Ltd | Image synthesizer, image synthesis program, and image synthesis method |
| JP2010045421A (en) * | 2008-08-08 | 2010-02-25 | Casio Comput Co Ltd | Imaging apparatus, image processing method, and program |
| JP2010098404A (en) * | 2008-10-15 | 2010-04-30 | Nec Corp | Imaging device, mobile terminal provided with imaging device, portrait image processing method, portrait image processing program, and recording medium |
| JP2010130266A (en) * | 2008-11-27 | 2010-06-10 | Hoya Corp | Image capturing apparatus, and method of reproducing image |
| JP2012109693A (en) * | 2010-11-16 | 2012-06-07 | Casio Comput Co Ltd | Imaging apparatus, image compositing method and program |
| CN102469263A (en) * | 2010-11-16 | 2012-05-23 | 卡西欧计算机株式会社 | Imaging apparatus and image synthesizing method |
| US9288386B2 (en) | 2010-11-16 | 2016-03-15 | Casio Computer Co., Ltd. | Imaging apparatus and image synthesizing method |
| US8976255B2 (en) | 2011-02-28 | 2015-03-10 | Olympus Imaging Corp. | Imaging apparatus |
| JP2019504514A (en) * | 2016-11-29 | 2019-02-14 | 北京小米移動軟件有限公司Ｂｅｉｊｉｎｇ Ｘｉａｏｍｉ Ｍｏｂｉｌｅ Ｓｏｆｔｗａｒｅ Ｃｏ．，Ｌｔｄ． | Photo composition method, apparatus, program, and recording medium |
| JP2020162123A (en) * | 2019-06-04 | 2020-10-01 | マクセル株式会社 | Imaging apparatus and image processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2006203600A (en) | Imaging apparatus, image processor, image processing system, and image processing method and program | |
| JP2006201531A (en) | Imaging device | |
| JP4861952B2 (en) | Image processing apparatus and imaging apparatus | |
| US8284264B2 (en) | Imaging apparatus, method, and program | |
| JP5293206B2 (en) | Image search apparatus, image search method and program | |
| JP2010183317A (en) | Imaging device, image composition and display device, image composition and display method, and program | |
| JP5186021B2 (en) | Imaging apparatus, image processing apparatus, and imaging method | |
| JP2011049952A (en) | Image generating apparatus and electronic camera | |
| JP5533053B2 (en) | Camera, camera control program, and shooting teaching method | |
| CN102611835B (en) | Digital photographing apparatus and its control method | |
| JP3925054B2 (en) | Camera device | |
| CN108471503A (en) | Picture pick-up device and its control method | |
| JP2005020446A (en) | Device and program for photographing image | |
| JP4621992B2 (en) | Imaging apparatus and imaging method | |
| JP2008245093A (en) | Digital camera, and control method and control program of digital camera | |
| JP5206422B2 (en) | Composition selection device and program | |
| JP2005143112A (en) | Camera and method concerning the same | |
| JP5635450B2 (en) | Imaging apparatus, finder and display method thereof | |
| JP2010141609A (en) | Imaging apparatus | |
| JP5044472B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP4765909B2 (en) | Imaging apparatus, group member determination method and program | |
| JP2008054031A (en) | Digital camera and display control method | |
| JP2001045355A (en) | Photographing device and group photographic image forming method | |
| JP2010200362A (en) | Camera, and device and method for display control of the same | |
| JP2009207027A (en) | Imaging apparatus and imaging method |