JP2010161526A - デジタルカメラ - Google Patents

Abstract

【課題】デジタルカメラにおいて、三脚を使用したり第三者に撮影操作を依頼したりすることなく、しかも自然な状態の質の高い記念写真等を容易に撮影することを可能とする。
【解決手段】
２回の撮影操作に応じて取得した第１の画像及び第２の画像から第３の画像を生成し、それを撮影画像として記録する構成である。２回目の撮影時には、撮影者に１回目の撮影時と同様の画角位置で１回目の撮影を行った撮影者（Ａ）のみを被写体とした撮影を行わせる。２回目の撮影で取得した第２の画像２０２からピントが合っている部分を検出し、その部分を部分画像２０２ａとして切り出し、部分画像２０２ａを、画像内における位置を維持したまま１回目の撮影で取得した第１の画像２０２に上書き合成する。２回目の撮影時にフレーミングを殊更慎重に行ったり、背景を注意しながら撮影タイミングを決定したりする必要がなくなる。
【選択図】 図６

Description

本発明は、例えば記念撮影に用いて好適なデジタルカメラ、及びその撮影記録方法と撮影制御プログラムに関する。

従来、デジタルカメラにおいては、例えば旅行先で家族全員が写った写真を、三脚を使用したり第三者に撮影操作を依頼したりすることなく撮影（取得）可能とするための技術として、例えば下記特許文献１には、１枚の写真（画像）の取得に際し、それを構成する部分画像を複数回の撮影によって個別に取得するものとし、各々の撮影で取得した部分画像を合成することによって１枚の写真（画像）を生成する技術が記載されている。

より具体的には、例えば撮影回数を２回として、１回目の撮影時には、撮影者に自分以外の家族が画角内の右側半分の領域に位置する画像を撮影させて右側半分の画像を取得し、２回目の撮影時には、撮影者を他の者に交替させるとともに、交替後の撮影者に、前回の撮影者が画角内の左側半分の領域に位置する画像を撮影させて左側半分の画像を取得する。しかる後、取得した右側半分の画像と左側半分の画像とを合成することにより家族全員が写った写真を生成する。なお、２回目の撮影時に撮影待機状態でモニターに表示するスルー画像には、１回目の撮影時に取得した右側半分の画像を、それを撮影したときの位置と同一の位置に重ねて表示させることにより、２回目の撮影時における適切なフレーミング（１回目の撮影時と同一の画角位置の確保）を容易とする。

特開２００３−２７４２６３号公報

しかしながら、上記の技術は、部分画像として背景を含めた画像を個別に取得し、それらを合成して１枚の写真（画像）を生成するものであるため、１回目の撮影時の画角位置と２回目の撮影時の画角位置とに間にズレが生じると、明らかに合成写真であることが判る画像となる。また、背景部分に動いている被写体が存在していたときには、その一部のみが写った不自然な写真となる。係ることから、自然な状態の質の高い記念写真等を得るためには、２回目の撮影にはフレーミングを慎重に行うとともに、背景を注意しながら撮影タイミングを決定する必要があるという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、三脚を使用したり第三者に撮影操作を依頼したりすることなく、しかも自然な状態の質の高い記念写真等を容易に撮影することができるデジタルカメラ、及びその撮影記録方法と撮影制御プログラムを提供することを目的とする。

前記課題を解決するため、請求項１記載の発明に係るデジタルカメラにあっては、時間的に相前後する第１の撮影操作及び第２の撮影操作にそれぞれ応じた撮像動作により撮像手段によって取得された第１の画像及び第２の画像から第３の画像を生成し、この第３の画像を撮影画像として記録手段に記録するデジタルカメラにおいて、前記第２の画像から当該画像のコントラスト情報に基づきピントが合っている合焦領域を検出する領域検出手段と、この領域検出手段により検出された合焦領域に相当する部分画像を前記第２の画像から切り出す切り出し手段と、この切り出し手段により第２の画像から切り出された部分画像を画像内における位置を維持したまま前記第１の画像に上書き合成することによって前記第３の画像を生成する合成手段とを備えたことを特徴とする。

また、請求項２記載の発明に係るデジタルカメラにあっては、前記第２の撮影操作に応じた撮像手段の撮像動作時における絞りの開度を、無条件に、前記第１の撮影操作に応じた撮像手段の撮像動作時よりも大きな開度に制御する絞り制御手段を備えたことを特徴とする。

また、請求項３記載の発明に係るデジタルカメラにあっては、前記領域検出手段による合焦領域の検出時にピントが合っているか否かの判断基準となるコントラスト情報の閾値を、使用者による調整操作に応じて変化させる調整手段を備えたことを特徴とする。

また、請求項４記載の発明に係るデジタルカメラにあっては、前記領域検出手段は、所定の単位領域毎にコントラスト情報に基づきピントが合っているか否かを判断するとともに、ピントが合っていると判断した互いに隣接する単位領域群を合焦領域として検出することを特徴とする。

また、請求項５記載の発明に係るデジタルカメラにあっては、前記領域検出手段によって第２の画像から互いに離間する複数の合焦領域が検出された場合、複数の合焦領域のうちで最大面積の合焦領域を切り出し対象領域として設定する領域設定手段を備え、前記切り出し手段は、前記領域設定手段により設定された切り出し対象領域に相当する部分画像を前記第２の画像から切り出すことを特徴とする。

また、請求項６記載の発明に係るデジタルカメラにあっては、前記領域検出手段により検出された合焦領域に隣接し、かつ隣接する単位領域と近似する色成分を有する近似色領域を検出する近似色領域検出手段と、前記領域検出手段によって検出された合焦領域に、前記近似色領域検出手段により検出された近似色領域を加えた領域を切り出し対象領域として設定する領域設定手段とを備え、前記切り出し手段は、前記領域設定手段により設定された切り出し対象領域に相当する部分画像を前記第２の画像から切り出すことを特徴とする。

また、請求項７記載の発明に係るデジタルカメラにあっては、画角内の主たる被写体にピントを合わせるためのフォーカス調整手段を備えたことを特徴とする。

また、請求項８記載の発明に係るデジタルカメラにあっては、人物の形状の特徴を示す特徴データを記憶する特徴データ記憶手段と、この特徴データ記憶手段に記憶されている特徴データを用いて第２の画像から人物に該当する人物領域を検出する人物領域検出手段とを備え、前記切り出し手段は、前記領域検出手段により検出された合焦領域であって、前記人物領域検出手段により検出された人物領域に含まれる合焦領域に相当する部分画像を前記第２の画像から切り出すことを特徴とする。

また、請求項９記載の発明に係るデジタルカメラにあっては、前記特徴データ記憶手段には、前記特徴データとして立った状態の人物と座った状態の人物との互いに異なる状態の人物の形状の特徴を示す複数種類の特徴データが記憶されるとともに、前記人物領域検出手段による人物領域の検出に使用される特徴データの種類を使用者に選択させる選択制御手段を備えたことを特徴とする。

また、請求項１０記載の発明に係るデジタルカメラにあっては、前記記録制御手段は、第３の画像に加え、前記第１の画像及び第２の画像を撮影画像としてそれぞれ記録手段に記録させることを特徴とする。

また、請求項１１記載の発明にあっては、撮影準備期間に撮像手段により撮像された被写体の画像をスルー画像として表示する表示手段と、前記第１の撮影操作から前記第２の撮影操作までの撮影準備期間に、前記第１の画像を半透明状態で前記表示手段に表示させる表示制御手段とを備えたことを特徴とする請求項１乃至１０いずれか記載のデジタルカメラとした。

また、請求項１２記載の発明にあっては、撮影準備期間に撮像手段により撮像された被写体の画像をスルー画像として表示する表示手段と、前記切り出し手段により第２の画像から切り出された部分画像を画像内における位置を維持したまま前記第１の画像に他の部分と識別可能な表示形態で上書き合成することにより第４の画像を生成する第２の合成手段と、この第２の合成手段により生成された第４の画像を前記表示手段に表示させる表示制御手段とを備えたことを特徴とする請求項１乃至１０いずれか記載のデジタルカメラとした。

また、請求項１３記載の発明に係る撮影方法にあっては、時間的に相前後する第１の撮影操作及び第２の撮影操作にそれぞれ応じた撮像動作により撮像手段によって取得された第１の画像及び第２の画像から第３の画像を生成し、この第３の画像を撮影画像として記録手段に記録するデジタルカメラにおいて、前記第２の画像から当該画像のコントラスト情報に基づきピントが合っている合焦領域を検出する工程と、検出した合焦領域に相当する部分画像を前記第２の画像から切り出す工程と、切り出した部分画像を画像内における位置を維持したまま前記第１の画像に上書き合成することによって前記第３の画像を生成する工程とを含むことを特徴とする。

また、請求項１４記載の発明に係る撮影制御プログラムにあっては、時間的に相前後する第１の撮影操作及び第２の撮影操作にそれぞれ応じた撮像動作により撮像手段によって取得された第１の画像及び第２の画像から第３の画像を生成し、この第３の画像を撮影画像として記録手段に記録するデジタルカメラが有するコンピュータに、前記第２の画像から当該画像のコントラスト情報に基づきピントが合っている合焦領域を検出する手順と、検出した合焦領域に相当する部分画像を前記第２の画像から切り出す手順と、切り出した部分画像を画像内における位置を維持したまま前記第１の画像に上書き合成することによって前記第３の画像を生成する手順とを実行させることを特徴とする。

本発明によれば、三脚を使用したり第三者に撮影操作を依頼したりすることなく、しかも自然な状態の質の高い記念写真等を容易に撮影することが可能となる。

本発明に係るデジタルカメラの外観を示す図であり、同図（ａ）は正面側の斜視図、同図（ｂ）は背面側の斜視図である。 同デジタルカメラの電子回路構成の概略を示すブロック図である。 ファミリーショット・モードでのＣＰＵの処理手順を示すフローチャートである。 図３に続くフローチャートである。 ファミリーショット・モードでの撮影動作内容を示す図である。 図５に続く撮影動作内容を示す図である。 変形例を示す図４に対応するフローチャートの要部を示す図である。

以下、本発明の一実施の形態を図にしたがって説明する。図１は、本発明に係るデジタルカメラの外観を示す図であり、同図（ａ）は正面側の斜視図、同図（ｂ）は背面側の斜視図である。

図１（ａ）に示したようにデジタルカメラの本体１の正面には沈胴式の撮像レンズ２が設けられ、本体１の上面にはシャッターボタン３が設けられている。また、図１（ｂ）に示したように本体１の背面には、表示手段である液晶モニタ４と、上下左右の方向指示に使用される４つのカーソルキー５ａ〜５ｄ、及びそれらの中央に位置するセットキー５ｅからなるコントロールキー６、ズームアップ用及びズームダウン用の２つのズームキー７ａ，７ｂが設けられている。さらに、本体１の側面には、コントロールキー６に近接して切り出し調整ダイヤル８が設けられている。

前記シャッターボタン３は、半押し位置と全押し位置との２段階の操作位置を有する所謂ハーフシャッター機能を有するものであり、半押し操作がＡＦ開始指示及びＡＦロックやＡＥロックに使用され、全押し操作が実際の撮影指示に使用される。また、前記コントロールキー６は、デジタルカメラにおける種々の動作内容を設定するためのメニュー画面や設定画面での項目選択や、選択した項目の設定値の選択、設定内容の決定、及び撮影モードの設定等に使用される。

図２は、前記デジタルカメラの主として電子回路構成の概略を示すブロック図である。デジタルカメラは、前記撮像レンズ２を構成する焦点（フォーカス）レンズ１１及びズームレンズ１２と絞り１３とからなる光学系１４と、この光学系１４によって結像された被写体の光学像を撮像するＣＣＤ１５とを有している。

図示しないが上記光学系１４には、焦点レンズ１１及びズームレンズ１２を光軸方向に駆動するためのズームモータ及び合焦モータと、絞り１３を駆動するアクチュエータとが設けられており、それらがＣＰＵ１６からの制御信号に応じてドライバーブロック１７の焦点レンズ駆動回路１７ａ、ズームレンズ駆動回路１７ｂ、絞り駆動回路１７ｃからそれぞれ出力される駆動信号によって動作することにより、フォーカス調整、ズーム調整、絞り値調整が行われる。

ＣＣＤ１５は、ＣＰＵ１６の命令に従いタイミング発生器（ＴＧ：Timing Generator）１８が生成するタイミング信号に基づき垂直／水平ドライバ１９によって駆動され、被写体の光学像を光電変換し、撮像信号としてアナログ信号処理部２０に出力する。また、ＣＣＤ１５の駆動時には、その電荷蓄積時間がＣＰＵ１６によって適宜調整されることにより電子シャッターが実現される。

アナログ信号処理部２０は、ＣＣＤ１５の出力信号に含まれるノイズを相関二重サンプリングによって除去するＣＤＳ回路や、ノイズが除去された撮像信号をデジタル信号に変換するＡ／Ｄ変換器、ゲイン調整アンプ等から構成され、デジタルに変換した撮像信号を画像処理部２１へ出力する。なお、上記ゲイン調整アンプのゲインは、ＣＰＵ１６によってＩＳＯ感度に応じて適宜調整される。

前記画像処理部２１は、入力した撮像データ（ベイヤデータ）から画素補間、及び画素毎のＲＧＢデータ（ＲＡＷデータ）の生成を行った後、それを輝度（Ｙ）、及び色差（Ｃｂ，Ｃｒ）の各データからなるＹＵＶデータに変換する。その際、画像処理部２１はＣＰＵ１６の指令に従いＣｂ，Ｃｒ（Ｒ，Ｂデータでもよい。）のゲイン調整によるホワイトバランス調整等のデジタル信号処理を行う。

撮影用の動作モードである記録モードにおいて、前記画像処理部２１で生成されたＹＵＶデータは、順次ＳＤＲＡＭ２２に格納され、１フレーム分のデータ（画像データ）が蓄積される毎にビデオ信号に変換された後、前記液晶モニタ（ＬＣＤ）４においてスルー画像として表示される。また、シャッターボタンが全押しされた撮影時には、ＳＤＲＡＭ２２に一時記憶された画像データ（ＹＵＶデータ）がＣＰＵ１６により圧縮されてＳＤＲＡＭ２２内のバッファ領域にいったん蓄積された後、最終的にはＪＰＥＧ等の所定のフォーマットの画像ファイルとして外部メモリ２３に記録される。外部メモリ２３は図示しないカードインターフェイスを介して接続される、本体１に着脱自在なメモリカードである。

外部メモリ２３に記録された画像ファイルは、記録画像の再生用の動作モードである再生モードにおいて、ユーザの選択操作に応じてＣＰＵ１６に適宜読み出されて伸張され、ＹＵＶデータとしてＳＤＲＡＭ２２に展開された後、液晶モニタ４において再生表示される。

フラッシュメモリ２４は、前記外部メモリ２３（メモリカード）が装着されていない状態において撮影された画像のファイルが記憶される画像記憶領域と、プログラム領域とが確保されたメモリである。プログラム領域には、ＣＰＵ１６に前述した各部の動作を制御させるためのプログラムや、ＡＥ制御、ＡＦ制御等を行わせるための各種プログラムが記憶されている。特に、本実施形態においてはＣＰＵ１６を本発明の領域検出手段、切り出し手段、合成手段、絞り制御手段、調整手段、領域設定手段、フォーカス調整手段、第２の合成手段、表示制御手段として機能させるとともに、ＣＰＵ１６に後述する図３及び図４の処理を行わせるための撮影制御プログラムが記憶されている。なお、プログラム領域には、ＡＥ制御に使用される周知のプログラム線図等の各種のデータや、ユーザにより変更なデジタルカメラが有する各種機能に関する設定データも記憶されている。

キー入力部２５は、前述したシャッターボタン３、コントロールキー６（カーソルキー５ａ〜５ｄ、セットキーｅ）、ズームキー７ａ，７ｂ切り出し調整ダイヤル８から構成される。キー入力部２５における任意のキーの操作状態はＣＰＵ１６によって逐次スキャンされており、ユーザによっていずれかの操作キーが操作されると、その操作内容がＣＰＵ１６によって逐次検出される。

次に、以上の構成からなるデジタルカメラにおいて、記録モードの下位モード（撮影モード）として用意されているファミリーショット・モードが設定されているときの動作を説明する。ファミリーショット・モードは、例えば旅行先等で家族全員が写った写真を、三脚を使用したり第三者に撮影操作を依頼したりすることなく撮影（取得）するための撮影モードである。図３及び図４は、ファミリーショット・モードでのＣＰＵ１６の処理手順を示すフローチャートである。

図３に示したようにファミリーショット・モードが設定されるとＣＰＵ１６は、記録モードにおける他の撮影モードの場合と同様、直ちにＣＣＤ１５の駆動を開始し、周期的な被写体像の撮像、及び撮像した画像の液晶モニタ４におけるスルー表示を開始するとともに（ステップＳ１）、液晶モニタ４に表示中のスルー画像１０１には、ピント合わせの対象候補となる複数（本実施形態では５箇所）のフォーカス対象領域を示す四角のフォーカス枠Ｆ１〜Ｆ５をＯＳＤ（On Screen Display）機能により表示させる（図５（ａ）参照）。

その後、ＣＰＵ１６はシャッターボタン３が半押しされた時点で（ステップＳ２でＹＥＳ）、ＡＦ処理を実行して画角内の被写体に自動的にピントを合わせる（ステップＳ３）。このＡＦ処理においてＣＰＵ１６は、前記焦点レンズ１１を移動させながら、前記フォーカス枠Ｆ１〜Ｆ５により示される前述したフォーカス対象領域毎に、撮像した画像データにおける周波数特性を取得し、それに基づき各領域のコントラスト判断するとともに、コントラストが最大となるフォーカス対象領域（フォーカス枠Ｆ１〜Ｆ５）が主要被写体が存在する領域であると判定し、その主要被写体にピントを合わせる。なお、上記ＡＦ処理においては、どのフォーカス対象領域（フォーカス枠Ｆ１〜Ｆ５）の被写体部分にピントを合わせるのかを、前記コントロールキー６の操作により撮影者に適宜選択させるようにしてもよい。

その後、シャッターボタン３が全押しされるまでは（ステップＳ４でＮＯ）、シャッターボタン３の半押し操作が解除されなければ（ステップＳ５でＮＯ）、フォーカス位置を上記ＡＦ処理で確保した位置に維持する。また、その間にシャッターボタン３の半押し操作が解除されたときには（ステップＳ５でＹＥＳ）、ステップＳ２へ戻りシャッターボタン３の半押し待ちを行い、その間にスルー画像を一定間隔で更新するとともに、再びシャッターボタン３が半押しされた時点で（ステップＳ２ＹＥＳ）、前述したＡＦ処理を再び実行する（ステップＳ３）。

一方、シャッターボタン３が全押しされたら（ステップＳ４でＹＥＳ）、１回目の撮影処理を行う（ステップＳ６）。係る撮影処理では、ＡＥ処理により被写体の明るさに応じた撮影条件、すなわちシャッタースピード（ＣＣＤ１５の電荷蓄積時間）、絞り値、ＩＳＯ感度を設定した状態での撮像を行い、前記画像処理部２１で生成されるとともにＳＤＲＡＭ２２に蓄積された１フレーム分のＹＵＶデータを、ＳＤＲＡＭ２２に予め確保してある所定領域に記憶する処理を行い第１の画像２０１（図５（ｂ）参照）を取得する。つまり、係る撮影処理では取得した第１の画像２０１の圧縮及び外部メモリ２３への記録を行わない。

引き続きＣＰＵ１６は、１回目の撮影処理で取得した第１の画像２０１を薄い濃度で半透明にして重ねた状態のスルー画像１０２（図５（ｃ）参照）、すなわち第１の画像２０１を透かした状態で現在の被写体が視認できるスルー画像１０２の表示を開始する（ステップＳ７）。なお、上記スルー画像１０２は、周期的に撮像した画像に、前記第１の画像２０１を一定間隔で画素を間引いた状態で逐次上書き合成することにより生成する。また、上記スルー画像１０２にも前述したフォーカス枠Ｆ１〜Ｆ５を重畳して表示させる。

その後、ＣＰＵ１６はシャッターボタン３が半押しされた時点で（ステップＳ８でＹＥＳ）、先に説明したステップＳ３と同様のＡＦ処理を実行して画角内の被写体に自動的にピントを合わせる（ステップＳ９）。なお、係るＡＦ処理においても、どのフォーカス対象領域（フォーカス枠Ｆ１〜Ｆ５）の被写体部分にピントを合わせるのかを、前記コントロールキー６の操作により撮影者に適宜選択させるようにしてもよい。

その後、シャッターボタン３が全押しされるまでは（ステップＳ１０でＮＯ）、シャッターボタン３の半押し操作が解除されなければ（ステップＳ１１でＮＯ）、フォーカス位置を上記ＡＦ処理で確保した位置に維持する。また、その間にシャッターボタン３の半押し操作が解除されたときには（ステップＳ１１でＹＥＳ）、ステップＳ２へ戻りシャッターボタン３の半押し待ちを行い、その間にスルー画像を一定間隔で更新するとともに、再びシャッターボタン３が半押しされた時点で（ステップＳ８ＹＥＳ）、前述したＡＦ処理を再び実行する（ステップＳ９）。

一方、シャッターボタン３が全押しされたら（ステップＳ１０でＹＥＳ）、絞り値を前回（１回目）の撮影時よりも２段階開けた絞り値に設定（固定）した後（ステップＳ１２）、係る撮影条件で２回目の撮影処理を行う（ステップＳ１３）。係る撮影処理では、ＡＥ処理により被写体の明るさに応じた撮影条件として、上記絞り値を含むシャッタースピード、及びＩＳＯ感度を設定した状態での撮像を行い、前記画像処理部２１で生成された１フレーム分のＹＵＶデータをＳＤＲＡＭ２２に一時記憶する処理のみを行い第２の画像２０２（図６（ａ）参照）を取得する。つまり係る撮影処理においても取得した第２の画像２０２の圧縮及び外部メモリ２３への記録を行わない。

その後、図４に示したようにＣＰＵ１６は、まず２回目の撮影処理で取得した第２の画像２０２から、その画像内でコントラスト値が閾値以上であって、ピントが合っていると判断できる領域（合焦領域）である高コントラスト領域を検出する（ステップＳ１４）。ここで、係る高コントラスト領域の検出時にピントが合っているか否かの判断基準に使用される閾値は、後述するように必要に応じて変化するものであるとともに、処理開始当初においてはＣＰＵ１６は、予め決められているコントラスト値を上記閾値として使用する。

また、高コントラスト領域の検出に際しては、第２の画像２０２を予め決められている縦ｎ画素×横ｍ画素を単位とした複数ブロック（単位領域）に分割し、ＳＤＲＡＭ２２に一時記憶しているＹＵＶデータ、若しくはＹＵＶデータから抽出した輝度成分データに基づいてブロック領域毎にコントラスト値を取得するとともに、コントラスト値が閾値以上である互いに隣接する１塊の複数ブロック（単位領域群）を１つの高コントラスト領域として検出する。

引き続き、検出した高コントラスト領域が複数である場合には（ステップＳ１５でＹＥＳ）、複数の高コントラスト領域のうちで最大面積の高コントラスト領域のみを切り出し対象領域として設定する（ステップＳ１６）。つまりピントが合っていても不連続な箇所については切り出し対象領域から除外する。また、上記対象領域（高コントラスト領域）が１つであった場合には（ステップＳ１５でＮＯ）、その高コントラスト領域を切り出し対象領域として設定する（ステップＳ１７）。そして、第２の画像２０２から、ステップＳ１６又はステップＳ１７で設定した切り出し対象領域に相当する部分画像２０２ａ（図６（ｂ）参照）を切り出す（ステップＳ１８）。なお、図６（ｂ）では便宜上、部分画像２０２ａを矩形で表現したが、実際には任意の形状となる。

しかる後、ＣＰＵ１６は、ＳＤＲＡＭ２２の所定領域に記憶しておいた第１の画像２０１を、彩度や輝度を下げることにより濃度を薄い状態とし、かつ係る状態の第１の画像２０１に、ステップＳ１８で切り出した部分画像２０２ａを、第２の画像２０２内での位置を維持したまま通常の濃度で合成し、その合成画像３０１（図６（ｃ）参照）を前記液晶モニタ４に表示させる（ステップＳ１９）。なお、係る合成画像３０１が本発明の第４の画像である。

引き続き、ＣＰＵ１６は、前記調整ダイヤル８（図１参照）の操作によるユーザからの合焦領域の調整指示の有無を確認し、その調整指示がなければ（ステップＳ２０でＮＯ）、さらに３回目のシッターボタン３の全押しの有無を確認する（ステップＳ２２）。その間、シッターボタン３が全押しされる以前に、合焦領域の調整指示があったときには（ステップＳ２０でＹＥＳ）、前述したステップＳ１４での高コントラスト領域の検出処理で使用するコントラストの閾値を、調整ダイヤル８の操作（回転操作方向）に応じて増減した後（ステップＳ２１）、その時点でステップＳ１４へ戻り前述したステップＳ１９までの処理を繰り返す。

ここで調整ダイヤル８の操作に応じて上記閾値が上げられた場合、第２の画像２０２には、それ以前よりもピントがハッキリした部分が切り出し対象領域として設定され、それが部分画像２０２ａとして切り出される一方、逆に調整ダイヤル８の操作に応じ上記閾値が下げられた場合、第２の画像２０２には、それ以前よりもピントが甘い部分までもが切り出し対象領域として設定され、それが部分画像２０２ａとして切り出される。同時にそれらの変化が液晶モニタ４に表示される前述した合成画像３０１に反映されることとなる。

そして、ＣＰＵ１６は、前述したコントラストの閾値の増減を１又は複数回行った後、又はそれを一度も行うことなくシッターボタン３の全押しが確認できたら（ステップＳ２２でＹＥＳ）、その時点で、１回目の撮影処理で取得した第１の画像２０１に、前述した部分画像２０２ａを第２の画像２０２内での位置を維持したまま上書き合成することにより第３の画像２０４（図６（ｄ）参照）を生成する（ステップＳ２３）。しかる後、生成した第３の画像２０４を最終的な撮影画像として、その画像データを圧縮するとともに外部メモリ２３に記録し（ステップＳ２４）、ファミリーショット・モードによる１回の撮影処理を完了する。

次に、ユーザが旅行先等で上述したファミリーショット・モードを使用して家族全員が写った記念写真を撮影する場合の手順を説明する。なお、ここでは家族が３名である場合について説明する。

撮影に際しては、まず、家族の中のいずれかが一人目の撮影者となり、その人物Ａが前述したコントロールキー６を操作してファミリーショット・モードを選択する。そして、図５（ａ）に示したように、例えば風景（図の例では山）をバックに他の人物Ｂ、人物Ｃを撮影する（１回目の撮影を行う）。このとき、撮影者は、２回の撮影時に自分が写るスペース（図の例では画角内の左下の部分）を画角内に確保するようにフレーミングを行う。

上記１回目の撮影が終わったら、一人目の撮影者（人物Ａ）は、撮影を人物Ｂ又は人物Ｃと交替するとともに予定していた立ち位置へ移動し、かつ撮影以外の人物Ｂ又は人物Ｃも撮影場所から離れる。

次に、二人目の撮影者（人物Ｂ又は人物Ｃ）は、人物Ａのみを被写体として以下の手順で２回の撮影を行う。なお、このとき液晶モニタ４には、１回目の撮影時に取得された第１の画像２０１が半透明の状態で薄く表示され、それを透かして現在の被写体が視認できるスルー画像１０２が表示されている。撮影者は、まずシャッターボタン３の半押し操作によりいったん人物Ａにピントを合わせ、そのままの状態（ＡＦロック状態）で図５（ｃ）に示したように、スルー画像１０２内において薄く表示されている風景（背景部分）が実際の風景と重なるようにフレーミングを行い１回目の撮影時と同様の画角位置を確保した後、シャッターボタン３の全押しにより２回目の撮影を行う。なお、図５（ｃ）においては２点鎖線で示した画像が前述した部分画像２０２ａである。

すると、液晶モニタ４には、図６（ｃ）に示したように、風景をバックに人物Ａのみが通常の濃度で合成された状態の家族全員が写った合成画像３０１が表示される。このとき、合成画像３０１において、例えば人物Ａではない被写体部分までもが新たに合成されていたり、人物Ａの持ち物（バッグ等）が不自然に切れたりしていた場合には、前記調整ダイヤル８を回せば、第２の画像２０２から部分画像２０２ａとして切り出される領域（高コントラスト領域）を決定する閾値を変化させることにより、部分画像２０２ａの大きさ等、つまり部分画像２０２ａとして切り出される高コントラスト領域の範囲をピントが合っている度合いに応じて調整することができる。

そして、必要に応じて上記調整を行った後、もう一度シャッターボタンを全押しすると、その時点で２回目の撮影で取得された第２の画像２０２から切り出される部分画像２０２ａ（図６（ｂ）参照）が確定されるとともに、その部分画像２０２ａのみが１回目の撮影で取得された第１の画像２０１に合成された第３の画像２０４が撮影画像として記録される。これにより、ユーザーは、三脚を使用したり第三者に撮影操作を依頼したりすることなく記念写真等を撮影することができる。

ここで、本実施形態においては、前述したように最終的に得られる写真（第３の画像２０４）における背景部分には、１回目の撮影で取得した第１の画像２０１の背景部分をそのまま使用することから、仮に１回目の撮影時の画角位置と２回目の撮影時の画角位置とにズレが生じた場合であっても背景部分に位置ずれが生じることがない。また、背景部分に動いている被写体が存在していたとしても、その一部のみが写った不自然な写真になるようなこともない。

係ることから、ユーザは２回目の撮影時にフレーミングを殊更慎重に行ったり、背景を注意しながら撮影タイミングを決定したりする必要がなく、自然な状態の質の高い記念写真等を容易に撮影することができる。

また、２回目の撮影時には、絞り値を１回目の撮影時よりも２段階開けた値に設定し、第２の撮影画像２０２として第１の撮影画像２０１よりも被写界深度が浅い画像を取得することから、第２の撮影画像２０２から人物Ａに相当する部分画像２０２ａをより正確に切り出すことができる。したがって、より確実に自然な状態の質の高い記念写真等を撮影することができる。

さらに、前述したようにユーザは、調整ダイヤル８を回すことによって、第２の画像２０２から切り出される部分画像２０２ａの大きさ等をピントが合っている度合いに応じて調整することができる。係ることから、２回目の撮影後に液晶モニタ４に表示された合成画像３０１（図６（ｃ）参照）において、例えば人物Ａではない被写体部分までもが合成されていた場合や、人物Ａの持ち物（バッグ等）が不自然に切れていた場合には、その段階で上記調整を行うことにより、合成画像３０１に通常の濃度で表示されている合成部分を人物Ａのみに修正したり、不自然に切れている持ち物をより自然な状態に修正することができる。これによっても、より確実に自然な状態の質の高い記念写真等を撮影することができる。

なお、本実施形態においては、第２の画像２０２から切り出される部分画像２０２ａの大きさ等の調整を、２回目の撮影終了後に合成画像３０１（図６（ｃ）参照）を前記液晶モニタ４に表示させている間に調整ダイヤル８を操作することにより無段階的に行えるようにしたが、以下のようにしてもよい。例えば第２の画像２０２から切り出される部分画像２０２ａの大きさ等をピントが合っている度合いに応じて段階的に調整可能な構成、つまり第２の画像２０２から部分画像２０２ａとして切り出される領域（高コントラスト領域）を決定する閾値を「高」、「中」、「低」のように段階的（「高」、「中」、「低」）に設定可能な構成とし、その設定をファミリーショット・モードが設定されている間に、ユーザが任意の時点で所定のキー操作により適宜行うことができる構成としてもよい。無論、その場合においても２回目の撮影終了後に合成画像３０１を表示すれば、第２の画像２０２から切り出される部分画像２０２ａの大きさ等を確認することができるため都合がよい。なお、本実施形態では合成画像３０１として、第２の画像２０２を薄い濃度とし、かつ部分画像２０２ａを通常の濃度で合成したものを表示させたが、少なくとも部分画像２０２ａが識別可能であれば、合成画像における部分画像２０２ａの表示方法については任意である。

その場合には、本実施形態とは異なり、２回目の撮影終了後には合成画像３０１を表示することなく、直ちに部分画像２０２ａを第２の画像２０２内での位置を維持したまま上書き合成した第３の画像２０４を生成し、それを最終的な撮影画像として記録するようにしてもよい。また、本実施形態と同様に、合成画像３０１を表示した状態でシャッターボタン３が全押しされた時点で、又は所定のキー操作があった時点で前述した第３の画像２０４を生成し、それを最終的な撮影画像として記録するようにしてもよい。さらに、合成画像３０１を表示した状態で合成画像３０１の生成及びその記録を行うか、２回目の撮影のやり直しを行うかのいずれかをユーザに指示させるようにしてもよい。

また、本発明の実施に際しては、第２の画像２０２から切り出される部分画像２０２ａの大きさ等の調整機能を設けない構成としてもよく、その場合には、本実施形態と同様に２回目の撮影終了後における合成画像３０１の表示も省略するようにしても構わない。

また、第２の画像２０２において高コントラスト領域を検出する際には、前述したようにコントラスト値が閾値以上である互いに隣接する１塊の複数ブロック（単位領域群）を１つの高コントラスト領域として検出するものとした。つまりピントが合っていても不連続な箇所については切り出し対象領域から除外するようにした。そのため、例えば２回目の撮影時において人物Ａと、その足下の草等が同一ピント上にあった場合、係る草等は切り出すことなく人物Ａ部分のみを切り出すことができる。これによっても、より確実に自然な状態の質の高い記念写真等を撮影することができる。

また、ＣＰＵ１６が第２の画像２０２から部分画像２０２ａを切り出す際には、第２の画像２０２から互いに離間する複数の高コントラスト領域が検出された場合には、最大面積の高コントラスト領域のみを切り出し対象領域として設定するようにした（図４のステップＳ１５，Ｓ１６）。そのため、例えば人物Ａと離れた位置にたまたまピントが合っている部分が存在していた場合には、その部分を切り出すことなく人物Ａ部分のみを切り出すことができる。これによっても、より確実に自然な状態の質の高い記念写真等を撮影することができる。

なお、以上説明した本実施形態においては、カメラ本体１に調整ダイヤル８が設けられたものについて説明したが、調整ダイヤル８を廃止するとともに、上下の方向指示に用いられる１組のカーソルキー５ａ，５ｂや、左右の方向指示に用いられる１組のカーソルキー５ｃ，５ｄ等の他のキーを操作することにより前述した第２の画像２０２から切り出される部分画像２０２ａの大きさ等を調整する構成としてもよい。

また、合成に使用する部分画像２０２ａの決定、及び最終的な撮影画像の記録処理を、シャッターボタンの全押し操作をトリガとして行うものについて説明したが、上記の部分画像２０２ａの決定及び記録処理を他のキー操作をトリガとして行う構成としてもよい。例えばシャッターボタンの半押し操作をトリガとしたり、前記セットキー５ｅの操作をトリガとしたりしても構わない。

また、本実施形態とは異なり、ＣＰＵ１６を本発明の近似色領域検出手段としても機能させ、前述した図４のステップＳ１４〜Ｓ１７の処理に続き、図７に示した処理を行うようにしてもよい。すなわち、第２の画像において、高コントラスト領域に接し、かつ隣接する高コントラスト領域と色成分が近似する近似色領域を検出した後（ステップＳ１０１）、ここで、検出した近似色領域を、それ以前に設定されている切り出し対象領域に、新たに切り出し対象領域として加える（ステップＳ１０２）、といった処理を行う。その後、前述したステップＳ１８では、第２の画像２０２から、上記の近似色領域を含む切り出し対象領域に相当する画像を部分画像２０２ａとして切り出すようにしてもよい。つまりコントラストが規定値以下でも高コントラスト領域と接する領域のうちで、それと色成分が同様な箇所は切り出し範囲に加えるようにしてもよい。

その場合には、例えば人物Ａのズボンの影部分がコントラスト値が低いために切り出し対象領域に含まれず、その結果、ズボンの影部分が欠落してしまうことを防止することができる。これによっても、より確実に自然な状態の質の高い記念写真等を撮影することができる。

さらに、例えば前記フラッシュメモリ２４を本発明の特徴データ記憶手段として、そこに予め立っている状態の人物と、座っている状態の人物とにおける画像内での形状の特徴を示す特徴データを各々の１又は複数種類記憶しておく一方、第２の画像２０２に切り出し対象領域を設定する際には、ＣＰＵ１６を本発明の人物領域検出手段として機能させ、第２の画像２０２において上記の特徴データにより示される特徴と同じ特徴を有する人物領域を見つけ、その人物領域を切り出し対象領域として設定する処理を行わせるようにしてもよい。

より具体的には、例えば図４のステップＳ１４で１又は複数の高コントラスト領域を検出した後、さらに第２の画像２０２内でいずれかの特徴データにより示される特徴と同じ特徴を有する人物領域をいったんサーチする。なお、人物領域のサーチ方法は公知の顔認識方法と同様の手法によって行う。そして、１又は複数の高コントラスト領域が含まれる人物領域が見つからなければ図４のステップＳ１６〜Ｓ１７の処理によって切り出し対象領域を設定し、１又は複数の高コントラスト領域が含まれる人物領域が見つかったときには、当該人物領域を最終的な切り出し対象領域として設定する。

なお、人物領域を切り出し対象領域として設定する場合、人物領域をサーチする以前に図７で説明した近似色領域を検出する処理も行うようにし、１又は複数の高コントラスト領域が含まれる人物領域が見つからない場合には、図４のステップＳ１６〜Ｓ１７の処理に加え、近似色領域を含む切り出し対象領域を設定してもよい。

上記の処理によって切り出し対象領域を設定すれば、第２の画像２０２から、例えば画像内での面積が小さい場合等において明暗の変化が少なくコントラスト値が低くなる手の先等を欠落させることなく確実に切り出すことができる。これによっても、より確実に自然な状態の質の高い記念写真等を撮影することができる。

さらに、上記の処理によって切り出し対象領域を設定する場合には、ＣＰＵ１６を本発明の選択制御手段として機能させ、前述した第２の画像２０２における人物領域のサーチに先立ち、それに使用する特徴データを予めユーザに選択させる処理を行わせるようにしてもよい。その場合には、切り出し対象領域の設定に要するＣＰＵ１６の処理負担を軽減することができる。

また、本実施形態においては、１回目の撮影で取得した第１の画像２０１に、第２の画像２０２から切り出した部分画像２０２ａを合成した第３の画像２０４のみを撮影画像として最終的に記録するものについて説明したが、１回目及び２回目の撮影で取得した第１及び第２の画像２０１，２０２についても、各々の撮影時点で、或いは第３の画像２０４と同時期に外部メモリ２３に記録する、つまり３種類の撮影画像を記録する構成としてもよい。その場合には、合成によって生成した記録画像（第３の画像）が気に入らなかった場合であっても、その場所で撮った写真を残すことができ都合がよい。

なお、本実施形態においてはファミリーショット・モードでの１回目及び２回目の撮影時にはＡＦ処理によって画角内の被写体に自動的にピントを合わせるようにしたが、デジタルカメラが手動によるフォーカス調整が可能な構成を有するものであれば、１回目及び２回目の撮影時における被写体へのピント合わせをユーザに手動で行わせるようにしてもよい。

また、上記ファミリーショット・モードで１回目の撮影を終了した後の撮影準備期間には、１回目の撮影で取得した第１の画像２０１を薄い濃度で重ね、それを透かした状態で現在の被写体が視認できるスルー画像１０２を表示させることによって、２回の撮影時において二人目の撮影者が１回目の撮影時と同様の画角位置を容易に確保できるようにしたが、本発明の実施に際しては、上記撮影準備期間に通常のスルー画像を表示させるようにしても構わない。その場合においても、二人目の撮影者が一人目の撮影者のみを被写体として２回の撮影を行うときのフレーミング時の作業性はやや低下するが、従来に比べると自然な状態の質の高い記念写真等を容易に撮影することができる。

また、本発明は、本実施形態で説明したようなデジタルカメラに限らず、例えば静止画撮影機能を有するデジタルビデオカメラや、携帯電話端末に内蔵されたデジタルカメラにも適用することができる。

３ シャッターボタン
４ 液晶モニタ
６ コントロールキー
８ 調整ダイヤル
１１ 焦点レンズ
１３ 絞り
１５ ＣＣＤ
１６ ＣＰＵ
１７ａ 焦点レンズ駆動回路
１７ｃ 絞り駆動回路
２１ 画像処理部
２２ ＳＤＲＡＭ
２３ 外部メモリ
２４ フラッシュメモリ
２５ キー入力部
１０１，１０２ スルー画像
２０１ 第１の画像
２０２ 第２の画像
２０２ａ 部分画像
２０４ 第３の画像
３０１ 合成画像

Claims (14)

1. 時間的に相前後する第１の撮影操作及び第２の撮影操作にそれぞれ応じた撮像動作により撮像手段によって取得された第１の画像及び第２の画像から第３の画像を生成し、この第３の画像を撮影画像として記録手段に記録するデジタルカメラにおいて、
   前記第２の画像から当該画像のコントラスト情報に基づきピントが合っている合焦領域を検出する領域検出手段と、
   この領域検出手段により検出された合焦領域に相当する部分画像を前記第２の画像から切り出す切り出し手段と、
   この切り出し手段により第２の画像から切り出された部分画像を画像内における位置を維持したまま前記第１の画像に上書き合成することによって前記第３の画像を生成する合成手段と
   を備えたことを特徴とするデジタルカメラ。
2. 前記第２の撮影操作に応じた撮像手段の撮像動作時における絞りの開度を、無条件に、前記第１の撮影操作に応じた撮像手段の撮像動作時よりも大きな開度に制御する絞り制御手段を備えたことを特徴とする請求項１記載のデジタルカメラ。
3. 前記領域検出手段による合焦領域の検出時にピントが合っているか否かの判断基準となるコントラスト情報の閾値を、使用者による調整操作に応じて変化させる調整手段を備えたことを特徴とする請求項１又は２記載のデジタルカメラ。
4. 前記領域検出手段は、所定の単位領域毎にコントラスト情報に基づきピントが合っているか否かを判断するとともに、ピントが合っていると判断した互いに隣接する単位領域群を合焦領域として検出することを特徴とする請求項１又は２，３記載のデジタルカメラ。
5. 前記領域検出手段によって第２の画像から互いに離間する複数の合焦領域が検出された場合、複数の合焦領域のうちで最大面積の合焦領域を切り出し対象領域として設定する領域設定手段を備え、
   前記切り出し手段は、前記領域設定手段により設定された切り出し対象領域に相当する部分画像を前記第２の画像から切り出す
   ことを特徴とする請求項４記載のデジタルカメラ。
6. 前記領域検出手段により検出された合焦領域に隣接し、かつ隣接する単位領域と近似する色成分を有する近似色領域を検出する近似色領域検出手段と、
   前記領域検出手段によって検出された合焦領域に、前記近似色領域検出手段により検出された近似色領域を加えた領域を切り出し対象領域として設定する領域設定手段と
   を備え、
   前記切り出し手段は、前記領域設定手段により設定された切り出し対象領域に相当する部分画像を前記第２の画像から切り出す
   ことを特徴とする請求項４又は５記載のデジタルカメラ。
7. 画角内の主たる被写体にピントを合わせるためのフォーカス調整手段を備えたことを特徴とする請求項１乃至６いずれか記載のデジタルカメラ。
8. 人物の形状の特徴を示す特徴データを記憶する特徴データ記憶手段と、
   この特徴データ記憶手段に記憶されている特徴データを用いて第２の画像から人物に該当する人物領域を検出する人物領域検出手段と
   を備え、
   前記切り出し手段は、前記領域検出手段により検出された合焦領域であって、前記人物領域検出手段により検出された人物領域に含まれる合焦領域に相当する部分画像を前記第２の画像から切り出す
   ことを特徴とする請求項１乃至７いずれか記載のデジタルカメラ。
9. 前記特徴データ記憶手段には、前記特徴データとして立った状態の人物と座った状態の人物との互いに異なる状態の人物の形状の特徴を示す複数種類の特徴データが記憶されるとともに、
   前記人物領域検出手段による人物領域の検出に使用される特徴データの種類を使用者に選択させる選択制御手段を備えたことを特徴とする請求項８記載のデジタルカメラ。
10. 前記記録制御手段は、第３の画像に加え、前記第１の画像及び第２の画像を撮影画像としてそれぞれ記録手段に記録させることを特徴とする請求項１乃至９いずれか記載のデジタルカメラ。
11. 撮影準備期間に撮像手段により撮像された被写体の画像をスルー画像として表示する表示手段と、
    前記第１の撮影操作から前記第２の撮影操作までの撮影準備期間に、前記第１の画像を半透明状態で前記表示手段に表示させる表示制御手段と
    を備えたことを特徴とする請求項１乃至１０いずれか記載のデジタルカメラ。
12. 撮影準備期間に撮像手段により撮像された被写体の画像をスルー画像として表示する表示手段と、
    前記切り出し手段により第２の画像から切り出された部分画像を画像内における位置を維持したまま前記第１の画像に他の部分と識別可能な表示形態で上書き合成することにより第４の画像を生成する第２の合成手段と、
    この第２の合成手段により生成された第４の画像を前記表示手段に表示させる表示制御手段と
    を備えたことを特徴とする請求項１乃至１０いずれか記載のデジタルカメラ。
13. 時間的に相前後する第１の撮影操作及び第２の撮影操作にそれぞれ応じた撮像動作により撮像手段によって取得された第１の画像及び第２の画像から第３の画像を生成し、この第３の画像を撮影画像として記録手段に記録するデジタルカメラにおいて、
    前記第２の画像から当該画像のコントラスト情報に基づきピントが合っている合焦領域を検出する工程と、
    検出した合焦領域に相当する部分画像を前記第２の画像から切り出す工程と、
    切り出した部分画像を画像内における位置を維持したまま前記第１の画像に上書き合成することによって前記第３の画像を生成する工程と
    を含むことを特徴とする撮影方法。
14. 時間的に相前後する第１の撮影操作及び第２の撮影操作にそれぞれ応じた撮像動作により撮像手段によって取得された第１の画像及び第２の画像から第３の画像を生成し、この第３の画像を撮影画像として記録手段に記録するデジタルカメラが有するコンピュータに、
    前記第２の画像から当該画像のコントラスト情報に基づきピントが合っている合焦領域を検出する手順と、
    検出した合焦領域に相当する部分画像を前記第２の画像から切り出す手順と、
    切り出した部分画像を画像内における位置を維持したまま前記第１の画像に上書き合成することによって前記第３の画像を生成する手順と
    を実行させることを特徴とする撮影制御プログラム。

Images