【０００１】
【発明の属する技術分野】
本発明は、撮影した画像の主要被写体領域を判定する機能を備えたデジタルカメラに関するものである。
【０００２】
【従来の技術】
ＣＣＤなどの撮像手段によって被写体を撮像し得られた撮影画像をデジタルデータとしてメモリーカードに記録するデジタルカメラが普及している。撮影画像データは、例えば、ＥＸＩＦ形式の画像ファイルとしてメモリーカードに記録される。ＥＸＩＦ規格は、周知のように、ＪＥＩＴＡ（電子情報技術産業協会）によって規格化されたものであり、ＥＸＩＦ形式の画像ファイルには、画像データの他に、画像データに関連する付帯情報を格納することができる。
【０００３】
この付帯情報には、露出時間，絞り値，輝度値，ストロボ発光の有無など撮影条件に関する撮影条件データや、撮影された日時データ及び撮影モード情報など各種のものがある。画像ファイル内には、これら各付帯情報の種類毎にタグと呼ばれる情報格納エリアが設けられており、各付帯情報はそれぞれのタグに格納される。
【０００４】
付帯情報の種類は、規格のバージョンアップにともなって増加しており、最新のバージョン２．１においては、新たに画面内の主要被写体領域情報を格納する被写体領域タグが追加されている。これらの付帯情報は、例えば、画像をプリントする際に、プリンタによって参照され、適切な画像処理を施すために利用される。主要被写体領域が分かると、適正な露出補正処理がしやすくなり、良好な画質を得るのに役立つ。
【０００５】
主要被写体位置を判定する方法としては、例えば、撮影者が光学ファインダーを覗いているときにその視線を検知することにより判定する方法や、画像の肌色部分を検出することにより判定する方法などが知られている（例えば、特許文献１参照）。
【０００６】
【特許文献１】
特開平７−４３７９２号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、デジタルカメラでは、フレーミングの際に電子ビューファインダが利用される場合が多く、光学ファインダーを除く撮影者の視線を検知する方法は実用性に欠ける。また、画像の肌色部分を検出する方法では、被写体が人物以外である場合には、誤った対象を主要被写体と判定してしまうというように、誤判定の確率が高い。また、肌の色は人によって異なるので、判定の基準となる色範囲に幅を持たせることが必要になるが、これを広げると誤判定の確率はいっそう高くなる。
【０００８】
本発明は、実用性が高く、しかも、誤判定が少ない主要被写体領域判定機能を持つデジタルカメラを提供することを目的とする。
【０００９】
【課題を解決するための手段】
前記目的を達成するために、本発明のデジタルカメラは、被写体を撮像して撮影画像を得る撮像手段と、ストロボ装置とを備えたデジタルカメラにおいて、同じシーンに対して、ストロボ発光有りとストロボ発光無しの２回の撮影を行い、これらによって得られた２つの画像のそれぞれの画面内の対応する部分の輝度差を求める輝度差算出手段と、前記輝度差が予め設定された閾値よりも大きく、かつ所定面積以上の大きさを持つ高輝度領域を調べて、主要被写体領域を判定する主要被写体領域判定手段とを設けたことを特徴とする。
【００１０】
前記ストロボ発光有りの撮影を、記憶媒体へ記録される本画像を得るための本撮影とし、ストロボ発光無しの撮影を、前記本撮影の前に行われ、前記本撮影の撮影条件を得るためのプレ撮影とすれば、通常の撮影手順に従って、主要被写体領域の判定をすることができる。
【００１１】
前記高輝度領域が複数存在する場合には、画面の中心位置に近い領域、又は、面積が最も大きい領域を主要被写体領域と判定するとよい。前記判定により得られた主要被写体領域情報を、撮影画像とともに記憶媒体へ記録するとよい。
【００１２】
【発明の実施の形態】
図１は、デジタルカメラ１０の構成を示すブロック図である。デジタルカメラ１０は、撮影した画像データを、ＥＸＩＦ形式の画像ファイルに変換して、本体に着脱自在にセットされるメモリーカード１１へ記録する。画像ファイルには、画像データの他に、付帯情報が格納される。
【００１３】
ＣＰＵ１２は、操作部１３から入力される操作信号に応じてデジタルカメラ１０の本体各部を制御する。操作部１３は、電源ボタン，レリーズボタン，モード切り換えダイヤル，汎用キーなどからなる。モード切り換えダイヤルは、画像を撮影する撮影モードと、撮影した画像をＬＣＤ１４に再生表示する再生モードとを切り換える。ＬＣＤ１４には、再生画像の他、各種設定を行うメニュー画面が表示される。汎用キーは、メニュー画面内のカーソルを移動して設定項目の選択に使用される。このＬＣＤ１４には、被写体確認用のスルー画が表示されて、電子ビューファインダとしても機能する。
【００１４】
設定項目としては、例えば、ストロボ装置１６の発光モードや、記録画素数の設定など各種の項目がある。ストロボ発光モードとしては、被写体輝度に応じて発光するオートモード，赤目現象を軽減する赤目軽減モード，被写体輝度に関わらず強制的に発光させる強制発光モード，強制的にストロボ発光を禁止する発光禁止モードなどがある。
【００１５】
また、デジタルカメラ１０は、撮影した画像の主要被写体領域を判定する機能を備えている。判定した主要被写体領域情報は、画像ファイル内の被写体領域タグへ格納されて、画像データとともにメモリーカード１１へ記録される。この主要被写体領域判定機能も、設定によりアクティブ、非アクティブの切り換えをすることができる。主要被写体領域判定は、後述するように、ストロボ装置１６が発光するストロボ光を利用してなされる。このため、主要被写体領域判定機能をアクティブに設定すると、前記強制発光モードが自動的に選択される。
【００１６】
周知のとおり、デジタルカメラ１０の前面には、ズームレンズ１８とフォーカスレンズ１９とからなる撮影レンズが設けられている。ズームレンズ１８とフォーカスレンズ１９との間には、絞り２１が、フォーカスレンズ１９の背後にはメカニカルシャッタを構成するシャッタ羽根２２が配置されている。
【００１７】
ズームレンズ１８とフォーカスレンズ１９は、それぞれモータを含むレンズ駆動機構２３，２４によって光軸方向で移動される。絞り２１は、モータを含む絞り駆動機構２６によって駆動されて絞り径が切り換えられる。シャッタ羽根２２は、モータを含むシャッタ駆動機構２７によって駆動される。
【００１８】
レンズ駆動機構２３，２４及び絞り駆動機構２６は、ＣＰＵ１２に制御されるモータドライバ２８〜３０によって駆動される。シャッタ駆動機構２７は、タイミングジェネレータ３１からタイミング信号が入力されたときに、モータドライバ３２によって駆動される。
【００１９】
撮影レンズの背後には、撮像素子としてＣＣＤイメージセンサ３３が配置されている。ＣＣＤイメージセンサ３３は、周知のように、多数の受光素子をマトリックス状に配列することにより光電面を備えており、撮影光学系を通過し、この光電面に結像した被写体光を光電変換する。光電面の前方には、各画素に光を集光するためのマイクロレンズアレイと、各画素がそれぞれＲ，Ｇ，Ｂのいずれかに対応するように各色のフイルタが規則的に配列されたカラーフイルタアレイとが配置されている。
【００２０】
ＣＣＤイメージセンサ３３は、ＣＣＤドライバ３６から供給される垂直転送クロック及び水平転送クロックに同期して、画素毎に蓄積された電荷を１ラインずつシリアルな撮像信号として出力する。各画素の電荷蓄積時間（露出時間）は、ＣＣＤドライバ３６から与えられる電子シャッタ駆動信号によって決められる。
【００２１】
メカニカルシャッタは、本撮影時に、ＣＣＤイメージセンサ３３と同期して作動する。ＣＣＤイメージセンサ３３では、太陽光などの強い光が光電面に入射すると、電荷の垂直転送が行われる縦方向にスジが生じるスミアと呼ばれる現象が発生する。メカニカルシャッタは、電子シャッタが駆動した直後に閉じて光電面に入射する光を遮ることで、このスミアの発生を防止する。ＣＣＤドライバ３６には、シャッタ駆動機構２７と同様に、タイミングジェネレータ３１からタイミング信号が入力され、このタイミング信号により、ＣＣＤイメージセンサ３３とメカニカルシャッタとの間で同期が取られる。
【００２２】
ＣＣＤイメージセンサ３３から取り込まれたアナログの撮像信号は、アナログ信号処理回路３８に入力される。アナログ信号処理回路３８は、相関２重サンプリング回路（ＣＤＳ）と、オートゲインコントローラ（ＡＧＣ）と、ＡＤコンバータ（ＡＤＣ）とからなる。ＣＤＳは、アナログ信号のノイズを除去し、ＡＧＣはアナログ信号のゲインを自動調節する。ＡＤＣは、アナログ信号をデジタル変換して画像データを生成する。この画像データは、各画素毎にＲ，Ｇ，Ｂの濃度値を持つＣＣＤ−ＲＡＷデータであり、このＣＣＤ−ＲＡＷデータがＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ） ４１へ入力される。アナログ信号処理回路３８にも、タイミングジェネレータ２６からのタイミング信号が供給され、ＣＣＤイメージセンサ３３から電荷が取り込みまれるタイミングと同期が取られている。
【００２３】
ＤＳＰ４１は、ＡＦ回路４３，ＡＥ／ＡＷＢ回路４４，画像入力コントローラ４６，画像処理回路４７，圧縮処理回路４８，メディアコントローラ４９，ビデオエンコーダ５１からなるＩＣチップであり、アナログ信号処理回路３８から入力された画像データに対して、各種の信号処理を施すとともに、スルー画のＬＣＤ１４への表示や、メモリーカード１１へアクセスして画像ファイルの読み書きを行う。
【００２４】
画像入力コントローラ４６は、アナログ信号処理回路３８から前記ＣＣＤ−ＲＡＷデータを取り込んで、これをフレームメモリ４２に書き込む。フレームメモリ４２は、ＤＳＰ４１が画像データに対して各種信号処理を施す際に使用する作業用メモリである。フレームメモリ４２は、データバス５５を介して、ＣＰＵ１２とＤＳＰ４１の各部と接続されている。フレームメモリ４２としては、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）が使用される。
【００２５】
ＣＣＤイメージセンサ３３から取り込まれる画像データには、スルー画及び本画像の他に、プレ画像がある。スルー画は、上述したとおりフレーミングに利用される確認用の画像であり、撮影モードが選択されている間、所定間隔で撮像される。スルー画は、ビデオエンコーダ５１によってコンポジット信号に変換されてＬＣＤ１４に出力される。プレ画像は、プレ撮影によって得られる画像である。プレ撮影とは、本画像を撮影する前に行われ本画像を撮影する際の撮影条件を決定するための撮影をいう。
【００２６】
ＣＰＵ１２は、レリーズボタンが半押しされると半押し信号を検出し、ＣＣＤイメージセンサ３３にプレ撮影を実行させる。得られたプレ画像は、ＤＳＰ４１を介していったんフレームメモリ４２へ書き込まれる。このプレ画像に基づいて、ＡＦ回路４３及びＡＥ／ＡＷＢ回路４４が撮影条件を決定する。ＡＦ回路４３は、プレ画像に基づいて、焦点位置を検出し、フォーカシングを行う。焦点検出方式としては、例えば、ピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が採用されている。ＡＥ回路は、前記データに基づいて、被写体輝度を測定し、絞り値やシャッタ速度等を決定する。ＡＷＢ回路は、オートホワイトバランス回路であり、撮影時のホワイトバランスを自動調整する。
【００２７】
レリーズボタンが全押しされると本撮影が実行されて、本画像が取り込まれる。本画像の画素数は、ＣＣＤイメージセンサ３３の画素数によって最大画素数が決定されるが、ファイン、ノーマルなどの設定により、記録画素数を変更することができる。スルー画やプレ画像の画像数は、本画像よりも少なく、例えば、本画像の１／１６程度の画素数で取り込まれる。
【００２８】
圧縮処理回路４８は、画像処理回路４７によって各種の画像処理が施された本画像のデータに対して、例えば、ＪＰＧなどの圧縮形式で圧縮処理を施して、画像ファイルを生成する。この画像ファイル生成時に、付帯情報が各タグ内に格納される。メディアコントローラ４９は、メモリーカード１１へアクセスして画像ファイルの書き込みと読み込みとを行う。再生モードにおいては、メモリーカード１１から圧縮された画像データが読み出されて、圧縮処理回路４８によって伸張処理が施された後、ＬＣＤ１４に出力される。
【００２９】
画像処理回路４７は、画像データに対して、ガンマ補正，シャープネス補正，コントラスト補正などの画質補正処理、ＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータ及び赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を施す。
【００３０】
さらに、画像処理回路４７は、主要被写体領域情報記録機能がアクティブの場合には、ストロボ発光無しで撮影されたプレ画像と、ストロボ発光有りで撮影された本画像とに基づいて、主要被写体領域判定処理を実行する。主要被写体領域判定は、プレ画像と本画像のそれぞれの画面内の対応する部分の輝度差を比較して、その輝度差が大きい高輝度領域を調べることにより行われる。
【００３１】
例えば、図２に示すように、主要被写体６１ａが人物であるシーン６１を撮影する場合には、ストロボ光は、近距離に位置する主要被写体６１ａには到達するが、背景には到達しない。このシーン６１に対してプレ撮影（ストロボ発光無し）と本撮影（ストロボ発光有り）とを行った場合には、主要被写体６１ａにおいてストロボ光の反射があるから、プレ画像と本画像とを比較した場合、主要被写体領域の輝度差は、画面内の他の領域と比較して大きくなる。図２（Ｂ）に示すように、輝度差の大きい高輝度領域を、フレームメモリ４２内の座標エリア６３にマッピングしていくことで、主要被写体領域６２を判定することができる。
【００３２】
このように、ストロボの反射光を利用して主要被写体領域を判定するので、画像の肌色部分を検知して判定を行う方法と比較して、主要被写体が人物でない場合でも誤判定を軽減することができる。また、ファインダを覗く撮影者の視線を検知する方法に比べて実用性が高い。
【００３３】
判定された主要被写体領域６２の位置情報は、付帯情報の１つとして、画像ファイルの被写体領域タグ内に格納される。ＥＸＩＦ規格の被写体領域タグは、格納できる情報量が限られているので、被写体領域の情報を矩形や円の座標データとして記録するように定めている。したがって、図２（Ｂ）や、図２（Ｃ）に示すように、主要被写体領域６２に内接又は外接する矩形６４や円６５を求めて、これらの座標データが前記位置情報として記録される。
【００３４】
また、この例では、画面内で高輝度領域が１つだけ抽出される例で説明しているが、シーンによっては、主要被写体領域以外にも無数の高輝度領域が存在し得る。例えば、夜間撮影を行った場合には、街灯などの灯りが映し出される部分は高輝度領域となり得るし、主要被写体よりも近距離にある部分は高輝度領域となり得る。したがって、主要被写体領域の判定を行う際には、まず、高輝度領域のうち、所定面積以上の高輝度領域を候補領域として抽出する。これにより、主要被写体にはなり得ない高輝度部分を排除することができる。さらに、候補領域が複数存在する場合には、例えば、画面の中心に近い方や、より領域の面積が大きい方を主要被写体領域と判定する。
【００３５】
また、図３（Ａ）に示すように、本画像７１とプレ画像７２とでは、画素数が異なる。本画像７１の画素数は、例えば、１２８０×９６０であるのに対して、プレ画像７２の画素数は、その１／１６の３２０×２４０である。このため、両画面内の対応する部分の比較においては、図３（Ｂ）に示すように、プレ画像７２の１画素に対して、本画像７１の１６画素が比較される。
【００３６】
すなわち、本画像７１の画素をＤａ、その輝度値をＹａ、プレ画像７２の画素をＤｂ、その輝度値をＹｂとすると、プレ画像７２の画面内左上の画素Ｄｂ１１に対応する部分は、本画像７１の画面内左上の１６個の画素Ｄａ１１〜Ｄａ４４に相当する。このため、比較に当たっては、まず、本画像７１の１６個分の画素Ｄａの輝度値Ｙａの平均輝度値Ｙａａｖｇ を求め、この平均輝度値Ｙａａｖｇ と、プレ画像７２の画素Ｄｂの輝度値Ｙｂとの輝度差ｄＹが求められる。そして、この輝度差ｄＹと、予め設定された閾値Ｓとを比較して、輝度差ｄＹが閾値Ｓよりも大きい画素位置（輝度差ｄＹ＞閾値Ｓの部分）を高輝度部分としてマッピングしていく。
【００３７】
以下、上記構成による作用について、図４及び図５のフローチャートに従って説明する。電源がオンされて撮影モードが選択されると、ＣＣＤイメージセンサ３３のスルー画取り込みが開始されて、ＬＣＤ１４にスルー画が再生表示される。撮影者は、この表示を見ながらフレーミングを行う。主要被写体領域を記録する場合には、設定により主要被写体領域記録機能をアクティブにする。主要被写体領域記録機能がアクティブにされると、ストロボ発光モードが自動的に強制発光モードへ切り替わる。
【００３８】
レリーズボタンが半押しされると、プレ撮影が行われてプレ画像が取り込まれて、フレームメモリ４２へ書き込まれる。ＡＦ回路４３，ＡＥ／ＡＷＢ回路４４は、このプレ画像を読み出して、焦点位置と露出値などの撮影条件を決定する。この撮影条件に基づいてピント調節や絞り調節が行われる。
【００３９】
レリーズボタンが全押しされると、本撮影が実行される。主要被写体領域記録機能がアクティブの場合には、ストロボが強制発光される。ＣＣＤイメージセンサ３３は、本画像を取り込み、このデータをフレームメモリ４２へ書き込む。画像処理回路４７は、この本画像に対して各種の画質補正処理を施す。画質補正処理が終了すると、主要被写体領域判定処理が実行される。主要被写体領域判定処理では、プレ画像と本画像の対応する部分の輝度値を比較して輝度差ｄＹを算出する。輝度差ｄＹが閾値Ｓよりも大きい場合には、その高輝度位置を座標エリア６２にマッピングしていく。これを全画素分の比較が終了するまで繰り返す。
【００４０】
全画素分の比較が終了したら、マッピングされた高輝度位置から所定面積以上の高輝度領域を候補領域として抽出する。候補領域が１つだけ抽出された場合には、その候補領域を主要被写体領域と判定する。候補領域が複数有る場合には、例えば、画面の中心に一番近い候補領域を主要被写体領域と判定する。もちろん、複数の候補領域の中で最も面積の大きい領域を主要被写体領域と判定してもよいし、これらの判定基準を組み合わせてもよい。
【００４１】
主要被写体領域を判定できた場合には、その情報を被写体領域タグに格納して画像ファイルを生成して、その画像ファイルがメモリーカード１１へ記録される。他方、判定できない場合には、被写体領域タグを空欄にして画像ファイルが生成されて、その画像ファイルがメモリーカード１１へ記録される。次回の撮影をする場合には、上記手順が繰り返される。
【００４２】
メモリーカード１１に記録された画像をプリントする場合には、プリンタは、画像ファイル内の被写体領域情報を参照して画像処理を施す。このため、適切な画像処理が行われるので、良好なプリント画像が得られる。
【００４３】
上記実施形態では、主要被写体領域判定をするために、プレ撮影をストロボ発光無しで行い、ストロボを強制発光させて本撮影を行っている。プレ撮影と本撮影とは、デジタルカメラの通常の撮影手順に含まれるので、これら２回の撮影によって得られた２つの画像を利用することで、主要被写体領域判定をするための専用の撮影をする必要がない。このため、撮影処理プログラムに大幅な変更を加えることなく、主要被写体判定機能を追加することができるので、コスト的なメリットを得ることができる。また、専用の撮影をしなくてもよいので、主要被写体領域判定を行う場合でも、撮影処理時間が大幅に増加するようなこともない。
【００４４】
しかし、シーンによっては本撮影でストロボ光が不要な場合もある。そのような場合には、撮影条件を得るためのプレ撮影とは別に、主要被写体領域判定のための専用の撮影（ストロボ発光有り）を行い、これにより得られた画像と、ストロボ発光無しで撮影した本画像とを比較して主要被写体領域判定を行ってもよい。また、画素数が異なる２つの画像を比較して、主要被写体判定を行っているが、もちろん、同じ画素数の２つの画像を比較して判定を行ってもよい。
【００４５】
また、判定により得られた主要被写体領域情報をメモリーカードへ記録する例で説明しているが、メモリーカードへ記録せずに、前記領域情報をカメラが実行する画像補正処理に利用してもよい。
【００４６】
上記実施形態では、本発明をデジタルカメラに適用した例で説明したが、カメラ付き携帯電話やカメラ付きＰＣなど、デジタルカメラ以外の各種撮像装置に適用してもよい。
【００４７】
【発明の効果】
以上詳細に説明したように、本発明のデジタルカメラは、被写体を撮像して撮影画像を得る撮像手段と、ストロボ装置とを備えたデジタルカメラにおいて、同じシーンに対して、ストロボ発光有りとストロボ発光無しの２回の撮影を行い、これらによって得られた２つの画像のそれぞれの画面内の対応する部分の輝度差を求める輝度差算出手段と、前記輝度差が予め設定された閾値よりも大きく、かつ所定面積以上の大きさを持つ高輝度領域を調べて、主要被写体領域を判定する主要被写体領域判定手段とを設けたから、実用性が高く、しかも、誤判定が少ない主要被写体領域判定機能を持つデジタルカメラを提供することができる。
【図面の簡単な説明】
【図１】デジタルカメラの電気構成の概略を示すブロック図である。
【図２】主要被写体判定の説明図である。
【図３】プレ画像と本画像との比較方法を示す説明図である。
【図４】撮影手順を示すフローチャートである。
【図５】主要被写体判定手順を示すフローチャートである。
【符号の説明】
１０ デジタルカメラ
１６ ストロボ装置
３３ ＣＣＤイメージセンサ
４１ ＤＳＰ
４２ フレームメモリ
４７ 画像処理回路
６２ 座標エリア
６３ 主要被写体領域
７１ 本画像
７２ プレ画像[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a digital camera having a function of determining a main subject area of a photographed image.
[0002]
[Prior art]
2. Description of the Related Art Digital cameras that record captured images obtained by imaging a subject with an imaging unit such as a CCD as digital data on a memory card have become widespread. The captured image data is recorded on the memory card as an EXIF image file, for example. As is well known, the EXIF standard is standardized by JEITA (Electronic Information Technology Industries Association), and the EXIF format image file stores incidental information related to the image data in addition to the image data. be able to.
[0003]
The incidental information includes various types of information such as exposure condition, aperture value, brightness value, shooting condition data related to shooting conditions such as the presence or absence of strobe light emission, shooting date / time data and shooting mode information. In the image file, an information storage area called a tag is provided for each type of the accompanying information, and each accompanying information is stored in each tag.
[0004]
The types of incidental information are increasing with the version upgrade of the standard. In the latest version 2.1, a subject area tag for storing main subject area information in the screen is newly added. For example, when the image is printed, the supplementary information is referred to by a printer and used to perform appropriate image processing. Knowing the main subject area facilitates proper exposure correction processing and helps to obtain good image quality.
[0005]
As a method of determining the main subject position, for example, a method of determining by detecting the line of sight while the photographer is looking through the optical viewfinder, a method of determining by detecting the skin color portion of the image, and the like are known. (For example, refer to Patent Document 1).
[0006]
[Patent Document 1]
JP-A-7-43792 [0007]
[Problems to be solved by the invention]
However, in a digital camera, an electronic viewfinder is often used for framing, and a method for detecting a photographer's line of sight other than the optical viewfinder is lacking in practicality. In addition, in the method of detecting the skin color portion of the image, if the subject is other than a person, the probability of misjudgment is high, such as determining the wrong target as the main subject. Further, since the skin color varies from person to person, it is necessary to provide a width in the color range that is a criterion for determination, but if this is widened, the probability of erroneous determination is further increased.
[0008]
It is an object of the present invention to provide a digital camera having a main subject area determination function that is highly practical and has few erroneous determinations.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, a digital camera according to the present invention is a digital camera including an imaging unit that captures a subject and obtains a captured image, and a strobe device. A luminance difference calculating means for obtaining a luminance difference between corresponding portions in each screen of the two images obtained by performing two shootings without the image, and the luminance difference is larger than a preset threshold value, In addition, a main subject region determination means for determining a main subject region by examining a high luminance region having a size larger than a predetermined area is provided.
[0010]
Shooting with the flash is used as a main shooting for obtaining a main image recorded on a storage medium, shooting without a flash is performed before the main shooting, and the shooting conditions for the main shooting are obtained. If pre-shooting is performed, the main subject area can be determined according to a normal shooting procedure.
[0011]
When there are a plurality of high-luminance areas, it is preferable to determine the area close to the center position of the screen or the area with the largest area as the main subject area. The main subject area information obtained by the determination may be recorded on a storage medium together with the captured image.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a block diagram showing the configuration of the digital camera 10. The digital camera 10 converts photographed image data into an EXIF format image file and records it in a memory card 11 that is detachably set in the main body. In the image file, incidental information is stored in addition to the image data.
[0013]
The CPU 12 controls each part of the main body of the digital camera 10 in accordance with an operation signal input from the operation unit 13. The operation unit 13 includes a power button, a release button, a mode switching dial, a general-purpose key, and the like. The mode switching dial switches between a shooting mode for shooting an image and a playback mode for playing back and displaying the shot image on the LCD 14. The LCD 14 displays a menu screen for performing various settings in addition to the reproduced image. The general-purpose key is used for selecting a setting item by moving the cursor in the menu screen. The LCD 14 displays a through image for subject confirmation, and also functions as an electronic viewfinder.
[0014]
Examples of the setting items include various items such as the flash mode of the strobe device 16 and the setting of the number of recording pixels. Flash modes include auto mode that emits light according to subject brightness, red-eye reduction mode that reduces red-eye phenomenon, forced flash mode that forcibly emits light regardless of subject brightness, and flash inhibition mode that forcibly disables strobe flash and so on.
[0015]
The digital camera 10 also has a function of determining a main subject area of a captured image. The determined main subject area information is stored in the subject area tag in the image file, and is recorded on the memory card 11 together with the image data. This main subject area determination function can also be switched between active and inactive by setting. The main subject area determination is performed using strobe light emitted from the strobe device 16, as will be described later. Therefore, when the main subject area determination function is set to active, the forced light emission mode is automatically selected.
[0016]
As is well known, a photographing lens composed of a zoom lens 18 and a focus lens 19 is provided on the front surface of the digital camera 10. A diaphragm 21 is disposed between the zoom lens 18 and the focus lens 19, and a shutter blade 22 constituting a mechanical shutter is disposed behind the focus lens 19.
[0017]
The zoom lens 18 and the focus lens 19 are moved in the optical axis direction by lens driving mechanisms 23 and 24 each including a motor. The aperture 21 is driven by an aperture drive mechanism 26 including a motor to switch the aperture diameter. The shutter blade 22 is driven by a shutter drive mechanism 27 including a motor.
[0018]
The lens driving mechanisms 23 and 24 and the aperture driving mechanism 26 are driven by motor drivers 28 to 30 controlled by the CPU 12. The shutter drive mechanism 27 is driven by the motor driver 32 when a timing signal is input from the timing generator 31.
[0019]
A CCD image sensor 33 is disposed behind the photographing lens as an image sensor. As is well known, the CCD image sensor 33 includes a photocathode by arranging a large number of light receiving elements in a matrix, and photoelectrically converts subject light that has passed through the photographing optical system and imaged on the photocathode. . In front of the photocathode, a microlens array for condensing light on each pixel, and a color in which filters of each color are regularly arranged so that each pixel corresponds to one of R, G, and B, respectively. A filter array is arranged.
[0020]
The CCD image sensor 33 outputs the charge accumulated for each pixel as a serial imaging signal line by line in synchronization with the vertical transfer clock and horizontal transfer clock supplied from the CCD driver 36. The charge accumulation time (exposure time) of each pixel is determined by an electronic shutter drive signal given from the CCD driver 36.
[0021]
The mechanical shutter operates in synchronization with the CCD image sensor 33 at the time of actual photographing. In the CCD image sensor 33, when strong light such as sunlight is incident on the photocathode, a phenomenon called smear occurs in which streaks occur in the vertical direction in which charge is vertically transferred. The mechanical shutter is closed immediately after the electronic shutter is driven to block light incident on the photocathode, thereby preventing this smear. Similar to the shutter drive mechanism 27, the CCD driver 36 receives a timing signal from the timing generator 31, and the CCD image sensor 33 and the mechanical shutter are synchronized by this timing signal.
[0022]
The analog imaging signal captured from the CCD image sensor 33 is input to the analog signal processing circuit 38. The analog signal processing circuit 38 includes a correlated double sampling circuit (CDS), an auto gain controller (AGC), and an AD converter (ADC). The CDS removes noise from the analog signal, and the AGC automatically adjusts the gain of the analog signal. The ADC generates image data by digitally converting an analog signal. This image data is CCD-RAW data having R, G, and B density values for each pixel, and this CCD-RAW data is input to a DSP (Digital Signal Processor) 41. The analog signal processing circuit 38 is also supplied with a timing signal from the timing generator 26 and is synchronized with the timing at which charges are taken in from the CCD image sensor 33.
[0023]
The DSP 41 is an IC chip including an AF circuit 43, an AE / AWB circuit 44, an image input controller 46, an image processing circuit 47, a compression processing circuit 48, a media controller 49, and a video encoder 51, and is input from the analog signal processing circuit 38. The image data is subjected to various signal processing, and a through image is displayed on the LCD 14 and the memory card 11 is accessed to read and write the image file.
[0024]
The image input controller 46 takes in the CCD-RAW data from the analog signal processing circuit 38 and writes it into the frame memory 42. The frame memory 42 is a working memory used when the DSP 41 performs various signal processing on the image data. The frame memory 42 is connected to each part of the CPU 12 and the DSP 41 via the data bus 55. As the frame memory 42, for example, an SDRAM (Synchronous Dynamic Random Access Memory) that performs data transfer in synchronization with a bus clock signal having a fixed period is used.
[0025]
The image data captured from the CCD image sensor 33 includes a pre-image in addition to the through image and the main image. The through image is a confirmation image used for framing as described above, and is captured at a predetermined interval while the shooting mode is selected. The through image is converted into a composite signal by the video encoder 51 and output to the LCD 14. A pre-image is an image obtained by pre-photographing. Pre-photographing refers to photographing that is performed before photographing the main image and for determining photographing conditions when photographing the main image.
[0026]
When the release button is half-pressed, the CPU 12 detects a half-press signal and causes the CCD image sensor 33 to perform pre-shooting. The obtained pre-image is once written in the frame memory 42 via the DSP 41. Based on this pre-image, the AF circuit 43 and the AE / AWB circuit 44 determine shooting conditions. The AF circuit 43 detects the focus position based on the pre-image and performs focusing. As the focus detection method, for example, a passive method that detects a focus position using a feature that the contrast of an image is high in a focused state is employed. The AE circuit measures subject brightness based on the data and determines an aperture value, a shutter speed, and the like. The AWB circuit is an auto white balance circuit, and automatically adjusts the white balance at the time of shooting.
[0027]
When the release button is fully pressed, the main shooting is executed and the main image is captured. The maximum number of pixels of the main image is determined by the number of pixels of the CCD image sensor 33, but the number of recorded pixels can be changed by setting such as fine and normal. The number of images of the through image and the pre-image is smaller than that of the main image.
[0028]
The compression processing circuit 48 performs compression processing on the main image data that has been subjected to various types of image processing by the image processing circuit 47 in a compression format such as JPG to generate an image file. When the image file is generated, incidental information is stored in each tag. The media controller 49 accesses the memory card 11 to write and read image files. In the playback mode, the compressed image data is read from the memory card 11, decompressed by the compression processing circuit 48, and then output to the LCD 14.
[0029]
The image processing circuit 47 performs image quality correction processing such as gamma correction, sharpness correction, and contrast correction on the image data, CCD-RAW data is converted into Y data that is a luminance signal, Cb data that is a blue color difference signal, and a red color difference signal. YC processing for converting into YC data composed of Cr data is performed.
[0030]
Further, when the main subject region information recording function is active, the image processing circuit 47 determines the main subject region based on the pre-image captured without the flash emission and the main image captured with the flash emission. Execute the process. The main subject area determination is performed by comparing the luminance difference between corresponding portions in the screens of the pre-image and the main image and examining a high-luminance area having a large luminance difference.
[0031]
For example, as shown in FIG. 2, when shooting a scene 61 in which the main subject 61a is a person, the strobe light reaches the main subject 61a located at a short distance but does not reach the background. When pre-shooting (without flash emission) and main shooting (with flash emission) are performed on the scene 61, the pre-image and the main image are compared because the main subject 61a reflects the flash light. In this case, the luminance difference of the main subject area is larger than that of other areas in the screen. As shown in FIG. 2B, the main subject region 62 can be determined by mapping a high luminance region having a large luminance difference to a coordinate area 63 in the frame memory 42.
[0032]
In this way, the main subject area is determined using the reflected light of the strobe, so that erroneous determination can be reduced even when the main subject is not a person, as compared with the method in which the skin color portion of the image is detected and determined. Can do. Further, it is more practical than a method of detecting the line of sight of a photographer looking through the viewfinder.
[0033]
The determined position information of the main subject area 62 is stored as one of the supplementary information in the subject area tag of the image file. Since the subject area tag of the EXIF standard has a limited amount of information that can be stored, the subject area information is defined to be recorded as rectangular or circular coordinate data. Therefore, as shown in FIG. 2B and FIG. 2C, a rectangle 64 and a circle 65 that are inscribed or circumscribed to the main subject area 62 are obtained, and these coordinate data are recorded as the position information. .
[0034]
In this example, an example is described in which only one high-luminance area is extracted from the screen. However, depending on the scene, there may be an infinite number of high-luminance areas in addition to the main subject area. For example, when night photography is performed, a portion where a light such as a streetlight is projected can be a high luminance region, and a portion closer to the main subject can be a high luminance region. Therefore, when determining the main subject area, first, a high luminance area having a predetermined area or more is extracted as a candidate area from among the high luminance areas. As a result, it is possible to eliminate a high-luminance portion that cannot be a main subject. Furthermore, when there are a plurality of candidate areas, for example, the area closer to the center of the screen or the larger area is determined as the main subject area.
[0035]
Further, as shown in FIG. 3A, the number of pixels is different between the main image 71 and the pre-image 72. For example, the number of pixels of the main image 71 is 1280 × 960, whereas the number of pixels of the pre-image 72 is 320 × 240, which is 1/16 of the number. For this reason, in the comparison of corresponding portions in both screens, 16 pixels of the main image 71 are compared with one pixel of the pre-image 72 as shown in FIG.
[0036]
That is, assuming that the pixel of the main image 71 is Da, the luminance value thereof is Ya, the pixel of the pre-image 72 is Db, and the luminance value thereof is Yb, the portion corresponding to the pixel Db 11 at the upper left in the screen of the pre-image 72 is This corresponds to 16 pixels Da 11 to Da 44 in the upper left of the screen of the image 71. Therefore, for comparison, first, an average luminance value Yaavg of the luminance values Ya of 16 pixels Da of the main image 71 is obtained, and the average luminance value Yaavg and the luminance value Yb of the pixel Db of the pre-image 72 are calculated. A luminance difference dY is obtained. Then, the luminance difference dY is compared with a preset threshold S, and a pixel position where the luminance difference dY is larger than the threshold S (a portion where the luminance difference dY> the threshold S) is mapped as a high luminance portion. .
[0037]
The operation of the above configuration will be described below with reference to the flowcharts of FIGS. When the power is turned on and the photographing mode is selected, the through image capture of the CCD image sensor 33 is started, and the through image is reproduced and displayed on the LCD 14. The photographer performs framing while viewing this display. When recording the main subject area, the main subject area recording function is activated by setting. When the main subject area recording function is activated, the flash emission mode automatically switches to the forced emission mode.
[0038]
When the release button is pressed halfway, pre-photographing is performed and a pre-image is captured and written into the frame memory 42. The AF circuit 43 and the AE / AWB circuit 44 read this pre-image, and determine photographing conditions such as a focus position and an exposure value. Focus adjustment and aperture adjustment are performed based on the photographing conditions.
[0039]
When the release button is fully pressed, actual shooting is executed. When the main subject area recording function is active, the strobe is forcibly emitted. The CCD image sensor 33 captures the main image and writes this data into the frame memory 42. The image processing circuit 47 performs various image quality correction processes on the main image. When the image quality correction process is completed, a main subject area determination process is executed. In the main subject region determination process, the luminance difference dY is calculated by comparing the luminance values of corresponding portions of the pre-image and the main image. When the luminance difference dY is larger than the threshold value S, the high luminance position is mapped to the coordinate area 62. This is repeated until the comparison for all pixels is completed.
[0040]
When the comparison for all the pixels is completed, a high luminance area having a predetermined area or more is extracted as a candidate area from the mapped high luminance position. When only one candidate area is extracted, the candidate area is determined as the main subject area. When there are a plurality of candidate areas, for example, the candidate area closest to the center of the screen is determined as the main subject area. Of course, the region having the largest area among the plurality of candidate regions may be determined as the main subject region, or these determination criteria may be combined.
[0041]
If the main subject area can be determined, the information is stored in the subject area tag to generate an image file, and the image file is recorded on the memory card 11. On the other hand, if it cannot be determined, an image file is generated with the subject area tag blank, and the image file is recorded on the memory card 11. In the case of the next shooting, the above procedure is repeated.
[0042]
When printing an image recorded on the memory card 11, the printer performs image processing with reference to subject area information in the image file. For this reason, since appropriate image processing is performed, a good print image can be obtained.
[0043]
In the above-described embodiment, in order to determine the main subject area, pre-shooting is performed without flash emission, and main shooting is performed with forced flash emission. Since pre-photographing and main-photographing are included in the normal photographing procedure of a digital camera, using two images obtained by these two photographings, dedicated photographing for determining the main subject area is performed. There is no need to do. For this reason, since the main subject determination function can be added without making a significant change to the photographing processing program, a cost advantage can be obtained. In addition, since it is not necessary to perform dedicated shooting, the shooting processing time does not increase significantly even when the main subject region is determined.
[0044]
However, depending on the scene, the strobe light may not be necessary for the actual shooting. In such a case, apart from pre-shooting to obtain shooting conditions, dedicated shooting (with flash emission) for main subject area determination is performed, and the resulting image is shot without flash emission. The main subject area determination may be performed by comparing with the main image. In addition, the main subject determination is performed by comparing two images having different numbers of pixels, but of course, the determination may be performed by comparing two images having the same number of pixels.
[0045]
In addition, the main subject area information obtained by the determination is described as being recorded on the memory card, but the area information may be used for image correction processing executed by the camera without being recorded on the memory card. .
[0046]
In the above-described embodiment, the present invention has been described with reference to an example in which the present invention is applied to a digital camera.
[0047]
【The invention's effect】
As described above in detail, the digital camera of the present invention is a digital camera that includes an imaging unit that captures an image of a subject and obtains a captured image, and a strobe device. A luminance difference calculating means for obtaining a luminance difference between corresponding portions in each screen of the two images obtained by performing two shootings without the image, and the luminance difference is larger than a preset threshold value, In addition, the main subject region determination means for determining the main subject region by examining a high luminance region having a size larger than a predetermined area is provided, and thus has a main subject region determination function with high practicality and few erroneous determinations. A digital camera can be provided.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an outline of an electrical configuration of a digital camera.
FIG. 2 is an explanatory diagram of main subject determination.
FIG. 3 is an explanatory diagram illustrating a comparison method between a pre-image and a main image.
FIG. 4 is a flowchart showing a photographing procedure.
FIG. 5 is a flowchart showing a main subject determination procedure.
[Explanation of symbols]
10 Digital Camera 16 Strobe Device 33 CCD Image Sensor 41 DSP
42 Frame memory 47 Image processing circuit 62 Coordinate area 63 Main subject area 71 Main image 72 Pre-image
