次に本発明の実施の形態について図面を参照して詳細に説明する。
図1は、本発明の実施の形態における撮像装置の一構成例を示すブロック図である。撮像装置100は、光学系120および撮像素子130から構成される撮像部110と、画像信号処理部140と、ストロボ150と、パターン検出部160と、画像記録制御部170と、画像メモリ180とを備える。また、撮像装置100は、媒体制御部190と、記録媒体210と、表示部220と、操作受付部230と、撮像処理制御部300とを備える。なお、撮像装置100は、特許請求の範囲に記載の撮像装置の一例である。
光学系120は、被写体からの光を集光するものであり、フォーカスレンズ、ズームレンズ、ブレ補正用レンズおよびブレ補正用プリズム等のレンズ群を備える。この光学系120は、これらのレンズ群を介して集光された光信号を撮像素子130に供給する。また、光学系120は、撮像処理制御部300からの指示に従って、絞り値を変更して撮像画像の明るさを調節する。なお、光学系120は、特許請求の範囲に記載の撮像部の一例である。
撮像素子130は、光学系120により集光された光信号を電気信号に変換するものである。この撮像素子130は、例えば、CCD(Charge Coupled Devices)により実現することができる。また、この撮像素子130は、その変換された電気信号を画像信号処理部140に供給する。なお、撮像素子130は、特許請求の範囲に記載の撮像部の一例である。
画像信号処理部140は、撮像素子130により供給された電気信号に対して所定の信号処理を施すものである。すなわち、この画像信号処理部140は、電気信号をA/D(Analog to Digital)変換し、ホワイトバランス補正やガンマ補正等を行う。この画像信号処理部140は、信号処理を施した電気信号を撮像画像データとして画像メモリ180に保持させる。また、画像信号処理部140は、焦点距離および露出を調節するために必要となるデータを撮像処理制御部300に通知する。なお、画像信号処理部140は、特許請求の範囲に記載の撮像部の一例である。
ストロボ150は、被写体に光を照射するものである。このストロボ150は、撮像処理制御部300からの指示に従って撮像時において発光する。
パターン検出部160は、画像信号処理部140により生成された撮像画像データに対して顔検出処理および目つぶり検出処理を行うものである。このパターン検出部160は、撮像画像データに含まれる顔領域を検出後、その顔領域に含まれる目領域を検出して、その目領域において目つぶりの有無を判定する。
このパターン検出部160は、2つの画素の輝度差をパターン検出のための特徴量とするピクセル差分特徴を用いて顔検出処理および目つぶり検出処理を実行する。このパターン検出部160は、顔および目つぶりを検出するための顔検出辞書および目つぶり検出辞書を備える。この顔検出辞書および目つぶり検出辞書は、AdaBoostアルゴリズムなどによる統計学習により、顔および目つぶりのパターンにおけるピクセル差分特徴の頻度分布に基づいてそれぞれ生成される。パターン検出部160は、これらの辞書を用いて顔検出処理および目つぶり検出処理を実行する。例えば、顔検出辞書には、2つの画素の位置情報であるP1f(t)およびP2f(t)と、その画素間の輝度差の閾値θf(t)と、統計学習により求められた重み値αf(t)とからなる1組のパラメータが複数組格納されている。さらに、この顔検出辞書には、顔と判断するための閾値Tfが格納されている。
ここで、ピクセル微分特徴を用いた顔検出処理手法の一例について簡単に説明する。まず、所定のサイズの顔検出領域において、パターン検出部160は、P1f(t)およびP2f(t)の輝度差を算出し、事前の統計学習により求められた次式に示す弱仮説の条件を満足するか否かを判断する。そして、弱仮説の条件を満足する場合にはその判断結果をhf(t)=1とし、満足しない場合にはhf(t)=−1とする。
P1f(t)−P2f(t)<θf(t)
次に、パターン検出部160は、hf(t)およびαf(t)の乗算値をスコアf(t)として算出し、それぞれの組のスコアf(t)を合計する。この合計値が閾値Tf以上の場合には、パターン検出部160は、その顔検出領域において顔を検出したと判断する。
また、ピクセル微分特徴を用いた目つぶり検出処理手法の一例について簡単に説明する。上述の顔検出辞書と同様に、目つぶり検出辞書には、2つの画素の位置情報であるP1e(t)およびP2e(t)と、その画素間の輝度差の閾値θe(t)と、統計学習により求められた重み値αe(t)とからなる1組のパラメータが複数組格納されている。さらに、この目つぶり検出辞書には、目つぶりと判断するための閾値Teが格納されている。
まず、顔検出領域に含まれる目領域において、パターン検出部160は、P1e(t)およびP2e(t)の輝度差を算出し、事前の統計学習により求められた次式に示す弱仮説の条件を満足するか否かを判断する。そして、弱仮説の条件を満足する場合にはその判断結果をhe(t)=1とし、満足しない場合にはhe(t)=−1とする。
P1e(t)−P2e(t)<θe(t)
次に、パターン検出部160は、he(t)およびαe(t)の乗算値をスコアe(t)として算出し、それぞれの組のスコアe(t)を合計する。この合計値が閾値Te以上の場合には、パターン検出部160は、その目領域において目つぶりを検出したと判断する。なお、パターン検出部160は、特許請求の範囲に記載の顔検出部、目つぶり検出部、目つぶり度算出部および判定部の一例である。
画像記録制御部170は、パターン検出部160による目つぶり判定の判定結果に基づいて記録させる撮像画像データを選択するものである。この画像記録制御部170は、その記録させる撮像画像データに画像圧縮処理を施して圧縮画像データを生成する。この画像記録制御部170は、その画像圧縮処理が施された圧縮画像データを画像メモリ180に記録させるように制御する。なお、画像記録制御部170は、特許請求の範囲に記載の画像記録制御部の一例である。
画像メモリ180は、撮像画像データおよび圧縮画像データを保持するものである。この画像メモリ180は、例えば、RAM(Random Access Memory)により実現することができる。なお、画像メモリ180は、特許請求の範囲に記載の画像メモリの一例である。
媒体制御部190は、画像記録制御部170により生成された圧縮画像データを記録媒体210に記録させるものである。記録媒体210は、圧縮画像データを記録するものである。
表示部220は、画像信号処理部140により生成された撮像画像データを画像として表示するものである。この表示部220は、例えば、LCD(Liquid Crystal Display)により実現することができる。
操作受付部230は、撮像装置100の撮像者による撮像指示および各種設定等の操作内容を受け付けるものである。この操作受付部230は、これらの操作内容に応じた信号を撮像処理制御部300に供給する。撮像装置100には、操作受付部230として、シャッターボタンが備えられる。なお、操作受付部230は、特許請求の範囲に記載の操作受付部の一例である。
シャッターボタンは、例えば、押圧式のスイッチである。このシャッターボタンの押圧状態は撮像処理制御部300により判別される。押圧状態として、撮像者によりシャッターボタンが全く押されていない状態(オフ状態)と、半分程度押された状態(半押し状態)と、深く押された状態(深押し状態)との3つの状態を撮像処理制御部300が判別する。半押し状態の場合には、撮像処理制御部300により、撮像部110を制御することによって、焦点距離および露光が適正な値に設定される。
半押し状態から深押し状態に遷移した場合には、撮像処理制御部300の指示により撮像が開始され、撮像された撮像画像データに基づいて生成された圧縮画像データが記録媒体210に記録される。また、オフ状態から深押し状態に遷移した場合には、撮像処理制御部300により、焦点距離および露光が適正となるように撮像部110が制御された後に、撮像が開始されて圧縮画像データが記録媒体210に記録される。
また、操作受付部230は、表示部220の操作画面上に表示された目つぶり軽減撮像モード設定ボタン、ストロボモード設定ボタンおよびオートレビュー設定ボタンによる設定を受付ける。
目つぶり軽減撮像モード設定ボタンは、目つぶり軽減撮像モードに設定するときに使用されるボタンである。ここにいう目つぶり軽減撮像モードとは、シャッターボタンが深押し状態となった際、連続して撮像された複数の撮像画像データに関して目つぶりの有無を判定し、その判定結果に基づいて1つの撮像画像データのみを記録するモードのことをいう。この目つぶり軽減撮像モードにおいて、複数の撮像画像データを連続して撮像するためには、一般の連続撮像(または連写)機能を利用することができる。すなわち、本発明の実施の形態における連続撮像は、一般の連続撮像と同様に、シャッターボタンの1回の押下により、被写体を複数回撮像することを意味する。
ストロボモード設定ボタンは、撮像装置100のストロボモードを選択するためのボタンである。このストロボモードには、自動モード、強制発光モード、発光禁止モードなどがある。例えば、自動モードは、画像信号処理部140からのデータに基づいてストロボ150の発光の有無を制御するモードである。発光禁止モードは、ストロボ150の発光を禁止するモードである。
オートレビュー設定ボタンは、オートレビュー機能を有効にするためのボタンである。ここにいうオートレビュー機能とは、撮像時において記録媒体210に記録される圧縮画像データを表示部220に一時的に表示する機能のことをいう。
撮像処理制御部300は、制御プログラムに基づいて撮像装置100の各部を制御するものである。例えば、撮像処理制御部300は、目つぶり軽減撮像モード時において一定の条件を満たす場合には連続撮像を行うように、撮像部110および画像信号処理部140を制御する。そして、撮像処理制御部300は、連続撮像された複数の撮像画像データに対して目つぶり検出処理を実行するようパターン検出部160に指示する。また、撮像処理制御部300は、画像信号処理部140からのデータに基づいてデータに基づいてストロボ150の発光の要否を判断して、発光が必要であると判断した場合には撮像時においてストロボ150を発光させる。
バス240は、撮像処理制御部300と、画像信号処理部140と、パターン検出部160と、画像記録制御部170と、画像メモリ180と、媒体制御部190と、表示部220と、操作受付部230とを相互に接続する撮像装置100のシステムバスである。
図2は、本発明の実施の形態における撮像装置100の詳細な機能構成例を示すブロック図である。ここでは、撮像装置100において目つぶり軽減撮像モードが設定されており、連続撮像により被写体である人物を2回撮像する例について説明する。
この構成例には、撮像部110と、画像信号処理部140と、パターン検出部160と、画像記録制御部170と、画像メモリ180と、シャッターボタン231と、撮像処理制御部300とが示されている。パターン検出部160は、顔検出部161および目つぶり検出部162を備える。また、撮像処理制御部300は、撮像回数判断部310と、撮像タイミング制御部320と、撮像制御部330とを備える。
撮像部110は、図1で述べたとおり、被写体からの光を集光した光信号を電気信号に変換するものである。この撮像部110は、その変換された電気信号を画像信号処理部140に供給する。
画像信号処理部140は、図1で述べたとおり、撮像部110により供給される電気信号に対して所定の信号処理を施すものである。この画像信号処理部140は、焦点距離および露出を調節するために必要となるデータを撮像制御部330に供給する。画像信号処理部140は、例えば、撮像画像データにおける輝度レベルおよび高周波成分の振幅値を算出して撮像制御部330に供給する。また、画像信号処理部140は、撮像タイミング制御部320からの撮像開始の指示に基づいて生成した撮像画像データを画像メモリ180の撮像画像領域181に保持させる。
画像メモリ180は、図1で述べたとおり、画像信号処理部140により生成された撮像画像データを保持し、撮像画像データに基づいて生成された圧縮画像データを記録するものである。この画像メモリ180は、撮像画像データが保持される撮像画像領域181および圧縮画像データが記録される圧縮画像領域182を有する。
顔検出部161は、画像メモリ180に保持された撮像画像データに含まれる顔領域を検出するものである。この顔検出部161は、図1で述べたように、ピクセル差分特徴を用いて顔検出処理を実行する。この顔検出部161は、シャッターボタン231がオフ状態または半押し状態のときには、表示部220に表示されるスルー動画である撮像画像データに対して、周期的に、例えば16.7ミリ秒ごとに、顔領域の検出を行う。この顔検出部161は、その顔検出結果を撮像回数判断部310に通知する。
また、シャッターボタン231が深押し状態となったときには、顔検出部161は、連続撮像により撮像された2つの撮像画像データに対して順次顔領域の検出を行い、その顔検出結果を目つぶり検出部162に供給する。なお、顔検出部161は、特許請求の範囲に記載の顔検出部の一例である。
目つぶり検出部162は、撮像タイミング制御部320の指示に基づいて目つぶり検出処理を実行するものである。この目つぶり検出部162は、図1で述べたように、ピクセル差分特徴を用いて目つぶり検出処理を実行する。この目つぶり検出部162は、目つぶり検出辞書を用いて目つぶりの有無を判定する。なお、目つぶり検出部162は、特許請求の範囲に記載の目つぶり検出部の一例である。
この目つぶり検出部162は、目つぶり度算出部163および判定部164を備える。目つぶり度算出部163は、顔検出部161により検出された顔領域に含まれる目領域を特定し、その目領域において目つぶり度合いを示す評価値を算出するものである。この目つぶり度算出部163は、目領域において、ピクセル差分特徴を用いて目つぶり特徴解析を行い、この特徴解析結果と目つぶり検出辞書に格納されている目つぶりパターンの特徴量とを比較して目つぶり度合いを示す評価値を算出する。具体的には、目つぶり度算出部163は、図1で述べたとおり、目領域において、目つぶり検出辞書に格納された2つの画素の位置情報であるP1e(t)およびP2e(t)に基づいてピクセル特徴差分を算出する。そして、その画素間の輝度差の閾値θe(t)および重み値αe(t)に基づいてスコアe(t)を各組ごとに算出し、これらのスコアe(t)を合計したものを目つぶり度合いを示す評価値として算出する。ここでは、目つぶりの度合いが大きくなる程、目つぶり度合いを示す評価値は高い値を示すものと想定する。なお、目つぶり度算出部163は、特許請求の範囲に記載の目つぶり度算出部の一例である。
判定部164は、目つぶり度算出部163により算出された評価値と、目つぶり検出辞書に格納されている所定の閾値(Te)とに基づいて目つぶりが無い成功画像であるか否かを判定するものである。この判定部164は、例えば、目つぶり度算出部163により算出された評価値が所定の閾値より低い場合には「目つぶり無し」と判定し、所定の閾値以上の場合には「目つぶり有り」と判定する。また、判定部164は、顔検出部161により顔領域が検出されない場合には「不明」と判定する。ここでは、判定結果が「目つぶり無し」である撮像画像データを成功画像とし、判定結果が「目つぶり有り」または「不明」である撮像画像データを失敗画像とする。この判定部164は、判定した目つぶり判定結果を記録画像判断部171に通知する。なお、判定部164は、特許請求の範囲に記載の判定部の一例である。
撮像制御部330は、画像信号処理部140により供給されたデータに基づいて焦点距離および露出が適正となるように撮像部110を制御するものである。また、この撮像制御部330は、周期的に、例えば16.7ミリ秒ごとに、ストロボモード設定ボタン232による設定内容と画像信号処理部140からのデータとに基づいてストロボ150の発光の要否を判断する。
この撮像制御部330は、例えば、ストロボモードが「自動モード」に設定されている場合には、画像信号処理部140からのデータに基づいてストロボ150の発光の要否を判断する。具体的には、この撮像制御部330は、画像信号処理部140からの撮像画像データにおける輝度レベルから求められた露出値に基づいてシャッタースピードを算出し、撮像画像データにおける高周波成分の振幅値に基づいて焦点距離を算出する。そして、この撮像制御部330は、そのシャッタースピードがその焦点距離から換算された値、例えば、(1/焦点距離)秒より遅い場合にはストロボ150を発光させる。一方、そのシャッタースピードがその焦点距離から換算された値、例えば、(1/焦点距離)秒と同じ、または、それより速い場合にはストロボ150を発光させない。すなわち、この撮像制御部330は、シャッタースピードに基づいてストロボ150を発光させるか否かを判断する。なお、この例では、画像信号処理部140からのデータに基づいてシャッタースピードを算出してストロボ150の発光の要否を判断する例について示したが、撮像素子130からのデータに基づいて判断するようにしてもよい。
また、この撮像制御部330は、ストロボ150の発光が必要であると判断した場合には撮像時においてストロボ150が発光する旨を、発光が不要であると判断した場合には撮像時においてストロボ150が発光しない旨を撮像回数判断部310に通知する。
また、撮像制御部330は、シャッターボタン231が半押し状態になると、画像信号処理部140からのデータ、例えば、撮像画像データの輝度レベルおよび高周波成分の振幅値に基づいて、焦点距離および露出が適正になるように撮像部110を制御する。そして、撮像制御部330は、焦点距離および露出が適正な値に設定されると、シャッターボタン231の半押し状態が解除されるまでその設定を維持する。
撮像回数判断部310は、シャッターボタン231が深押し状態となったときに、連続撮像により被写体を2回連続して撮像するか、通常撮像により1回のみ被写体を撮像するかを判断するものである。撮像回数判断部310は、4つのパラメータを判断基準として連続撮像の可否を判断する。具体的には、シャッターボタン231の押圧状態と、撮像制御部330からの撮像時におけるストロボ150の発光の有無の通知と、顔検出部161からの顔検出結果と、画像メモリ180における撮像画像データを保持するための空き容量とを判断基準とする。撮像回数判断部310は、シャッターボタン231が深押し状態となった際に、撮像時においてストロボ150が発光しない状態であり、顔領域が検出されており、かつ、画像メモリ180に空き容量がある場合にのみ連続撮像を指示する。それ以外の場合には、この撮像回数判断部310は、撮像タイミング制御部320に通常撮像を指示する。ここで、ストロボ150が発光しない状態とは、撮像制御部330からストロボ150の発光が不要である旨の通知を受けた場合または操作受付部230においてストロボ発光を禁止する設定がされている場合である。
このように、ストロボ150の発光の有無を判断基準としているのは、連続撮像による2回目の撮像時において撮像素子130が十分な露出量を得ることができないからである。また、顔検出結果を判断基準としているのは、撮像直前の撮像画像データに顔領域が検出されなければ、撮像時における撮像画像データにも顔領域が検出されないと想定されるからである。さらに、画像メモリ180の空き容量を判断基準としているのは、連続撮像しても画像メモリ180において撮像画像データを保持する領域がないと撮像画像データを保持できないからである。
撮像タイミング制御部320は、撮像回数判断部310の判断に基づいて画像信号処理部140に撮像の開始を指示するものである。撮像タイミング制御部320は、例えば、連続撮像時には連続して2回の撮像の開始を指示する。また、撮像タイミング制御部320は、目つぶり検出処理の開始を目つぶり検出部162に指示する。なお、撮像タイミング制御部320は、特許請求の範囲に記載の撮像タイミング制御部の一例である。
画像記録制御部170は、連続撮像により生成された2つの撮像画像データのうち1回目の撮像画像データより2回目の方が目つぶり判定結果が良好である場合以外には、1回目の撮像画像データを記録媒体210に記録させるように制御するものである。したがって、画像記録制御部170は、1回目の撮像画像データにおける判定結果が「目つぶり有り」または「不明」であって、2回目の判定結果が「目つぶり無し」である場合に限り、2回目の撮像画像データを記録媒体210に記録させる。すなわち、1回目が失敗画像であり、かつ、2回目が成功画像である場合にのみ2回目の撮像画像データを記録させる。これは、1回目の撮像画像データを優先して記録させることにより、撮像者の意図する構図に近い画像を取得し易くするためである。
また、画像記録制御部170は、1回目および2回目の双方の撮像画像データが同じ判定結果(失敗画像または成功画像)である場合には、1回目の撮像画像データを記録させる。これは、同一の判定結果であれば、撮像者の意図するタイミングに最も近い撮像タイミングにおいて撮像された画像を優先して記録させるためである。なお、2つの撮像画像データの双方が失敗画像である場合には、画像記録制御部170は、記録された画像が目つぶり画像である旨を撮像装置100の撮像者に通知するようにしてもよい。例えば、記画像記録制御部170は、目つぶり画像である旨または取り直しを促す旨の表示を表示部220に出力させる。
この画像記録制御部170は、記録画像判断部171および画像圧縮処理部172を備える。記録画像判断部171は、判定部164により順次判定された目つぶり判定結果に基づいて、その判定された撮像画像データに関して圧縮画像領域182への記録の要否を順次判断するものである。この記録画像判断部171は、その判断結果を画像圧縮処理部172に通知する。また、記録画像判断部171は、1回目の撮像画像データについては、目つぶり判定結果にかかわらず、記録が必要である旨を画像圧縮処理部172に通知することによって、1回目の撮像画像データを圧縮画像領域182に記録させるよう指示する。これにより、シャッターボタン231が深押し状態となってから圧縮画像データが記録媒体210に記録されるまでの撮像時間を短縮することができる。これは、2回目の目つぶり判定結果を待たずに1回目の撮像画像データの画像圧縮を開始することにより、画像圧縮に要する時間が短縮されるからである。さらに、1回目が失敗画像であって2回目が成功画像である場合以外は、1回目に撮像された撮像画像データが記録媒体210に記録されることから、1回目の撮像画像データが記録媒体210に記録される確率は高いと考えられるからである。
また、記録画像判断部171は、2回目に撮像された撮像画像データに関する目つぶり判定結果として判定部164により失敗画像であると判定された場合には、2回目に撮像された撮像画像データに関して記録が不要であると判断する。また、記録画像判断部171は、1回目に撮像された画像データの目つぶり判定結果が成功画像である場合には、2回目の判断においては2回目の判定結果にかかわらず、2回目に撮像された画像データに関して記録が不要であると判断する。なお、記録画像判断部171は、特許請求の範囲に記載の記録画像判断部の一例である。
画像圧縮処理部172は、記録画像判断部171の判断結果に基づいて、撮像画像領域181に保持されている撮像画像データに画像圧縮処理を施した圧縮画像データを生成するものである。この画像圧縮処理部172は、その生成した圧縮画像データを圧縮画像領域182における所定の領域に記録させる。画像圧縮処理部172は、例えば、1回目の画像圧縮データを圧縮画像領域182の所定の領域に記録させた後に、2回目の画像圧縮データを記録させる場合には、1回目の画像圧縮データを記録させた領域に記録させる。すなわち、画像圧縮処理部172は、2回目の圧縮画像データを1回目の圧縮画像データが記録された領域と同一の領域に重ねて記録(上書き)させる。これにより、画像メモリ180の圧縮画像領域182において、一時的な使用領域の確保が不要となり、画像メモリ180を効率的に利用することができる。なお、画像圧縮処理部172は、特許請求の範囲に記載の画像領域制御部の一例である。
図3は、本発明の実施の形態における撮像装置100の第1の実施例における1回目撮像画像410の目つぶり判定結果と2回目撮像画像420の目つぶり判定結果との対応関係を示す図である。ここでは、目つぶり軽減撮像モード時において記録される記録画像が示されている。
1回目撮像画像410は、連続撮像により2回連続して撮像された撮像画像データのうち、1回目に撮像された撮像画像データを示す。2回目撮像画像410は、連続撮像により2回連続して撮像された撮像画像データのうち、2回目に撮像された撮像画像データを示す。
この場合、例えば、1回目撮像画像410が「目つぶり有り」であり、かつ、2回目撮像画像420が「目つぶり有り」の場合には、1回目に撮像された撮像画像データに画像圧縮処理を施した1回目圧縮画像が記録媒体210に記録される。
このように、1回目撮像画像410が「目つぶり有り」または「不明」であり、かつ、2回目撮像画像420が「目つぶり無し」である場合以外は、1回目の圧縮画像が記録媒体210に記録される。すなわち、1回目撮像画像410が失敗画像であり、2回目撮像画像420が成功画像である場合に限り、2回目に撮像された2回目圧縮画像が記録媒体210に記録される。
これにより、1回目の圧縮画像を優先的に記録させることにより、撮像装置100の撮像者が意図する構図に近い画像が取得し易くなる。これに対し、2回目の圧縮画像が記録される場合は、撮像者がシャッターボタン231を深押ししたタイミングより撮像タイミングは遅くなるが、目つぶりの無い成功画像が記録されるため、目つぶりが十分に軽減された画像を取得することができるようになる。
次に本発明の実施の形態における撮像装置100の動作について図面を参照して説明する。
図4は、本発明の実施の形態における撮像装置100の目つぶり軽減撮像モード時における処理手順例を示すフローチャートである。
まず、シャッターボタン231が半押し状態または深押し状態であるか否かが判断される(ステップS911)。そして、シャッターボタン231がオフ状態である場合には、半押し状態または深押し状態となるまで待機する。一方、半押し状態または深押し状態となった場合には、撮像制御部330により、焦点距離および絞り値が適正となるように撮像部110に設定される。次に、顔検出部161により顔検出処理が実行され(ステップS913)、撮像画像データに顔領域が検出されたか否かが判断される(ステップS914)。
そして、顔領域が検出された場合には、シャッターボタン231が深押し状態になるまで(ステップS915)、ステップS913およびS914の処理が繰り返される。一方、シャッターボタン231が深押し状態となった場合には、撮像時においてストロボ150が発光しない状態であるか否かの判断が行われる(ステップS916)。それとともに、画像メモリ180において2つの撮像画像データを保持できるだけの空き容量が確保されているか否かの判断が行われる(ステップS917)。そして、撮像時においてストロボ150が発光しない状態であり、かつ、画像メモリ180に空き容量が確保されている場合には、目つぶり軽減撮像処理が実行される(ステップS930)。一方、撮像時においてストロボ150が発光する状態である場合または画像メモリ180の空き容量が確保されていない場合には、通常撮像処理により1回のみの撮像が行われる(ステップS923)。
一方、ステップS914において顔領域が検出された場合には、シャッターボタン231が深押し状態になるまで(ステップS922)、ステップS913およびS914の処理が繰り返される。そして、シャッターボタン231が深押し状態となった場合には、ステップS923の処理に進む。
次に、記録媒体210に記録される記録画像を一時的に表示部220に表示するオートレビュー機能が設定されているか否かが判断される(ステップS919)。そして、オートレビュー機能が設定されている場合には、表示部220に記録画像が表示され(ステップS921)、処理が終了する。一方、オートレビュー機能が設定されていない場合には処理が終了する。
図5は、本発明の実施の形態における撮像装置100の第1の実施例における目つぶり軽減撮像処理(ステップS930)の処理手順例を示すフローチャートである。ここでは、シャッターボタン231が深押し状態となった際に、被写体を2回連続して撮像することを想定している。
まず、画像信号処理部140により、撮像タイミング制御部320からの1回目および2回目の撮像開始の指示に基づいて2つの撮像画像データが画像メモリ180に保持される(ステップS931およびS932)。なお、ステップS931およびS932は、特許請求の範囲に記載の撮像タイミング制御手順および保持手順の一例である。次に、パターン検出部160により、1回目の撮像画像データに対して目つぶり判定処理が実行される(ステップS933)。なお、ステップS933は、特許請求の範囲に記載の顔検出手順および目つぶり検出手順の一例である。次に、画像記録制御部170により、1回目の撮像画像データが圧縮画像データに生成されて画像メモリ180に記録される(ステップS934)。
次に、記録画像判断部171により、パターン検出部160による1回目の撮像画像データに対する目つぶり判定結果が判断される(ステップS935)。そして、判定結果が「目つぶり無し」である成功画像の場合には、2回目の撮像画像データの判定結果にかかわらず、目つぶり軽減撮像処理を終了する。すなわち、1回目の撮像画像データに基づいて生成された圧縮画像データが記録媒体210に記録される。一方、判定結果が「目つぶり無し」でない失敗画像の場合には、パターン検出部160により、2回目の撮像画像データに対して目つぶり判定処理が実行される(ステップS936)。なお、ステップS936は、特許請求の範囲に記載の顔検出手順および目つぶり検出手順の一例である。
次に、記録画像判断部171により、パターン検出部160による2回目の撮像画像データの判定結果が判断される(ステップS937)。そして、判定結果が「目つぶり無し」でない失敗画像の場合には、目つぶり軽減撮像処理を終了する。すなわち、1回目の撮像画像データに基づいて生成された圧縮画像データが記録媒体210に記録される。一方、判定結果が「目つぶり無し」である成功画像の場合には、画像記録制御部170により、2回目の撮像画像データが圧縮画像データに生成されて画像メモリ180に記録される(ステップS938)。このとき、2回目の圧縮画像データは、1回目の圧縮画像データが記録されていた領域と同じ領域に重ねて記録される。なお、ステップS934、S935、S937およびS938は、特許請求の範囲に記載の画像記録制御手順の一例である。
図6は、本発明の実施の形態におけるパターン検出部160の目つぶり判定処理(ステップS940)の処理手順例を示すフローチャートである。
まず、撮像された撮像画像データに対して顔検出処理が実行される(ステップS941)。なお、ステップS941は、特許請求の範囲に記載の顔検出手順の一例である。次に、顔検出処理により撮像画像データにおいて顔領域が検出されたか否かが判断される(ステップS942)。そして、顔領域が検出されない場合には、判定部164により「不明」と判定される(ステップS948)。一方、顔領域が検出された場合には、顔領域に含まれる目領域において目つぶりの特徴解析が行われる(ステップS943)。次に、目つぶりの特徴解析結果と目つぶり検出辞書に保持されている目つぶりパターンの特徴量とが比較され、目つぶり度合いを示す評価値が算出される(ステップS944)。
次に、目つぶり度合いを示す評価値と所定の閾値とが比較される(ステップS945)。そして、目つぶり度合いを示す評価値が所定の閾値より低い場合には、判定部164により「目つぶり無し」と判定される(ステップS946)。一方、目つぶり度合いを示す評価値が所定の閾値以上である場合には、判定部164により「目つぶり有り」と判定される(ステップS947)。なお、ステップS942乃至948は、特許請求の範囲に記載の目つぶり検出手順の一例である。
図7は、本発明の実施の形態における撮像装置100の第1の実施例における目つぶり軽減撮像モード時に1回目の撮像画像が記録される場合の処理手順例を示すシーケンスチャートである。ここでは、画像信号処理部140と、パターン検出部160と、画像記録制御部170と、操作受付部230と、撮像処理制御部300とが示されている。また、1回目および2回目の撮像画像データに対する目つぶり判定の結果が両方「目つぶり有り」である場合を想定している。また、画像メモリ180に連続撮像するための空き容量があるものとする。
まず、パターン検出部160により、顔検出処理が実行され、顔領域が検出された旨が撮像処理制御部300に通知される(821)。また、撮像処理制御部300により、画像信号処理140からのデータ、例えば、撮像画像データにおける輝度レベルおよび高周波成分の振幅値に基づいて、撮像時においてストロボ150の発光が不要であると判断される(841)。次に、撮像者によりシャッターボタン231が深押し状態となる(831)。
そして、撮像処理制御部300により、連続撮像条件として、撮像時におけるストロボ150の発光の有無、顔検出結果および画像メモリ180の空き容量に基づいて連続撮像の可否が判断される(842)。このとき、撮像時においてストロボ150が発光しない状態であり、顔領域が検出され、かつ、画像メモリ180に空き容量が有ることから、撮像処理制御部300により、連続撮像の指示が画像信号処理部140に通知される(843)。続いて、目つぶり判定処理の開始がパターン検出部160に指示される(844)。
次に、画像信号処理部140により、1回目の撮像により生成された撮像画像データが画像メモリ180に保持される(811)。そして、パターン検出部160により、1回目の撮像画像データに対して目つぶり判定処理が実行され、「目つぶり有り」の判定結果が画像記録制御部170に通知される(822)。次に、画像記録制御部170により、1回目の撮像画像データに基づいて生成された圧縮画像データが画像メモリ180に記録される(851)。
一方、画像信号処理部140により、2回目の撮像により生成された撮像画像データが画像メモリ180に保持される(812)。そして、パターン検出部160により、2回目の撮像画像データに対して目つぶり判定処理が実行され、「目つぶり有り」の判定結果が画像記録制御部170に通知される(823)。
次に、図3に示したように、1回目および2回目の撮像画像データが両方とも「目つぶり有り」の判定結果であることから、画像記録制御部170により、画像メモリ180に保持されている2回目の撮像画像データは破棄される(852)。そして、画像記録制御部170の指示により、媒体制御部190が1回目の圧縮画像データを記録媒体210に記録させる(853)。
図8は、本発明の実施の形態における撮像装置100の第1の実施例における目つぶり軽減撮像モード時に2回目の撮像画像が記録される場合の処理手順例を示すシーケンスチャートである。ここでは、図7に示した処理823、処理852および処理853に代えて処理861乃至863が示されている。これらの処理以外は、図7と同様の処理であるため、ここでの説明を省略する。
画像信号処理部140により、2回目の撮像により生成された撮像画像データが画像メモリ180に保持される(812)。そして、パターン検出部160により、2回目の撮像画像データに関して目つぶり判定処理が実行され、「目つぶり無し」の判定結果が画像記録制御部170に通知される(861)。
次に、図3に示したように、1回目が「目つぶり有り」であり、かつ、2回目が「目つぶり無し」であることから、画像記録制御部170により、2回目の撮像画像データに基づいて画像圧縮データが生成される。そして、画像記録制御部170により、1回目の圧縮画像データが記録された領域と同じ領域に2回目の圧縮画像データが重ねて記録される(862)。その後、画像記録制御部170の指示により、媒体制御部190が2回目の圧縮画像データを記録媒体210に記録させる(863)。
図9は、本発明の実施の形態におけるパターン検出部160において複数の顔領域が検出された際の目つぶり判定基準の一例を示す図である。
撮像画像の目つぶり判定結果430は、目つぶり軽減撮像モード時において連続撮像により撮像された撮像画像データに関してパターン検出部160により目つぶり判定された判定結果を示すものである。
「目つぶり有り」の判定結果431は、顔検出部161により検出された複数の顔領域のうち、少なくとも1つの顔領域の目つぶり度合いを示す評価値が所定の閾値以上のときに判定部164により判定される結果である。
「目つぶり無し」の判定結果432は、顔検出部161により検出された複数の顔領域のうち、全ての顔領域の目つぶり度合いを示す評価値が所定の閾値より低いときに判定部164により判定される結果である。
「不明」の判定結果433は、顔検出部161により顔領域が検出されなかったときに判定部164により判定される結果である。
このように、顔検出部161により複数の顔領域が検出された場合には、各顔領域の評価値と所定の閾値とを比較し、全ての顔領域が所定の閾値より低いか否かに基づいて目つぶり判定が行われる。これにより、2回目の撮像画像が記録媒体210に記録された場合には、全ての顔領域において目つぶりが無いものを記録することができる。なお、この場合、全ての顔領域を目つぶり判定の対象とすると、撮像者が撮像したい人物以外の他の人物まで目つぶり判定の対象となってしまう。そのため、撮像したい人物が1回目の撮像において目つぶりが無い場合においても、その他の人物に目つぶりが有ったために、2回目の撮像画像が記録されてしまうことも考えられる。そこで、撮像者が撮像したい人物と想定される者の顔領域を判別対象とする目つぶり判定を行うように改良したものが次に説明する第1の変形例である。
図10は、本発明の実施の形態におけるパターン検出部160において複数の顔領域が検出された場合における目つぶり判定例についての第1の変形例を示す図である。図10(a)は、撮像装置100の連続撮像により撮像された撮像画像500を示す図である。図10(a)には、パターン検出部160により検出された3つの顔領域510乃至530が示されている。
図10(b)は、撮像画像500に含まれる顔領域510乃至530についてのパラメータを示す表である。図10(b)には、識別番号501と、顔の位置502と、顔の大きさ503と、目つぶり評価値504とが示されている。識別番号501は、撮像画像500に含まれる3つの顔領域510乃至530を識別するために付された識別番号である。識別番号「1」乃至「3」は、それぞれ図10(a)の顔領域510乃至530に対応する。
顔の位置502は、撮像画像500の中心位置と顔領域510乃至530の中心位置との差を示す数値である。顔の大きさ503は、顔領域510乃至530の大きさを示す数値である。目つぶり評価値504は、目つぶり度算出部163により算出された顔領域510乃至530における目つぶり度合いを示す評価値である。例えば、顔領域510に対応する識別番号「1」のパラメータは、顔の位置502が「10」であり、顔の大きさ503が「60」であり、目つぶり度合いの評価値504が「10」である。
この場合において、例えば、複数の顔領域のうち、顔の位置502が一定の基準値より低い顔領域のみを目つぶり判定の対象とし、その判定対象となった顔領域に関して図9に示した目つぶり判定基準を適用するようにしてもよい。撮像者は撮像したい人物を撮像画面の中心付近に収まるように撮像すると想定されるからである。例えば、目つぶり判定の対象を定める一定の基準値を「20」とし、目つぶり判定の所定の閾値が「50」である場合には、目つぶり判定の対象となる顔領域は顔領域510のみであり、その目つぶり度合いを示す評価値は所定の閾値より低い「10」である。したがって、撮像画像500に対する目つぶり判定結果は、「目つぶり無し」と判定される。
また、上述の例では、顔の位置502に基づいて目つぶり判定の対象となる顔領域を定めたが、顔の大きさ503に基づいて定めるようにしてもよい。これは、撮像者は撮像したい人物を大きく撮像すると想定されるからである。例えば、顔の大きさ503が「50」以上である顔領域を目つぶり判定の対象と定め、目つぶり判定の所定の閾値が「50」である場合を想定する。この場合、目つぶり判定の対象となる顔領域が顔領域510のみとなり、その目つぶり度合いを示す評価値は所定の閾値より低い「10」である。したがって、撮像画像500に対する目つぶり判定結果は、判定部164により「目つぶり無し」と判定される。また、判定対象とする顔領域の定め方として、顔の位置502および顔の大きさ503の両者を組み合わせて判定対象を定めるようにしてもよい。
このように、顔の位置502または顔の大きさ503に基づいて目つぶり判定の対象となる顔領域を定めることにより、撮像者が撮像したい人物と想定される者の顔領域に重点を置いた目つぶり判定を行うことができるようになる。なお、ここでは、判定対象となる顔領域ごとに目つぶり度合いを示す評価値と所定の閾値とを比較する例について説明したが、判定対象となる顔領域における目つぶり度合いを示す評価値を合算したものを所定の閾値と比較するようにしてもよい。ここで、第2の変形例として、判定対象となる顔領域における目つぶり度合いを示す評価値を合算する例について次図を参照して説明する。
図11は、本発明の実施の形態におけるパターン検出部160において複数の顔領域が検出された場合における目つぶり判定例についての第2の変形例を示す図である。図11(a)は、顔の位置502に基づいて重み付けられた評価値を合算した合算値を示す表である。図11(b)は、顔の大きさ503に基づいて重み付けられた評価値を合算した合算値を示す表である。ここでは、識別番号501、顔の位置502、顔の大きさ503および目つぶり評価値504は、図10(b)に示したものと同様であるため、ここでの説明を省略する。
図11(a)には、識別番号501と、顔の位置502と、重み付け係数541と、目つぶり評価値504と、重み付け評価値542と、合算値543とが示されている。
重み付け係数541は、顔の位置502の逆数を正規化することによって求められる係数である。重み付け評価値542は、目つぶり評価値504および重み付け係数541を乗算することによって求められる評価値である。合算値543は、識別番号「1」乃至「3」の重み付け評価値542を合算した数値である。
このように、位置502に基づいて重み付けをすることによって、合算値543は、撮像画像500の中心に近い顔領域510の目つぶり評価値504の大きさに影響を受けるため、比較的低い数値が算出される。
ここで、例えば、所定の閾値が「50.0」であるとすると、撮像画像500における合算値543が所定の閾値より低い「35.9」であるため、判定部164により「目つぶり無し」と判定される。
図11(b)には、識別番号501と、顔の大きさ503と、重み付け係数551と、目つぶり評価値504と、重み付け評価値552と、合算値553とが示されている。
重み付け係数551は、顔の大きさ503の数値を正規化することによって求められる係数である。重み付け評価値552は、目つぶり評価値504および重み付け係数551を乗算することによって求められる評価値である。合算値553は、識別番号「1」乃至「3」の重み付け評価値552を合算した数値である。
このように、顔の大きさ503に基づいて重み付けをすることによって、合算値553は、撮像画像500において顔領域の大きい顔領域510の目つぶり評価値504の大きさに影響を受けるため、比較的低い数値が算出される。
この場合、例えば、所定の閾値が「50.0」であるとすると、撮像画像500における合算値553が所定の閾値より低い「38.0」であるため、判定部164により「目つぶり無し」と判定される。
また、顔の位置502および顔の大きさ503の両者を用いて合計値を算出するようにしてもよい。
このように、本発明の実施の形態における目つぶり判定例の第2の変形例では、顔の位置502または顔の大きさ503に基づいて重み付けされた顔領域510乃至530の評価値を合算した数値と所定の閾値とに基づいて判定される。これにより、目つぶり判定において、撮像者が撮像したい人物と想定される者以外の他の人物の目つぶりの影響を相対的に低くすることができるようになる。
以上のように、本発明の実施の形態における撮像装置100の第1の実施例では、1回目の撮像画像を優先的に記録させることにより、撮像装置100の撮像者が意図する構図に近い画像が取得し易くなる。これに対し、2回目の撮像画像が記録される場合は、撮像者が指示したタイミングより撮像タイミングが遅くなるが、目つぶりの無い成功画像が記録されるため、目つぶりが十分軽減された画像を取得することができるようになる。
また、2回目の目つぶり判定結果にかかわらず、1回目の撮像画像データを圧縮画像領域182に記録することにより、撮像時間を短縮することができる。なお、本発明の実施の形態における撮像装置100の第1の実施例では、目つぶり軽減撮像モード時において被写体である人物を2回連続して撮像する例について説明したが、以下のように、3回連続して撮像するようにしてもよい。
図12は、本発明の実施の形態における撮像装置100の第2の実施例における目つぶり軽減撮像処理(ステップS930)の処理手順例を示すフローチャートである。ここでは、シャッターボタン231が深押し状態となった際に、被写体を3回連続して撮像することを想定している。また、ここでは、図5に示したステップS931およびS932の処理に代えてステップS951乃至S954の処理が示されている。
まず、画像信号処理部140により、撮像タイミング制御部320からの1回目から3回目の撮像開始の指示に基づいて3つの撮像画像データが画像メモリ180に保持される(ステップS951)。次に、パターン検出部160により、1回目の撮像画像データに対して目つぶり判定処理が実行される(ステップS933)。次に、画像記録制御部170により、1回目の撮像画像データが圧縮画像データに生成されて画像メモリ180に記録される(ステップS934)。
次に、記録画像判断部171により、パターン検出部160による1回目の撮像画像データに対する目つぶり判定結果が判断される(ステップS935)。そして、判定結果が「目つぶり無し」である成功画像の場合には、2回目の撮像画像データの判定結果にかかわらず、目つぶり軽減撮像処理を終了する。すなわち、1回目の撮像画像データに基づいて生成された圧縮画像データが記録媒体210に記録される。一方、判定結果が「目つぶり無し」でない失敗画像の場合には、パターン検出部160により、2回目の撮像画像データに対して目つぶり判定処理が実行される(ステップS936)。次に、記録画像判断部171により、パターン検出部160による2回目の撮像画像データの判定結果が判断される(ステップS937)。そして、判定結果が「目つぶり無し」である成功画像の場合には、画像圧縮処理部172により、2回目の撮像画像データが圧縮画像データに生成されて画像メモリ180に記録される(ステップS938)。このとき、2回目の圧縮画像データは、1回目の圧縮画像データが記録されていた領域と同一の領域に重ねて記録される。
一方、判定結果が「目つぶり無し」でない失敗画像の場合には、パターン検出部160により、3回目の撮像画像データに対して目つぶり判定処理が実行される(ステップS952)。次に、記録画像判断部171により、パターン検出部160による3回目の撮像画像データの判定結果が判断される(ステップS953)。そして、判定結果が「目つぶり無し」でない失敗画像の場合には、目つぶり軽減撮像処理を終了する。一方、判定結果が「目つぶり無し」である成功画像の場合には、画像圧縮処理部172により、3回目の撮像画像データが圧縮画像データに生成されて画像メモリ180に記録される(ステップS954)。このとき、3回目の圧縮画像データは、1回目または2回目の圧縮画像データが記録されていた領域と同じ領域に重ねて記録される。
このように、連続撮像により生成された3つの撮像画像データの全てが成功画像または失敗画像である場合には、1回目の撮像画像データが画像圧縮処理されて画像メモリ180に記録される。また、少なくとも1つの撮像画像データが成功画像である場合には、最も先に撮像された撮像画像データのみが圧縮画像処理されて画像メモリ180に記録される。つまり、判定部164により、一度、成功画像と判定されると、その後に撮像された撮像画像データは破棄される。これにより、被写体である人物の目つぶりを軽減させつつ、撮像者の意図する撮像タイミングに近い画像が取得し易くなる。
また、本発明の実施の形態における撮像装置100の第2の実施例では、3回連続して撮像することにより、本発明の実施の形態における撮像装置100の第1の実施例に比べて、目つぶりの無い成功画像がより取得し易くなる。
このように、本発明の実施の形態によれば、撮像回数判断部310により連続撮像が許可された場合には、連続撮像により生成された複数の撮像画像データの各々に関して目つぶりが無い成功画像か失敗画像かが判定部164により判定される。そして、複数の撮像画像データのうち、全てが成功画像または全てが失敗画像である場合には、画像記録制御部170は、1回目の撮像画像データを記録させる。これにより、撮像画像データが全て同一の判定結果の場合には、撮像者の意図するタイミングに最も近い撮像タイミングにおいて撮像された画像を残すことができる。
また、複数の撮像画像データのうち少なくとも1つが成功画像である場合には、画像記録制御部170は、最も先に撮像された成功画像を記録媒体210に記録させる。これにより、被写体である人物の目つぶりを軽減させつつ、撮像者の意図するタイミングに近い撮像タイミングにおいて撮像された画像を残すことができる。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、上述のように特許請求の範囲における発明特定事項とそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disk)、メモリカード、ブルーレイディスク(Blu-ray Disc(登録商標))等を用いることができる。