JP2007020033A - 電子カメラおよび画像処理プログラム - Google Patents

Abstract

【課題】 画像データ中の人物領域を正確に検出する
【解決手段】 本発明の電子カメラは、撮像部、顔認識部、奥行き測定部、および人物領域検出部を備える。撮像部は、被写界を撮像して画像データを生成する。顔認識部は、画像データについて顔認識を行い、画像データの画面内から顔領域を検出する。奥行き測定部は、被写界の奥行きを測定する。人物領域検出部は、画面内において顔領域に接し、かつ顔領域と実質的に等しい奥行きを示す領域を追加検出することにより、人物領域の範囲を確定する。
【選択図】 図２

Description

本発明は、画像データ中から人物領域を検出する電子カメラおよび画像処理プログラムに関する。

従来、特許文献１には、画像データの背景画像との差分や、エッジ検出によって人物シルエットを抽出する技術が提案されている。
特開２００４−４６３９９号公報（段落００２４）

ところで、上述した背景画像との差分をとる領域検出では、人物以外の領域を誤検出したり、背景に近い色の服を着ている人物を検出できないなどの問題があった。
また、エッジ検出による人物検出でも、人物以外の領域を誤検出したり、服の模様などを人体の輪郭と誤検出するなどの問題があった。
そこで、本発明は、人物領域を正確に検出するための技術を提供することを目的とする。

《１》 本発明の電子カメラは、撮像部、顔認識部、奥行き測定部、および人物領域検出部を備える。
撮像部は、被写界を撮像して画像データを生成する。
顔認識部は、画像データについて顔認識を行い、画像データの画面内から顔領域を検出する。
奥行き測定部は、被写界の奥行きを測定する。
人物領域検出部は、画面内において顔領域に接し、かつ顔領域と実質的に等しい奥行きを示す領域を追加検出することにより、人物領域の範囲を確定する。

《２》 なお好ましくは、画像データに対して、人物領域の範囲内外において鮮鋭度に差異を与える画像処理を実施する画像処理部を備える。この画像処理部により、被写界深度を擬似的に浅くした処理画像を生成することができる。

《３》 また好ましくは、画像データおよび処理画像を、一緒または選択的に記録する記録部を備える。

《４》 なお好ましくは、人物領域検出部は、人物領域を示すマスクデータを作成する。記録部は、作成したマスクデータ、および画像データを記録する。

《５》 本発明の画像処理プログラムは、コンピュータを、入力部、顔認識部、人物領域検出部として機能させる。
入力部は、画像データと、その画像データの奥行きに関する情報とを取得する。
顔認識部は、画像データについて顔認識を行い、画像データの画面内から顔領域を検出する。
人物領域検出部は、画面内において顔領域に接し、かつ顔領域と実質的に等しい奥行きを示す領域を追加検出することにより、人物領域の範囲を確定する。

《６》 なお好ましくは、本発明の画像処理プログラムは、画像データに対して、人物領域の範囲内外において鮮鋭度に差異を与える画像処理を実施する画像処理部としてコンピュータを機能させる。これにより、被写界深度を擬似的に浅くした処理画像を生成する。

本発明では、まず画像データに対して顔認識を実施し、画面内の顔領域を求める。
次に、この顔領域を基準にして、次の２つの条件を判定する。
（１）画面内で顔領域に接する。
（２）顔領域と実質的に等しい奥行きを示す。
これら２つの条件を共に満足する領域を顔領域に追加することにより、人物領域をより正確に検出することができる。

［実施形態の構成説明］
図１は、本実施形態の電子カメラ１１を示すブロック図である。
図１において、電子カメラ１１には、撮影レンズ１２が装着される。レンズ制御部１２ａは、この撮影レンズ１２のフォーカス駆動や絞り制御などを実施する。この撮影レンズ１２の像空間には、シャッタ（不図示）を介して撮像素子１３の受光面が配置される。この撮像素子１３は、撮像制御部１４によって駆動される。撮像素子１３から出力される画像データは、信号処理部１５、およびＡ／Ｄ変換部１６を介して処理された後、メモリ１７に一時蓄積される。
このメモリ１７は、バス１８に接続される。このバス１８には、レンズ制御部１２ａ、撮像制御部１４、マイクロプロセッサ１９、記録部２２、モニタ表示部２３、顔認識部４１、および画像処理部４３も接続される。
上記のマイクロプロセッサ１９には、レリーズ釦などの操作部１９ａ、被写界の複数箇所について焦点検出を実施する焦点検出部１９ｂが接続される。また、上記の記録部２２には、記録媒体２２ａが装着される。

［実施形態の動作説明］
図２および図３は、本実施形態の動作を示す流れ図である。以下、図面に示すステップ番号に沿って、本実施形態の動作を説明する。

ステップＳ０： マイクロプロセッサ１９は、ＡＦロックのフラグをリセットするなどの初期設定を実施する。

ステップＳ１： マイクロプロセッサ１９は、操作部１９ａの出力信号に基づいて、レリーズ半押し状態を待機する。レリーズ半押し状態を検知すると、マイクロプロセッサ１９は、ステップＳ２に動作を移行する。

ステップＳ２： マイクロプロセッサ１９は、焦点検出部１９ｂの出力信号に基づいて、複数の焦点検出エリアについて焦点検出を行い、被写界の奥行き情報を得る。

例えば、コントラスト山登り方式の焦点検出では、次の手順で奥行き情報を得ることができる。
（手順１）レンズ制御部１２ａを用いて、撮影レンズ１２のピント位置を無限遠側と至近側の間で走査する。
（手順２）ピント位置の走査に合わせて、撮像素子１３（一眼タイプの場合は、ファインダ側の測光用撮像素子）で被写界を連続的に撮影し、複数のモニタ画像を得る。
（手順３）モニタ画像を複数のエリアに区分し、エリアごとにコントラスト量や高域空間周波数成分量などを求めることで、エリアごとの鮮鋭度を求める。
（手順４）エリアそれぞれについて、最大の精鋭度を示すモニタ画像を選択する。選択したモニタ画像を撮影した際のピント位置（あるいは、それに対応する被写体距離）を、そのエリアの奥行き情報とする。

また例えば、位相差検出方式の焦点検出では、次の手順で奥行き情報を得ることができる。
（手順１）複数のエリアについてデフォーカス量をそれぞれ検出する。
（手順２）各エリアのデフォーカス量（あるいは、それに対応する被写体と合焦位置の相対間隔）や、レンズ位置とデフォーカス量から得られる被写体距離を、そのエリアの奥行き情報とする。

ステップＳ３： マイクロプロセッサ１９は、ＡＦロック状態か否かをフラグ判定する。
コンティニュアスＡＦモードの場合、ＡＦロックはかからないので、マイクロプロセッサ１９は、ステップＳ４のＡＦ動作に移行する。
また、シングルＡＦモードであって、かつＡＦロックがかかっていない場合も、マイクロプロセッサ１９は、ステップＳ４のＡＦ動作に移行する。
一方、シングルＡＦモードであって、かつＡＦロックがかかっている場合、マイクロプロセッサ１９は、ＡＦ動作を飛ばして、ステップＳ５に動作を移行する。

ステップＳ４： マイクロプロセッサ１９は、ステップＳ２の焦点検出結果に基づいて、レンズ制御部１２ａを駆動し、撮影レンズ１２のピント調整を行う。なお、シングルＡＦモードにおいて合焦した場合、マイクロプロセッサ１９はＡＦロックのフラグをセットする。

ステップＳ５： マイクロプロセッサ１９は、操作部１９ａの出力信号に基づいて、レリーズが全押しされたか否かを判定する。
レリーズ全押しを検知しない場合、マイクロプロセッサ１９は、ステップＳ１に動作を戻す。
一方、レリーズ全押しを検知すると、マイクロプロセッサ１９は、ステップＳ６に動作を移行する。

ステップＳ６： マイクロプロセッサ１９は、撮像制御部１４などを制御して、撮像動作を実施する。撮像素子１３から読み出された画像データは、信号処理部１５、Ａ／Ｄ変換部１６の処理を経た後、メモリ１７に一時記録される。

ステップＳ７： 顔認識部４１は、メモリ１７内の画像データについて顔認識を実施し、画面内の顔領域Ｆ（図４［Ａ］に示す斜線領域など）を検出する。ここでは、例えば、肌色などの色情報や、顔輪郭の情報や、髪の毛の特徴や、目口などの位置解析に基づいて顔領域を特定することができる。なお、国際公開第２００４／００１６６０号パンフレットには、顔認識技術の具体的な詳細が開示される。

ステップＳ８： マイクロプロセッサ１９は、ステップＳ２で得た被写界の奥行き情報に基づいて、次の２つの条件を満足する領域を求める。

（１）顔領域に接した領域である。
（２）顔領域と実質的に等しい奥行きを示す領域である。

ここでは、例えば、人体の厚みを許容する奥行き範囲を実質的に等しい奥行き範囲とすることが好ましい。なお、顔領域の方向や大きさから人体の姿勢や大きさを判別することもできる。マイクロプロセッサ１９は、その姿勢や大きさに応じて想定される人体の厚みを選択し、実質的に等しい奥行き範囲を調整してもよい。

ステップＳ９： マイクロプロセッサ１９は、ステップＳ８で求めた領域を顔領域に追加することにより、人物領域Ｐ（図４［Ｂ］に示す斜線領域）を求める。
なお、ここでの人物領域Ｐは、奥行き情報を検出した複数エリアを単位として構成される。そのため、このエリアをより細分化することにより、正確な形の人物領域Ｐを求めることが可能になる。
また、粗いエリア区分で人物領域Ｐを求めた後、その人物領域Ｐの外郭をなすエリアについてエッジ検出（輪郭抽出）や色判別などを行うことによって、より正確な形の人物領域を求めてもよい。

ステップＳ１０： ユーザーは、電子カメラ１１のカスタム設定により、人物領域のマスクデータを作成保存するか否かを予め設定することができる。
ここで、マスクデータを作成する設定の場合、マイクロプロセッサ１９は、ステップＳ１１に動作を移行する。
逆に、マスクデータを作成しない設定の場合、マイクロプロセッサ１９は、ステップＳ１３に動作を移行する。

ステップＳ１１： マイクロプロセッサ１９は、ステップＳ９で求めた人物領域を、画面内で範囲指定するマスクデータを作成する。マイクロプロセッサ１９は、このマスクデータを、ステップＳ６で作成した画像データの付随情報域に格納する。

ステップＳ１２： 記録部２２は、マスクデータを格納した画像データを、記録媒体２２ａに保存記録する。この動作によりマスクデータを作成保存する場合の動作を終了する。

ステップＳ１３： ここでは、人物領域を用いた画像処理を実施する。例えば、画像処理部４３は、人物領域の範囲内と範囲外とで鮮鋭度に差異を与える画像処理を実施する。具体的には、人物領域の範囲外について高域抑制やぼかしなどのフィルタ処理を実施する。また、人物領域の範囲内について、高域強調や輪郭強調などのフィルタ処理を実施してもよい。このような処理により、被写界深度を擬似的に浅くした処理画像を作成することができる。

ステップＳ１４： ユーザーは、電子カメラ１１のカスタム設定により、保存記録する画像を予め選択しておくことができる。
画像データのみを保存記録する場合、マイクロプロセッサ１９はステップＳ１５に動作を移行する。
処理画像のみを保存記録する場合、マイクロプロセッサ１９はステップＳ１６に動作を移行する。
画像データおよび処理画像をどちらも保存記録する場合、マイクロプロセッサ１９はステップＳ１７に動作を移行する。

ステップＳ１５： ここでは、記録部２２は、画像データを記録媒体２２ａに保存記録する。この保存処理の後に、マイクロプロセッサ１９は一連の動作を終了する。

ステップＳ１６： ここでは、記録部２２は、処理画像を記録媒体２２ａに保存記録する。この保存処理の後に、マイクロプロセッサ１９は一連の動作を終了する。

ステップＳ１７： ここでは、記録部２２は、画像データおよび処理画像を記録媒体２２ａに保存記録する。この保存処理の後に、マイクロプロセッサ１９は一連の動作を終了する。

［本実施形態の効果など］
本実施形態では、顔領域に隣接した領域を人物領域に含める。したがって、顔領域から離れた領域を人物領域に含めることがなく、人物領域の特定がより正確になる。

また、本実施形態では、顔領域と実質的に等しい奥行きを示す領域を人物領域に含める。したがって、顔の隣接領域であっても、背景などの奥行きの離れた領域を人物領域に含めることがなく、人物領域の特定がより正確になる。

さらに、本実施形態では、人物領域を示すマスクデータを画像データと一緒に保存記録する。したがって、コンピュータなどの後処理において、このマスクデータを参照することで、画像データ中の人物領域を即座に特定することが可能になる。その結果、人物領域の内外に対して後処理で画像効果に差異を与えたり、人物領域のみを切り出して別画像に合成するなどの処理が容易になる。

また、本実施形態では、人物領域の範囲内外において、鮮鋭度に差異を与える画像処理を実施する。その結果、擬似的に被写体深度を浅くした処理画像を生成することが可能になる。一般に、コンパクトタイプなどの電子カメラでは、撮像面のサイズが銀塩カメラよりも狭い。そのため、電子カメラにおいて、銀塩カメラと同一画角の撮影を行った場合、電子カメラの焦点距離は短く、その分だけ被写界深度が深くなる。したがって、この種の電子カメラでは、いわゆるポートレート撮影のような、人物領域を背景から浮かび上がらせる撮影条件の設定が難しい。しかしながら、本実施形態のように、人物領域の被写界深度を擬似的に浅くすることで、被写界深度の深い電子カメラでも、ポートレートに適した画像を作成することができる。

さらに、本実施形態では、元の画像データおよび処理画像を、一緒または選択的に保存記録することもできる。そのため、所望の画像を保存記録することが可能になる。

［実施形態の補足事項］
なお、本実施形態では、電子カメラ１１の実施形態を説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、上述した人物領域の検出処理や画像処理を、コンピュータで実行してもよい。なお、この場合は、電子カメラ側において、焦点検出などから求めた奥行き情報を画像データに付随記録しておくことが好ましい。コンピュータ側では、この奥行き情報を参照することにより、上述した人物領域の検出が容易になる。

また、本実施形態では、特定した人物領域を画像処理に利用している。しかしながら、人物領域の用途はこれに限定されるものではない。例えば、特定した人物領域に従って、ＡＦ動作を行ってもよい。また例えば、特定した人物領域に従って、被写体追跡を行ってもよい。また、特定した人物領域の測光値を重視して、露出決定を行ってもよい。また例えば、監視モニタ装置などにおいて、人物領域の大きさから被写体が人間か否かを判別するなどの処理を行ってもよい。また例えば、人物領域を選択的に高画質圧縮するなどの処理に応用してもよい。また例えば、人物領域に対応するように、修飾枠をレイアウトするなどの特殊効果に応用してもよい。

以上説明したように、本発明は、電子カメラや画像処理プログラムなどに利用可能な技術である。

本実施形態の電子カメラ１１を示すブロック図である。 本実施形態の動作を示す流れ図（前半）である。 本実施形態の動作を示す流れ図（後半）である。 本実施形態の処理の様子を示すための図であり、図面中には、モニタ上の中間調画像の写真を含む。

符号の説明

１１…電子カメラ，１２…撮影レンズ，１２ａ…レンズ制御部，１３…撮像素子，１４…撮像制御部，１５…信号処理部，１６…Ａ／Ｄ変換部，１７…メモリ，１８…バス，１９…マイクロプロセッサ，１９ａ…操作部，１９ｂ…焦点検出部，２２…記録部，２２ａ…記録媒体，２３…モニタ表示部，４１…顔認識部，４３…画像処理部

Claims (6)

1. 被写界を撮像して画像データを生成する撮像部と、
   前記画像データについて顔認識を行い、前記画像データの画面内から顔領域を検出する顔認識部と、
   前記被写界の奥行きを測定する奥行き測定部と、
   前記画面内において前記顔領域に接し、かつ前記顔領域と実質的に等しい前記奥行きを示す領域を追加検出することにより、人物領域の範囲を確定する人物領域検出部と
   を備えたことを特徴とする電子カメラ。
2. 請求項１に記載の電子カメラにおいて、
   前記画像データに対して、前記人物領域の範囲内外において鮮鋭度に差異を与える画像処理を実施し、被写界深度を擬似的に浅くした処理画像を生成する画像処理部を備えた
   ことを特徴とする電子カメラ。
3. 請求項２に記載の電子カメラにおいて、
   前記画像データおよび前記処理画像を、一緒または選択的に記録する記録部を備えた
   ことを特徴とする電子カメラ。
4. 請求項１に記載の電子カメラにおいて、
   前記人物領域検出部は、前記人物領域を示すマスクデータを作成し、
   前記画像データおよび前記マスクデータを記録する記録部を備えた
   ことを特徴とする電子カメラ。
5. コンピュータを、
   画像データと、前記画像データの奥行きに関する情報とを取得する入力部と、
   前記画像データについて顔認識を行い、前記画像データの画面内から顔領域を検出する顔認識部と、
   前記画面内において前記顔領域に接し、かつ前記顔領域と実質的に等しい前記奥行きを示す領域を追加検出することにより、人物領域の範囲を確定する人物領域検出部と
   して機能させるための画像処理プログラム。
6. 請求項５に記載の画像処理プログラムにおいて、
   前記画像データに対して、前記人物領域の範囲内外において鮮鋭度に差異を与える画像処理を実施し、被写界深度を擬似的に浅くした処理画像を生成する画像処理部としてコンピュータを機能させる
   ことを特徴とする画像処理プログラム。
   

Images