JP2005130468A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】 本発明は撮像装置の姿勢検出を行い、その検出結果に基づいて被写体の特徴情報抽出のための最適な１つのフィルタ処理を選択することになり、処理を簡略化させる。
【解決手段】 シャッターボタンが半押しの状態である間、姿勢センサより得られた姿勢情報に基づき撮像装置が横置撮影しているのか、縦置き撮影しているのかを判断する（Ｓ１０５）。そして、判断結果に応じて、それぞれが異なるスキャン方向の２つのフィルタ処理のうち、いずれか一方のみのフィルタ処理を行うことで、撮像画像中の人物の顔を検出する。そして撮像した画像中の人物の顔が占める領域に基づいて次のタイミングでの撮像条件を決定する。そして、シャッターボタンが全押し状態になると、最新の撮影条件にしたがって撮像し、メモリカード等の記憶媒体に記憶する。
【選択図】 図２

Description

本発明は、画像の中から人物の顔に相当する領域を検出する顔検出機能を有する撮像装置（デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯電話など）及び、その制御方法に関するものである。

デジタルカメラ等の撮像装置で人物を撮影する場合、主被写体である人物の顔に焦点を合わせ、主被写体である人物の顔に最適な露出で撮影することが求められる。従来のカメラでは、被写体までの距離情報や被写体のコントラスト情報、あるいは、使用者の視線方向の情報に基づいて、画面内の予め決められた複数の領域の中から特定の領域を選択し、この特定の領域に焦点を合わせたり、この特定の領域に最適な露出で撮影したりしていた。

しかしながら上述の方法では、主被写体である人物の顔が予め決められた複数の領域に含まれていない場合には、主被写体である人物の顔に焦点と露出が合わないという問題がある。

そこで、画像の中から人物の顔に相当する領域を画像処理によって検出する機能を有するカメラが提案されている（例えば、特許文献１参照）。このカメラによれば、人物の顔が撮影画像のいずれの位置に存在する場合でも、人物の顔に焦点を合わせ、人物の顔に最適な露出で撮影を行うことが可能となる。

また、画像の中から人物の顔に相当する領域を画像処理によって検出する方法として、画像の中から顔に相当すると推測される顔候補領域を検出し、この顔候補領域と予め用意された顔の基準データとの間でマッチングを行い、マッチングの結果によって顔候補領域が人物の顔に相当する領域であるか否かを判定するものが提案されている（例えば、特許文献２参照）。この方法は、カメラを縦に構えた場合と横に構えた場合とで、図８（ａ），（ｂ）に示すように画像信号中の顔の傾きが異なるため、顔領域の検出処理を向きを変えて複数回行う必要があった。
特開２００１−２１５４０３号公報 特開平８−６３５９７号公報

カメラで撮影された画像から人物の顔を精度良く検出し、その検出結果を撮影条件に反映させることを考えた場合、顔の検出に要する時間をできるだけ削減する必要がある。その理由は、顔の検出に時間がかかり過ぎた場合、顔に焦点を合わせたり顔が最適となるよう露出を制御したりする処理が完了するまでの時間が遅くなり、使用者が撮影の指示を出してからカメラが実際に撮影を行うまでのレリーズタイムラグが大きくなってしまうためである。

そこで、撮影した画像の中から人物の顔を高速に検出できるように改良する余地がある。

本発明は、このような課題を解決しようとするものであり、撮影した画像の中から人物の顔を高速に検出できるようにする技術を提供しようとするものである。

本発明の撮像素子を有する撮像装置の一つは、上記の課題を解決するため、撮像装置の姿勢を検出する姿勢検出手段と、撮像素子の出力を基に得られた画像内における被写体の特徴抽出を行う特徴抽出手段とを備え、特徴抽出手段は、姿勢検出手段で検出された姿勢情報に基づき、被写体の特徴抽出する方法を異ならせる。

本発明の撮像素子を有する撮像装置の制御方法の一つは、このような課題を解決するため、撮像装置の姿勢を検出する姿勢検出工程と、撮像素子の出力を基に得られた画像内における被写体の特徴抽出を行う特徴抽出工程とを備え、特徴抽出工程では、姿勢検出工程で検出された姿勢情報に基づき、被写体の特徴抽出する方法を異ならせる。

本発明によれば、撮像装置の姿勢に応じて顔検出手段の検出方法を変更することができるので、撮影した画像の中から人物の顔を高速に検出することができる。

以下、添付図面にしたがって本発明に係る実施形態を詳細に説明する。

図１は、本実施形態における撮像装置の主要な構成要素を示す図である。本実施形態における撮像装置は、顔検出機能（画像の中から人物の顔に相当する領域を検出する機能）を有する撮像装置である。なお、本実施形態では、撮像装置がデジタルカメラである場合について説明する。

図１において、１は装置全体の制御を司るＣＰＵであり、２はＣＰＵ１の処理手順（プログラム）や各種データを記憶しているＲＯＭである。３はＣＰＵ１のワークエリアとして使用するＲＡＭであって、撮像画像もここに一旦格納されることになる。４は着脱自在な記憶媒体であるメモリカードであって、５はメモリカード４を電気的に本撮像装置に接続するためのメモリスロットである。６はシャッターボタンなどの操作ボタンを有する操作部である。なお、シャッターボタンは、開放状態、半押し状態、全押し状態の３つの状態を持ち、それぞれの状態を検出するセンサが内蔵されているものである。

７はズームレンズやフォーカスレンズを含む光学レンズ群であって、８は光学レンズ群７のフォーカシング、ズームの制御を行うためのドライバ（駆動手段）である。９は絞り手段であって、１０は絞り手段９のドライバである。１１は光学レンズ群７、絞り手段９を介して結像した像を電気信号に変換する光電変換機能を有したＣＣＤやＣＭＯＳ等の撮像素子である。１２は各種画像処理を行う画像処理部である。この画像処理としては、Ｏｐｔｉｃａｌ Ｂｌａｃｋ除去処理（絞りを全閉して被写体光が撮像素子に入射しない状態にしても、撮像素子から何らかの信号が出力されてくるので、それを相殺する処理）、ホワイトバランス処理、圧縮符号化、復号処理等が含まれる。

１３は表示部であって、撮像画像の表示、各種メニューを表示するものである。１４は姿勢センサであって、撮像装置の姿勢（第１の縦位置、第２の縦位置、あるいは横位置）を検出し、その検出結果を出力する。姿勢センサ１４は、使用者から見て基準となる状態から撮像装置の光軸を中心に時計回りに４５度以上回転させた状態を「第１の縦位置」、反時計周りに４５度以上回転させた状態を「第２の縦位置」として検出し、それ以外を「横位置」として検出する。基準となる状態とは、本撮像装置にて撮像した矩形画像の長辺が水平方向、短辺が垂直方向を向く位置である。１５は画像検出部であって、画像処理部１２から出力された画像信号の中から人物の顔に相当する領域を検出する。

上記構成において、操作部６のシャッターボタンを押下して全押し状態とした際に、撮像素子１１より得られた画像信号は画像処理部１２にて圧縮符号化（一般にはＪＰＥＧ符号化）され、メモリスロット５に接続されたメモリカード４に記憶されて保存されることになる。

なお、本実施形態の撮像装置は、ポートレートモード、風景モード、オートモードなどの撮影モードを有する。ポートレートモードは人物の撮影に適するようにプログラムされた撮影モードであり、人物が引き立つように人物を中心として、被写界深度を浅くして撮影する。風景モードは風景の撮影に適するようにプログラムされた撮影モードであり、ピントは無限距離に合うように制御される。また、オートモードは、被写体の特徴を自動的に判別して最適な撮影を行うようにプログラムされた撮影モードである。

これらの撮影モードは、操作部６の撮影モード切り替えダイヤルを操作することによって切り換えることができる。また、本実施形態の撮像装置は、ポートレートモード及びオートモードが選択されているときには、被写体に人物が含まれており、人物を中心とした構図にて撮影が行われる可能性が高いと判断して顔検出機能を有効にし、風景モードが選択されているときには人物を中心とした構図にて撮影が行われる可能性が低いと判断して顔検出機能を無効にする機能を有する。

この機能により、風景モードにおける撮影処理を高速にすることができる。

図２は、顔検出機能を用いた撮影処理を示すフローチャートである。

まず、シャッターボタンが半押しされていることを検出すると（ステップＳ１０１）、ＣＰＵ１は予め決められた第１の露出条件（絞り値、露出時間）及びフォーカス位置となるよう光学レンズ群７及び絞り手段９を制御した状態にて、第１の画像信号を取得する(ステップＳ１０２)。第１の画像信号を用いて、デフォルトとして設定された特定領域から得られる情報を基に、第２の露出条件、フォーカス位置を決定(ステップＳ１０３)する。

続いて、ＣＰＵ１は上記第２の露出条件、フォーカス位置となるよう光学レンズ群７及び絞り手段９を制御した状態にて第２の画像信号を取得する（ステップＳ１０４）。ステップＳ１０１からステップＳ１０４にて、予め簡易な露出制御および焦点調節制御を行うことで、画像信号中の被写体像を明確にし、顔を検出する処理の精度をあげている。また、その際に、ＣＰＵ１は姿勢センサ１４からの検出信号に基づき、横位置撮影、第１の縦位置撮影、第２の縦位置撮影のいずれであるかを判断する（ステップＳ１０５）。そして、画像検出部１５はその判断結果に基づき、顔検出のための前処理であるフィルタ処理（エッジ検出処理）を撮像画像の垂直方向に行う（ステップＳ１０６）か、第１の水平方向に行う（ステップＳ１０７）か、第２の水平方向に行う（ステップＳ１０８）かを決め、いずれか一つの処理を行う。

ステップＳ１０５で横位置と判別された場合、メモリから第２の画像信号を垂直方向に１ラインずつ読み出し、垂直方向にバンドパスフィルタをかけ、垂直方向高周波信号（エッジ情報）をＲＡＭ３に記録する（ステップＳ１０６）。第１の縦位置と判別された場合には、メモリから第２の画像信号を水平方向に１ラインずつ読み出し、水平方向にバンドパスフィルタをかけ、水平方向高周波信号をＲＡＭ３に記録する（ステップＳ１０７）。また、第２の縦位置と判別された場合には、メモリから第２の画像信号をステップＳ１０７と反対側から水平方向に１ラインずつ読み出し、水平方向にバンドパスフィルタをかけ、水平方向高周波信号をＲＡＭ３に記録する（ステップＳ１０８）。

なお、ここで言う垂直方向、水平方向とは、本撮像装置で撮像した矩形画像の長辺を水平、短辺を垂直方向として定義した場合における方向である。横位置では、図３（ａ）のような人物の顔画像が得られるので、ステップＳ１０６では同図の矢印に沿ったフィルタ処理（エッジ検出処理）を行い、その結果をＲＡＭ３に記憶する。また、第１の縦位置で撮影した画像は、本装置にとっては図３（ｂ）のようになるため、ステップＳ１０７では同図の矢印方向に沿ったフィルタ処理（エッジ検出処理）を行い、ＲＡＭ３に記憶する。

図３（ａ）に示す顔画像と図３（ｂ）に示す顔画像の両方に対して、矩形画像の短辺と平行な方向にエッジ検出を行った場合、図３（ａ）の顔画像に対するエッジ検出結果と図３（ｂ）の顔画像に対するエッジ検出結果は大きく異なってしまう。そこで、本実施形態では、姿勢センサ１４の検出結果に応じてエッジ検出を行う方向を異ならせている。

別の方法として、図３（ｂ）の顔画像を予め回転させ、顔画像を図３（ａ）と同じ向きに回転させてからエッジ検出を行う方法や、顔画像に対して複数方向からエッジ検出を行う方法も考えられるが、横位置、第１の縦位置及び第２の縦位置を想定して画像信号を全体を回転させたり、複数方向からエッジ検出を行ったりするには処理時間が余計にかかり過ぎてしまう。

本実施形態に示すように、撮像装置の姿勢に応じて、画像信号に対するエッジ検出を行う方向を設定することで、撮像装置がいずれの姿勢であっても撮像画像中の人物の顔画像に対して垂直方向のエッジ検出を行うことが可能になり、短い時間の中で正確な顔検出処理を施すことができる。

ステップＳ１０６、Ｓ１０７、Ｓ１０８のいずれかの処理を終えると、画像検出部１５はパターンマッチング処理を行う（ステップＳ１０９）。このパターンマッチング処理にて、ＲＡＭ３に保持されている高周波信号と予め記憶してある基準信号とを比較し、人間の目との形状パターン認識処理を行うことで、目の候補群が検出される。また、同時に、鼻や口、耳などの特徴点を持つパーツに対しても、高周波信号と基準信号群と比較し、形状認識にて検出する。

このとき、撮像装置の姿勢が判明しているので、該当する方向の候補群の枠内で処理を行うことで、パターンマッチング処理をも簡略化させることが可能となる。

パターンマッチング処理を終えると、人物の目（両目）を検出したか否かを判断する（ステップＳ１１０）。検出できた場合には、上記検出された目の候補群のうち、対となる目を対応づけ、目の候補群データを更に絞り込む。そして、目の候補群データと、その他のパーツ（鼻、口、耳）に基づき、予め設定した複数の非顔条件フィルタ（ＲＯＭ２に格納されている）の１つを選択し、そのフィルタを通過したものを「顔」とする（ステップＳ１１１）。そして、画像検出部１５は「目」および「顔」と判定された領域の大きさ、位置をＣＰＵ１に返す（ステップＳ１１２）。そして、ＣＰＵ１は検出した顔領域を基に測光領域に重み付けを行い、両目を中心とした領域を焦点調節領域として設定する（ステップＳ１１３）。

なお、デジタルカメラの場合、一般に、撮影中の画像は表示部１３にリアルタイムに表示されるが、上記のシャッターボタンが半押しの状態で、人物の顔（特に目）が検出できた場合、表示部１３に顔検出がなされた旨の所定のマークを表示するようにした。このようにすると、本装置が人物の顔に最適な撮影条件が設定されたことを報知することが可能となる。

一方、ステップＳ１１０にて両目の検出に失敗した場合には、デフォルトの測光領域、焦点調節領域を設定し（ステップＳ１１６）、これらの領域の出力を基に露出制御、焦点調節制御を行うことになる。

いずれにしても、測光領域、焦点調節領域を設定すると、シャッターボタンが全押しされているか否かを判断し（ステップＳ１１４）、半押し状態である限り上記処理を繰り返すことになる。また、シャッターボタンの全押を検出すると（ステップＳ１１４）、最新の測光領域が最適な輝度となるように絞り手段９を制御し、最新の焦点調節領域に焦点が合うように光学レンズ群７を駆動して、撮像を行い、得られた画像信号を圧縮符号化し、メモリカード４に書き込むことになる（ステップＳ１１５）。

ここで、ステップＳ１１５での露出制御、焦点調節制御について詳細に説明を行う。

図４に示すように、予め設定された画面を複数のブロック（小領域）に分割し、ブロックごとに輝度値を算出する。図中、楕円で囲われた領域が画像検出部１５にて検出された顔領域である。このとき、各ブロック内の顔領域が占める割合に応じて重み付けを行う。図示の場合、５段階の重み付けを示しており、“５”は該当するブロック内に顔領域のみが存在する場合を示しており、顔領域と非顔領域の両方を含むブロックについては、その割合に応じた値を設定し、完全に非顔領域のみしか存在しないブロックについては“１”の重み付け値を割振った。

この結果、各ブロックの輝度Ｂｉ（ｉ＝１、２…、ブロック総数）、それぞれの重み付け値をＤｉとしたとき、画像全体の積分輝度ＴＢは、
ＴＢ＝ΣＢｉ×Ｄｉ
で表わされる。

次いで、各輝度値の積分輝度値の平均輝度値が予め設定した目標輝度値になるよう絞り、シャッタースピードを算出する。このような構成により、顔領域を優先して輝度が最適になるような露出補正が実現できる。特に逆光下においても人物に最適な露出レベルとなる。もちろん、重み付けをせずに画像検出部１５にて検出された顔領域から得られる輝度値のみを用いて露出補正を行っても構わない。

また、図５に示すように、検出された両目が含まれるように焦点調節領域を設定し、その焦点調節領域内で合焦するよう光学レンズ群７を制御する。

具体的には、光学レンズ群７を予め決められたステップ幅毎に焦点を動かし、その都度撮影を実施し、設定した焦点調節領域の領域の画像信号から輝度信号を作成し、バンドパスフィルタをかけることにより高周波信号群を作成する。そして、各高周波信号群の絶対値の和をＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）信号として算出し、最もＡＦ信号の値が大きなところを合焦位置と判断し光学レンズ群７に含まれるフォーカスレンズをその位置に設定する処理を行う。

なお、顔に相当するとして検出された顔領域が複数存在する場合には、各顔領域にて上記ステップ１〜４を計算し、その結果最も近距離と判定された合焦位置にフォーカスレンズを移動させる。このような構成により、常に顔、特に目に対する合焦精度が向上する。

また、図６のように画面をＲＧＢカラーフィルターに覆われた複数の小ブロックに分割し、以下の式を用いて各ブロックにおいて白評価値（Ｃｘ，Ｃｙ）を算出する。
Ｃｘ＝（Ｒ−Ｂ）／Ｙ
Ｃｙ＝（Ｒ＋Ｂ−２Ｇ）／Ｙ
Ｒ，Ｂ，ＧはそれぞれＲフィルター、Ｂフィルター、Ｇフィルターを通過した光束を光電変換して得られた値であり、ＹはこれらＲ，Ｇ，Ｂの値を演算して得られた輝度値である。

各色評価値が予め設定された白検出範囲内（図７）に入れば白と判断し（白サーチと呼ぶ）、白と判断されたブロックの画素積分値よりホワイトバランスゲインを算出する。これが通常用いられているホワイトバランスの基本アルゴリズムであるが、図７に示すように、低色温度光源下の白色被写体と高色温度光源下の肌色被写体では、色評価値がほぼ同じ値となるため、正しい色温度判別ができなくなる。本実施形態では、これを回避するために、顔と判断された小ブロックを白サーチ対象から除外することとした。また、白のみ検出するのではなく、顔と判断された領域は白検出同様、肌色検出を行い、予め設定した肌色-色温度特性グラフより色温度を特定することでより正確な光源色温度を算出できる。

以上説明したように本実施形態によれば、撮像装置の姿勢（横位置又は縦位置）に応じて顔検出手段の検出方法を変更することができるので、撮影した画像の中から人物の顔を高速に検出することができる。

なお、本実施形態では、撮像装置がデジタルカメラである場合について説明したが、本発明はこのような実施の形態に限るものではない。本発明は、デジタルカメラ以外の装置（デジタルビデオカメラ、カメラ付き携帯電話など）で実施することも可能である。

また、本実施形態では、撮影モードがポートレートモード又はオートモードである場合には顔検出機能を有効としたが、本発明はこのような実施の形態に限るものではない。例えば、本実施形態における撮像装置には、撮影モードがポートレートモード又はオートモードである場合であってもユーザからの指示に従って顔検出機能を無効にするマニュアル設定機能を追加することも可能である。

また、本実施形態では人物の目を位置を検出し、これを基に他のパーツを検出することで顔に相当する領域を検出していたが、これに限られるものではない。目だけを検出する場合や、あるいは顔や体の他のパーツを検出する場合であっても、撮像装置の姿勢に応じて検出方法を変えることで本発明を適用することができる。

本実施形態における撮像装置のブロック構成図である。 本実施形態における処理手順を示すフローチャートである。 本実施形態における３つのフィルタ処理のスキャン方向を示す図である。 本実施形態における露出制御で用いる小領域の重み付けを説明するための図である。 本実施形態における焦点調節領域を示す図である。 本実施形態におけるホワイトバランス処理で用いる小領域を示す図である。 本実施形態におけるホワイトバランス処理の処理を説明するための図である。 撮像装置の姿勢に応じて得られる画像の向きが変化することを説明するための図である。

符号の説明

１ ＣＰＵ
２ ＲＯＭ
３ ＲＡＭ
４ メモリカード
５ メモリスロット
６ 操作部
７ 光学レンズ
８，１０ ドライバ
９ 絞りユニット
１１ 撮像素子（ＣＣＤ）
１２ 画像処理部
１３ 表示部
１４ 姿勢センサ
１５ 画像検出部

Claims (12)

1. 撮像素子と、
   前記撮像素子の出力を基に得られた画像内における被写体の特徴抽出を行う特徴抽出手段と、
   前記撮像装置の姿勢を検出する姿勢検出手段とを有し、
   前記特徴抽出手段は、前記姿勢検出手段で検出された姿勢情報に基づき、前記被写体の特徴抽出を行う方法を異ならせることを特徴とする撮像装置。
2. 前記撮像素子の出力を基に得られた画像を、異なる複数の方向から読み出すことができるフィルタ処理手段を有し、
   前記特徴抽出手段は、前記姿勢検出手段で検出された姿勢情報に基づき、前記フィルタ処理手段の読み出し方向を選択して、読み出し方向が選択された前記フィルタ処理手段の出力を用いて前記被写体の特徴抽出を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子の出力を基に得られた画像に対し、異なる複数の方向からエッジ検出を行えるエッジ処理手段を有し、
   前記特徴抽出手段は、前記姿勢検出手段で検出された姿勢情報に基づき、前記エッジ処理手段のエッジ検出方向を選択して、エッジ検出方向が選択された前記エッジ処理手段の出力を用いて前記被写体の特徴抽出を行うことを特徴とする請求項１に記載の撮像装置。
4. 前記特徴抽出手段で抽出された被写体の特徴情報に基づき、前記撮像手段の撮像条件を制御する制御手段を有することを特徴とする請求項１に記載の撮像装置。
5. 前記被写体の特徴情報は、前記画像中の人物の顔の占める領域の位置情報、及び、前記画像中の人物の目の占める領域の位置情報の少なくとも一方であることを特徴とする請求項１に記載の撮像装置。
6. 前記被写体の特徴情報は、前記画像中の人物の顔の占める領域の位置情報、及び、前記画像中の人物の目の占める領域の位置情報の少なくとも一方であり、
   前記制御手段は、前記特徴情報に基づく所定部分領域に合焦するように焦点調節を行うことを特徴とする請求項４に記載の撮像装置。
7. 前記被写体の特徴情報は、前記画像中の人物の顔の占める領域の位置情報、及び、前記画像中の人物の目の占める領域の位置情報の少なくとも一方であり、
   前記制御手段は、前記特徴情報に基づく所定部分領域を基準に重み付けした輝度情報に従って露出制御を行うことを特徴とする請求項４に記載の撮像装置。
8. 撮影プログラムを切り換える撮影モード設定手段を有し、
   前記特徴抽出手段は、前記撮影モード設定手段にて所定の撮影プログラムが設定された場合に、前記被写体の特徴抽出を行わないことを特徴とする請求項１に記載の撮像装置。
9. 撮像素子の出力を基に得られた画像内における被写体の特徴抽出を行う特徴抽出工程と、
   前記撮像装置の姿勢を検出する姿勢検出工程を有し、
   前記姿勢検出工程で検出された姿勢情報に基づき、前記特徴抽出手段の前記被写体の特徴抽出を行う方法を異ならせることを特徴とする撮像装置の制御方法。
10. 前記撮像素子の出力を基に得られた画像を読み出す方向を選択するフィルタ処理工程を有し、
    前記姿勢検出工程で検出された姿勢情報に基づき、前記フィルタ処理工程にて読み出し方向を選択し、前記特徴抽出手段に、選択された読み出し方向で画像を読み出させて前記被写体の特徴抽出を行わせることを特徴とする請求項９に記載の撮像装置の制御方法。
11. 前記撮像素子の出力を基に得られた画像をエッジ検出する方向を選択するエッジ検出処理工程を有し、
    前記姿勢検出工程で検出された姿勢情報に基づき、前記エッジ検出処理工程にてエッジ検出方向を選択し、前記特徴抽出手段に、選択されたエッジ検出方向で画像をエッジ検出させて前記被写体の特徴抽出を行わせることを特徴とする請求項９に記載の撮像装置の制御方法。
12. 該特徴抽出手段で抽出された被写体の特徴情報に基づき、前記撮像手段の撮像条件を制御する制御工程を有することを特徴とする請求項９に記載の撮像装置の制御方法

Images