JP2010109671A

JP2010109671A - 撮像装置

Info

Publication number: JP2010109671A
Application number: JP2008279429A
Authority: JP
Inventors: Mitsuyoshi Okamoto; 充義岡本; Koji Shibuno; 剛治澁野
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2008-10-30
Filing date: 2008-10-30
Publication date: 2010-05-13

Abstract

【課題】自動焦点で、短時間に良好な人物撮影を行なうこと。
【解決手段】顔認識部３０２において撮像された画像から人物の顔領域が抽出される。領域分割部３０３では抽出された顔領域を所定の分割数に分割される。焦点領域決定部３０４では、分割された領域のうち人物の目が含まれている領域を推定し、その領域を焦点領域と決定する。ＡＦ制御部３０５は焦点領域に焦点を合わせる合焦点処理を行う。
【選択図】図３

Description

本発明は、デジタルスチルカメラ等の撮像装置に関する。

近年、デジタルカメラ等の撮像装置においてはオートフォーカス機能や手振れ補正機能等が搭載されており、初心者でも高画質な写真を撮ることができる。ユーザがカメラを構えると自動的に被写体に焦点が合い、手振れの少ない写真を撮影することができる。

また最近は顔認識機能を搭載したデジタルカメラも提案されている。撮像された画像の中から人物の顔領域を検出し、その人物の顔に自動的に焦点が合うことで良好な写真を撮ることができる。

また、顔の中の目を検出し、人物の目に焦点が合うように調整する技術も提案されている（例えば特許文献１参照）。これによると、自動的にその人物の目に焦点が合うので、良好に人物撮影を行なうことができる。
特開２０００−２１５４０３号公報

しかしながら従来の撮像装置では、顔検出を行なった後、さらに目の検出を行なう必要があるため、焦点を合わせるまでに時間がかかるといった課題がある。シャッターチャンスの逃さずに良好な撮影を行なうためには、ユーザがカメラを構えてから焦点が合うまでの時間は極力短い方が好ましい。

本発明は上記課題を解決するためになされたものであり、顔検出を行なった後、簡単な処理で目近辺の領域を抽出することで、短時間でかつ自動的に人物の目付近に焦点を合わせることができる撮像装置を提供することを目的とする。

上記課題を解決するために、本発明の撮像装置は、被写体像を撮像する撮像手段と、前記撮像手段により得られた画像から顔を検出する顔検出手段と、前記顔検出手段で得られた顔領域を所定の領域に分割し、前記分割された領域の中から少なくとも一の領域を焦点領域として生成する焦点領域生成手段と、光学系を制御して前記焦点領域に焦点を合わせる焦点制御手段とを備えている。

また本発明の撮像装置は、前記顔検出手段が顔の向きも検出し、前記焦点領域生成手段は前記分割された領域の中から顔の上側領域を焦点領域として生成する。これにより顔の中の目近辺の領域に焦点を合わせることができる。

本発明によれば、短時間でかつ自動的に人物の目付近に焦点を合わせることができる撮像装置を提供することができる。

以下、本発明の実施の形態について図面を参照しながら詳細に説明する。

（実施の形態１）
図１は、本発明の撮像装置の一例であるデジタルカメラの斜視図である。１００はデジタルカメラ全体を示しており、１０１はカメラ本体、１０２は撮像レンズである。

図２は、本実施の形態におけるデジタルカメラの構成図である。図２においてデジタルカメラはカメラ本体２００と撮像レンズ２５０とから構成され、それぞれ図１におけるカメラ本体１０１および撮像レンズ１０２に相当する。

まずカメラ本体２００の構成について説明する。

カメラ本体２００は、シャッタースイッチ２０１、モード切替ダイヤル２０２、イメージセンサ２０３、メカシャッター２０４、信号処理プロセッサ（ＤＳＰ）２０５、液晶モニタ２０６、カードスロット２０７、ＣＰＵ２０８、フラッシュメモリ２０９、バッファメモリ２１０、電源２１１、通信部２１２、ボディマウント部２１３を備える。カメラ本体２００は、撮像レンズ２５０のレンズ系によって集光された被写体像を撮像し、その画像データを記録媒体に記録できるように構成されている。

シャッタースイッチ２０１はカメラ本体２００に設けられたボタンであり、ユーザからのシャッター操作を受け付ける。またモード切替ダイヤル２０２はカメラ本体２００に設けられた部材であり、ユーザは複数の制御モードの中から任意の制御モードを選択することができる。ここで制御モードには、「静止画撮影モード」、「動画撮影モード」、「再生モード」等が含まれる。

イメージセンサ２０３は、撮像レンズ２５０により集光された被写体像を撮像するものである。撮像された情報はデジタルデータに変換された後、ＤＳＰ２０５へ出力される。イメージセンサ２０３は例えばＣＣＤやＣＭＯＳ等のセンサにより実現される。

メカシャッター２０４は、開閉動作によりイメージセンサ２０３に入射される光量を調整する。シャッタースイッチ２０１が押下されるとＣＰＵ２０５によりその開閉が制御される。

ＤＳＰ２０５は、イメージセンサ２０３でデジタル化された画像データに対して種々の演算処理を行う。例えば画像圧縮や伸張、電子ズーム等の画像処理が行われる。

液晶モニタ２０６は、ＤＳＰ２０５で処理された画像データを表示する。またカードスロット２０７はＳＤメモリカード等の記録媒体を挿入するカードスロットである。ＤＳＰ２０５で処理された画像データは、カードスロット２０７を介して記録媒体へ記録され、またＳＤメモリカード等の記録媒体に保存された画像データがカードスロット２０７を介して読込まれる。

ＣＰＵ２０８はカメラ全体を制御するものである。汎用のマイクロプロセッサ等で実現してもよいし、専用ハードウェアで実現してもよい。またフラッシュメモリ２０９は内蔵メモリとして用いられる記憶媒体で、画像データ等の記録やＣＰＵ２０８で実行するプログラム等の記録に用いることができる。またメモリ２１０はＤＳＰ２０５やＣＰＵ２０８のワークメモリとして機能し、ＤＲＡＭ等で構成される。電源２１１はカメラ全体に電力を供給する。また通信部２１２は、撮像レンズ２５０との間で各種データの送受信を行なう。

次に、撮像レンズ２５０の構成について説明する。

撮像レンズ２５０は、対物レンズ２５１、ズームレンズ２５２、ズーム位置検出器２５３、ＯＩＳレンズ２５４、絞り２５５、フォーカスレンズ２５６、ＯＩＳ駆動部２５７、絞り駆動部２５８、フォーカス駆動部２５９、レンズコントローラ２６０、ジャイロセンサ２６１、メモリ２６２、レンズマウント部２６３から構成される。

ズームレンズ２５２はズーム倍率を調整するものであり、ズームリング（図示せず）によって駆動される。ズームレンズ位置検出器２５３は、ズームレンズ２５２の位置に関する情報を取得する。

ＯＩＳレンズ２５４はデジタルカメラ１００のぶれに起因する像ぶれを防止するためのレンズである。光学系の光軸に垂直な面内で移動可能に構成されており、ＯＩＳ駆動部２５７によって駆動される。ＯＩＳレンズ２５４が光学系の光軸に垂直な面内で移動することにより光学系の光軸を曲げることができ、デジタルカメラ１００のぶれを相殺する方向にＯＩＳレンズ２５４を移動することで像ぶれを防止できる。

絞り２５５は、撮像レンズ２５０のレンズ系を通過する光の量を調整し、絞り駆動部２５８によって駆動される。

フォーカスレンズ２５６はピント調節を行なうレンズであり、フォーカスレンズ駆動部２５９によって駆動される。

レンズコントローラ２６０は撮像レンズ２５０全体を制御するものである。汎用のマイクロプロセッサ等で実現しても良く、専用回路で実現しても良い。ＯＩＳレンズ２５４、絞り２５５、フォーカスレンズ２５６は、それぞれの駆動部２５７〜２５９を介してレンズコントローラ２６０の指示に基づいて駆動される。

ジャイロセンサ２６１は、撮像レンズのぶれ等を検出する動き検出部の一例であり、デジタルカメラ１００の動き角速度を検出する。レンズコントローラ２６０はジャイロセンサ２６１で検出された角速度を積分してデジタルカメラ１００のぶれ量を算出する。レンズコントローラ２６０はデジタルカメラ１００のブレを相殺し、被写体像がイメージセンサ２０３上で極力動かないように、ＯＩＳレンズ２５４を駆動するよう、ＯＩＳ駆動部２５７に指示する。メモリ２６２は撮像レンズ２５０内に設けられた内蔵メモリであり、制御パラメータやプログラム等が記録される。またレンズコントローラ２６０のワークメモリとしても利用可能である。

図３はデジタルカメラの合焦点処理に関する機能ブロック図である。３０１は撮像部でありイメージセンサ２０３に相当する。３０２は画像データから顔領域を抽出する顔認識部、３０３は顔領域を分割する領域分割部、３０４は合焦点領域を決定する焦点領域決定部であり、それぞれＤＳＰ２０５若しくはＣＰＵ２０８で実行される。３０５はＡＦ制御部で、ＣＰＵ２０８およびレンズコントローラ２０６により実行される。

上記のように構成されたデジタルカメラの動作について、図３および図４を用いて説明する。図４は処理の流れを示すフローチャートである。撮影が開始すると、撮像部３０１で被写体が撮像される。そして顔認識部３０２において撮像された画像データから顔の認識処理が行われる（Ｓ４０１）。画像データ内に人物の顔が含まれており、その顔の認識処理が成功すると（Ｓ４０２）、ＤＳＰ２０５において顔領域の抽出が行なわれ、その後、領域分割部３０３において顔領域の分割処理が行われる（Ｓ４０３）。

顔領域の分割処理について図５を用いて説明する。顔領域の分割処理は、顔領域のうち目が含まれている可能性の高い領域を抽出するために行なわれる。図５（ａ）は撮像部３０１で撮像された画像データを示しており、５００は画像データ、５０１は撮影された人物である。図５（ｂ）は顔認識処理が行われた結果を示しており、５１０は画像データ、５１１は顔領域である。

顔領域の分割処理は顔領域を所定の分割数だけ分割することにより行なわれる。図５（ｃ）は顔領域の分割処理が行なわれた結果を示しており、５２０は画像データ、５２１〜５２４は顔領域が分割された分割領域である。この例においては顔領域が均等に４分割されている例を示している。図５（ｃ）に示すように、顔領域を４分割した場合、顔の上部である５２１および５２２に目が含まれている可能性が高い。従って、本例においては、顔領域５２１および５２２を焦点領域として指定する（Ｓ４０４）。なお顔領域の分割は均等に４分割するとして説明したが、これに限らず目の含まれる領域を抽出できる可能性が高い分割比率をあらかじめ定めておき、その比率で分割してもよい。

図５においては正面方向に向いている顔画像を例に挙げて説明したが、横方向を向いている場合について図６を用いて説明する。図６（ａ）は撮像部３０１で撮像されたデータを示しており、６００は画像データ、６０１は撮影された人物を示している。図６（ｂ）は顔認識処理が行われた結果を示しており、６１０は画像データ、６１１は顔領域である。図６（ｃ）は顔領域が４分割された状態を示しており、６２０は画像データ、６２１〜６２４は顔領域が分割された分割領域である。

図５において説明したとおり、人物の目は顔領域の上部である分割領域６２１および６２２にある可能性が高い。ここで、図５（ｃ）に示した場合には、人物が正面方向を向いているので分割領域５２１および５２２の双方を焦点領域としたが、図６（ｃ）のように人物が横を向いている場合には、カメラから左右それぞれの目までの距離が異なる。すなわち被写体の右目（分割領域６２１に含まれる目）は、左目（分割領域６２２に含まれる目）に比べて遠くの位置にあるためいずれかの領域に焦点を合わせる必要がある。

ここでは、カメラに近い方の左目（分割領域６２２に含まれる目）に焦点を合わせるべく、分割領域６２２を焦点領域として指定する。いずれの目がカメラに近いかは次のように判定する。ステップＳ４０１における顔認識処理が行われると、顔領域のＸ座標、Ｙ座標、および顔の回転角度の情報が得られる。この顔の回転角度の情報から人物が左右いずれの方向に向いているかわかる。例えば図６に示される場合、顔の回転角度の情報から人物が右方向を向いていることがわかる。人物が右方向を向いている場合、カメラからの距離は相対的に左目の方が近くなる。したがって人物が右方向を向いている場合は分割領域６２１と６２２のうち、左目が含まれる６２２を焦点領域として指定する。逆に人物が左を向いていた場合には、右目が含まれる６２１を焦点領域として指定する。なお、カメラから近い方の目に焦点を合わせるとして説明したが、カメラから遠い方の目に焦点を合わせることとしても良い。

次に顔が小さく写っている場合の処理について図７を用いて説明する。図７（ａ）は撮像部３０１で撮像されたデータを示しており、７００は画像データ、７０１は撮影された人物を示している。図７（ｂ）は顔認識処理が行われた結果を示しており、７１０は画像データ、７１１は顔領域である。ここで顔領域７１１の大きさが、所定の大きさ以下の場合は領域分割を行なわず、顔領域７１１全体を焦点領域として指定する。顔の大きさが小さい場合はさらに領域分割を行なって焦点領域を特定する効果が小さいからである。領域分割を行なうか否かの判断は、顔領域の大きさに基づいて行なってもよいし、顔領域のＸ方向の幅もしくはＹ方向の幅に基づいて行なってもよい。例えば顔領域のＸ方向の幅が所定の値よりも小さい場合、あるいはＹ方向の幅が所定の値よりも小さい場合に領域分割を行わないとしてもよい。

次に顔が大きく写っている場合の処理について図８を用いて説明する。図８（ａ）は撮像部３０１で撮像されたデータを示しており、８００は画像データ、８０１は撮影された人物を示している。図８（ｂ）は顔認識処理が行われた結果を示しており、８１０は画像データ、８１１は顔領域である。ここで顔領域８１１の大きさが、所定の大きさ以上の場合は領域分割の分割数を増やす。例えば図８に示すように顔が大きく写っている場合は１６分割とする。そして目が写って可能性が高い領域をあらかじめ定めておき、例えば分割領域８２２および８２３を焦点領域とする。これにより、より精度良く目の近辺に焦点を合わせることができる。なお分割数を増やすか否かの判断は、顔領域の大きさに基づいて行ってもよいし、顔領域のＸ方向の幅もしくはＹ方向の幅に基づいて行なってもよい。例えば顔領域のＸ方向の幅が所定の値よりも大きい場合、あるいはＹ方向の幅が所定の値よりも大きい場合に分割数を増やすとしてもよい。

上述した顔領域分割処理（Ｓ４０１）および焦点領域決定処理（Ｓ４０４）についてまとめると、それぞれ図９および図１０の流れとなる。

図９は顔領域分割処理の流れを示したフローチャートである。まず顔領域の大きさを取得し（Ｓ９０１）、顔領域の大きさが所定の大きさαよりも小さい場合は分割数を「ａ」とする。このケースは具体的には例えば図７の場合に相当し、分割数「ａ」は１となる。一方、顔領域の大きさがαからβの間にある場合（α＜βとする）、分割数を「ｂ」とする。このケースは例えば図５の場合に相当し、分割数「ｂ」は４となる。また顔領域がβよりも大きい場合は分割数を「ｃ」とする。このケースは具体的には例えば図８のケースに相当し、分割数「ｃ」は１６となる。分割数が決定されるとそれに応じて領域が分割される。この際、均等分割してもよいし分割数に応じて分割比率を変更してもよい。

図１０は焦点領域決定の処理の流れを示したフローチャートである。まず顔領域分割処理により分割された分割数等の分割状態の情報を取得する（Ｓ１００１）。次に顔領域分割処理で分割された分割領域の中から目が含まれるであろうと推測される領域を抽出する（Ｓ１００２）。目が含まれると推測される領域は、分割数に応じてあらかじめ定められている。例えば図５に示したように４分割であれば顔の上方向の２領域が候補となり、図８に示したように１６分割であれば、中心のすぐ上にある２領域（分割領域８２２および８２３に相当）が候補となる。

次に顔方向が取得され（Ｓ１００３）、例えば図５のように人物が正面を向いているか、図６に示すように人物が右方向を向いているかが検出される。図５のように人物が正面を向いている場合には、焦点領域として領域５２１、５２２のいずれか若しくは双方が選択される。一方、図６のように人物が右方向を向いている場合には、前述の通り、焦点領域として領域６２２が選択される。なお図７に示したように領域分割が行なわれない場合は、焦点領域として顔領域全体が選択される。以上が顔領域分割処理（Ｓ４０３）および焦点領域決定処理（Ｓ４０４）の流れである。

焦点領域が決定されると合焦点処理が行われる（Ｓ４０６）。合焦点処理はレンズ系が駆動されることにより行なわれ、焦点領域に焦点が合わされる。そして上記一連の動作が繰り返される（Ｓ４０７）。

なお被写体に人物が存在しなかった場合など、顔認識が成功しなかった場合には（Ｓ４０２）、被写体中央やあらかじめ定められた領域を焦点領域とし（Ｓ４０５）、通常の合焦点処理が行われる。

なお焦点領域決定の処理におけるステップＳ１００３において、取得した顔方向の情報に基づいて、人物が正面を向いているかあるいは左右方向のいずれを向いているかが検出されるとしたが、例えば人物が横たわっている場合等、撮像画像において人物がどのような姿勢であっても所望の焦点領域を決定することができる。例えば図１１は人物が横たわっていた場合の顔画像を示している。１１００は画像データ、１１０１は人物の顔、１１０２〜１１０５は分割領域を示している。ここで人物の顔１１０１は、画像に向かって右側が顔の上部であることが顔認識の結果認識されている。したがって分割領域１１０２〜１１０５のうち、顔の上部である１１０４および１１０５が焦点領域として選択される。このように顔認識により顔の方向を利用することで、人物の顔が画像の中でどのような方向で撮影されていても、良好にその人物の目に焦点を合わせることができる。

本発明は、デジタルスチルカメラやデジタルビデオカメラ等に適用可能である。また顔認識機能を備えるカメラ等にも適用可能である。

本発明に係るデジタルカメラの斜視図デジタルカメラの構成例を示すブロック図本発明に係る撮像装置の機能ブロック図本発明に係る撮像装置の処理の流れを示すフローチャート正面方向の顔認識処理および領域分割処理を説明する図横方向の顔認識処理および領域分割処理を説明する図顔領域が小さい場合の顔認識処理および領域分割処理を説明する図顔領域が大きい場合の顔認識処理および領域分割処理を説明する図領域分割の処理の流れを示すフローチャート焦点領域決定処理の流れを示すフローチャート人物が横たわった場合の領域分割処理を説明する図

符号の説明

１００デジタルカメラ
１０１カメラ本体
１０２撮像レンズ
２００カメラ本体
２０１シャッタースイッチ
２０２モード切替ダイヤル
２０３イメージセンサ
２０４メカシャッター
２０５ＤＳＰ
２０６液晶モニタ
２０７カードスロット
２０８ＣＰＵ
２０９フラッシュメモリ
２１０メモリ
２１１電源
２１２ボディマウント部
２５０撮像レンズ
２５１対物レンズ
２５２ズームレンズ
２５３ズーム位置検出器
２５４ＯＩＳレンズ
２５５絞り
２５６フォーカスレンズ
２５７ＯＩＳレンズ駆動部
２５８絞り駆動部
２５９フォーカスレンズ駆動部
２６０レンズコントローラ
２６１ジャイロセンサ
２６２メモリ
２６３レンズマウント部
３０１撮像部
３０２顔認識部
３０３領域分割部
３０４焦点領域決定部
３０５ＡＦ制御部

Claims

被写体像を撮像する撮像手段と、
前記撮像手段により得られた画像から顔を検出する顔検出手段と、
前記顔検出手段で得られた顔領域を所定の領域に分割し、前記分割された領域の中から少なくとも一の領域を焦点領域として生成する焦点領域生成手段と、
光学系を制御して前記焦点領域に焦点を合わせる焦点制御手段とを備えた撮像装置。
前記顔検出手段は、顔の向きも検出し、
前記焦点領域生成手段は、前記分割された領域のうち顔の上側領域を焦点領域として生成する請求項１記載の撮像装置。
前記焦点領域生成手段は、前記顔検出手段で得られた顔領域が前記撮像手段で撮像された全画像領域に対して所定の割合以下のとき、前記顔検出手段で得られた顔領域全体を焦点領域とする請求項１記載の撮像装置。
前記焦点領域生成手段は、前記顔検出手段で得られた顔領域が前記撮像手段で撮像された全画像領域に対して、
第１の割合以上のとき前記顔領域を第１の領域数に分割し、
第２の割合以上のとき前記顔領域を第２の領域数に分割し、
前記第２の割合は前記第１の割合よりも大きく、前記第２の領域数は前記第１の領域数よりも大きい請求項１記載の撮像装置。