JP2009157130A - 電子カメラ - Google Patents

Abstract

【構成】ビデオカメラ（１０）では、被写界の光学像はイメージセンサ（１６）の撮像面（１６ｆ）に照射され、そこで被写界像が繰り返し生成される。ＣＰＵ（４２）は、生成された被写界像から顔画像をステップＳ３５のパターン認識処理により繰り返し検出し、検出された顔画像を参照したフォーカス調整を実行する（Ｓ１７）。また、検出された顔画像の大きさの変化量をステップＳ４９で算出し、算出された変化量に基づいてフォーカス調整を制限する（Ｓ９）。
【効果】無用なフォーカス調整をより高い確度で抑制できる。
【選択図】図１０

Description

この発明は、電子カメラに関し、特にたとえば、フォーカス調整を継続的に実行する、電子カメラに関する。

この種の装置では一般に、一旦合焦が確立されると、デフォーカスとなるまで、すなわちフォーカス評価値（たとえば被写界像に含まれる高周波成分の積分値）の変化量が閾値を超えるまで、合焦動作の再開が制限される。これによって、フォーカスレンズの不必要な動きが抑えられる。

ところが、フォーカス調整終了後に被写体が左右に移動すると、フォーカス評価値が変化して、被写体までの距離は変化していないのにフォーカス調整が再開されてしまうことがある。

このような問題点を解消しようとする装置の一例が、特許文献１に開示されている。この従来技術によれば、フォーカス評価値が変化しても、輪郭成分が抽出されているときにはフォーカス調整は再開されない。
特開平５−６４０５７号公報［H04N 5/232, G02B 7/28］

しかし、背景技術では、たとえば晴天時に屋外で植栽などを背景に人物を撮影するとき、フォーカス調整終了後に人物に影が差すと、背景との間のコントラストが低下して、人物の輪郭成分の抽出が困難となり、フォーカス調整が再開される可能性がある。さらには、こうしてフォーカス調整が再開された場合、新たに検出される合焦位置が先に検出された合焦位置と一致するとは限らないので、フォーカスポイントが被写体である人物とは異なる位置に移る恐れもある。

それゆえに、この発明の主たる目的は、無用なフォーカス調整をより高い確度で抑制できる、電子カメラを提供することである。

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために後述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。

第１の発明に従う電子カメラは、被写界の光学像が照射される撮像面を有し被写界像を繰り返し生成する撮像手段、撮像手段によって生成された被写界像から特徴画像を繰り返し検出する検出手段、撮像手段によって生成された被写界像に関するフォーカス調整を実行する調整手段、検出手段によって検出された特徴画像の大きさの変化量を算出する算出手段、算出手段によって算出された変化量に基づいて調整手段を制限する第１制御手段を備える。

第１の発明に従う電子カメラ（１０）では、被写界の光学像は撮像手段（１６）の撮像面（１６ｆ）に照射され、そこで被写界像が繰り返し生成される。生成された被写界像からは、検出手段（Ｓ３５）によって特徴画像が繰り返し検出され、調整手段（１４，２０，Ｓ１７）は、生成された被写界像に関するフォーカス調整を実行する。算出手段（Ｓ４９）は検出された特徴画像の大きさの変化量を算出し、第１制御手段（Ｓ９，Ｓ９ａ）は、算出手段によって算出された変化量に基づいて調整手段を制限する。

第１の発明によれば、顔画像などの特徴画像のサイズ変化に注目することで、無用なフォーカス調整がより高い確度で抑制される。

第２の発明に従う電子カメラは、第１の発明に従属し、算出手段によって算出された変化量が閾値を上回るか否かを判別する第１判別手段をさらに備え、第１制御手段は、第１判別手段によって変化量が閾値を上回らないと判別されたとき調整手段を制限する一方、第１判別手段によって変化量が閾値を上回ると判別されたとき調整手段の制限状態を解除する。

第２の発明では、第１判別手段（Ｓ５１，Ｓ５１ａ）は、算出された変化量が閾値を上回るか否かを判別する。第１制御手段（Ｓ９，Ｓ９ａ）は、第１判別手段によって変化量が閾値を上回らないと判別されたとき調整手段を制限し、第１判別手段によって変化量が閾値を上回ると判別されたときには調整手段の制限状態を解除する。したがって、フォーカス調整は、特徴画像の大きさの変化量が小さいとき制限され、特徴画像の大きさの変化量が大きいとき制限解除される。

なお、好ましい実施例では、たとえば、フォーカス調整がいったん終了し（図２参照）、その後に人物が前後に移動したとすると（図５参照）、被写界に現れる顔画像のサイズ（顔サイズ）が変化する（変化量が閾値ＴＨ１を超える）ので、フォーカス調整が再開される。一方、フォーカス調整終了後に人物が左右に移動した場合（図６（Ａ）参照）には、顔サイズが変化しない（変化量が閾値ＴＨ１を超えない）ので、フォーカス調整は再開されない。また、フォーカス調整終了後に人物に影が差しても（図３参照）、顔サイズが変化しないので、フォーカス調整は再開されない。したがって、調整再開によるフォーカスポイントの不適切な移動も回避される。

第３の発明に従う電子カメラは、第２の発明に従属し、撮像面に照射される光学像の大きさを変化させるズーム手段、および第１判別手段によって変化量が閾値を上回ると判別されたときズーム手段が動作状態にあるか停止状態にあるかを判別する第２判別手段をさらに備え、第１制御手段は、第１判別手段によって変化量が閾値を上回ると判別されても、第２判別手段によってズーム手段が動作状態にあると判別されたときには調整手段の制限状態を維持する。

第２の発明では、撮像面に照射される光学像の大きさがズーム手段（１２，１８）により変化する。第２判別手段（Ｓ５３）は、第１判別手段によって変化量が閾値を上回ると判別されたとき、ズーム手段が動作状態にあるか停止状態にあるかを判別する。第１制御手段による調整手段の制限状態は、第１判別手段によって変化量が閾値を上回ると判別されても、第２判別手段によってズーム手段が動作状態にあると判別されれば維持される。したがって、特徴画像の大きさの変化量が大きくても、ズーム中であれば調整手段の制限状態は維持される。

一般に、フォーカス調整後にズームによって注目画像の大きさが変化しても、再度フォーカス調整を行う必要はない。インナーフォーカス方式のレンズであれば、ズームトラッキング特性に基づいてフォーカスレンズを移動させれば、再度フォーカス調整を行う必要はない。第２の発明によれば、調整手段の制限状態がズームによって解除されることはなくなり、ズームを行う度にフォーカス調整が実行される事態を回避できる。インナーフォーカス方式のレンズであれば、ズームトラッキング特性に基づいてフォーカスレンズを移動させれば、ズームを行う度にフォーカス調整が実行される事態を回避できる。

第４の発明に従う電子カメラは、第２または第３の発明に従属し、第１判別手段によって変化量が閾値を上回らないと判別されたとき撮像手段によって生成された被写界像に基づいてパンおよびチルトの少なくとも一方が発生したか否かを判別する第３判別手段、および第３判別手段によってパンおよびチルトのいずれも発生しないと判別されたとき調整手段を制限する一方、第３判別手段によってパンおよびチルトの少なくとも一方が発生したと判別されたとき調整手段の制限状態を解除する第２制御手段をさらに備える。

第４の発明では、第１判別手段によって変化量が閾値を上回らないと判別されると、パンおよびチルトの少なくとも一方が発生したか否かが第３判別手段（Ｓ８７）によって判別される。第２制御手段（Ｓ１１）は、第３判別手段によってパンおよびチルトのいずれも発生しないと判別されたとき調整手段の制限状態を維持し、第３判別手段によってパンおよびチルトの少なくとも一方が発生したと判別されたときには調整手段の制限状態を解除する。したがって、特徴画像の大きさの変化量が小さくても、パンおよびチルトの少なくとも一方が発生すれば、調整手段の制限状態は解除される。

一般に、フォーカス調整後のパン／チルトは、撮影目標の変更を意図して行われる場合が多いが、パン／チルトによる特徴画像の大きさの変化量は小さい。第３の発明によれば、パンおよびチルトの少なくとも一方に応答して調整手段の制限状態を解除するので、撮影目標を変更したにもかかわらずフォーカス調整が実行されない問題点を解消できる。

第５の発明に従う電子カメラは、第４の発明に従属し、第３判別手段は撮像手段によって生成された被写界像に基づいて判別を行う。

第６の発明に従う電子カメラは、第４または第５の発明に従属し、撮像手段によって生成された被写界像のうち評価エリアに属する被写界像についてフォーカス評価を行うフォーカス評価手段、および第３判別手段によってパンおよびチルトのいずれも発生しないと判別されたとき評価エリアを検出手段によって検出された特徴画像の位置を基準に移動させる移動手段をさらに備え、調整手段のフォーカス調整はフォーカス評価手段の評価結果に基づく。

第６の発明では、フォーカス評価手段（２８）は、撮像手段によって生成された被写界像のうち評価エリア（Ｅａｆ）に属する被写界像についてフォーカス評価を行う。第３判別手段によってパンおよびチルトのいずれも発生しないと判別されると、移動手段（Ｓ１３）が評価エリアを検出手段によって検出された特徴画像の位置を基準に移動させる。したがって、特徴画像の大きさの変化量が小さく、かつパン／チルトも発生していないときには、つまり特徴画像が移動しているときには、評価エリアは特徴画像に追従し、調整手段は検出手段によって検出された特徴画像を参照してフォーカス調整を行う結果となる。

第６の発明によれば、特徴画像を参照したフォーカス調整が実現される。

第７の発明に従う電子カメラは、第６の発明に従属し、調整手段は、フォーカスレンズ（１２）を動かしつつフォーカス評価手段によるフォーカス評価値の変化を検出して、最も高いフォーカス評価値を示した位置を基準にフォーカスレンズを移動させる。

第８の発明に従う電子カメラは、第１ないし第７のいずれかの発明に従属し、特徴画像は顔画像である。

第９の発明に従う制御プログラムは、被写界の光学像が照射される撮像面（１６ｆ）を有し被写界像を繰り返し生成する撮像手段（１６）を備える電子カメラ（１０）のプロセッサ（４２）に、撮像手段によって生成された被写界像から特徴画像を繰り返し検出する検出ステップ（Ｓ３５）、撮像手段によって生成された被写界像に関するフォーカス調整を実行する調整ステップ（Ｓ１７）、検出ステップによって検出された特徴画像の大きさの変化量を算出する算出ステップ（Ｓ４９）、算出ステップによって算出された変化量に基づいて調整ステップを制限する第１制御ステップ（Ｓ９，Ｓ９ａ）を実行させる。

第９の発明でも、第１の発明と同様に、顔画像などの特徴画像のサイズ変化に注目することで、無用なフォーカス調整がより高い確度で抑制される。

この発明によれば、無用なフォーカス調整をより高い確度で抑制することができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例のビデオカメラ１０は、ズームレンズ１２およびフォーカスレンズ１４を含む。被写界の光学像は、ズームレンズ１２およびフォーカスレンズ１４を経てイメージセンサ１６の撮像面１６ｆに照射され、光電変換を施される。これによって、被写界像を表す電荷つまり生画像信号が生成される。

電源が投入されると、動画撮影処理が開始される。このとき、ＣＰＵ４２は、露光および電荷読み出しの繰り返しをタイミングジェネレータ（ＴＧ）２２に命令する。ＴＧ２２は、撮像面１６ｆの露光動作と、これによって得られた電荷の読み出し動作とを実行するべく、複数のタイミング信号をイメージセンサ１６に与える。撮像面１６ｆで生成された生画像信号は、１／３０秒に１回の割合で発生する垂直同期信号Ｖｓｙｎｃに応答して、ラスタ走査に従う順序で読み出しを施される。生画像信号は、３０ｆｐｓのフレームレートでイメージセンサ１６から出力される。

イメージセンサ１６から出力された生画像信号は、カメラ処理回路２４によってＡ／Ｄ変換，色分離，ＹＵＶ変換などの一連の処理を施される。こうして得られたＹＵＶ形式の画像データは、メモリ制御回路３２を通してＳＤＲＡＭ３４に書き込まれる。

ＬＣＤ駆動回路４６は、ＳＤＲＡＭ３４に格納された画像データをメモリ制御回路３２を通して１／３０秒毎に読み出し、読み出された画像データでＬＣＤモニタ４８を駆動する。この結果、被写界のリアルタイム動画像（スルー画像）が図２に示す要領でＬＣＤモニタ４８に表示される。

輝度評価回路２６は、カメラ処理回路２４によって生成されたＹデータに基づいて、被写界の明るさ（輝度）を１／３０秒毎に評価する。ＣＰＵ４２は、輝度評価回路２６によって求められた輝度評価値に基づいて、イメージセンサ１６の露光量を調整する。この結果、ＬＣＤモニタ４８に表示されるスルー画像の明るさが適度に調整される。

フォーカス評価回路２８は、カメラ処理回路２４によって生成されたＹデータのうち図２に示すフォーカス評価エリアＥａｆに属するＹデータを取り込み、取り込まれたＹデータの高域周波数成分を積分し、そして積分結果つまりフォーカス評価値を出力する。この一連の処理は、Ｖｓｙｎｃに応答して１／３０秒毎に実行される。

ＣＰＵ４２は、こうして求められたフォーカス評価値に基づいて、いわゆるコンティニュアスＡＦ処理（後述）を実行する。フォーカスレンズ１４の光軸方向の位置は、ＣＰＵ４２の制御の下でドライバ２０によって継続的に変更される。

ＣＰＵ４２はまた、ＳＤＲＡＭ３４に格納されたＹＵＶデータに注目した顔認識処理を実行する。顔認識処理は、人物の目，鼻，口に相当する辞書データを注目するＹＵＶデータと照合する一種のパターン認識処理であり、これによって被写界像から人物の顔画像が検出される。

顔画像が検出されると、ＣＰＵ４２はさらに、その顔画像についてサイズおよび位置を算出し、算出結果を“基準顔サイズ”および“基準顔位置”としてレジスタ４２Ｒに登録する（図８（Ｂ）参照）。具体的には、顔画像のサイズとして、顔画像を取り囲む矩形の顔エリアＥｆａｃｅ（図２参照）の面積を、顔画像の位置としては顔エリアＥｆａｃｅの対角座標ないし重心座標を、それぞれ用いることができる。

検出された顔画像がフォーカス評価エリアＥａｆの外部に移動した場合には、ＣＰＵ４２は、フォーカス評価エリアＥａｆを顔画像の位置を基準に移動させる（図６参照）。したがって、前述したフォーカス調整処理では、被写界に顔が含まれている場合、主として顔画像が参照される結果となる。

キー入力装置４４によってズーム操作が実行されると、ＣＰＵ４２は、ドライバ１８を制御してズームレンズ１２を光軸方向に移動させる。この結果、ＬＣＤモニタ４８に表示されるスルー画像の倍率が変化する。

キー入力装置４４によって記録開始操作が行われると、ＣＰＵ４２は、Ｉ／Ｆ３６に記録処理を命令する。Ｉ／Ｆ３６は、画像データをメモリ制御回路３２を通してＳＤＲＡＭ３４から１／３０秒毎に読み出し、読み出された画像データを含む動画ファイルを記録媒体３８に作成する。このような記録処理は、キー入力装置４４による記録終了操作に応答して終了される。

以上のようなスルー撮影／記録処理が実行されている間、動き検出回路３０は、カメラ処理回路２４から出力された生画像データを１／３０秒毎に取り込み、取り込まれた生画像データに基づいて特徴点の動きを検出する。具体的には、たとえば、１つの画像フレームにおいて中央および上下左右の５箇所に５つの動き検出エリアが割り当てられており、動き検出回路３０は、特徴点の動きをエリア毎に検出し、５つの検出結果つまり５つの動きベクトルをＣＰＵ４２に与える。

ＣＰＵ４２は、与えられた５つの動きベクトルに基づいてパン／チルトの発生を検知する。具体的には、たとえば、５つの動きベクトルが均等（方向および大きさが共通）かつ各々の大きさが閾値以上のとき、パン／チルトが発生した（すなわちビデオカメラ１０の向きが変化した）と判断する。５つの動きベクトルが不均等（たとえばいずれか１つの動きベクトルだけが閾値以上）であれば、ビデオカメラ１０ではなく被写体が動いたものとみなされる。

さて、先述のコンティニュアスＡＦ処理は、大まかに、山登り処理および監視処理によって構成される。山登り処理は、合焦点が存在する方向つまり合焦方向を特定し、特定された合焦方向にフォーカスレンズ１４を移動させて合焦点を検出する処理である。監視処理は、被写体の動きやビデオカメラ１０のパン／チルトに起因して合焦点が変化したか否かを監視する処理である。いったん合焦点が検出されて山登り処理が停止した後にフォーカス評価値が変化すると、監視処理は、基本的には、新たな合焦点を検出するべく山登り処理を再開させる。

ただし、フォーカス評価値が変化しても、そのとき被写界に現れる顔画像のサイズ（以下“顔サイズ”）の変化量が小さければ、合焦点は移動していないとみなし、山登り処理を再開しない。しかしまた、顔サイズの変化量が小さくても、フォーカス評価値の変化がパン／チルトによるものであれば、撮影目標が変更された可能性があるので、山登り処理を再開させる一方、顔サイズの変化量が大きくても、それがズーム動作に起因する場合は、山登り処理を再開させない。

したがって、フォーカス評価値の変化に応答して山登り処理が再開されるのは、次のいずれかのときに限られる。
（ａ）ズーム動作が停止した状態で顔サイズの変化量が大きいとき
（ｂ）パン／チルトが発生したとき
以下、図２〜図５，図６（Ａ），図６（Ｂ）および図７により具体的に説明する。まず、図２に示されているのが初期状態つまり山登り終了時の被写界像で、その中心部に人物の顔画像が含まれている。したがって、顔エリアＥｆａｃｅはフレームの中央に位置し、フォーカス評価エリアＥａｆもまた、顔エリアＥｆａｃｅをその内部に収めるべくフレーム中央に配置される。

この後、図３に示すように、被写界内の人物に影が差したとする。これによって、フォーカス評価エリアＥａｆ内で画像のコントラストが低下する結果、フォーカス評価値も低下する。しかし、このとき顔サイズに変化はなく、パン／チルトも発生していないので、山登り処理が再開されることはない。

顔サイズは、ズームまたは人物の前後移動によって変化する。山登り終了後にズーム操作が行われた場合の画面を図４に、山登り終了後に人物が前後移動（ビデオカメラ１０に接近）した場合の画面を図５にそれぞれ示す。合焦後にズーム処理が実行されても合焦状態は維持されるため、図４のように顔サイズの変化がズームに起因する場合に山登り処理が再開されることはない。

これに対して、図５のように顔サイズの変化が人物の前後移動に起因する場合には、山登り処理が再開される。なお、顔サイズの変化がズームに起因するものか人物移動に起因するものかは、顔サイズの変化か検出されたときにズーム処理が実行中か停止中かで判別される。先述したような動きベクトルに基づく判別も可能である。

顔位置は、パン／チルトまたは人物の左右／上下移動によって変化する。山登り終了後に人物が左右に移動した場合の画面を図６（Ａ）および図６（Ｂ）に、山登り終了後にパンが行われた場合の画面を図７にそれぞれ示す。ビデオカメラ１０を固定した状態で人物が左右に移動すると、図２の画面は図６（Ａ）のように変化する。すなわち、背景画像は動かず、人物画像だけが左右に移動している。このように被写界像が局所的にしか動いていない場合、山登り処理が再開されることはない。フォーカス評価エリアＥａｆはこの後、図６（Ｂ）に示すように顔位置を基準に移動する。これによって、顔画像を参照したフォーカス調整が実現される。

一方、人物が静止した状態でパンが行われると、図２の画面は図７のように変化する。すなわち、人物画像を含む被写界像の全体が左右に移動している。このように、被写界像の各部分が均一に動いている場合には、山登り処理が再開される。

なお、図７の場合、この後フォーカス評価エリアＥａｆは顔位置を基準に移動し、山登り処理を再開しても結果として合焦位置は変化しない可能性が高いが、パン／チルトは一般に、撮影目標を変更する意図で行われることが多いので、この実施例では、パン／チルトに応答して山登り処理を再開するようにしている。変形例として、パン／チルトが発生しても、図７の場合のように撮影目標が共通であれば山登り処理を再開しない、という制御も可能である。

以上のようなビデオカメラ１０の動作は、ＣＰＵ４２がμＩＴＲＯＮなどのマルチタスクＯＳの制御下で、図９に示す監視タスク，図１０に示す顔認識タスク，図１１に示すＡＦ評価タスクおよび図１２示す動き検出タスクを並列的に実行することで実現される。なお、これらのタスクに対応するプログラム（山登りＡＦプログラム）は、フラッシュメモリ４０に形成された山登りＡＦプログラム領域３４ａ（図８参照）に記憶される。

また、図１０のステップＳ３５に対応するパターン認識プログラムは、フラッシュメモリ４０に形成されたパターン認識プログラム領域３４ｂに記憶され、パターン認識プログラムによって参照されるパターン認識データベース（辞書データ）は、フラッシュメモリ４０に形成されたパターン認識データベース領域３４ｃに記憶される。

さらに、これらのタスクによって制御されるフラグ（Ｆａｆ，Ｆｆａｃｅ，ＦｓｉｚｅおよびＦｍｏｖｅ）は、ＣＰＵ４２内のレジスタ４２Ｒに形成されたフラグ領域４２Ｒａに記憶される。これらのタスクによって参照される基準値（基準顔サイズ，基準顔位置および基準ＡＦ評価値）は、レジスタ４２Ｒに形成された基準値領域４２Ｒｂに記憶される。

図９を参照して、最初のステップＳ１では、山登り処理が終了したか否かを判別する。ステップＳ１の判別結果がＮＯであれば待機し、ＹＥＳになるとステップＳ３に進む。ステップＳ３では、垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。ステップＳ３の判別結果がＮＯであれば待機し、ＹＥＳになるとステップＳ５に進む。

ステップＳ５では、フラグＦａｆが“１”であるか否かを判別する。ステップＳ５でＮＯであればステップＳ３に戻り、ＹＥＳであればステップＳ７に進む。ステップＳ７では、フラグＦｆａｃｅが“１”であるか否かを判別する。ステップＳ７でＮＯであればステップＳ３に戻り、ＹＥＳであればステップＳ９に進む。

ステップＳ９では、フラグＦｓｉｚｅが“１”であるか否かを判別する。ステップＳ９でＮＯであればステップＳ１１に進み、ＹＥＳであればステップＳ１５に進む。ステップＳ１１では、フラグＦｆｍｏｖｅが“１”であるか否かを判別する。ステップＳ１１でＮＯであればステップＳ１３に進み、ＹＥＳであればステップＳ１５に進む。

ステップＳ１３では、基準値領域４２Ｒａに記憶された“基準顔位置”を参照して、顔位置を基準にフォーカス評価エリアＥａｆを移動する。これによって、図６に示すように、人物が左右／上下に移動したとき、フォーカス評価エリアＥａｆが顔エリアＥｆａｃｅに追従する結果となる。その後、ステップＳ３に戻る。

ステップＳ１５では、フラグＦａｆ，ＦｓｉｚｅおよびＦｍｏｖｅを“０”にリセットする。そしてステップＳ１７で山登り処理を再開させた後、ステップＳ１に戻る。

したがって、一度終了した山登り処理が監視タスクによって再開されるのは、４つのフラグＦａｆ，Ｆｆａｃｅ，ＦｓｉｚｅおよびＦｍｏｖｅが次の２つの条件のいずれかを満足したときに限られる。
（Ａ）Ｆａｆ＝Ｆｆａｃｅ＝Ｆｓｉｚｅ＝１
（Ｂ）Ｆａｆ＝Ｆｆａｃｅ＝Ｆｍｏｖｅ＝１
なお、条件（Ａ）および（Ｂ）は、先述した条件（ａ）および（ｂ）にそれぞれ対応する。

図１０を参照して、最初のステップＳ３１では、フラグＦｆａｃｅおよびＦｓｉｚｅの各々に初期値として“０”をセットする。そしてステップＳ３３で垂直同期信号Ｖｓｙｎｃが３回発生したか否かを判別し、ＹＥＳであればステップＳ３５に進んでパターン認識処理を実行する。したがって、パターン認識処理は０．１秒周期で実行されることになる。次のステップＳ３７では、パターン認識に成功したか否か（被写界に人物の顔が存在するか否か）を判別する。ここでＮＯであれば、ステップＳ３９でフラグＦｆａｃｅに“０”をセットした後、ステップＳ３３に戻る。

ステップＳ３７でＹＥＳであれば、ステップＳ４１でフラグＦｆａｃｅに“０”をセットした後、ステップＳ４３に進む。ステップＳ４３では、更新タイミングが到来したか否かを判別する。ステップＳ４３でＹＥＳであれば、ステップＳ４５およびＳ４７の一連の更新処理を経てステップＳ３３に戻る。ステップＳ４５では、ステップ３５の認識結果に基づいて最新の顔サイズを算出し、算出結果を“基準顔サイズ”にセットする。ステップＳ４７では、ステップＳ３５の認識結果に基づいて最新の顔位置を算出し、算出結果を“基準顔位置”にセットする。

ステップＳ４３でＮＯであれば、ステップＳ４９に進んで顔サイズの変化量を算出する。具体的には、ステップ３５の認識結果に基づいて最新の顔サイズを算出し、算出結果と“基準顔サイズ”との差分を求めればよい。次のステップＳ５１では、算出された変化量が閾値ＴＨ１を上回るか否かを判別し、ここでＮＯであればステップＳ３３に戻る。

ステップＳ５１でＹＥＳであれば、ステップＳ５３に進んでズーム動作が停止状態であるか否かを判別する。ステップＳ５３でＹＥＳであれば、ステップＳ５５でフラグＦｓｉｚｅに“１”をセットした後、ステップＳ３３に戻る。ステップＳ５３でＮＯであれば、直ちにステップＳ３３に戻る。

したがって、顔検出タスクによる顔検出に応答して、まずフラグＦｆａｃｅが“０”から“１”に変化し、さらに、ズーム以外の要因（つまり人物の前後移動）による閾値ＴＨ１を超える量の顔サイズ変化が検出されると、フラグＦｓｉｚｅも“０”から“１”に変化する。

図１１を参照して、最初のステップＳ６１では、フラグＦａｆに初期値として“０”をセットする。次のステップＳ６３では、垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。ステップＳ６３の判別結果がＮＯであれば待機し、ＹＥＳになるとステップＳ６５に進む。ステップＳ６５では、フォーカス評価回路２８からフォーカス評価値を取り込む。そしてステップＳ６７で、更新タイミングが到来したか否かを判別し、ここでＹＥＳであれば、ステップＳ６９に進んで基準フォーカス評価値を更新する。すなわち、ステップＳ６５で取り込まれた最新のフォーカス評価値を“基準フォーカス評価値”にセットする。

ステップＳ６７でＮＯであれば、ステップＳ７１でフォーカス評価値の変化量を算出する。具体的には、ステップＳ６５で取り込まれた最新のフォーカス評価値と“基準フォーカス評価値”との差分を求めればよい。次のステップＳ７３では、こうして算出された変化量が閾値ＴＨ２を上回るか否かを判別し、ここでＹＥＳであれば、ステップＳ７５でフラグＦａｆに“１”をセットした後、ステップＳ６３に戻る。ステップＳ７３でＮＯであれば、直ちにステップＳ６３に戻る。

したがって、フラグＦａｆは、ＡＦ評価タスクによって閾値ＴＨ２を上回るフォーカス評価値の変化が検出されたとき“０”から“１”に変化する。

図１２を参照して、最初のステップＳ８１では、フラグＦｍｏｖｅに初期値として“０”をセットする。次のステップＳ８３では、垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。ステップＳ８３の判別結果がＮＯであれば待機し、ＹＥＳになるとステップＳ８５に進む。ステップＳ８５では、動き検出回路３０から動きベクトルを取り込む。そしてステップＳ８７で、パンチルトが発生したか否かを取り込まれた動きベクトルに基づいて判別し、ここでＹＥＳであれば、ステップＳ８９でフラグＦｍｏｖｅに“１”をセットした後ステップＳ８３に戻る。ステップＳ８７でＮＯであれば、直ちにステップＳ８３に戻る。

したがって、フラグＦｍｏｖｅは、動き検出タスクによってパン／チルトの発生が検出されたとき“０”から“１”に変化する。

監視タスクは、このようなフラグＦａｆ，Ｆｆａｃｅ，ＦｓｉｚｅおよびＦｍｏｖｅの変化を監視し、条件（Ａ）および（Ｂ）のいずれかが満足されたとき山登り処理を再開する。

以上から明らかなように、この実施例のビデオカメラ１０では、被写界の光学像がイメージセンサ１６の撮像面１６ｆに照射され、そこで被写界像が繰り返し生成される。ＣＰＵ４２は、生成された被写界像から顔画像を繰り返し検出し（Ｓ３５）、検出された顔画像を参照したフォーカス調整を実行する（Ｓ１７）。

ＣＰＵ４２はまた、検出された顔画像の大きさの変化量を算出し（Ｓ４９）、算出された変化量が閾値を上回るか否かを判別する（Ｓ５１）。そして、変化量が閾値を上回らないと判別されたときフォーカス調整の実行を制限する一方、変化量が閾値を上回ると判別されたときには制限状態を解除する（Ｓ９）。

したがって、被写界に現れる顔画像を参照したフォーカス調整は、顔画像の大きさの変化量が小さいとき制限され、顔画像の大きさの変化量が大きいとき制限解除される。こうして顔画像のサイズ変化に注目することで、無用なフォーカス調整がより高い確度で抑制される。

また、撮像面１６ｆに照射される光学像の大きさは、キー入力装置４４によるズーム操作に応じてドライバ１８がズームレンズ１２を移動させることにより変化する。ＣＰＵ４２は、変化量が閾値を上回ると判別されたとき、ドライバ１８が動作状態にあるか停止状態にあるかを判別する。フォーカス調整の制限状態は、変化量が閾値を上回ると判別されても、ドライバ１８が動作状態にあると判別されれば維持される。これにより、制限状態がズームで解除されることはなくなり、ズームを行う度にフォーカス調整が実行される事態を回避できる。

加えて、ＣＰＵ４２は、変化量が閾値を上回らないと判別されると、パンおよびチルトの少なくとも一方が発生したか否かを生成された被写界像に基づいて判別する（Ｓ８７）。そして、パンおよびチルトのいずれも発生しないと判別されたとき制限状態を維持し、パンおよびチルトの少なくとも一方が発生したと判別されたときには制限状態を解除する（Ｓ１１）。

一般に、フォーカス調整後のパン／チルトは撮影目標の変更を意図して行われる場合が多いが、パン／チルトによる顔画像の大きさの変化量は小さい。そこで、パンおよびチルトの少なくとも一方に応答して制限状態を解除することで、撮影目標を変更したにもかかわらずフォーカス調整が実行されない問題点を解消できる。

なお、この実施例（第１実施例）では、（ａ）ズーム停止状態で顔サイズの変化量が大きいこと、および（ｂ）パン／チルトが発生すること、のいずれかの条件が満足されたとき山登り処理を再開したが、山登り処理を再開するか否かの判断にあたって条件（ｂ）は考慮しなくてもよい。このような実施例（第２実施例）では、監視タスクは図１３のようになる。

図１３の監視タスクは、図９のそれにおいて、ステップＳ１１およびＳ１３が削除され、ステップＳ９に対応するステップＳ９ａでＮＯのときステップＳ３に戻るように変更されている。監視タスクがフラグＦｍｏｖｅを参照しないので、図１２の動き検出タスクは不要であり、図１の動き検出回路３０も削除してよい。したがって、図１３の監視タスクは、動き検出機能を持たない電子カメラに適する。

なお、上記の各実施例では、顔サイズの変化量が大きくてもズーム実行中であれば山登り処理を再開しないように制御したが、山登り処理を再開するか否かの判断にあたってズームは考慮しなくてもよい。このような実施例（第３実施例）では、顔認識タスクは図１４のようになる。

図１４の顔認識タスクは、図１０のそれにおいて、ステップＳ５３が削除され、ステップＳ５１に対応するステップＳ５１ａでＹＥＳのとき直ちにステップＳ５５に進むように変更されている。図１のズームレンズ１２およびドライバ１８も削除してよい。したがって、図１４の顔認識タスクは、ズーム機能を持たない電子カメラに適する。

なお、上記の各実施例では、フォーカス評価エリアＥａｆを顔エリアＥｆａｃｅに追従させたが（図６（Ａ），図６（Ｂ）参照）、フォーカス評価エリアＥａｆは固定でもよい。換言すれば、フォーカス調整にあたって、必ずしも顔画像を参照しなくてよい。この場合、図９の監視タスクにおいて、ステップＳ１３の移動処理が省略される。

また、フォーカス評価エリアＥａｆのサイズは、顔エリアＥｆａｃｅのサイズより大きいが（図２参照）、顔エリアＥｆａｃｅのサイズと同じでも、小さくてもよい。換言すれば、フォーカス調整にあたって、顔だけに注目しても、顔の一部たとえば目だけに注目してもよい。また、フォーカス調整の方式は、山登り方式（コントラスト検出方式）に限らず、位相差検出方式など他の方式でもよい。

なお、上記の各実施例では、パン／チルトの発生は、動き検出回路３０の出力に基づいて検出されたが、たとえばジャイロセンサなどを用いた検出も可能である。

以上では、一例として、ビデオカメラ１０について説明したが、この発明は、被写界を繰り返し撮像して、生成された被写界像を電子的に処理するような電子カメラ（たとえばディジタルビデオカメラ，ディジタルスチルカメラ，フォーカス制御を電子的に行うフィルムカメラなど）に適用できる。

この発明の一実施例の構成を示すブロック図である。 図１実施例による山登り終了時点の被写界像を示す図解図である。 図２被写界像の変化例（被写界内の人物に影が差した場合）を示す図解図である。 図２被写界像の他の変化例（ズームが行われた場合）を示す図解図である。 図２被写界像のその他の変化例（被写界内の人物が前後移動した場合）を示す図解図である。 （Ａ）は図２被写界像さらにその他の変化例（被写界内の人物が左右移動した場合）を示す図解図であり、（Ｂ）は（Ａ）の変化に応じてフォーカス評価エリアが移動する様子を示す図解図である。 図２被写界像の他の変化例（パンが行われた場合）を示す図解図である。 （Ａ）は図１実施例に適用されるメモリマップの一部を示す図解図であり、（Ｂ）は図１実施例に適用されるメモリマップの他の一部を示す図解図である。 図１実施例に適用されるＣＰＵ動作の一部を示すフロー図である。 図１実施例に適用されるＣＰＵ動作の他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵ動作のその他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵ動作のさらにその他の一部を示すフロー図である。 他の実施例に適用されるＣＰＵ動作の一部を示すフロー図である。 その他の実施例に適用されるＣＰＵ動作の一部を示すフロー図である。

符号の説明

１０ …ビデオカメラ
１２ …ズームレンズ
１４ …フォーカスレンズ
１６ …イメージセンサ
１８，２０ …ドライバ
２４ …カメラ処理回路
２８ …フォーカス評価回路
３０ …動き検出回路
４２ …ＣＰＵ

Claims (9)

1. 被写界の光学像が照射される撮像面を有し、被写界像を繰り返し生成する撮像手段、
   前記撮像手段によって生成された被写界像から特徴画像を繰り返し検出する検出手段、
   前記撮像手段によって生成された被写界像に関するフォーカス調整を実行する調整手段、
   前記検出手段によって検出された特徴画像の大きさの変化量を算出する算出手段、および
   前記算出手段によって算出された変化量に基づいて前記調整手段を制限する第１制御手段を備える、電子カメラ。
2. 前記算出手段によって算出された変化量が閾値を上回るか否かを判別する第１判別手段をさらに備え、
   前記第１制御手段は、前記第１判別手段によって変化量が閾値を上回らないと判別されたとき前記調整手段を制限する一方、前記第１判別手段によって変化量が閾値を上回ると判別されたとき前記調整手段の制限状態を解除する、請求項１記載の電子カメラ。
3. 前記撮像面に照射される光学像の大きさを変化させるズーム手段、および
   前記第１判別手段によって変化量が閾値を上回ると判別されたとき前記ズーム手段が動作状態にあるか停止状態にあるかを判別する第２判別手段をさらに備え、
   前記第１制御手段は、前記第１判別手段によって変化量が閾値を上回ると判別されても、前記第２判別手段によって前記ズーム手段が動作状態にあると判別されたときには前記調整手段の制限状態を維持する、請求項２記載の電子カメラ。
4. 前記第１判別手段によって変化量が閾値を上回らないと判別されたときパンおよびチルトの少なくとも一方が発生したか否かを判別する第３判別手段、および
   前記第３判別手段によってパンおよびチルトのいずれも発生しないと判別されたとき前記調整手段の制限状態を維持する一方、前記第３判別手段によってパンおよびチルトの少なくとも一方が発生したと判別されたとき前記調整手段の制限状態を解除する第２制御手段をさらに備える、請求項２または３記載の電子カメラ。
5. 前記第３判別手段は前記撮像手段によって生成された被写界像に基づいて判別を行う、請求項４記載の電子カメラ。
6. 前記撮像手段によって生成された被写界像のうち評価エリアに属する被写界像についてフォーカス評価を行うフォーカス評価手段、および
   前記第３判別手段によってパンおよびチルトのいずれも発生しないと判別されたとき前記評価エリアを前記検出手段によって検出された特徴画像の位置を基準に移動させる移動手段をさらに備え、
   前記調整手段は前記フォーカス評価手段の評価結果に基づいてフォーカス調整を行う、請求項４または５記載の電子カメラ。
7. 前記調整手段は、フォーカスレンズを動かしつつ前記フォーカス評価手段によるフォーカス評価値の変化を検出して、最も高いフォーカス評価値を示した位置を基準に前記フォーカスレンズを移動させる、請求項６記載の電子カメラ。
8. 前記特徴画像は顔画像である、請求項１ないし７のいずれかに記載の電子カメラ。
9. 被写界の光学像が照射される撮像面を有し被写界像を繰り返し生成する撮像手段を備える電子カメラのプロセッサに、
   前記撮像手段によって生成された被写界像から特徴画像を繰り返し検出する検出ステップ、
   前記撮像手段によって生成された被写界像に関するフォーカス調整を実行する調整ステップ、
   前記検出ステップによって検出された特徴画像の大きさの変化量を算出する算出ステップ、および
   前記算出ステップによって算出された変化量に基づいて前記調整ステップを制限する第１制御ステップを実行させるための、制御プログラム。

Images