JP2010243730A - オートフォーカスシステム - Google Patents

Abstract

【課題】ＡＦ枠を自動追尾するオートフォーカスシステムにおいて、画面内で複数の人物が交差したような場合であっても、当初の追尾対象を確実に追尾する。
【解決手段】撮像手段により撮像された撮影画像のうち、所定のＡＦエリア内の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス手段と、撮影画像内の被写体の移動に合わせて前記ＡＦエリアの輪郭を示すＡＦ枠を移動させる追尾手段と、前記撮影画像内から被写体の顔の向きを検出する顔向き検出手段と、前記被写体の顔の向きを、前記ＡＦ枠の前記撮影画像内における位置を示す座標とともに登録する顔向き登録手段と、前記検出された被写体の顔の向きを前記登録された顔の向きと比較する顔向き比較手段とを備え、前記撮影画像内の被写体から検出された顔向きを前記登録された顔向きと比較することによって被写体の追尾を行うことを特徴とする。
【選択図】図２

Description

本発明は、オートフォーカスシステムに係り、特に、ＡＦ枠を自動追尾するオートフォーカスシステムにおいて、撮影画面内で移動する複数の人物が交差したり、他の人物の前を横切ったりする場合に、顔向き判定処理を用いて追尾を行うオートフォーカスシステムに関する。

従来、カメラのフォーカスを自動的に合わせるオートフォーカス（ＡＦ）システムにおいては、どこにフォーカスを合わせるか（どこにピントを合わせるか）をカメラに対して指示しなければならない。このとき、一般のカメラなどでは、フォーカスを合わせる位置は撮影範囲のセンターに固定されていて、例えば撮影範囲の中央にいる人物等にフォーカスが合うようになっていた。そして、オートフォーカス（ＡＦ）の方式としては、撮像素子により取り込まれた画像信号から被写体画像のコントラストを検出し、そのコントラストが最も高くなるように撮影レンズのフォーカスを制御することによって最良ピント状態に自動でピント合わせをするコントラスト方式が採用されていた。

なお、カメラの撮影範囲のうちＡＦの対象とする被写体の範囲、又はカメラの撮影画像を再生した場合の撮影画像の画面のうちＡＦの対象とする被写体の画面上での範囲をＡＦエリアといい、そのＡＦエリアの輪郭を示す枠をＡＦ枠という。

ところで、動いている被写体を撮影する場合などにおいては、このようにフォーカスを合わせる位置が固定されていては都合が悪い。そこで、例えば、テレビカメラなどで、スポーツのように被写体の動きの激しいシーンを撮影する場合において、撮影画像中からピントを合わせる対象被写体を検出して追尾するために、フォーカス対象（合焦対象）の被写体の画像を基準パターンとして記憶し、新たに取り込んだフレームの撮影画像においてその基準パターン画像と最も合致する画像をパターンマッチングにより検出し、対象被写体の位置を検出してＡＦ枠を自動追尾するシステムが知られている（例えば、特許文献１等参照）。

特開２００６−２５８９４４号公報

しかしながら、上記従来のようにＡＦ枠を自動追尾するオートフォーカスシステムにおいて、画面内で複数の人物が交差したり、追尾している人物の前を他の人物が横切ったりすると、追尾を失敗したり追尾対象でない人物を追いかけてしまう不具合があるという問題があった。

本発明は、このような事情に鑑みてなされたもので、ＡＦ枠を自動追尾するオートフォーカスシステムにおいて、画面内で複数の人物が交差したり、追尾している人物の前を他の人物が横切ったりした場合であっても、当初の追尾対象を確実に追尾することのできるオートフォーカスシステムを提供することを目的とする。

前記目的を達成するために、請求項１に記載の発明は、光学系により結像された被写体を撮像する撮像手段と、前記撮像手段により撮像された撮影画像のうち、所定のＡＦエリア内の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス手段と、前記撮像手段によって撮像された撮影画像内の被写体の移動に合わせて前記ＡＦエリアの輪郭を示すＡＦ枠を移動させる追尾手段と、前記撮影画像内から被写体の顔の向きを検出する顔向き検出手段と、前記被写体の顔の向きを、前記撮影画像内における前記ＡＦ枠の位置を示す座標とともに登録する顔向き登録手段と、前記検出された被写体の顔の向きを前記登録された顔の向きと比較する顔向き比較手段と、を備え、前記撮影画像内の被写体から検出された顔向きを前記登録された顔向きと比較することによって被写体の追尾を行うことを特徴とするオートフォーカスシステムを提供する。

これにより、ＡＦ枠を自動追尾するオートフォーカスシステムにおいて、画面内で複数の人物が交差したり、追尾している人物の前を他の人物が横切ったりした場合であっても、当初の追尾対象を確実に追尾することが可能となる。

また、請求項２に示すように、前記撮影画像が取り込まれる毎に、前記顔向き検出手段によって前記撮影画像から検出された顔向きを登録するとともに、前記ＡＦ枠を更新することを特徴とする。

このように、常に最新の顔向き及びＡＦ枠を保持することによって、追尾の失敗を未然に防ぐことが可能となる。

また、請求項３に示すように、前記顔向き比較手段が、前記撮影画像内に前記登録された顔向きと同じ顔向きの被写体を一人だけ検出した場合には、この一人の被写体を追尾することを特徴とする。

このように、顔向きによって追尾対象の確認をすることができる。

また、請求項４に示すように、前記顔向き比較手段が、前記撮影画像内に前記登録された顔向きと同じ顔向きの被写体を複数検出した場合には、前記顔向き比較手段はさらに、前記撮影画像内におけるそのＡＦ枠の位置を示す座標を前記登録されたＡＦ枠の座標と比較し、前記登録されたＡＦ枠の座標に近い方の被写体を追尾することを特徴とする。

これにより、撮影画像内に同じ顔向きの被写体が複数あっても確実に追尾対象を追尾することができる。

また、請求項５に示すように、前記顔向き比較手段が、前記撮影画像内に、前記登録された顔向きと同じ顔向きの被写体を検出しない場合には、前記顔向き登録手段は最新の撮影画像中から検出された顔向きを登録せず、前記追尾手段はＡＦ枠を更新しないことを特徴とする。

このように、同じ顔向きが検出されない場合には、追尾対象の前を顔向きの異なる被写体が交差したと考えられ、このような場合には顔向きの登録やＡＦ枠更新をしないことにより、追尾対象でない被写体を誤って追尾してしまうことを防止することができる。

また、請求項６に示すように、現在追尾している被写体のＡＦ枠のサイズが、前回登録されたＡＦ枠のサイズに対して急に大きく変化した場合には、前記顔向き登録手段は前記ＡＦ枠サイズが急に大きく変化した被写体の顔向きを登録せず、前記追尾手段はＡＦ枠を前記サイズが大きく変化したＡＦ枠に更新しないことを特徴とする。

このように、現在追尾している被写体のＡＦ枠のサイズが急に大きく変化した場合には、追尾対象の前を同じ顔向きの被写体が横切ったと考えられ、このような場合には顔向きの登録やＡＦ枠更新をしないことにより、追尾対象でない被写体を誤って追尾してしまうことを防止することができる。

以上説明したように、本発明によれば、ＡＦ枠を自動追尾するオートフォーカスシステムにおいて、画面内で複数の人物が交差したり、追尾している人物の前を他の人物が横切ったりした場合であっても、当初の追尾対象を確実に追尾することが可能となる。

本発明に係るオートフォーカスシステムが適用されたビデオカメラシステムの一実施形態の全体構成を示したブロック図である。 本発明の一実施形態の作用を示すフローチャートである。 画面内に登録された顔向きと同じ顔向きの被写体が一人しかいない場合の画像例を示す説明図である。 画面内に登録された顔向きと同じ顔向きの被写体が複数いる場合の画像例を示す説明図であり、（ａ）は前回取り込んだ画像、（ｂ）は今回取り込んだ画像である。 （ａ）〜（ｃ）は、顔向きが異なる人物が交差する場合の画像例を示す説明図である。 （ａ）〜（ｃ）に示すように、現在追尾中の被写体の前を同じ顔向きの被写体が横切る場合の画像例を示す説明図である。

以下、添付図面を参照して、本発明に係るオートフォーカスシステムについて詳細に説明する。

図１は、本発明に係るオートフォーカスシステムが適用されたビデオカメラシステムの一実施形態の全体構成を示したブロック図である。このビデオカメラシステムは、例えば、放送用テレビカメラでの撮影に用いられる撮像システムである。

図１に示すように、本実施形態のビデオカメラシステム１は、テレビカメラ１０、画像処理ユニット１８等を有して構成されている。

テレビカメラ１０は、ハイビジョンテレビ［ＨＤ（High Definition)ＴＶ］方式に対応したＨＤカメラからなるカメラ本体１２と、カメラ本体１２のレンズマウントに装着される撮影レンズ（光学系）を備えたレンズ装置１４とから構成される。なお、図示は省略するが、カメラ本体１２は雲台上に旋回方向（パン）及び上下傾動方向（チルト）に移動可能に支承されている。

カメラ本体１２には、撮像素子（例えばＣＣＤ）や所要の信号処理回路等が搭載されており、レンズ装置１４の撮影レンズにより結像された像は、撮像素子により光電変換された後、信号処理回路によって所要の信号処理が施されてＨＤＴＶ方式の映像信号（ＨＤＴＶ信号）として、カメラ本体１２の映像信号出力端子等から外部に出力される。

また、カメラ本体１２は、ビューファインダ１３を備えており、テレビカメラ１０により現在撮影されている映像等がビューファインダ１３に表示されるようになっている。また、ビューファインダ１３には、各種情報が表示されるようになっており、例えば、後述のオートフォーカスにおいてピント合わせの対象範囲となるＡＦ枠が撮影映像に重畳されて表示されるようになっている。

レンズ装置１４は、カメラ本体１２のレンズマウントに装着される撮影レンズ（ズームレンズ）２４を備えている。撮影レンズ２４により、被写体１６がカメラ本体１２の撮像素子の撮像面に結像されるようになっている。撮影レンズ２４には、図示を省略するが、その構成部としてフォーカスレンズ群、ズームレンズ群、絞りなどの撮影条件を調整するための可動部が設けられており、それらの可動部は、モータ（サーボ機構）によって電動駆動されるようになっている。例えば、フォーカスレンズ群やズームレンズ群は光軸方向に移動し、フォーカスレンズ群が移動することによってフォーカス（被写体距離）調整が行われ、またズームレンズ群が移動することによって焦点距離（ズーム倍率）調整が行われる。

なお、オートフォーカス（ＡＦ）に関するシステムにおいては、少なくともフォーカスレンズ群が電動で駆動できればよく、その他の可動部は手動でのみ駆動可能であってもよい。また、所定の可動部を操作者の操作に従って電動駆動する場合には、図示しない操作手段（レンズ装置１４に接続されるコントローラの操作手段等）から操作者の操作に従って出力されるコントール信号に基づいて可動部の動作が制御されるが詳細は省略する。

また、レンズ装置１４には、ＡＦユニット２６及び図示しないレンズＣＰＵ等が搭載されている。レンズＣＰＵはレンズ装置１４全体を統括制御するものである。また、ＡＦユニット２６は、ＡＦによるフォーカス制御（自動ピント調整）を行うために必要な情報を取得するための処理部であり、図示を省略するが、ＡＦ処理部、ＡＦ用撮像回路等から構成されている。ＡＦ用撮像回路はＡＦ処理用の映像信号を取得するためにレンズ装置１４に配置されており、ＣＣＤ等の撮像素子（ＡＦ用撮像素子という）やＡＦ用撮像素子の出力信号を所定形式の映像信号として出力する処理回路等を備えている。なお、ＡＦ用撮像回路から出力される映像信号は輝度信号である。

ＡＦ用撮像素子の撮像面には、撮影レンズ２４の光路上に配置されたハーフミラー等によってカメラ本体１２の撮像素子に入射する被写体光から分岐された被写体光が結像するようになっている。ＡＦ用撮像素子の撮像エリアに対する撮影範囲及び被写体距離（ピントが合う被写体の距離）は、カメラ本体１２の撮像素子の撮像エリアに対する撮影範囲及び被写体距離に一致するように構成されており、ＡＦ用撮像素子により取り込まれる被写体画像は、カメラ本体１２の撮像素子により取り込まれる被写体画像と一致している。なお、両者の撮影範囲に関しては完全に一致している必要はなく、例えば、ＡＦ用撮像素子の撮影範囲の方がカメラ本体１２の撮像素子の撮影範囲を包含する大きな範囲であってもよい。

ＡＦ処理部は、ＡＦ用撮像回路から映像信号を取得し、その映像信号に基づいて被写体画像のコントラストの高低を示す焦点評価値を算出する。例えば、ＡＦ用撮像素子から得られた映像信号の高域周波数成分の信号をハイパスフィルタによって抽出した後、その高域周波数成分の信号のうちＡＦの対象とするＡＦエリアに対応する範囲の信号を１画面（１フレーム）分ずつ積算する。このようにして１画面分ごとに得られる積算値は被写体画像のコントラストの高低を示し、焦点評価値としてレンズＣＰＵに与えられる。

レンズＣＰＵは、ＡＦエリアの範囲（輪郭）を示すＡＦ枠の情報（ＡＦ枠情報）を、後述するように画像処理ユニット１８から取得し、そのＡＦ枠情報により指定されたＡＦ枠内の範囲をＡＦエリアとしてＡＦ処理部に指定する。そして、そのＡＦエリア内の画像（映像信号）により求められる焦点評価値をＡＦ処理部から取得する。

このようにしてＡＦ用撮像回路から１画面分の映像信号が取得されるごとに（ＡＦ処理部で焦点評価値が求められるごとに）ＡＦ処理部から焦点評価値を取得すると共に、取得した焦点評価値が最大（極大）、即ち、ＡＦ枠内の被写体画像のコントラストが最大となるようにフォーカスレンズ群を制御する。例えば、焦点評価値に基づくフォーカスレンズ群の制御方式として山登り方式が一般的に知られており、フォーカスレンズ群を焦点評価値が増加する方向に移動させて行き、焦点評価値が減少し始める点を検出すると、その位置にフォーカスレンズ群を設定する。これにより、ＡＦ枠内の被写体に自動でピントが合わせられる。

なお、上述のＡＦ処理部は、焦点評価値を算出するためにレンズ装置に搭載されたＡＦ用撮像素子から映像信号を取得しているが、カメラ本体１２の撮像素子より撮影された映像の映像信号をカメラ本体１２から取得するような構成としてもよい。また、ＡＦ枠内の被写体に自動でピントを合わせるためのＡＦ手段はどのようなものであってもよい。

また、カメラ本体１２とレンズ装置１４、レンズ装置１４と後述の画像処理ユニット１８とは、各装置に設けられたシリアル通信コネクタが直接的又はケーブル等を介して接続される。これによって、カメラ本体１２とレンズ装置１４とが、それぞれに設けられたシリアル通信インターフェイス（ＳＣＩ）１２ａ及び１４ａを介して様々な情報の送受信をシリアル通信により行うようになっている。また、レンズ装置１４と画像処理ユニット１８とが、それぞれに設けられたシリアル通信インターフェイス１４ａ及び３０ａとの間で様々な情報の送受信をシリアル通信により行うようになっている。

また、カメラ本体１２の映像出力コネクタと画像処理ユニット１８の映像入力コネクタとが、ダウンコンバータ２８を介してケーブルで接続される。これによって、カメラ本体１２の映像出力コネクタから出力されたＨＤＴＶ信号は、ダウンコンバータ２８によって、標準テレビ［ＮＴＳＣ（National Television System Committee)]方式の映像信号（ＳＤＴＶ信号）に変換（ダウンコンバート）されて、画像処理ユニット１８に入力されるようになっている。

詳しくは後述するが、画像処理ユニット１８は、撮像された被写体画像中の操作者が指定したある被写体をパターンマッチング処理によりＡＦ枠自動追尾を行うための制御を行うものである。また、画像処理ユニット１８は、撮像された被写体画像中の被写体人物について顔認証を行い、それがオートフォーカスをかけて自動追尾するように設定された被写体（フォーカス対象）であると認定された場合には、ＡＦユニット２６を通じてレンズ装置１４をオートフォーカス制御することもできる。ここで、顔認証を行い現在撮影中の被写体がオートフォーカスをかけて自動追尾する対象であるか否かを判定するためには、ＨＤＴＶ信号による高精細な画像である必要はなく、標準テレビ方式の映像信号（ＳＤＴＶ信号）の画像で充分であるので、上述したように、カメラ本体１２から出力されたＨＤＴＶ信号をダウンコンバータ２８によってＳＤＴＶ信号に変換するようにしている。

画像処理ユニット１８は、上記のようにレンズ装置１４のＡＦユニット２６によりＡＦによるＡＦ枠自動追尾（フォーカス制御）を実施する際のＡＦ枠の範囲（位置、大きさ、形状（縦横比））の指定を行うための装置である。すなわち、ＡＦ枠を示す画像信号はＣＰＵ３８で生成され、ＣＰＵ３８は、ＡＦ枠の画面上（撮影画像中）での位置を示す座標やＡＦ枠のサイズを算出する。

テレビカメラ１０の撮影画像（撮影画面）内でのＡＦ枠の範囲を指定するＡＦ枠情報は、画像処理ユニット１８からレンズ装置１４に上記シリアル通信により与えられるようになっている。ＡＦユニット２６では、画像処理ユニット１８からのＡＦ枠情報に基づいてＡＦ枠の範囲を設定して上記のようにＡＦの処理を実行する。

画像処理ユニット１８は、主としてメインボード３０、パターンマッチング処理演算ボード３２、顔認証処理演算ボード３４から構成されている。メインボード３０、パターンマッチング処理演算ボード３２、顔認証処理演算ボード３４の各々にはＣＰＵ３８、５０、５２が搭載されており、各ボード毎に個別の演算処理が行われると共に、各ＣＰＵ３８、５０、５２は、バスや制御線で接続され、相互にデータのやり取りや、演算処理の同期等が図られるようになっている。また、画像処理ユニット１８は、顔認証処理を行うための顔認証データを格納した顔認証データカード７４を有している。また、詳しくは後述するが、画像処理ユニット１８は、画像中から検出された被写体の顔向きをＡＦ枠の画面内での位置を示す座標とともに登録しておくメモリ３９を備えている。被写体の顔向き及びＡＦ枠の画面内での位置を示す座標は、ＣＰＵ３８によってメモリ３９に登録（格納）される。

画像処理ユニット１８における処理は、メインボード３０において統括的に行われるようになっている。そのメインボード３０には、演算処理を行う上記ＣＰＵ３８の他に、ＳＣＩ３０ａ、デコーダ（Ａ／Ｄ変換器）３６、スーパーインポーザ４２、ＲＡＭ４０等が搭載されている。

ＳＣＩ３０ａは、上述のようにレンズ装置１４のＳＣＩ１４ａとの間でシリアル通信を行うためのインターフェイス回路であり、上記ＡＦ枠情報等をレンズ装置１４に送信する。

デコーダ３６は、上記ダウンコンバータ２８から画像処理ユニット１８に入力されるテレビカメラ１０において撮影映像の映像信号（ＳＤＴＶ信号）を、画像処理ユニット１８においてデジタル処理可能なデータに変換するための回路であり、アナログのＳＤＴＶ信号をデジタルデータの映像信号に変換するＡ／Ｄ変換処理等を行っている。

ＲＡＭ４０は、ＣＰＵ３８の演算処理において使用するデータを一時的に格納するメモリである。

一方、パターンマッチング処理演算ボード３２や顔認証処理演算ボード３４は、パターンマッチングと顔検出・顔認証処理を個別に行うための演算ボードであり、各々、演算処理を行うＣＰＵ５０、５２の他に画像データを一時的に格納するＶＲＡＭ５４、５６等を備えている。

また、画像処理ユニット１８には、操作部２０が一体的に設けられ、又は、操作部２０の一部又は全ての操作部材が画像処理ユニット１８とは別体の装置に設けられてケーブル等で接続されている。

詳細は省略するが、操作部２０には、ＡＦ枠の位置をユーザの手動操作により上下左右に移動させるための位置操作部材６０（例えば、ジョイスティックやトラックボール）、ＡＦ枠の大きさを手動操作により変更するためのサイズ操作部材６２（例えば、ツマミ)、ＡＦ枠の形状を手動操作により変更するための形状操作部材６４（例えば、ツマミ）、自動追尾の開始を指示する追尾開始スイッチ６８、自動追尾の停止を指示する追尾停止スイッチ７０が設けられており、これらの操作部材６０、６２、６４、６８、７０の設定状態が、画像処理ユニット１８におけるメインボード３０のＣＰＵ３８により読み取られるようになっている。

なお、タッチパネル付ＬＣＤ６６は、ＡＦ枠の自動追尾に関するモード等の設定をタッチ操作で入力できるようにしたもので、画像処理ユニット１８のＣＰＵ３８によりタッチパネル付ＬＣＤ６６に表示される画像は、設定内容に応じて適宜切り換えられるようになっている。

また、タッチパネル付ＬＣＤ６６に表示される画像は、メインボード３０のスーパーインポーザ４２を介して与えられるようになっており、そのスーパーインポーザ４２では、デコーダ３６から与えられるテレビカメラ１０の撮影映像の映像信号と、ＣＰＵ３８で生成される画像信号の合成が行えるようになっている。これによって、カメラ本体１２に設定されているビューファインダ１３と同様にテレビカメラ１０で撮影されている撮影映像と現在設定されているＡＦ枠の画像とを重畳させた映像をタッチパネル付ＬＣＤ６６に表示させることが可能であり、この画面上でのタッチ操作により、ユーザは、上記操作部材６０、６２、６４、６８、７０で行うのと同様の操作を行うことができるようになっている。

また、操作部２０には、タッチパネル付ＬＣＤ６６の他に、外部モニタ７２が設けられており、タッチパネル付ＬＣＤ６６に表示されるのと同じ画像が表示されるようになっている。そして、外部モニタ７２は、カメラマン以外の例えばフォーカスマンなどがこれを見て、そのタッチパネル機能により適宜指示を入力することができるようになっている。

本実施形態は、ＡＦ枠を自動追尾するシステムにおいて、パターンマッチングで人物を追尾した場合に、画面内に複数の人物がいて、その人物同士が交差したときにも追尾不能とはならずに、追尾対象を確実に追尾することができるようにしたものである。

次に、フローチャートに沿って本発明に係るオートフォーカスシステムの作用について説明する。

図２は、本発明の一実施形態の作用を示すフローチャートである。

まず、図２のステップＳ１００において、カメラマン（操作者）は、撮影を開始するにあたってビューファインダ１３あるいはタッチパネル付ＬＣＤ６６の画面に表示された映像及びＡＦ枠を見ながら操作部２０の位置操作部材６０、サイズ操作部材６２、形状操作部材６４等の操作部材を操作し、ピント合わせの対象として追尾する対象物がＡＦ枠の範囲に収まるようにＡＦ枠の範囲を設定する。これにより、レンズ装置１４のレンズＣＰＵにおけるＡＦの処理によってその対象物にピントが合わせられる。

次にステップＳ１０２において、追尾がスタートすると、ステップＳ１０４において、画像処理ユニット１８のＣＰＵ３８は、レンズ装置１４のＡＦユニット２６（ＡＦ処理部）から与えられる映像信号から１画面分（１フレーム分）の撮影画像を取り込む。

次にステップＳ１０６において、画像処理ユニット１８のＣＰＵ３８は、取り込んだ画像から顔及びその顔の向きを検出する。すなわち、画像処理ユニット１８のＣＰＵ３８は、顔向き検出手段としても作用する。

次にステップＳ１０８において、ＣＰＵ３８は、今取り込んだ画像における被写体に合わせてＡＦ枠を更新する。そして、ステップＳ１１０において、画像処理ユニット１８のＣＰＵ３８は、上で検出した顔向きを、被写体追尾のためにメモリ３９に登録しておく。このとき、顔の向きだけでなく、その被写体のＡＦ枠の画面中における位置を示す座標も一緒に登録するようにする。

次にステップＳ１１２において、次のフレームの画像を取り込み、ステップＳ１１４において、今取り込んだ画像中の被写体の顔及び顔の向きを検出する。

次にステップＳ１１６において、今検出した顔向きを上でメモリ３９に登録された顔向きと比較し、メモリ３９に登録された顔向きと同じ向きであることが検出されたか否か判断する。この比較は、画像処理ユニット１８のＣＰＵ３８において行われる（顔向き比較手段）。

ステップＳ１１６において、今読み込まれた画像中から登録された顔向きと同じ顔向きが検出された場合には、次のステップＳ１１８において登録された顔向きと同じ顔向きの被写体は一人であるか否か判断する。

例えば、図３に示すように、画面内に被写体（被写体Ａ、被写体Ｂ）が複数存在したとしても、登録された顔向きと同じ顔向きの被写体が被写体Ａのように一人であった場合には、登録された顔向きと異なる顔向きの被写体Ｂは関係ないので、この被写体Ａに対してＡＦ枠８０を設定して、この人物を追尾対象として追尾する。

また、ステップＳ１１８において登録された顔向きと同じ顔向きの被写体が一人ではなく複数存在した場合には、ステップＳ１２０において、登録された顔向きに近い顔があるかどうか判断し、近い顔があった場合には、ステップＳ１２２において、前回のＡＦ枠に一番近い座標の顔を追尾対象としてその顔に対してＡＦ枠を設定する。

例えば、図４に示すように、登録された顔向きと同じ顔向きの被写体が被写体Ａ、被写体Ｂと複数被写体が画面内に存在した場合を例にとって説明する。ただしここで、図４（ａ）は前回読み込まれたフレームの画像、図４（ｂ）は今回読み込まれたフレームの画像であるとする。

このように図４（ｂ）に示す現在の画像において、登録された顔向きと同じ顔向きの被写体が、被写体Ａと被写体Ｂの２人いた場合には、図４（ａ）に示す前回読み込まれたフレームの画像における追尾対象（被写体Ａ）のＡＦ枠８０と、ＡＦ枠の座標を比較して、どちらが近いか判断する。図４（ｂ）では被写体Ｂの顔にはＡＦ枠が表示されていないが、もし表示されたとして、図４（ａ）に示す前回のＡＦ枠８０の座標に近いのは、図４（ｂ）においても被写体Ａであるので、図４（ｂ）に示すように、被写体Ａに対して追尾枠としてのＡＦ枠８０を設定して、追尾を続ける。

なお、近い顔向きの顔がない場合には、ＡＦ枠更新や顔向き登録は行わずに、ステップＳ１１２に戻り、次のフレームの画像を取り込んで、上と同じ処理を繰り返す。

また、上記ステップＳ１１６において、登録した顔向きと同じ顔向きを検出しなかった場合、すなわち画面中に登録した顔向きと同じ顔向きの被写体が存在しない場合には、顔向きが急に変わったので、いままでの追尾対象の手前を顔向きが異なる被写体が横切った（交差した）と考えて、ＡＦ枠更新、顔向きの登録等は行わずにステップＳ１１２に戻り、次の画像取り込みを行う。

具体例で示すと、例えば図５（ａ）〜（ｃ）に示すように、顔向きが異なる人物が交差するような場合である。すなわち、まず図５（ａ）に示すように、被写体Ａに対してＡＦ枠８０を設定して追尾しているときに、顔向きが逆の被写体Ｂが接近し、図５（ｂ）に示すように、被写体Ｂが被写体Ａよりも手前側を交差する場合には、図５（ｂ）の画像を取り込んでステップＳ１１６の判断をすると、図５（ｂ）においては被写体Ｂが手前にいるため、被写体Ａは隠れてしまい、今までの追尾対象である被写体Ａを示す登録された顔向きは検出されない。従って、ここではＡＦ枠更新、顔向きの登録等は行わない。

そして、図５（ｃ）に示すような次の画像が取り込まれる。図５（ｃ）に示すように、被写体Ｂが通り過ぎて、再び登録された顔向きに近い被写体Ａが現われたら、この被写体Ａに対してＡＦ枠８０を設定して、再び被写体Ａを追尾する。

なお、前述したステップＳ１２０において、登録顔向きに近い顔がない場合にも、ここで説明したような、いままでの追尾対象の手前を顔向きが異なる被写体が横切る状態が発生している場合もあり得る。そこで上述したように、このような場合には、ＡＦ枠更新や顔向き登録は行わずに、ステップＳ１１２に戻り次の画像を取り込むようにしている。

上記ステップＳ１１８における、登録された顔向きと同じ顔向きの被写体は一人であるか否か判断した後、ステップＳ１２４において、ＡＦ枠サイズが大きく変化したか否か判断する。

これは、例えば図６（ａ）〜（ｃ）に示すように、現在追尾中の被写体の前を同じ顔向きの被写体が横切るような場合に関するものである。

すなわち、図６（ａ）に示すように、今被写体Ａに対してＡＦ枠８０を設定して追尾しているとする。

このとき図６（ｂ）に示すように、この被写体Ａの手前を、同じ顔向きの被写体Ｂが横切ると、被写体Ｂも被写体Ａと同じ顔向きなので、被写体Ｂに対してＡＦ枠８２が設定される。

しかし、図６（ｂ）からも明らかなように、このＡＦ枠８２は、いままで追尾していた被写体Ａに対するＡＦ枠８０よりもかなり大きい。このようにＡＦ枠サイズが大きく変化したのは、被写体Ａが移動したからではなく、被写体Ａの手前を他の被写体Ｂが横切ったため、手前の被写体Ｂの方が顔が大きく撮像されるからである。

そこで、ＡＦサイズが大きく変化した場合には、いままで追尾していた被写体の前を顔向きの同じ他の被写体が横切ったと判断して、ＡＦ枠の更新、顔向きの登録等は行わずに、ステップＳ１１２へ戻り、次の画像取り込みを行うようにする。

そして、次に取り込んだ画像で図６（ｃ）に示すように、再び被写体Ａが現われた場合には、被写体Ａに対してＡＦ枠８０を設定して、被写体Ａの追尾を再開する。

また、ステップＳ１２４の判断において、ＡＦ枠サイズが変化したとしても大きく変化していない場合には、少なくともいままで追尾していた被写体が顔向きをそのままに多少移動した程度であるので、そのままその被写体の追尾を続けて行くこととする。

そして、ステップＳ１２６において、ＡＦ枠サイズを更新し、ステップＳ１２８において、ＡＦ枠を更新する。そして、ステップＳ１３０において、改めて現在追尾中のその被写体の顔向きを登録する。

そして、ステップＳ１１２に戻り、次の画像取り込みを行う。その後は上記処理を繰り返す。

以上説明したように、本実施形態によれば、顔検出した際、顔の向きも検出して、ＡＦ枠を更新する際、顔向きも順次登録して更新するようにしたため、画面内に複数の移動する人物が存在し、それらの人物が交差したり、一方が他方の前を横切ったりした場合においても、追尾を失敗したり、追尾対象でない被写体を追尾してしまうという不具合を防止することができる。

以上、本発明のオートフォーカスシステムについて詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。

１…ビデオカメラシステム、１０…テレビカメラ、１２…カメラ本体、１３…ビューファインダ、１４…レンズ装置、１６…被写体、１８…画像処理ユニット、２０…操作部、２４…撮影レンズ、２６…ＡＦユニット、２８…ダウンコンバータ、３０…メインボード、３２…パターンマッチング処理演算ボード、３４…顔認識処理演算ボード、６６…タッチパネル付ＬＣＤ

Claims (6)

1. 光学系により結像された被写体を撮像する撮像手段と、
   前記撮像手段により撮像された撮影画像のうち、所定のＡＦエリア内の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス手段と、
   前記撮像手段によって撮像された撮影画像内の被写体の移動に合わせて前記ＡＦエリアの輪郭を示すＡＦ枠を移動させる追尾手段と、
   前記撮影画像内から被写体の顔の向きを検出する顔向き検出手段と、
   前記被写体の顔の向きを、前記撮影画像内における前記ＡＦ枠の位置を示す座標とともに登録する顔向き登録手段と、
   前記検出された被写体の顔の向きを前記登録された顔の向きと比較する顔向き比較手段と、
   を備え、前記撮影画像内の被写体から検出された顔向きを前記登録された顔向きと比較することによって被写体の追尾を行うことを特徴とするオートフォーカスシステム。
2. 前記撮影画像が取り込まれる毎に、前記顔向き検出手段によって前記撮影画像から検出された顔向きを登録するとともに、前記ＡＦ枠を更新することを特徴とする請求項１に記載のオートフォーカスシステム。
3. 前記顔向き比較手段が、前記撮影画像内に前記登録された顔向きと同じ顔向きの被写体を一人だけ検出した場合には、この一人の被写体を追尾することを特徴とする請求項１または２に記載のオートフォーカスシステム。
4. 前記顔向き比較手段が、前記撮影画像内に前記登録された顔向きと同じ顔向きの被写体を複数検出した場合には、前記顔向き比較手段はさらに、前記撮影画像内におけるそのＡＦ枠の位置を示す座標を前記登録されたＡＦ枠の座標と比較し、前記登録されたＡＦ枠の座標に近い方の被写体を追尾することを特徴とする請求項１または２に記載のオートフォーカスシステム。
5. 前記顔向き比較手段が、前記撮影画像内に、前記登録された顔向きと同じ顔向きの被写体を検出しない場合には、前記顔向き登録手段は最新の撮影画像中から検出された顔向きを登録せず、前記追尾手段はＡＦ枠を更新しないことを特徴とする請求項１に記載のオートフォーカスシステム。
6. 現在追尾している被写体のＡＦ枠のサイズが、前回登録されたＡＦ枠のサイズに対して急に大きく変化した場合には、前記顔向き登録手段は前記ＡＦ枠サイズが急に大きく変化した被写体の顔向きを登録せず、前記追尾手段はＡＦ枠を前記サイズが大きく変化したＡＦ枠に更新しないことを特徴とする請求項１に記載のオートフォーカスシステム。

Images