JP2011022203A - Ａｆ枠自動追尾システムおよびａｆ枠自動追尾方法 - Google Patents

Abstract

【課題】オートフォーカスによりピントを合わせる範囲であるＡＦ枠の追尾を用途に合わせて最適に行なうこと。
【解決手段】撮像手段により撮像された撮像画像に設定されるＡＦ枠内の被写体にピントが合うように光学系のフォーカス調整を行うオートフォーカス手段と、撮像画像について画像処理を行って画像処理の演算結果をもとにＡＦ枠の範囲の情報をオートフォーカス手段に与えてＡＦ枠を追尾対象の被写体に自動追尾させるＡＦ枠自動追尾手段と、画像処理の演算に使用するパラメータの度合いの情報をＡＦ枠自動追尾手段に与えるパラメータ授与手段と、を有し、パラメータとして、追尾対象の被写体に自動追尾させる正確性に影響を与えるパラメータおよび追尾対象の被写体に自動追尾させる速さに影響を与えるパラメータのうちの少なくともいずれか１つが含まれる。
【選択図】図２

Description

本発明はＡＦ枠自動追尾システムおよびＡＦ枠自動追尾方法に係り、特に、オートフォーカス（ＡＦ）によりピントを合わせる被写体の範囲を示すＡＦ枠（ＡＦエリア）を所定の被写体に自動追尾させる機能を備えたＡＦ枠自動追尾システムおよびＡＦ枠自動追尾方法に関する。

従来、カメラのフォーカスを自動的に合わせるオートフォーカス（ＡＦ）システムにおいては、どこにフォーカスを合わせるかをカメラに対して指示しなければならない。このとき、一般のカメラなどでは、フォーカスを合わせる位置は撮影範囲のセンターに固定されていて、例えば撮影範囲の中央にいる人物等にフォーカスが合うようになっている。

しかし、動いている被写体を撮影する場合などにおいては、このようにフォーカスを合わせる位置が固定されていては都合が悪い。そこで、例えば、テレビカメラなどで、スポーツのように被写体の動きの激しいシーンを撮影する場合において、被写体にピントを合わせる目的でＡＦエリア（ＡＦ枠）を被写体に自動追尾させるＡＦ枠自動追尾システムが知られている（例えば、特許文献１等参照）。尚、本明細書では、ＡＦエリアの範囲の輪郭を示すＡＦ枠をＡＦエリアと同様にピントを合わせる被写体の範囲を意味する用語として主に使用するものとする。

また、撮像された画像中から人物の顔を表す画像を検出し、その被写体となった顔に対して自動的にピントを合わせたり、あるいは上記検出された画像中の顔を表す領域が拡大されるように自動的にズーム倍率を変更させるデジタルカメラが知られている（例えば、特許文献２等参照）。

特開２００６−２６７２２１号公報 特開２００４−３２０２８６号公報

ところで、上記のように所定の被写体にＡＦ枠を自動追尾させるＡＦ枠自動追尾システムでは、制御部においてＡＦ枠の自動追尾に要する演算処理を非常に多く行なう必要がある。そして、刻一刻と移り変わる動画像においてＡＦ枠を自動追尾させながら撮影を行なうので、ＡＦ枠の自動追尾に要する演算処理は瞬時に行う必要がある。

しかしながら、このようなＡＦ枠の自動追尾に要する演算処理においては、処理結果の正確性を優先すると処理時間を要することになり、処理時間のスピードを優先すると処理結果を簡素化する必要があるので処理の正確性が低下してしまう。

特に、顔認識処理を行う場合には、顔認識の正確性を優先すると処理時間を要することになり、反対に、処理時間のスピードを優先すると顔認識の正確性が低下してしまうことになる。

ここで、ＡＦ枠自動追尾システムを使用するに際しては、その用途（例えば、テレビカメラの撮影の場合には撮影する番組のジャンルなど）によって要求される仕様が異なる。

例えば、対談番組において撮影を行なう場合には、被写体がそれほど激しい動きをしないので、ＡＦ枠の自動追尾に要する演算処理の処理スピードはそれほど要求されないが、被写体の顔認識の正確性は高めておきたい。そのため、処理時間よりも顔認識の正確性を優先させたい。

一方、スポーツ番組において撮影を行なう場合には、被写体が激しい動きをするので、被写体の顔認識の正確性はそれほど要求されないが、ＡＦ枠の自動追尾に要する演算処理の処理スピードを高めておきたい。そのため、顔認識の正確性よりも処理時間を優先させたい。

このように、ＡＦ枠自動追尾システムの用途、すなわち追尾対象の被写体が撮像される撮像場面によって要求される仕様が異なることに対しての解決手段については、前記の特許文献１，２には何ら示唆されていない。

そこで本発明は、ＡＦ枠自動追尾システムおよびＡＦ枠自動追尾方法に係り、特にオートフォーカス（ＡＦ）によりピントを合わせる範囲であるＡＦ枠（ＡＦエリア）の追尾を用途に合わせて最適に行なうことができるＡＦ枠自動追尾システムに関する。

前記目的を達成するために、本発明のＡＦ枠自動追尾システムは、光学系により結像された被写体像を撮像する撮像手段と、前記撮像手段により撮像された撮像画像に設定されるＡＦ枠内の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス手段と、前記撮像画像について画像処理を行って当該画像処理の演算結果をもとに前記ＡＦ枠の範囲の情報を前記オートフォーカス手段に与えて前記ＡＦ枠を追尾対象の被写体に自動追尾させるＡＦ枠自動追尾手段と、前記画像処理の演算に使用するパラメータの度合いの情報を前記ＡＦ枠自動追尾手段に与えるパラメータ授与手段と、を有し、前記パラメータとして、前記追尾対象の被写体に自動追尾させる正確性に影響を与えるパラメータおよび前記追尾対象の被写体に自動追尾させる速さに影響を与えるパラメータのうちの少なくともいずれか１つが含まれること、を特徴とする。

本発明によれば、ＡＦ枠の追尾を用途に合わせて最適に行なうことができる。

本発明の一態様として、前記パラメータ授与手段は、前記追尾対象の被写体が撮像される撮像場面に応じた前記パラメータの度合いの情報を与えること、を特徴とする。

本発明の一態様として、前記撮像場面を選択する選択手段を有すること、を特徴とする。

本発明の一態様として、前記パラメータ授与手段は、前記パラメータの度合いの情報が記憶された記憶手段が装着され当該記憶手段から前記パラメータの度合いの情報を取得するパラメータ情報取得手段を備えること、を特徴とする。

本発明の一態様として、前記ＡＦ枠自動追尾手段は、前記画像処理として前記追尾対象の被写体の顔画像が認識データに登録された特定人物の顔画像であるか否かを判断する顔認識処理を行うものであって、前記パラメータとして、前記顔認識処理における判断の正確性に影響を与えるパラメータが含まれること、を特徴とする。

本発明の一態様として、前記顔認識処理における判断の正確性に影響を与えるパラメータとして、前記顔認識処理におけるパターンマッチング評価値が含まれること、を特徴とする。

前記目的を達成するために、本発明のＡＦ枠自動追尾方法は、光学系により結像された被写体像を撮像する撮像手段により撮像された撮像画像について画像処理を行って当該画像処理の演算結果をもとにＡＦ枠を追尾対象の被写体に自動追尾させるＡＦ枠自動追尾手段に対し前記画像処理の演算に使用するパラメータの度合いの情報を与えるものであって、前記パラメータとして、前記追尾対象の被写体に自動追尾させる正確性に影響を与えるパラメータおよび前記追尾対象の被写体に自動追尾させる速さに影響を与えるパラメータのうちの少なくともいずれか１つが含まれること、を特徴とする。

本発明によれば、オートフォーカス（ＡＦ）によりピントを合わせる範囲であるＡＦ枠（ＡＦエリア）の追尾を用途に合わせて最適に行なうことができる。

本発明が適用されるテレビカメラシステムの一実施の形態を示した外観図である。 図１のテレビカメラシステムに適用されるＡＦ枠自動追尾システムの全体構成を示したブロック図である。 ＡＦ枠（ＡＦエリア）の説明図である。 タッチパネル付き液晶ディスプレイに表示される画面の一例を示した図である。 番組選択用の画面の表示例を示す図である。 ＡＦ枠自動追尾の処理の概要を示すフローチャート図である。 ＡＦ枠自動追尾に必要なパラメータの度合いの設定例を示す。 顔認識追尾モードの処理手順を示したフローチャート図である。 顔認識モードにおいてタッチパネル付き液晶ディスプレイに表示される画面の一例を示した図である。 顔検出追尾モードの処理手順を示したフローチャート図である。 顔検出追尾モードにおいてタッチパネル付き液晶ディスプレイに表示される画面の一例を示した図である。 物体追尾モードの処理手順を示したフローチャート図である。

以下、添付図面を参照して、本発明に係るＡＦ枠自動追尾システムについて詳細に説明する。

〔本発明が適用されるテレビカメラシステムの説明〕
図１は、本発明が適用されるテレビカメラシステムの一実施の形態を示した外観図である。同図に示すようにテレビカメラ１０は、主に放送用又は業務用に使用されるテレビカメラであり、レンズ装置１２とカメラ本体１４とで構成され、ペデスタルドリー１６上に設置された雲台１８に支持されている。

雲台１８には、左右２本のパン棒２２、２４が延設されており、右側のパン棒２２のグリップ部２２Ａには、フォーカスデマンド（フォーカスコントローラ）２６がマウンティングクランプ３８によって設置され、左側のパン棒２４のグリップ部にはズームデマンド（ズームコントローラ）２８が設置されている。

フォーカスデマンド２６には、回動可能なフォーカスノブ３０が設けられており、マニュアルフォーカス（ＭＦ）によりフォーカス制御を行う際に、このフォーカスノブ３０を回動操作すると、その回動位置に応じたフォーカス位置を目標位置としてフォーカス（フォーカスレンズ）の移動を指令するフォーカス制御信号がフォーカスデマンド２６からレンズ装置１２に与えられる。これにより、レンズ装置１２のフォーカスレンズがフォーカス制御信号によって指令された目標位置に移動する。

ズームデマンド２８には、回動可能なサムリング３４が設けられており、そのサムリング３４を左右方向に回動操作すると、回動位置に応じたズーム速度を目標速度としてズーム（ズームレンズ）の移動を指令するズーム制御信号がズームデマンド２８からレンズ装置１２に与えられる。これにより、レンズ装置１２のズームレンズがズーム制御信号によって指令された目標速度で移動する。

また、図では省略するが、フォーカスデマンド２６には、オートフォーカス（ＡＦ）に関する各種操作部材が設けられると共に、ＡＦによりピントを合わせる対象の被写体範囲（ＡＦの対象範囲）を示すＡＦ枠の制御（位置等の変更）を行うためのＡＦ枠制御装置（ＡＦ枠自動追尾装置）が組み込まれ、そのＡＦ枠制御装置の各種操作部材もフォーカスデマンド２６に設けられている。

更に、ＡＦ枠制御装置の構成要素として同図のようにタッチパネル付き液晶ディスプレイ（ＬＣＤ）４０が設置具によりフォーカスデマンド２６の本体上部に設置され、図示しないケーブルでフォーカスデマンド２６に接続されている。

尚、以下において、単にＬＣＤ４０と記した場合にはこのタッチパネル付き液晶ディスプレイ４０を示す。また、ＬＣＤ４０は、フォーカスデマンド２６の本体上部以外の任意の位置に設置することが可能である。例えば、ビューファインダ３６の横に設置してもよい。

カメラ本体１４の上には、表示装置であるビューファインダ３６が設置されている。このビューファインダ３６には、本テレビカメラ１０で撮影されている被写体の映像が表示されるため、カメラマンはその映像を見ながらフォーカスデマンド２６やズームデマンド２８を操作することによって所望の構図で被写体を撮影することができるようになっている。尚、以下において、撮影映像又は撮影画像と称した場合には、テレビカメラ１０で現在撮影されている映像又は画像を示すものとする。

また、ビューファインダ３６に表示される撮影映像には、現在ＡＦ枠が設定されている位置、大きさ、形状（縦横比）を示すＡＦ枠の画像が重畳されて表示されるようになっている。そして、ＡＦによりフォーカス制御を行う場合には撮影映像内のどの範囲の被写体にピントが合わせられるかを知ることができるようになっている。尚、ＭＦとＡＦのフォーカス制御は、フォーカスデマンド２６に設けられたモードスイッチ等で切り替えられるようになっている。

〔ＡＦ枠自動追尾システムの全体構成の説明〕
図２は、上記テレビカメラシステムに適用されるＡＦ枠自動追尾システムの全体構成を示したブロック図である。

同図のＡＦ枠自動追尾システム１には、図１に示したテレビカメラ１０のレンズ装置１２及びカメラ本体１４とビューファインダ３６が示されている。また、図１のフォーカスデマンド２６の構成要素として、ＬＣＤ４０及びフォーカスデマンド２６に組み込まれたＡＦ枠制御装置（ＡＦ枠自動追尾装置）を構成する画像処理ユニット４２が示されている。

テレビカメラ１０は、ハイビジョンテレビ［ＨＤ（High Definition)ＴＶ］方式に対応したＨＤカメラからなるカメラ本体１４と、カメラ本体１４のレンズマウントに装着される撮影レンズ（光学系）を備えたレンズ装置１２とから構成される。

カメラ本体１４には、撮像素子（例えばＣＣＤ）や所要の信号処理回路等が搭載されており、レンズ装置１２の撮影レンズにより結像された像は、撮像素子により光電変換された後、信号処理回路によって所要の信号処理が施されてＨＤＴＶ方式の映像信号（ＨＤＴＶ信号）として、カメラ本体１４の映像信号出力端子等から外部に出力される。

また、図１のようにカメラ本体１４の上部等に設置されるビューファインダ３６には、テレビカメラ１０の撮影映像が表示されるようになっている。ビューファインダ３６には、撮影映像以外の各種情報が表示されるようになっており、例えば、現在の設定されているＡＦ枠の範囲（位置、大きさ、形状）を示す画像が撮影映像に重畳されて表示されるようになっている。

レンズ装置１２は、カメラ本体１４のレンズマウントに装着される撮影レンズ（ズームレンズ）４４を備えており、その撮影レンズ４４により、被写体４６がカメラ本体１４の撮像素子の撮像面に結像されるようになっている。撮影レンズ４４には、図示を省略するが、その構成要素としてフォーカスレンズ群、ズームレンズ群、絞りなどの撮影条件を調整するための可動部が設けられており、それらの可動部は、モータ（サーボ機構）によって電動駆動されるようになっている。例えば、フォーカスレンズ群やズームレンズ群は光軸方向に移動し、フォーカスレンズ群が移動することによってフォーカス（被写体距離）調整が行われ、またズームレンズ群が移動することによって焦点距離（ズーム倍率）調整が行われる。

尚、ＡＦに関するシステムにおいては、少なくともフォーカスレンズ群が電動で駆動できればよく、その他の可動部は手動でのみ駆動可能であってもよい。

また、レンズ装置１２には、ＡＦユニット４８及び図示しないレンズＣＰＵ等が搭載されている。レンズＣＰＵはレンズ装置１２全体を統括制御するものである。また、ＡＦユニット４８は、ＡＦによるフォーカス制御（自動ピント調整）を行うために必要な情報を取得するための処理部であり、図示を省略するが、ＡＦ処理部、ＡＦ用撮像回路等から構成されている。

ＡＦ用撮像回路はＡＦ処理用の映像信号を取得するためにレンズ装置１２に配置されており、ＣＣＤ等の撮像素子（ＡＦ用撮像素子という）やＡＦ用撮像素子の出力信号を所定形式の映像信号として出力する処理回路等を備えている。尚、ＡＦ用撮像回路から出力される映像信号は輝度信号である。

ＡＦ用撮像素子の撮像面には、撮影レンズ４４の光路上に配置されたハーフミラー等によってカメラ本体１４の撮像素子に入射する被写体光から分岐された被写体光が結像するようになっている。ＡＦ用撮像素子の撮像エリアに対する撮影範囲及び被写体距離（ピントが合う被写体の距離）は、カメラ本体１４の撮像素子の撮像エリアに対する撮影範囲及び被写体距離に一致するように構成されており、ＡＦ用撮像素子により取り込まれる被写体画像は、カメラ本体１４の撮像素子により取り込まれる被写体画像と一致している。なお、両者の撮影範囲に関しては完全に一致している必要はなく、例えば、ＡＦ用撮像素子の撮影範囲の方がカメラ本体１４の撮像素子の撮影範囲を包含する大きな範囲であってもよい。

ＡＦ処理部は、ＡＦ用撮像回路から映像信号を取得し、その映像信号に基づいてＡＦの対象範囲とするＡＦエリア（ＡＦ枠）の範囲内における被写体画像のコントラストの高低を示す焦点評価値を算出する。例えば、ＡＦ用撮像素子から得られた映像信号から高域周波数成分の信号をハイパスフィルタによって抽出した後、その高域周波数成分の信号のうち後述のようにして設定されるＡＦエリアに対応する範囲の信号を１画面（１フレーム）分ずつ積算する。このようにして１画面分ごとに得られる積算値はＡＦエリア内の被写体画像のコントラストの高低を示し、その積算値が焦点評価値としてレンズＣＰＵに与えられる。

レンズＣＰＵは、ＡＦエリアの範囲（輪郭）を示すＡＦ枠の情報（ＡＦ枠情報）を、後述するように画像処理ユニット４２から取得し、そのＡＦ枠情報により指定されたＡＦ枠内の範囲をＡＦエリアとしてＡＦ処理部に指定する。そして、そのＡＦエリア内の画像（映像信号）により求められる焦点評価値をＡＦ処理部から取得する。

このようにしてＡＦ用撮像回路から１画面分の映像信号が取得されるごとに（ＡＦ処理部で焦点評価値が求められるごとに）ＡＦ処理部から焦点評価値を取得すると共に、取得した焦点評価値が最大（極大）、即ち、ＡＦ枠内の被写体画像のコントラストが最大となるようにフォーカスレンズ群を制御する。例えば、焦点評価値に基づくフォーカスレンズ群の制御方式として山登り方式が一般的に知られており、フォーカスレンズ群を焦点評価値が増加する方向に移動させて行き、焦点評価値が減少し始める点を検出すると、その位置にフォーカスレンズ群を設定する。これにより、ＡＦ枠内の被写体に自動でピントが合わせられる。

尚、上述のＡＦ処理部は、焦点評価値を算出するために、レンズ装置１２に搭載されたＡＦ用撮像素子から映像信号を取得しているが、カメラ本体１４の撮像素子より撮影された映像の映像信号をカメラ本体１４から取得するような構成としてもよい。また、ＡＦ枠内の被写体に自動でピントを合わせるためのＡＦ手段はどのようなものであってもよい。

ここで、ＡＦエリア５０は、図３に示すようにカメラ本体１４における撮像素子の撮像エリア５２に対して四角形状の領域として設定され、その輪郭を示す枠５４がＡＦ枠を示し、撮像素子のＡＦエリア５０（ＡＦ枠５４内）の範囲で撮影される被写体がＡＦによりピントを合わせる対象となる。

尚、本明細書では、撮像エリア５２に対するＡＦ枠５４（ＡＦエリア５０）の範囲は、ＡＦ枠５４の位置、大きさ、及び、形状（縦横比）の３つの要素によって決まるものとし、“ＡＦ枠の範囲を変更する”という趣旨の記載は、ＡＦ枠の位置、大きさ、及び、形状の３つの要素のうち、少なくとも１つの要素を変更することを意味するものとする。

また、レンズ装置１２は、ケーブルを介して、又は、直接的にカメラ本体１４と接続され、レンズ装置１２とカメラ本体１４の各々に設けられたシリアル通信インターフェース（ＳＣＩ）１２ａ、１４ａを通じて各種情報のやり取りが行えるようになっている。これによりＡＦユニット４８において現在設定されているＡＦ枠の情報もカメラ本体１４に送信され、カメラ本体１４内での処理によってビューファインダ３６に表示される撮影映像に現在設定されているＡＦ枠の位置、大きさ、形状に対応したＡＦ枠の画像が重畳表示されるようになっている。

画像処理ユニット４２は、フォーカスデマンド２６にＡＦ枠制御装置の構成要素として組み込まれた処理部であり、レンズ装置１２のＡＦユニット４８において設定されるＡＦ枠の範囲（位置、大きさ、形状（縦横比））を後述のマニュアル操作又はＡＦ枠自動追尾の処理により指定するための処理部である。

画像処理ユニット４２は、ＳＣＩ５６ａを備えており、そのＳＣＩ５６ａは、レンズ装置１２に接続され、ＳＣＩ１２ｂを通じてレンズＣＰＵとの間で各種信号のやり取りが行えるようになっている。これにより、ＡＦ枠の範囲を指定するＡＦ枠情報が画像処理ユニット４２からレンズ装置１２のレンズＣＰＵに与えられ、そのＡＦ枠情報に基づいてＡＦユニット４８におけるＡＦ枠の範囲が設定される。

また、フォーカスデマンド２６には画像処理ユニット４２に映像信号を取り込むための映像入力コネクタが設けられており、その映像入力コネクタにカメラ本体１４の映像出力コネクタがダウンコンバータ５８を介してケーブルで接続される。これによって、カメラ本体１４の映像出力コネクタから出力されたＨＤＴＶ信号が、ダウンコンバータ５８によって、標準テレビ［ＮＴＳＣ（National Television System Committee)]方式の映像信号（ＳＤＴＶ信号）に変換（ダウンコンバート）されて、画像処理ユニット４２に入力されるようになっている。

また、詳しくは後述するように、画像処理ユニット４２には、ＡＦ枠自動追尾を行う際に撮影する番組を選択することができるロータリスイッチＳＷにて選択された番組情報が入力されることとしてもよい。

詳細は後述するが画像処理ユニット４２は、ＡＦ枠自動追尾処理を実行する際に、カメラ本体１４から入力された映像信号から１コマ分の撮撮画像を順次取り込み、撮影画像の中から所定の追尾対象の被写体を検出する処理を行う。そして、ＡＦによりその被写体にピントが合わせられるようにＡＦ枠の範囲を決定し、決定したＡＦ枠の範囲をレンズ装置１２のレンズＣＰＵに送信する。

尚、画像処理ユニット４２の構成及び処理内容については後述する。

また、ＬＣＤ４０は、ＡＦ枠自動追尾に関するモード等の設定をタッチ操作（タップ操作）で入力できるようにしたもので、画像処理ユニット４２のＣＰＵ６０によりＬＣＤ４０に表示される画像が設定内容に応じて適宜切り換えられるようになっている。詳しくは後述するが、ＬＣＤ４０には、ＡＦ枠自動追尾を行う際に撮影する番組を選択するためのメニュー表示も行なわれる。なお、ＬＣＤ４０の表示及び操作については後述する。

尚、本実施の形態では、画像処理ユニット４２を備えたＡＦ枠制御装置がフォーカスデマンド２６に組み込まれた態様を示したが、ＡＦ枠制御装置はフォーカスデマンド２６とは別体の装置として構成してもよい。

〔画像処理ユニットの構成及び処理内容〕
次に画像処理ユニット４２の構成及び処理内容について説明する。

画像処理ユニット４２は、主としてメインボード５６、パターンマッチング処理演算ボード６２、認識処理演算ボード６４から構成されている。メインボード５６、パターンマッチング処理演算ボード６２、認識処理演算ボード６４の各々にはＣＰＵ６０、６６、６８が搭載されており、各ボード毎に個別の演算処理が行われると共に、各ＣＰＵ６０、６６、６８は、バスや制御線で接続され、相互にデータのやり取りや、演算処理の同期等が図られるようになっている。

画像処理ユニット４２における処理は、メインボード５６において統括的に行われるようになっている。そのメインボード５６には、演算処理を行う上記ＣＰＵ６０の他に、ＳＣＩ５６ａ、デコーダ（Ａ／Ｄ変換器）７０、ＲＡＭ７２、スーパーインポーザ７４等が搭載されている。

ＳＣＩ５６ａは、上述のようにレンズ装置１２のＳＣＩ１２ｂとの間でシリアル通信を行うためのインターフェース回路であり、上記ＡＦ枠情報等をレンズ装置１２に送信する。

デコーダ７０は、上記ダウンコンバータ５８から画像処理ユニット４２に入力されるテレビカメラ１０の撮影映像の映像信号（ＳＤＴＶ信号）を、画像処理ユニット４２においてデジタル処理可能なデータに変換するための回路である。そして、デコーダ７０は、アナログのＳＤＴＶ信号をデジタルデータの映像信号に変換するＡ／Ｄ変換処理等を行っている。

スーパーインポーザ７４は、上記のデコーダ７０により得られた撮影映像の映像信号と、ＣＰＵ６０により生成される画像信号とを合成し、その合成した映像信号をＬＣＤ４０に出力・表示する回路である。これにより、カメラ本体１４に設置されているビューファインダ３６と同様にテレビカメラ１０の撮影映像がＬＣＤ４０に表示されると共に、その撮影映像に重ねて、現在設定されているＡＦ枠の範囲を示すＡＦ枠の画像や、タッチパネルでの入力操作を行えるようにしたメニュー画面（メニュー画像）等がＬＣＤ４０に表示される。尚、撮影映像に重畳させることなくＣＰＵ６０で生成された画像のみを表示させることも当然可能である。

ＲＡＭ７２は、ＣＰＵ６０の演算処理において使用するデータを一時的に格納するメモリである。

一方、パターンマッチング処理演算ボード６２や認識処理演算ボード６４は、パターンマッチングと顔検出・認識処理を個別に行うための演算ボードであり、各々、演算処理を行うＣＰＵ６６、６８の他に画像データを一時的に格納するＶＲＡＭ７６、７８等を備えている
また、画像処理ユニット４２には、ＳＤ（Secure Digital）カードやＵＳＢメモリなどの外部メモリとしてデータカードを装填するスロット８０，８２が設けられている。

本実施形態では、顔認識により特定の人物の顔を検出する際に、その特定の人物の顔を示す認証データを予め顔認識データカード８４に記憶させておく。そして、その顔認識データカード８４をスロット８０に装填することで、顔認識に必要な認証データを顔認識データカード８４からＣＰＵ６０が読み込めるようになっている。

また、追尾対象の被写体にＡＦ枠を自動追尾させるために必要なパラメータの度合いについて、番組ごとにデータを予めパラメータデータカード８６に記憶させておく。そして、そのパラメータデータカード８６がスロット８２に装填されると、スロット８２は当該データをパラメータデータカード８６から取得しＣＰＵ６０に与え、ＣＰＵ６０は当該データを読み込む。

なお、ＡＦ枠を自動追尾させるために必要なパラメータについての番組ごとのデータを、メインボード５６内に設けたメモリ（不図示）に記憶させておいてもよい。そして、ＡＦ枠を自動追尾させるために必要なパラメータについての番組ごとのデータが、当該メモリからＣＰＵ６０に与えられて読み込まれるようにしてもよい。

続いて、上記のごとく構成された画像処理ユニット４２によるＡＦ枠の制御についてＬＣＤ４０の表示及び操作に関する処理と共に説明する。

まず、ＬＣＤ４０の表示及び操作に関して説明する。図４に示すように、ＬＣＤ４０の画面４０ａには、テレビカメラ１０の撮影映像に重畳して各種ボタン９０〜１０４からなるメニュー画面（メニュー画像）と、現在設定されているＡＦ枠の範囲を示すＡＦ枠の画像８８（単にＡＦ枠８８という）が表示される。

メニュー画面の各種ボタン９０〜１０４やＡＦ枠８８のように撮影映像に重畳される画像は、図２に示した画像処理ユニット４２におけるメインボード５６のＣＰＵ６０により生成される。そして、それらの画像が、スーパーインポーザ７４においてデコーダ７０から得られるテレビカメラ１０の撮影映像に重畳されてＬＣＤ４０に表示されるようになっている。尚、ＬＣＤ４０の表示（表示内容）に関する制御はＣＰＵ６０により行われるものである。

一方、ＬＣＤ４０はタッチパネルを備えており、ＬＣＤ４０の画面４０ａに対して指先等が触れるタッチ操作が行われると、触れた位置（座標）を示す位置情報がＣＰＵ６０に与えられるようになっている。これにより、ＬＣＤ４０の画面４０ａに対して行われたタッチ操作の位置や操作の種類（タップ操作、ダブルタップ操作等）がＣＰＵ６０により検出されるようになっている。そして、その操作に従った処理がＣＰＵ６０により実行されるようになっている。

ＬＣＤ４０の画面４０ａにおける基本的な操作として、各ボタン９０〜１０４に予め割り当てられた指示を入力する操作や、ＡＦ枠８８の範囲を指定する操作があり、前者の操作は、各ボタン９０〜１０４の位置を指先等でタップ操作するものである。後者のＡＦ枠８８の範囲を指定する操作は、例えば、撮影映像が表示されたＬＣＤ４０の画面４０ａ上において、ＡＦ枠８８を移動させたい位置をタップ操作すれば、その位置が中心となるようにＡＦ枠８８を移動させることができる。また、ＡＦ枠８８の頂点や辺を指先等でタッチしてそのままスライドするドラッグ操作によってドラッグ操作した位置までタッチした頂点や辺の位置を移動させてＡＦ枠８８の大きさや形状を変更することができる。

ＬＣＤ４０の画面４０ａに表示されるメニュー画面（メニュー画像）について説明すると、図４において、”固定”と表示された固定モード選択ボタン９０、”物体追尾”と表示された物体追尾モード選択ボタン９２、”顔検出”と表示された顔検出追尾モード選択ボタン９４、”顔認識”と表示された顔認識追尾モード選択ボタン９６は、ＡＦ枠の制御モードを選択するボタンであり、これらのボタン９０〜９６のいずれかをタップ操作することで、固定モード、物体追尾モード、顔検出追尾モード、顔認識追尾モードのうちから所望のモードを選択することできるようになっている。

尚、固定モードは、ＡＦ枠の範囲（位置、大きさ、形状）を操作者がマニュアル操作で指定し、その指定した位置にＡＦ枠を固定するモード（マニュアルモード）であり、ＡＦ枠の自動追尾は行なわれない。その他の各モードの内容については後述する。

”セット”と表示されたセットボタン９８と、”リセット”と表示されたリセットボタン１００は、ＡＦ枠自動追尾の開始と停止を指示するボタンである。

図４において ”表示オフ”と表示されたメニュー表示オン／オフボタン１０２は、このボタン１０２以外のメニュー画面（メニュー画像）の表示をオフするためのボタンである。

”番組選択”と表示された番組選択ボタン１０４は、追尾対象の被写体が撮像される撮像場面に応じたＡＦ枠自動追尾に必要なパラメータとして、撮影する番組に対応したＡＦ枠自動追尾に必要なパラメータを選択して設定するためのボタンである。タップ操作することにより、ＬＣＤ４０の画面４０ａに図５に示すような番組選択用の画面が表示されることになる。

番組選択用の画面としては、例えば、図５に示すように、「１．ドラマ」、「２．歌番組」、「３．スポーツ」、「４．対談」、「５．風景」、「６．カスタム」の表示がなされる。「１．ドラマ」、「２．歌番組」、「３．スポーツ」、「４．対談」、「５．風景」は各番組を選択するための表示である。また、「６．カスタム」は、操作者がＡＦ枠自動追尾に必要なパラメータの度合いを自由に設定することを選択するための表示である。図５では、「２．歌番組」が選択され、反転表示されている例を示している。

なお、図５に示す“戻る”と表示された戻りボタン１０５は、番組選択用の画面から図４に示すような撮像画面に戻るためのボタンである。

また、番組選択ボタン１０４がタップ操作されたときに、ＬＣＤ４０の画面４０ａが図５に示すような番組選択の画面に切り替わること以外にも、テレビカメラ１０の撮影映像の画面に重畳して図５に示すような番組選択の画面が表示されることとしてもよい。

〔ＡＦ枠自動追尾の概要〕
次に、本発明のＡＦ枠自動追尾の処理のフローについて説明する。

図６は、本発明のＡＦ枠自動追尾の処理の概要を示すフローチャート図である。まず、操作者はＬＣＤ４０の画面４０ａに表示される番組選択ボタン１０４をタップ操作する。すると、ＬＣＤ４０の画面４０ａに前記の図５に示すような番組選択用の画面が表示され、操作者は撮影する番組を選択する（ステップＳ１）。このとき、ＣＰＵ６０は、ＬＣＤ４０から操作者により選択された番組情報を取得する。

次に、ＡＦ枠自動追尾における画像処理の演算に使用されるパラメータ（以下、単に「パラメータ」という場合あり）について、ステップＳ１で選択された番組に対応した当該パラメータの度合いが設定される（ステップＳ２）。具体的には、パラメータカード８６（図２参照）に記憶されたパラメータの度合いの設定情報のうち、選択された番組に対応した設定情報がＣＰＵ６０（図２参照）に入力される。

図７にパラメータの度合いの設定例を示す。図７に示すように、パラメータとしては、顔認識処理におけるパターンマッチングの評価値（図中「顔認識評価値」と表記）、顔認識処理において認識できる顔の向きの許容範囲（図中「顔の向き」と表記）、顔検出処理における最大検出人数（図中「最大検出人数」と表記）、顔検出処理において検出可能な最小顔サイズ（図中「最小顔サイズ」と表記）、物体追尾処理におけるパターンマッチングの評価値（図中「マッチング評価値」と表記）などが考えられる。そして、番組選択用の画面で選択された項目ごとに、各パラメータの度合いが設定されている。

なお、図７の設定例においては、顔認識処理におけるパターンマッチングの評価値および顔認識処理において認識できる顔の向きの許容範囲は、追尾対象の被写体に自動追尾させる正確性に影響を与えるパラメータである。また、顔検出処理における最大検出人数および顔検出処理において検出可能な最小顔サイズは、追尾対象の被写体に自動追尾させる速さに影響を与えるパラメータである。

また、図７の設定例においては、各パラメータの度合いを「大」、「中」、「小」で規定しているが、これに限らず数値で規定してもよい。なお、「カスタム」の選択項目においては、操作者が任意に各パラメータの度合いを設定できる。

次に、ＡＦ枠自動追尾の追尾モードを選択する（ステップＳ３）。具体的には、図４の画面４０ａにおいて示した物体追尾モード選択ボタン９２、顔検出追尾モード選択ボタン９４、顔認識追尾モード選択ボタン９６のいずれかをタップ操作して選択する。

そして、各追尾モードによるＡＦ枠自動追尾の処理が行われる（ステップＳ４）。

以上が本発明のＡＦ枠自動追尾の処理の概要の説明である。

〔各追尾モードにおけるＡＦ枠自動追尾の詳細な説明〕
続いて、図６のステップＳ４における各追尾モードにおけるＡＦ枠自動追尾の処理について詳細に説明する。

＜顔認識追尾モードが選択された場合＞
まず、図６のステップＳ３において、図４のＬＣＤ４０の画面４０ａにおける顔認識追尾モード選択ボタン９６をタップ操作すると顔認識追尾モードが選択される。そして、画像処理ユニット４２のメインボード５６に搭載されたＣＰＵ６０（図２参照）は、ステップＳ４において顔認識追尾モードの処理を開始する。

顔認識追尾モードは、事前に認証データとして登録した人物の顔をＡＦ枠で追尾させるモードである。

また、顔認識追尾モードが選択された場合、後述のように顔認識に関連する登録顔画像表示部１０６（１０６ａ〜１０６ｃ）（図９参照）が表示される。また、ＡＦ枠自動追尾の開始は、後述のように認証データとして登録した顔を検出すると自動的に行われるための図４のセットボタン９８も非表示となる。

図８は、顔認識追尾モードの処理手順を示したフローチャートであり、以下、顔認識追尾モードの処理をこのフローチャートに従って説明する。

メインボード５６のＣＰＵ６０は、顔認識追尾モードが選択されると、まず、追尾対象の顔を設定するための処理を行う。即ち、図２に示したスロット８０に装填された顔認識データカード８４には、追尾対象の候補となる１又は複数の人物の顔の認証データが登録されており、ＣＰＵ６０は、その認証データを顔認識データカード８４から読み込む。そして、認識処理演算ボード６４のＣＰＵ６８に対して顔認識処理の開始を指示する。ここで認証データは、例えば、一人について、日の当たり方の違う顔や正面や左あるいは右向きの顔などの異なる顔画像、両目の距離、目と鼻の距離やこれらの比率などの複数のデータから構成されている。

顔認識処理の開始が指示されると、認識処理演算ボード６４のＣＰＵ６８は、デコーダ７０から１コマ分の撮影画像の画像データを取り込み（ステップＳ１１）、その撮影画像の中に含まれる任意の顔（顔画像）を周知の顔検出処理により検出する。続いて、メインボード５６のＣＰＵ６０から認証データを取得し、顔検出処理により検出した顔画像が認証データとして事前に登録されている特定人物の顔画像であるか否かをその認証データを用いて判断する顔認識処理を実行する（ステップＳ１２）。

顔認識処理が終了すると、ＣＰＵ６８はその結果をメインボード５６のＣＰＵ６０に通知する。これにより、ＣＰＵ６０は、認証データとして登録されている特定人物の顔が検出された場合のその顔画像の範囲と、認証データとして登録されていない人物の顔が検出された場合のその顔画像の範囲とを取得する。

次にＣＰＵ６０は、図９に示すように、ＬＣＤ４０の画面４０ａ上において人物の顔が検出された顔画像の範囲に顔枠８８ａ、８８ｂ、８８ｃを表示する。ステップＳ１２の顔認識処理により認証データとして登録されている人物の顔が検出された場合にはその顔枠に人物の名前も表示する。更に、上述のように認証データとして登録されている人物の顔画像を登録顔画像表示部１０６（１０６ａ〜１０６ｃ）に表示する。

操作者は、登録顔画像表示部１０６に表示されている顔画像の中から、追尾対象とする顔画像を、選択ボタン１０８ａ又は１０８ｂをタップ操作して選択する。上側の選択ボタン１０８ａをタップ操作する毎に、選択される顔画像が、現在選択されている顔画像の１つ上側の顔画像に変更され、下側の選択ボタン１０８ｂをタップ操作する毎に、選択される顔画像が、現在選択されている顔画像の１つ下側の顔画像に変更される。尚、登録顔画像表示部１０６において現在選択されている顔画像は他の顔画像より拡大表示される（１０６ｂ参照）。

このようにして認証データとして登録されている顔の中から操作者が追尾対象とする顔を選択すると、ＣＰＵ６０はその選択された顔を追尾対象の顔として設定する（ステップＳ１３）。

以上のようにして追尾対象の顔を設定すると、続いて、ＣＰＵ６０は、その追尾対象の顔がステップＳ１１において検出されているか否かを判定する（ステップＳ１４）。ＮＯと判定した場合、即ち、撮影画像内に追尾対象の顔が検出されなかった場合にはステップＳ１１の処理に戻り、上述の処理を繰り返す。即ち、追尾対処の顔がステップＳ１２の顔認識処理によって撮影画像内で検出されるまで、ステップＳ１１〜ステップＳ１４の処理を繰り返す。

一方、ステップＳ１４においてＹＥＳと判定した場合には、即ち、撮影画像内に追尾対象の顔が検出された場合にはその顔画像の範囲をＡＦ枠の範囲として設定する。

そして、ＣＰＵ６０（及び認識処理演算ボード６４のＣＰＵ６８）は顔認識処理によるＡＦ枠自動追尾の処理（ステップＳ１６〜Ｓ２２）を開始すると共に、このＡＦ枠自動追尾の処理で決定されるＡＦ枠の範囲をレンズ装置１２のレンズＣＰＵに指定する処理（ＡＦ枠情報の送信）を開始し、追尾スタートとなる（ステップＳ１５）。

ＡＦ枠自動追尾の処理を開始すると、認識処理演算ボード６４のＣＰＵ６８は、ＣＰＵ６０からの顔認識処理の実行の指示によりデコーダ７０から１コマ分の撮影画像の画像データを取り込む（ステップＳ１６）。

そして、その撮影画像の中に含まれる任意の顔（顔画像）を周知の顔検出処理により検出する（ステップＳ１７）。

次に、メインボード５６のＣＰＵ６０から認証データを取得し、顔検出処理により検出した顔画像が認証データとして事前に登録されている特定人物の顔画像であるか否かをその認証データを用いて判断する顔認識処理を実行する（ステップＳ１８）。

次に、ステップＳ１３において設定した追尾対象の顔が検出されたか否かを判断する（ステップＳ１９）。

そして、設定した追尾対象の顔が検出されたと判断された場合には、その顔画像の範囲をＣＰＵ６０に通知し、ＣＰＵ６０は、追尾対象の顔が移動したか否か、即ち、検出した顔画像の範囲が、現在設定されているＡＦ枠の範囲と相違しているか否かを判定する（ステップＳ２０）。

ステップＳ２０においてＹＥＳと判定した場合には、ステップＳ１８において検出した顔画像の範囲を新たなＡＦ枠の範囲として更新する（ステップＳ２１）。このとき、そのＡＦ枠の範囲を示すＡＦ枠情報をレンズ装置１２のレンズＣＰＵに送信する。

次に、リセットボタン１００（図４参照）がタップ操作されてＡＦ枠自動追尾の停止指示があったか否かを判定する（ステップＳ２２）。

なお、ステップＳ１９およびステップＳ２０においてＮＯと判定した場合には、ステップＳ２１におけるＡＦ枠の更新は行わず、ステップＳ２２の処理に移る。

そして、ステップＳ２２において、停止指示があったと判定された場合にはＡＦ枠自動追尾を終了する一方、停止指示がなかったと判定された場合にはステップＳ１６の処理に戻る。

なお、追尾対象の顔として設定されている人物が撮影範囲外に移動した場合のように、ステップＳ１９の処理において撮影画像の中に追尾対象の顔がないと判断された場合には、追尾不能と判断してＡＦ枠自動追尾の処理を自動で停止し、ステップＳ１１に戻ってもよい。

ここで本発明では、図６のステップＳ１にて番組を選択し、ステップＳ２においてＡＦ枠自動追尾における画像処理の演算に使用されるパラメータについて選択した番組に対応した度合いが設定されている。そこで、以下のような効果を得ることができる。

まず、図６のステップＳ１にて対談番組が選択されていた場合には、図７に示すように、顔認識処理における評価値が「大」、顔認識処理において認識できる顔の向きの許容範囲が「大」、顔検出人数の上限値が「中」、検出可能とする顔サイズが「中」に設定されている。そのため、ステップＳ１８において小さな顔サイズまで多くの人数の顔を検出し、ステップＳ１９において検出された顔の向きがそれぞれ大きく異なっていても検出精度を高めつつ顔認識を行なうので、顔認識の正確性が高くなる。したがって、対談番組の出演者の顔を正確に認識でき、特定の出演者の顔を正確に自動追尾することができる。

また、ステップＳ１にてスポーツ番組が選択されていた場合には、図７に示すように、顔認識処理における評価値が「小」、顔認識処理において認識できる顔の向きの許容範囲が「小」、顔検出人数の上限値が「小」、検出可能とする顔サイズが「大」に設定されている。そのため、ステップＳ１８においてできるだけサイズが大きい顔について人数を絞って検出し、ステップＳ１９において評価値を下げて顔認識処理を行なうので、顔検出処理および顔認識処理のスピードが高くなる。したがって、スポーツ番組で素早い動作を行う選手の顔を、素早く自動追尾することができる。

また、ステップＳ１にて歌番組が選択されていた場合には、図７に示すように、顔認識処理における評価値が「中」、顔認識処理において認識できる顔の向きの許容範囲が「大」、顔検出人数の上限値が「大」、検出可能とする顔サイズが「中」に設定されている。そのため、ステップＳ１８において中程度の顔サイズ以上の人数の顔を検出し、多くの人数を顔検出できる。また、ステップＳ１９において中程度の評価値に基づき処理を行い、認識できる顔の向き許容範囲を大きくして処理を行う。したがって、歌番組で大人数の歌手が出演し各人の顔が異なる方向を向いている場合であっても、正確にＡＦ枠を追尾させることができる。

また、ステップＳ１にてドラマが選択されていた場合には、図７に示すように、顔認識処理における評価値が「中」、顔認識処理において認識できる顔の向きの許容範囲が「中」、顔検出人数の上限値が「中」、検出可能とする顔サイズが「中」に設定されている。そのため、ステップＳ１８において中程度の顔サイズ以上の顔を検出し、中程度の人数を顔検出できる。また、ステップＳ１９において中程度の評価値に基づき処理を行い、認識できる顔の向きの許容範囲も中程度として処理を行う。したがって、ドラマにおいて複数の俳優が出演している場面においても、確実に特定の俳優についてその顔にＡＦ枠を追尾させることができる。

なお、ステップＳ１にてカスタムが選択されていた場合には、操作者が予め設定した各パラメータの度合いに従って、顔検出処理および顔認識処理を行いながらＡＦ枠の自動追尾を行なうことができる。

以上が、ステップＳ３において顔認識追尾モードを選択した場合の説明である。

＜顔検出追尾モードが選択された場合＞
次に、ステップＳ３において、図４のＬＣＤ４０の画面４０ａにおいて顔検出追尾モード選択ボタン９４をタップ操作すると顔検出追尾モードが選択され、画像処理ユニット４２のメインボード５６に搭載されたＣＰＵ６０は、ステップＳ４において顔検出追尾モードの処理を開始する。

顔検出追尾モードは、任意の人物の顔をＡＦ枠で追尾させるモードである。

図１０は、顔検出追尾モードの処理手順を示したフローチャートであり、以下、顔検出追尾モードの処理をこのフローチャートに従って説明する。

メインボード５６のＣＰＵ６０は、顔検出追尾モードが選択されると、まず、追尾対象の顔を設定するための処理を行う。即ち、ＣＰＵ６０は、認識処理演算ボード６４のＣＰＵ６８に対して顔検出処理の開始を指示する。これにより、まず、認識処理演算ボード６４のＣＰＵ６８は、デコーダ７０から１コマ分の撮影画像の画像データを取り込む（ステップＳ３１）。

次に、その撮影画像の中に含まれる任意の人物の顔（顔画像）を検出する周知の顔検出処理を、顔が検出されるまで行う（ステップＳ３２，３３）。そして、検出した顔画像の範囲をメインボード５６のＣＰＵ６０に通知する。

ＣＰＵ６０は、図１１に示すように、検出された顔画像の範囲を顔枠８８ａ、８８ｂ、８８ｃとしてＬＣＤ４０の画面４０ａに表示させる。そして、操作者が、それらの顔枠８８ａ、８８ｂ、８８ｃにより示された人物の顔のうち、追尾対象（ＡＦの対象）とする顔をタップ操作によって選択（指定）すると、ＣＰＵ６０はその選択された顔を追尾対象とし、その追尾対象とした顔の顔枠をＡＦ枠として設定する（ステップＳ３４）。

次に、選択した顔枠内の顔画像を基準パターン画像としてＣＰＵ６０に登録する（ステップＳ３５）。

以上の追尾対象の顔を設定する処理によりＡＦ枠を設定した後、操作者が、ＡＦ枠自動追尾の開始を指示する操作を行うと、ＣＰＵ６０（及び認識処理演算ボード６４のＣＰＵ６８）は顔検出処理によるＡＦ枠自動追尾の処理（ステップＳ３７〜Ｓ４４）を開始すると共に、このＡＦ枠自動追尾の処理で決定されるＡＦ枠の範囲をレンズ装置１２のレンズＣＰＵに指定する処理（ＡＦ枠情報の送信）を開始する（ステップＳ３６）。

ここで、ＡＦ枠自動追尾の開始の指示は、セットボタン９８のタップ操作や、ＡＦ枠の位置のダブルタップ操作等によって行うことができる。

また、ステップＳ３４において、追尾対象の顔とする顔枠を選択する際に（ＡＦ枠を設定する際に）、選択する顔枠をタップ操作する代わりにダブルタップ操作することによって、その顔枠をＡＦ枠として設定すると同時にＡＦ枠自動追尾の開始を指示することができる。ただし、任意の位置でのダブルタップ操作を単にＡＦ枠自動追尾の開始を指示する操作とする態様も可能であり、その場合にはＡＦ枠の設定とは無関係に任意の位置でダブルタップ操作を行ってＡＦ枠自動追尾の開始を指示するものとなる。

また、ステップＳ３４においてＡＦ枠を設定した際に、自動的にＡＦ枠自動追尾の処理を開始するようにしてもよい。

ＡＦ枠自動追尾の処理を開始すると、認識処理演算ボード６４のＣＰＵ６８は、ステップＳ３０及びステップＳ３２の処理と同様にＣＰＵ６０からの顔検出処理の実行の指示によりデコーダ７０から１コマ分の撮影画像の画像データを取り込み（ステップＳ３７）、その撮影画像の中に含まれる任意の人物の顔を検出する顔検出処理を行う（ステップＳ３８）。そして、検出した顔画像の範囲をメインボード５６のＣＰＵ６０に通知する。

ＣＰＵ６０は、ステップＳ３５で登録した基準パターン画像と検出した顔画像のパターンマッチング処理を行い（ステップＳ３９）、追尾対象の顔画像を検出する（ステップＳ４０）。

続いてＣＰＵ６０は、追尾対象の顔が移動したか否か、即ち、検出した顔画像の範囲が、現在設定されているＡＦ枠の範囲と相違しているか否かを判定する（ステップＳ４１）。

ステップＳ４１においてＹＥＳと判定した場合、即ち、検出した顔画像の範囲が現在設定されているＡＦ枠の範囲と相違していると判定した場合には、ステップＳ４０において検出した顔画像の範囲を新たなＡＦ枠の範囲として更新する（ステップＳ４２）。このとき、そのＡＦ枠の範囲を示すＡＦ枠情報をレンズ装置１２のレンズＣＰＵに送信する。そして、ステップＳ４０で検出した顔枠内の顔画像を基準パターン画像としてＣＰＵ６０に更新登録する（ステップＳ４３）。

一方、ステップＳ４１においてＮＯと判定した場合、即ち、検出した顔画像の範囲が現在設定されているＡＦ枠の範囲と相違していないと判定した場合には、ステップＳ４２におけるＡＦ枠の更新は行わず、ステップＳ４３の処理に移る。

次に、リセットボタン１００（図４参照）がタップ操作されてＡＦ枠自動追尾の停止指示があったか否かを判定する（ステップＳ４４）。そして、停止指示があったと判定された場合にはＡＦ枠自動追尾を終了する一方、停止指示がなかったと判定された場合にはステップＳ３７の処理に戻る。

また、ステップＳ３８の顔検出処理において撮影画像の中に顔画像が全く検出されなかった場合や、ステップＳ４０の追尾対象の顔画像の検出において全く検出されなかった場合には、追尾不能としてＡＦ枠自動追尾の処理を自動的に停止してステップＳ３１に戻ってもよい。

ここで本発明では、図６のステップＳ１にて番組を選択し、ステップＳ２においてＡＦ枠自動追尾における画像処理の演算に使用されるパラメータについて選択した番組に対応した度合いが設定されている。そこで、以下のような効果を得ることができる。

まず、図６のステップＳ１にて対談番組が選択されていた場合には、図７に示すように、顔検出人数の上限値が「中」、検出可能とする顔サイズが「中」に設定されている。そのため、ステップＳ３８において中程度の人数、中程度の顔サイズの検出が可能である。したがって、出演者の動きが小さいと考えられる対談番組において、確実にＡＦ枠自動追尾の処理を行うことができる。

また、図６のステップＳ１にてスポーツ番組が選択されていた場合には、図７に示すように、顔検出人数の上限値が「小」、検出可能とする顔サイズが「大」に設定されている。そのため、ステップＳ３８においてできるだけサイズが大きい顔について人数を絞って検出する。したがって、スポーツ番組で素早い動作を行う選手の顔を、素早く自動追尾することができる。

また、ステップＳ１にて歌番組が選択された場合には、図７に示すように、顔検出人数の上限値が「大」、検出可能とする顔サイズが「中」に設定されている。そのため、ステップＳ１８において中程度の顔サイズ以上の人数の顔を検出し、多くの人数を顔検出できる。したがって、歌番組で大人数の歌手が出演している場合であっても、確実にＡＦ枠自動追尾の処理を行うことができる。

また、ステップＳ１にてドラマが選択された場合には、図７に示すように、顔検出人数の上限値が「中」、検出可能とする顔サイズが「中」に設定されている。そのため、ステップＳ３８において中程度の人数、中程度の顔サイズの検出が可能である。したがって、ドラマにおいて複数の俳優が出演している場面においても、確実にＡＦ枠自動追尾の処理を行うことができる。

なお、ステップＳ１にてカスタムが選択された場合には、操作者が予め設定した各パラメータの度合いに従って、顔検出処理および顔認識処理を行いながらＡＦ枠の自動追尾を行なうことができる。

以上が、ステップＳ３において顔検出追尾モードを選択した場合の説明である。

＜物体追尾モードが選択された場合＞
次に、ステップＳ３において、図４のＬＣＤ４０の画面４０ａにおいて物体追尾モード選択ボタン９２をタップ操作すると物体追尾モードが選択され、画像処理ユニット４２のメインボード５６に搭載されたＣＰＵ６０は、ステップＳ４において物体追尾モードの処理を開始する。

物体追尾モードは、ＡＦ枠自動追尾の１つのモードであり、任意の種類の物体をＡＦ枠で追尾させるモードである。

図１２は、物体追尾モードの処理手順を示したフローチャートであり、以下、物体追尾モードの処理をこのフローチャートに従って説明する。尚、物体追尾モードが選択された場合にＬＣＤ４０の画面４０ａには、図４に示したものと同様のメニュー画面が表示される。

操作者は、追尾対象（ＡＦの対象）とする被写体画像が含まれるようにＡＦ枠の範囲を指定し、これに従ってＣＰＵ６０はＡＦ枠の範囲を設定する（ステップＳ５１）。この物体追尾モードでは人物の顔以外の物体を追尾対象とすることができる。

続いて操作者が、ＡＦ枠自動追尾の開始を指示する操作を行うと、ＣＰＵ６０（及びパターンマッチング処理演算ボード６２のＣＰＵ６６）はパターンマッチングによるＡＦ枠自動追尾の処理（ステップＳ５３〜Ｓ５９）を開始すると共に、ＡＦ枠自動追尾の処理で決定されるＡＦ枠の範囲をレンズ装置１２のレンズＣＰＵに指定する処理（ＡＦ枠情報の送信）を開始する（ステップＳ５２）。

尚、ＡＦ枠自動追尾の開始の指示は、図４に示したＬＣＤ４０の画面４０ａ上において、セットボタン９８をタップ操作するか、又は、任意の位置（ＡＦ枠を設定する位置）をダブルタップ操作することによって行われる。ＬＣＤ４０の画面４０ａ上において、ダブルタップ操作することによってＡＦ枠自動追尾の開始を指示する場合には、ステップＳ１０におけるＡＦ枠の位置の設定も同時に行うことができる。ただし、任意の位置でのダブルタップ操作を単にＡＦ枠自動追尾の開始を指示する操作とする態様も可能であり、その場合にはＡＦ枠の位置の設定とは無関係のものとなる。

ＡＦ枠自動追尾の処理を開始すると、ＣＰＵ６０からの指示によりパターンマッチング処理演算ボード６２のＣＰＵ６６は、デコーダ７０から１コマ分の撮影画像の画像データを取り込む（ステップＳ５３）。続いて、現在設定されているＡＦ枠の範囲をＣＰＵ６０から取得し、取り込んだ撮影画像のうちＡＦ枠の範囲内の画像を基準パターンの画像として設定（記憶）する（ステップＳ５４）。そして、以下のステップＳ５５〜Ｓ５９の処理を繰り返し実行する。

まず、ＣＰＵ６６は、デコーダ７０から１コマ分の撮影画像の画像データを取り込み（ステップＳ５５）、パターンマッチング処理を行って、撮影画像の中から基準パターンの画像に一致する画像範囲を検出する（ステップＳ５６）。そして、その検出した画像範囲をメインボード５６のＣＰＵ６０に通知する。

ＣＰＵ６０は、基準パターンの画像が移動したか否か、即ち、基準パターンを検出した画像範囲が、現在設定されているＡＦ枠の範囲と相違しているか否かを判定する（ステップＳ５７）。尚、撮影画像内での基準パターンの画像の大きさが変化した場合もこの判定処理でＹＥＳと判定される。

ステップＳ５７においてＹＥＳと判定した場合には、ステップＳ２０において検出した画像範囲を新たなＡＦ枠の範囲として設定（更新）し、そのＡＦ枠の範囲を示すＡＦ枠情報をレンズ装置１２のレンズＣＰＵに送信する（ステップＳ５８）。

また、パターンマッチング処理演算ボード６２のＣＰＵ６６は、ステップＳ２２において検出した画像範囲の画像を新たな基準パターンの画像として更新する（ステップＳ５９）
ステップＳ５７においてＮＯと判定した場合には、ステップＳ５８におけるＡＦ枠の更新は行わず、ステップＳ５９における基準パターンの更新のみが行われる。

ステップＳ５９の処理が終了すると、ステップＳ５５の処理に戻る。

このような物体追尾モードは、ステップＳ１において風景を選択した場合に使用されるのに適しているが、その他の番組を選択した場合でも使用してもよい。

そして、このような物体追尾モードにおいても図７に示すように、ステップＳ５６のパターンマッチング処理における評価値をパラメータとして、その度合いを設定しておくことで、番組に適したＡＦ枠の自動追尾を行なうことができる。

〔他の実施形態〕
上記の実施形態においては、番組に対応させたＡＦ枠を自動追尾をさせるために必要な各パラメータの度合いを設定することとしたが、これ以外にも番組に対応させてスイッチの画面配置やセーフティーゾーンなどの補助線の切り替えを行なうようにしてもよい。

また、図５に示すような番組選択の画面ではなく、追尾スピード優先や顔認識優先などの項目を選択できる画面とし、各項目にＡＦ枠を自動追尾させるために必要な各パラメータの度合いを設定することとしてもよい。

以上、本発明のＡＦ枠自動追尾システムおよびＡＦ枠自動追尾方法について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。

１…ＡＦ枠自動追尾システム、１０…テレビカメラ、１２…レンズ装置、１４…カメラ本体、２６…フォーカスデマンド、３６…ビューファインダ、４０…タッチパネル付き液晶ディスプレイ（ＬＣＤ）、４２…画像処理ユニット、４８…ＡＦユニット、５８…ダウンコンバータ、５６…メインボード、６２…パターンマッチング処理演算ボード、６４…認識処理演算ボード、７０…デコーダ、６０，６６，６８…ＣＰＵ、７４…スーパーインポーザ、８０，８２…スロット、８４…顔認識データカード、８６…パラメータデータカード、９２…物体追尾モード選択ボタン、９４…顔検出追尾モード選択ボタン、９６…顔認識追尾モード選択ボタン、９８…セットボタン、１００…リセットボタン、１０２…メニュー表示オン／オフボタン、１０４…番組選択ボタン

Claims (7)

1. 光学系により結像された被写体像を撮像する撮像手段と、
   前記撮像手段により撮像された撮像画像に設定されるＡＦ枠内の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス手段と、
   前記撮像画像について画像処理を行って当該画像処理の演算結果をもとに前記ＡＦ枠の範囲の情報を前記オートフォーカス手段に与えて前記ＡＦ枠を追尾対象の被写体に自動追尾させるＡＦ枠自動追尾手段と、
   前記画像処理の演算に使用するパラメータの度合いの情報を前記ＡＦ枠自動追尾手段に与えるパラメータ授与手段と、を有し、
   前記パラメータとして、前記追尾対象の被写体に自動追尾させる正確性に影響を与えるパラメータおよび前記追尾対象の被写体に自動追尾させる速さに影響を与えるパラメータのうちの少なくともいずれか１つが含まれること、
   を特徴とするＡＦ枠自動追尾システム。
2. 前記パラメータ授与手段は、前記追尾対象の被写体が撮像される撮像場面に応じた前記パラメータの度合いの情報を与えること、
   を特徴とする請求項１のＡＦ枠自動追尾システム。
3. 前記撮像場面を選択する選択手段を有すること、
   を特徴とする請求項２のＡＦ枠自動追尾システム。
4. 前記パラメータ授与手段は、前記パラメータの度合いの情報が記憶された記憶手段が装着され当該記憶手段から前記パラメータの度合いの情報を取得するパラメータ情報取得手段を備えること、
   を特徴とする請求項１乃至３のいずれか１つのＡＦ枠自動追尾システム。
5. 前記ＡＦ枠自動追尾手段は、前記画像処理として前記追尾対象の被写体の顔画像が認識データに登録された特定人物の顔画像であるか否かを判断する顔認識処理を行うものであって、
   前記パラメータとして、前記顔認識処理における判断の正確性に影響を与えるパラメータが含まれること、
   を特徴とする請求項１乃至４のいずれか１つのＡＦ枠自動追尾システム。
6. 前記顔認識処理における判断の正確性に影響を与えるパラメータとして、前記顔認識処理におけるパターンマッチング評価値が含まれること、
   を特徴とする請求項５のＡＦ枠自動追尾システム。
7. 光学系により結像された被写体像を撮像する撮像手段により撮像された撮像画像について画像処理を行って当該画像処理の演算結果をもとにＡＦ枠を追尾対象の被写体に自動追尾させるＡＦ枠自動追尾手段に対し前記画像処理の演算に使用するパラメータの度合いの情報を与えるものであって、
   前記パラメータとして、前記追尾対象の被写体に自動追尾させる正確性に影響を与えるパラメータおよび前記追尾対象の被写体に自動追尾させる速さに影響を与えるパラメータのうちの少なくともいずれか１つが含まれること、
   を特徴とするＡＦ枠自動追尾方法。

Images