JP2005338352A - オートフォーカスシステム - Google Patents

Abstract

【課題】追尾用撮像素子を記録又は再生用の映像用撮像素子とは別に設けて追尾用撮像素子により映像用撮像素子と同一撮影範囲の被写体画像を撮像し、その映像信号によりＡＦの対象被写体の画面上での移動を検出しながらＡＦの対象範囲であるＡＦエリア（ＡＦ枠）を追尾させることによって、追尾用の映像信号として適切な画質、フレームレート、明るさの映像信号を取得できるようにしたオートフォーカスシステムを提供する。
【解決手段】追尾装置１６は、追尾用撮像素子２３から信号処理部２４を介して映像信号を取得し、その映像信号に基づいてＡＦの対象被写体の移動を検出する。そして、その対象被写体の移動に追従するようにＡＦエリアの位置を移動させる。
【選択図】 図１

Description

本発明はオートフォーカスシステムに係り、特にカメラの撮影範囲のうちオートフォーカス（ＡＦ）の対象範囲とするＡＦエリアを対象被写体に自動で追尾させるオートフォーカスシステムに関する。

テレビカメラのように撮影素子（ＣＣＤ等）により被写体の画像を電気信号（画像信号）に変換する撮像システムでは、オートフォーカス（以下、ＡＦという）の方式として一般的にコントラスト方式が採用されている。コントラスト方式は、撮像素子により取り込まれた被写体画像の画像信号から被写体画像のコントラストを検出し、そのコントラストが最も高くなるように撮影レンズのフォーカスを制御することによって最良ピント状態に自動でピント合わせを行う方式である。

コントラスト方式のＡＦでは、カメラの撮影範囲内にある被写体の全体をＡＦの対象とするのではなく、撮影範囲のうちの一部の範囲にある被写体のみを対象とすることが多い。例えば、撮像素子の撮像エリア全体により取り込まれた被写体画像の画像信号のうち、ＡＦの対象とする範囲の画像信号を抽出し、その抽出した範囲の画像信号のコントラストが最も高くなるようにフォーカスを制御している。これによってＡＦの対象が一部の範囲にある被写体に限定される。尚、本明細書ではカメラにより撮影される被写体の範囲（被写体画像の画面範囲）のうち、ＡＦの対象とする被写体の範囲をＡＦエリアといい、そのＡＦエリアの輪郭を示す枠をＡＦ枠というものとする。

また、単一のＡＦエリアが撮影範囲（画面）内の所定位置に固定されている場合、一般的には矩形のＡＦエリアが画面の中央部に設定されるが、操作者の指定によってＡＦエリアの位置を変更可能にしたものも知られている（例えば、特許文献１参照）。尚、本明細書ではＡＦエリアの画面上での位置（例えば矩形のＡＦエリアの中心点や４隅のうちのいずれかの点の位置）を決める画面上の点をＡＦポイントという。テレビカメラ等で操作装置を用いてＡＦポイントを指定する場合には、ＡＦポイントの縦横への移動を指示することができるトラックボールやジョイスティック等が用いられている。
特開２００２−３６５５１９号公報

しかしながら、ＡＦポイントを変更可能にした場合であっても、ピントを合わせたいＡＦの対象被写体が画面上で移動する物体の場合には、トラックボールやジョイスティック等の操作装置を操作してその対象被写体の動きに合わせてＡＦポイントを動かす必要がある。そのため、その操作に手間や注意力を要する。特に対象被写体が画面上を高速で移動している場合には操作装置を操作して対象被写体の動きに合わせてＡＦポイントを動かすのは難しいという問題がある。

そこで、カメラから被写体画像の画像信号（映像信号）を取得し、その映像信号に基づいて画面上での対象物の移動（位置）を自動で検出（追尾）する追尾装置を用いて、ＡＦエリア内の対象被写体の動きに合わせてＡＦエリアを自動で移動させるようにするシステムが有効と考えられる。これによれば、操作者は、ピントを合わせたい対象被写体を一度指定すればよく、その後は、画面上での対象被写体の移動に追従してＡＦエリアが自動で移動するため、手間なく対象物にピントを合わせ続けることができる。

しかしながら、このようなシステムにおいて、記録又は再生用として使用される被写体画像の画像信号を追尾装置での追尾用の画像信号として使用すると、次のような問題がある。

例えば、放送用のテレビカメラ（特にＨＤＴＶ対応のテレビカメラ）で得られる被写体画像の画像信号（映像信号）は一般に高画質（高解像度）であるが、追尾用の画像信号としてはそれほど高画質である必要がない。もし、テレビカメラの画像信号を追尾用の画像信号として追尾装置に取り込む場合には、追尾装置の各処理回路を高画質の画像信号に対応させるか、又は、追尾用の画像信号として妥当な画質までダウンコンバートする必要がある。そのため、追尾装置の各処理回路に高処理能力の高価な回路を使用するか、ダウンコバート回路を付加しなければならず、装置のコストが高くなるという問題がある。また、コスト面だけでなく、高画質の画像信号を処理する場合には低画質の画像信号を処理するよりも多くの電力が必要となり、高画質の画像信号をダウンコンバートする場合でもその処理に多くの電力を要するという問題がある。

また、高速で移動する対象被写体を追尾する場合には、撮像素子により単位時間当たりに撮像する被写体画像のフレーム数、即ち、フレームレートを高くした方が好適と考えられるが、記録又は再生用の被写体画像を撮像素子で撮像する場合のフレームレートは規格で決められているため、追尾用として適切な画像信号を取得するためにそのフレームレートに変更することはできない。同様に、追尾用の被写体画像の画像信号として適切な明るさ（信号レベル）となるように露光調整を行いたいという場合であっても、記録又は再生用の被写体画像の画像信号として適切な明るさとなるように露光調整を行う必要があるため、追尾用として適切な画像信号を取得するため露光調整を行うこともできない。

本発明はこのような事情に鑑みてなされたもので、画面上での対象被写体の移動を検出するための追尾用の被写体画像の画像信号として適切な画質の画像信号を取得し、また、追尾用として適切な画像信号を取得するために必要に応じてフレームレートの変更や露光調整を行うことによってＡＦエリア（ＡＦ枠）を対象被写体に確実に追尾させることができるオートフォーカスシステムを提供することを目的とする。

前記目的を達成するために、請求項１に記載のオートフォーカスシステムは、カメラの撮影範囲のうちＡＦエリアの範囲の被写体をオートフォーカスの対象として撮影レンズのフォーカスを制御し、前記被写体に自動でピント合わせを行うオートフォーカスシステムにおいて、ピントを合わせる対象被写体を指定する対象被写体指定手段と、前記カメラの撮影範囲の被写体画像を撮像する撮像手段であって、記録又は再生用の被写体画像を撮像する前記カメラの撮像手段とは別に設けられた追尾用撮像手段と、前記追尾用撮像手段によって撮像された被写体画像の画像信号に基づいて前記対象被写体指定手段により指定された対象被写体の撮影範囲内での移動を検出する対象被写体移動検出手段と、前記対象被写体移動検出手段により検出された前記対象被写体の移動に追従するように前記ＡＦエリアの範囲を変更するＡＦエリア変更手段と、を備えたことを特徴としている。本発明によれば、記録又は再生用の被写体画像を撮像するためのカメラの撮像手段とは別の追尾用撮像手段によって追尾用の被写体画像を撮像するようにしたため、追尾用の画像信号として適切な画質の画像信号を取得することができる。

請求項２に記載のオートフォーカスシステムは、請求項１に記載の発明において、前記追尾用撮像手段が単位時間当たりに撮像する被写体画像のフレーム数を変更するフレームレート変更手段を備えたことを特徴としている。本発明によれば、追尾用として適切なフレームレートで被写体画像の画像信号を取得することができ、ＡＦエリアを対象被写体に確実に追尾させることができる。

請求項３に記載のオートフォーカスシステムは、請求項２に記載の発明において、前記フレームレート変更手段は、前記対象被写体移動検出手段によって検出された対象被写体の移動の速度に基づいて前記追尾用撮像手段が単位時間当たりに撮像する被写体画像のフレーム数を変更することを特徴としている。本発明によれば、対象被写体の移動速度によってフレームレートを変更することによって最適なフレームレートに自動で変更することができる。

請求項４に記載のオートフォーカスシステムは、請求項１に記載の発明において、前記追尾用撮像手段によって撮像する被写体画像の明るさを変更する露光調整手段を備えたことを特徴としている。本発明によれば、追尾用として適切な明るさで被写体画像の画像信号を取得することができ、ＡＦエリアを対象被写体に確実に追尾させることができる。

本発明に係るオートフォーカスシステムによれば、画面上での対象被写体の移動を検出するための追尾用の画像信号として適切な画質の画像信号を取得することができる。また、追尾用として適切な画像信号を取得するために必要に応じてフレームレートの変更や露光調整を行うことができ、ＡＦエリア（ＡＦ枠）を対象被写体に確実に追尾させることができるようになる。

以下、添付図面に従って本発明に係るオートフォーカスシステムの好ましい実施の形態について詳説する。

図１は、本発明に係るオートフォーカスシステムが適用される撮像システムの全体構成を示したブロック図である。同図に示す撮像システムは、例えば放送用テレビカメラでの撮影に用いられる撮像システムであり、同図にはレンズ交換可能なカメラヘッド１０、カメラヘッド１０のレンズマウントに装着される撮影レンズ（光学系）を備えたレンズ装置１２、枠操作部１４、及び、追尾装置１６等が示されている。

カメラヘッド１０には、図示しない撮像素子（例えばＣＣＤ）や所要の信号処理回路等が搭載されており、レンズ装置１２の撮影レンズに入射した被写体光は、撮影レンズによってそのカメラヘッド１０の撮像素子の撮像面に結像される。尚、カメラヘッド１０の撮像素子は、記録又は再生用の映像（映像信号）を取得するための撮像素子であり、本明細書では映像用撮像素子という。映像用撮像素子の撮像面に結像された像（被写体画像）は光電変換された後、カメラヘッド１０の信号処理回路によって所要の信号処理が施される。これによって、所定形式の映像信号が生成され、カメラヘッド１０の映像信号出力端子等から外部機器に出力される。また、カメラヘッド１０には、構図の確認等のためのビューファインダ（モニタ）１８が設置されており、そのビューファインダ１８にカメラヘッド１０からの映像信号が与えられ、カメラヘッド１０で撮影されているリアルタイムの映像がビューファインダ１８の画面上に表示されるようになっている。また、ビューファインダ１８の画面上にはオートフォーカス（ＡＦ）の対象とするＡＦエリアの範囲を示すＡＦ枠等の情報も表示される。

レンズ装置１２は、図示しない撮影レンズ（光学系）を備えており、その撮影レンズはカメラヘッド１０のレンズマウントに装着される。撮影レンズに入射した被写体光は、撮影レンズに配置されている各種レンズ群を通過してカメラヘッド１０の映像用撮像素子の撮像面に結像される。撮影レンズには、固定のレンズ群の他に、可動のフォーカスレンズ群、ズームレンズ群、絞りなどが配置されており、それらは図示しないモータ（サーボ機構）によって電動駆動されるようになっている。例えば、フォーカスレンズ群やズームレンズ群は光軸方向に移動し、フォーカスレンズ群が移動することによってフォーカス（被写体距離）調整が行われ、ズームレンズ群が移動することによって焦点距離（ズーム倍率）調整が行われる。尚、本実施の形態のようにオートフォーカスに関するシステムにおいては、少なくともフォーカスレンズ群が電動で駆動できればよく、その他の可動の構成部は手動でのみ駆動可能であってもよい。また、所定の可動の構成部を操作者の操作に従って電動駆動する場合には、図示しない操作部（レンズ装置１２に接続されるコントローラの操作部等）から操作者の操作に従って出力されるコントロール信号に基づいて制御されるが詳細は省略する。

また、同図に示すように、レンズ装置１２には、レンズＣＰＵ２０、ＡＦ処理部２１、信号処理部２４、撮像素子２３等が搭載されている。レンズＣＰＵ２０は、レンズ装置１２全体を統括制御しており、モータを制御して撮影レンズのフォーカスレンズ群等を制御し、また、レンズ装置１２内の各処理部の動作開始や停止などの制御を行っている。

ＡＦ処理部２１は、カメラヘッド１０の映像用撮像素子によって得られた映像信号をカメラヘッド１０から取得し、その映像信号に基づいて被写体画像のコントラストの高低を示す焦点評価値を算出する。例えば、カメラヘッド１０から取得した映像信号の高域周波数成分の信号をハイパスフィルタによって抽出した後、その高域周波数成分の信号のうちＡＦの対象とするＡＦエリアに対応する範囲の信号を１画面（１フレーム又は１フィールド）分ずつ積算する。このようにして１画面分ごとに得られる積算値は被写体画像のコントラストの高低を示し、焦点評価値としてレンズＣＰＵ２０に与えられる。

レンズＣＰＵ２０は、詳細を後述するようにＡＦエリアの範囲（輪郭）を示すＡＦ枠の情報（ＡＦ枠情報）を枠操作部１４から取得してそのＡＦ枠情報により指定されたＡＦ枠内の範囲をＡＦエリアとしてＡＦ処理部２１に指定する。そして、そのＡＦエリア内の画像（映像信号）により求められる焦点評価値をＡＦ処理部２１から取得する。このようにしてカメラヘッド１０から１画面分の映像信号が取得されるごとに（ＡＦ処理部２１で焦点評価値が求められるごとに）ＡＦ処理部２１から焦点評価値を取得すると共に、取得した焦点評価値が最大（極大）、即ち、ＡＦエリアの被写体画像のコントラストが最大となるように撮影レンズのフォーカス（フォーカスレンズ群）を制御する。例えば、焦点評価値に基づくフォーカスレンズ群の制御方式として山登り方式が一般的に知られており、フォーカスレンズ群を焦点評価値が増加する方向に移動させて行き、焦点評価値が減少し始める点を検出すると、その位置にフォーカスレンズ群を設定する。これにより、ＡＦ枠内の被写体に自動でピントが合わせられる。

撮像素子２３は、ＡＦの対象とする対象物（対象被写体）の画面上での移動を自動で検出（追尾）するためにレンズ装置１２に配置されている。尚、本明細書では撮像素子２３を追尾用撮像素子という。追尾用撮像素子２３としては、高画質（高解像度）のものは必要でなく、カメラヘッド１０の映像用撮像素子に比べると低画質（低解像度）で安価な撮像素子を使用することができ、例えば、ＣＣＤイメージセンサではなくＣＭＯＳイメージセンサを使用することができる。撮影レンズの光路上には例えばハーフミラー等の光分割手段が配置されており、その光分割手段により撮影レンズに入射した被写体光が２つに分割されるようなっている。そして、２つに分割された被写体光のうち一方は、カメラヘッド１０の映像用撮像素子の撮像面に導かれ、他方は、追尾用撮像素子２３の撮像面に導かれるようになっている。また、追尾用撮像素子２３の撮像エリアに対する撮影範囲（撮像エリアに像が結像される被写体の範囲）及び被写体距離（ピントが合う被写体の距離）は、カメラヘッド１０の映像用撮像素子の撮像エリアに対する撮影範囲及び被写体距離に一致するように構成されており、追尾用撮像素子２３により取り込まれる被写体画像は、カメラヘッド１０の映像用撮像素子により取り込まれる被写体画像と一致するようになっている。尚、両者の撮影範囲に関しては完全に一致している必要はなく、例えば、追尾用撮像素子２３の撮影範囲の方がカメラヘッド１０の映像用撮像素子の撮影範囲を包含する大きな範囲であってもよい。

信号処理部２４は、追尾用撮像素子２３を制御して追尾用撮像素子２３によって撮像された被写体画像の画像信号を順次取得すると共に、所定形式の映像信号として後述の追尾装置１６に出力する。また、信号処理部２４は、追尾装置１６からの指示に従って追尾用撮像素子２３の電荷蓄積時間（電子シャッター時間）を制御して露光調整を行うと共に、撮影速度（単位時間当たりに撮像する被写体画像のフレーム数、即ち、フレームレート）を切り替える処理なども行っている。

枠操作部１４は、上記ＡＦ枠の位置、形状、大きさ等のＡＦ枠の設定内容を操作者が指定するための操作部材を備えている。尚、ＡＦ枠は、図２に示すようにカメラヘッド１０の映像用撮像素子での撮影範囲（又は映像用撮像素子により撮影される被写体画像の画面範囲）に対してＡＦの対象範囲を示すＡＦエリアの輪郭を示す。枠操作部１４は、その操作部材が操作者により操作されると、その操作に従ってＡＦ枠の位置等の設定内容を設定、変更する。尚、本実施の形態ではＡＦ枠の形状は矩形に制限されているものとする。また、枠操作部１４の操作部材によるＡＦ枠の位置や大きさ等の設定内容の変更は、操作前におけるＡＦ枠の設定内容を基準にしてその後の操作部材の操作量に対応する変更量分だけ設定内容に変更を加えることによって行われようになっている。例えばＡＦ枠の位置はトラックボールの回転方向及び回転量に対応する方向及び移動量分だけＡＦ枠が縦横方向に変位する。また、ＡＦ枠の撮影範囲（画面）上での位置（例えば本実施の形態では矩形のＡＦ枠の中心位置）を決める点をＡＦポイントというものとすると、ＡＦ枠の位置はＡＦポイントの位置を設定することによって決まる。

一方、操作部材が操作されずに操作者によるＡＦ枠の設定内容の変更が指示されてない間は、後述する追尾装置１６から与えられるＡＦ枠情報によりＡＦ枠の設定内容を設定、変更する。枠操作部１４は、操作者の操作又は追尾装置１６からのＡＦ枠情報により設定、変更したＡＦ枠の設定内容を示すＡＦ枠情報をレンズＣＰＵ２０からの要求に従って送信する。これによってＡＦの対象範囲が枠操作部１４において設定、変更されたＡＦ枠の範囲に設定される。

尚、追尾装置１６は、操作者が指定した対象物を画面上で追尾しながらその対象物に移動に合わせてＡＦポイントを移動させ、ＡＦ枠の位置を自動で変更する装置であり、操作者によるＡＦ枠の変更の操作が行われていない場合には自動でＡＦ枠が変更され、操作者によるＡＦ枠の変更の操作が行われた場合にはその操作が追尾装置１６よりも優先されて操作者の操作に従ってＡＦ枠が変更される。

また、枠操作部１４は、上述のように設定、変更したＡＦ枠の設定内容を示すＡＦ枠情報をカメラヘッド１０にも送信し、そのＡＦ枠をビューファインダ１８の画面上の対応する位置に表示させる。これによって操作者がビューファインダ１８を見ながらその時のＡＦ枠の位置、形状、大きさ等を認識することができる。

追尾装置１６は、画像処理部２６、画像入力部２８、シリアル通信インターフェース３０等を備えている。画像入力部２８は、上記レンズ装置１２の追尾用撮像素子２３によって撮像されて信号処理部２４により生成された映像信号（輝度信号）を取得し、撮影範囲のうち画像処理部２６により指定された範囲の画像（画像データ）を画像処理部２６に与える。

画像処理部２６は、画像入力部２８から取得した画像データに基づいて、操作者によって指定された対象物を後述のパターンマッチング方式又はフレーム間差分抽出方式によって画面上で追尾し、その対象物の移動に追従させてＡＦポイントを移動させる。そして、そのＡＦポイントの位置を示すＡＦ枠情報をシリアル通信インターフェース３０を介して上記枠操作部１４に送信し、ＡＦ枠を自動で変更する際のＡＦポイントを指定する。尚、シリアル通信インターフェース３０を介して枠操作部１４と画像処理部２６との間でＡＦ枠情報以外の情報のやり取りも行われる。

また、画像処理部２６は画像入力部２８から取得した画像データの明るさ（信号レベル）が最適となるようにレンズ装置１２の信号処理部２４に追尾用撮像素子２３の電荷蓄積時間（電子シャッター時間）を指定する。これによって追尾用撮像素子２３の電子シャッター時間が画像処理部２６によって指定された時間に設定される。例えば、画像入力部２８から取得される画像データの平均的な明るさが一定となるように被写体が明るいほど電子シャター時間が短く、被写体が暗いほど電子シャッター時間が設定される。

更に、画像処理部２６は画面上での対象物の移動速度に対応して最適なフレームレートを信号処理部２４に指定する。これによって追尾用撮像素子２３による撮影速度が画像処理部２６によって指定された速度に設定される。例えば、画面上での対象物の移動速度が所定のしきい値より小さい場合には、フレームレートを標準的な値、例えば３０ｆｐｓ（フレーム／秒）に設定する。対象物の移動速度がそのしきい値以上となった場合にはフレームレートを、例えば標準的な値を２倍にした６０ｆｐｓに設定する。尚、このようにフレームレートを変更する場合に限らないが、設定可能なフレームレートの最高値は、追尾装置１６等の処理能力で対応できる範囲に制限されると共に、追尾用撮像素子２３の必要な電子シャッター時間を確保できる範囲に制限される。また、フレームレートが高くなる程、多くの電力を消耗する等の不利益もあるため、フレームレートは不要に高くないことが適切であり、対象物の移動速度に応じて変更することが好適である。また、追尾用撮像素子２３によって有効に取得する画像信号の解像度を低くすればフレームレートの最高値を高くし、又は、処理負担を軽減することができるため、追尾用撮像素子２３の解像度を必要に応じて変更できるようにしてもよい。

次に、画像処理部２６における処理手順について図３及び図４のフローチャートを用いて説明する。画像処理部２６では、パターンマッチング方式による追尾処理とフレーム間差分抽出方式による追尾処理が行われる。パターンマッチング方式は、事前に設定登録された基準パターンの画像に最も近似する画像を、画像入力部２８から取り込んだ画像の中から検出する処理であり、基準パターンの画像として操作者が指定した対象物の画像が事前に設定される。

フレーム間差分抽出方式は、画像入力部２８から取得した最新の１フレーム分（１画面分）の画像と、所定フレーム前に取得した１フレーム分の画像との差分（差画像）を求め、その差画像に基づいて操作者が指定した対象物の画面上での移動を検出する処理である。

パターンマッチング方式は検出精度が高いが、フレーム間差分抽出方式に比べて処理に時間を要するため、画面上での対象物の移動速度が速い場合にはパターンマッチング方式では対応できない場合がある。そのため、画面上での対象物の移動速度が速い場合には、フレーム間差分抽出方式が用いられ、それ以外のときにはパターンマッチング方式が用いられる。

まず、パターンマッチング方式による追尾処理について図３のフローチャートを参照しながら説明する。操作者がビューファインダ１８の画面に表示された映像及びＡＦ枠を見ながら枠操作部１４の操作部材を操作し、追尾したい対象物をＡＦ枠内に納め、ＡＦによってその対象物にピントを合わせる。そして、枠操作部１４の所定の決定ボタンを押す。これによって枠操作部１４から基準パターンの設定の指示が画像処理部２６に与えられ、画像処理部２６は、そのときのＡＦ枠の設定内容を示すＡＦ枠情報を枠操作部１４からシリアル通信インターフェース３０を介して読み取り、そのＡＦ枠の範囲の画像データを画像入力部２８から取り込む（ステップＳ１０）。そして、その画像を基準パターンとして設定、登録（記憶）する（ステップＳ１２）。尚、枠操作部１４から基準パターンの設定の指示が与えれる前から画像処理部２６はＡＦ枠の範囲の画像データの取り込みを行っており、その際に画像データの明るさ（信号レベル）が最適となるようにレンズ装置１２の信号処理部２４に電子シャッター時間を指示して露光調整を行っている。

この基準パターンの設定において、基準パターンの大きさは、ＡＦ枠の大きさではなく、対象物の種類に応じて自動で設定されるようにしてもよい。例えば、枠操作部１４の所定のスイッチにより対象物の種類を選択できるようにし、対象物として例えば人物が選択された場合、人間の平均的な顔の大きさを基準パターンの大きさとして自動で設定するようにすると対象物の種類に応じた適切な大きさの基準パターンが設定される。但し、対象物の画面上での画像サイズは、被写体距離（フォーカス位置）やズーム倍率（焦点距離）によって異なるため、レンズＣＰＵ２０からフォーカス位置や焦点距離の情報を取得してフォーカス位置や焦点距離に応じて基準パターンの大きさも変更する必要がある。また、基準パターンの大きさに限らず、ＡＦ枠の大きさも対象物の種類に応じて自動で変更されるようにしてもよい。

続いて画像処理部２６は、レンズ装置１２の信号処理部２４にフレームレートを標準の値（例えば３０ｆｐｓ）に設定する指示を与え（ステップＳ１４）、追尾用撮像素子２３の撮影速度を標準の速さに設定する。そして、ステップＳ１６からステップＳ２４までの処理を繰り返し実行する。まず、現在設定されているＡＦ枠を縦横の中心として基準パターンよりも少し大きめの範囲の画像データを画像入力部２８から取り込む（ステップＳ１６）。そして、取り込んだ画像の中から基準パターンと最も近似する画像を周知のパターンマッチング処理により検出し、基準パターンとして設定した対象物の画面上での位置を検出する（ステップＳ１８）。尚、画像入力部２８から取り込んだ画像データの明るさが適切でなく基準パターンを検出できなかった場合には、画像データの明るさが最適となるようにレンズ装置１２の信号処理部２４に電子シャッター時間を指示して露光調整を行い、再度、ステップＳ１６及びステップＳ１８の処理を実行する。

次に画像処理部２６は、検出した対象物の位置に基づいてその対象物が画面上で移動したか否かを判定する（ステップＳ２０）。ＹＥＳと判定した場合にはＡＦポイントを対象物が移動した分だけその移動方向と同一方向に変位させ、そのＡＦポイントを示すＡＦ枠情報を枠操作部１４に送信する。これによってＡＦ枠の設定内容、即ち、ＡＦ枠の位置を更新する（ステップＳ２２）。ステップＳ２０においてＮＯと判定した場合にはステップＳ２２の処理は実行しない。

次に、画像処理部２６は、基準パターンの画像をパターンマッチング処理により検出した画像に更新し（ステップＳ２４）、ステップＳ１６に戻る。

以上のようにしてＡＦ枠を更新することによって基準パターンとして操作者が指定した対象物の移動に追尾してＡＦ枠の位置が移動し、操作者が指定した対象物にピントが合わせ続けられる。

次に、フレーム間差分抽出方式による追尾処理について図４のフローチャートを参照しながら説明する。上記パターンマッチング方式における基準パターンの設定により指定された対象物の画面上での移動速度が速い場合、パターンマッチング方式ではその対象物（基準パターン）の検出が遅れ、ＡＦポイントが対象物から大幅にずれるおそれがある。そこで、画像処理部２６は、パターンマッチング方式による追尾処理を行っている際に対象物の画面上での移動速度が所定のしきい値を超えたと判断した場合にはフレーム間差分抽出方式による追尾処理に切り替え、以下の処理を実行する。尚、パターンマッチン方式とフレーム間差分抽出方式との切替えは、操作者の指示（スイッチ操作等）に基づいて行うようにしてもよい。

画像処理部２６は、フレーム間差分抽出方式の処理を開始すると、まず、レンズ装置１２の信号処理部２４にフレームレートを高い値（例えば６０ｆｐｓ）に設定する指示を与え（ステップＳ３０）、追尾用撮像素子２３の撮影速度を高速に設定する。これによって高速で移動する対象物にも対応できる撮影速度で被写体画像が撮影される。そして、ステップＳ３２からステップＳ４２までの処理を繰り返し実行する。まず、１フレーム（１画面）分の画像データを画像入力部２８から取り込む（ステップＳ３２）。尚、この画像をＡ画像とする。また、尚、取り込んだ画像データの明るさが適切でない場合には、画像データの明るさが最適となるようにレンズ装置１２の信号処理部２４に電子シャッター時間を指示して露光調整を行い、再度、画像データを取り込む。

次に、Ａ画像の取込みから一定時間経過後、例えばＡ画像のフレームの次のフレームから１フレーム分の画像を画像入力部２８から取り込む（ステップＳ３４）。尚、この画像をＢ画像とする。

ここで、Ａ画像及びＢ画像として取り込まれる画像データの範囲は追尾用撮像素子２３の撮像エリアから得られる撮影範囲全体の画像データのうちの一定の範囲に限定される。初回の取り込み時には、ＡＦポイントを中心として基準パターンよりも少し大きめの範囲の画像データが取り込まれ、２回目以降は、後述する差画像が検出された範囲（画素値が１となった画素を含む範囲）より少し大きめの範囲の画像データが取り込まれる。これによれば、指定された対象物以外の移動物体を無視することができ、また、画像処理の時間が短縮される。

Ａ画像とＢ画像を取り込むと、画像処理部２６は、Ａ画像とＢ画像の対応する画素同士の画素値の差分の絶対値を求めて、Ａ画像とＢ画像の差画像Ｃの画像データを求める（ステップＳ３６）。そして、差画像Ｃの画像データを２値化し、画素値が１となった画素の重心及び面積を求める（ステップＳ３８）。続いて、面積が所定のしきい値より大きく、且つ、重心が前回検出した重心に対して変位したか否かによって対象物が移動したか否かを判定する（ステップＳ４０）。ＹＥＳと判定した場合には、ＡＦポイントを重心が移動した分だけその移動方向と同一方向に変位させ、そのＡＦポイントを示すＡＦ枠情報を枠操作部１４に送信する。これによってＡＦ枠の設定内容、即ち、ＡＦ枠の位置を更新する（ステップＳ４２）。ステップＳ４２の処理が終了するとステップＳ３２に戻る。ステップＳ４０においてＮＯと判定した場合には、ステップＳ４２の処理を実行せずにステップＳ３２に戻る。

以上のようにフレーム間差分抽出方式による追尾処理を行っている際に、対象物の移動速度（重心の移動速度）が一定速度（例えば、上記パターンマッチング方式から上記フレーム間差分抽出方式に切り替える際のしきい値と同じ値）より低下した場合には上記パターンマッチング方式による追尾処理に切り替わる。

以上、上記実施の形態において、速いズーミング時や、追尾する対象物が前後に高速で移動する場合には、パターンマッチング方式による追尾処理では対象物を検出できない恐れがあるため、そのような場合にはフレーム間差分抽出方式による追尾処理に自動又は手動で切り替えるようにしてもよい。例えば、ズーム倍率（焦点距離）の変化速度が一定値を超えたか否かによって速いズーミングが行われているか否かを判断し、フォーカス位置（撮影距離）の変化速度が一定値を超えたか否かによって対象物が前後で高速で移動しているか否かを判断することによってパターンマッチング方式とフレーム間差分抽出方式を自動で切り替えることができる。

また、上記実施の形態では、基準パターン（対象物）を１つだけ登録、設定するようにしたが、複数の基準パターン（対象物）を登録、設定できるようにし、設定した複数の基準パターンのうち、実際に使用する基準パターンをスイッチなどで選択できるようにしてもよい。これによれば、例えば対談番組などで複数の人物を同時又は交互に撮影する場合等にＡＦによりピントを合わせたい人物を切り替える場合に有効である。

また、上記実施の形態では、パターンマッチング方式とフレーム間差分抽出方式との追尾処理の方式の切替えと共に追尾用撮像素子２３の撮影速度（フレームレート）を切り替えるようにしたが、追尾処理の方式の切替えと関係なく追尾用撮像素子２３の撮影速度を切り替えるようにしてもよい。

また、上記実施の形態では、画面上の対象物の移動速度に応じてパターンマッチング方式とフレーム間差分抽出方式とで追尾処理の方式を切り替えるようにしたが、必ずしも２つの方式を切り替える必要はなく、いずれかの方式のみで追尾処理を行うようにしてもよい。

また、上記実施の形態では、追尾用撮像素子２３の撮影速度（フレームレート）を標準と高速の２つのレベルで切り替えるようにしたが、画面上での対象物の移動速度に応じて更に多くにレベルで切り替えるようにしてもよい。また、フレームレートを自動で切り替えるのではなく、操作者がマニュアルで所望の値に切り替えられるようにしてもよい。例えば枠操作部１４の所定の操作部材によって操作者が所望のフレームレートの値を指定すると、枠操作部１４から信号処理部２４にその値が与えられてフレームレートがその値に設定されるようにしてもよい。

また、上記実施の形態では、レンズ装置１２、枠操作部１４、追尾装置１６は別体の装置として図示したが、いずれか２つ又は全ては一体の装置であってもよい。また、上記実施の形態では追尾装置１６の処理に関する操作部材（例えば、対象物を決定する決定スイッチ等）も枠操作部１４に設けるようにしたが、追尾装置１６に設けるようにしてもよい。

また、上記実施の形態では、ＡＦ処理部２１で取得するＡＦ用の映像信号をカメラヘッド１０の映像用撮像素子から取得するようにしたが、追尾用撮像素子２３と同様に撮影レンズに入射した被写体光を光分割手段で分割してＡＦ用に設けたＡＦ用撮像素子の撮像面に結像させ、そのＡＦ用撮像素子からＡＦ用の映像信号を取得するようにしてもよい。また、追尾用撮像素子２３をＡＦ用撮像素子としても兼用し、追尾用撮像素子２３からＡＦ用の映像信号を取得するようにしてもよい。

図１は、本発明に係るオートフォーカスシステムが適用される撮像システムの全体構成を示したブロック図である。 図２は、ＡＦ枠を示した図である。 図３は、パターンマッチング方式による追尾処理の処理手順を示したフローチャートである。 図４は、フレーム間差分抽出方式による追尾処理の処理手順を示したフローチャートである。

符号の説明

１０…カメラヘッド、１２…レンズ装置、１４…枠操作部、１６…追尾装置、１８…ビューファインダ、２０…レンズＣＰＵ、２１…ＡＦ処理部、２３…撮像素子、２４…信号処理部、２６…画像処理部、２８…画像入力部、３０…シリアル通信インターフェース

Claims (4)

1. カメラの撮影範囲のうちＡＦエリアの範囲の被写体をオートフォーカスの対象として撮影レンズのフォーカスを制御し、前記被写体に自動でピント合わせを行うオートフォーカスシステムにおいて、
   ピントを合わせる対象被写体を指定する対象被写体指定手段と、
   前記カメラの撮影範囲の被写体画像を撮像する撮像手段であって、記録又は再生用の被写体画像を撮像する前記カメラの撮像手段とは別に設けられた追尾用撮像手段と、
   前記追尾用撮像手段によって撮像された被写体画像の画像信号に基づいて前記対象被写体指定手段により指定された対象被写体の撮影範囲内での移動を検出する対象被写体移動検出手段と、
   前記対象被写体移動検出手段により検出された前記対象被写体の移動に追従するように前記ＡＦエリアの範囲を変更するＡＦエリア変更手段と、
   を備えたことを特徴とするオートフォーカスシステム。
2. 前記追尾用撮像手段が単位時間当たりに撮像する被写体画像のフレーム数を変更するフレームレート変更手段を備えたことを特徴とする請求項１のオートフォーカスシステム。
3. 前記フレームレート変更手段は、前記対象被写体移動検出手段によって検出された対象被写体の移動の速度に基づいて前記追尾用撮像手段が単位時間当たりに撮像する被写体画像のフレーム数を変更することを特徴とする請求項２のオートフォーカスシステム。
4. 前記追尾用撮像手段によって撮像する被写体画像の明るさを変更する露光調整手段を備えたことを特徴とする請求項１のオートフォーカスシステム。

Images