JP2006243373A - 映像信号処理装置、この映像信号処理装置を搭載した撮像装置及び映像信号処理方法並びに映像信号処理用プログラム - Google Patents

Abstract

【課題】 画面中の小さな領域に存在する被写体であっても、高周波成分の多い背景の被写体が占める面積に依存せずに良好にフォーカス調整を行う。
【解決手段】 被写体の画像を撮像した映像信号の高周波成分を抽出するフィルタ手段１０６０と、撮像画面の領域を複数に分割した分割領域毎にフィルタ手段１０６０から出力される高周波成分を積分する積分手段１０７０と、映像信号から画像中の動き情報を抽出する動きベクトル算出手段１０８０と、動きベクトル算出手段１０８０が抽出した前記動き情報に基づいて前記分割領域の中からフォーカス調整対象領域を設定しこのフォーカス調整対象領域の高周波成分に基づいてフォーカスレンズ位置を制御する制御手段１０９０とを備える。
【選択図】 図１

Description

本発明は、ＣＣＤ等の撮像素子を用いて撮影するときにオートフォーカス（自動焦合）等を行う映像信号処理装置及びこの映像信号処理装置を搭載した撮像装置並びに映像信号処理用プログラムに係り、特に、画面中の目標とする被写体像の大きさが小さくてもまた動きがあっても的確にその被写体にフォーカス等を行うことが可能な映像信号処理装置、この映像信号処理装置を搭載した撮像装置及び映像信号処理方法並びに映像信号処理用プログラムに関する。

ビデオカメラ等に搭載される一般的なオートフォーカス装置は、ＣＣＤ等の撮像装置から得られる映像信号をディジタル処理し、いわゆる山登り方式により被写体に合焦させている。この山登り方式とは、フォーカスレンズを前後させたときに映像信号中の輝度信号の高周波成分が、合焦位置をピークとする山の形状を描くことから、この高周波成分を積分した後に、マイクロコンピュータにて高周波成分の積分結果を基準に山のピーク位置を探索するものである。

山登り方式で合焦位置を探索する場合、手振れなどがあると輝度信号の高周波成分量が変化し精度の高い合焦位置の探索ができなくなるが、例えば、下記特許文献１には、手ぶれ等の影響がある場合でもオートフォーカスの合焦精度を向上させる技術を開示している。

図１５は、特許文献１に開示された従来のオートフォーカス装置を搭載したビデオカメラの要部構成図である。レンズ１より入力される光をＣＣＤ２が撮像し、ＣＣＤ２から出力される撮像信号に対して信号処理回路４が信号処理を施して後段の図示しない記録回路等に映像信号を出力し、記録メディアに映像信号を記録する。

信号処理回路４で信号処理された映像信号は、オートフォーカス制御回路２０にも出力される。オートフォーカス制御回路２０では、ＢＰＦ（バンドパスフィルタ）５で映像信号の高周波成分を抽出し、積分回路６でその高周波成分を積分する。また、絶対値差分回路８は、映像信号を直接取り込むと共にＤフリップフロップ７を通しても取り込み、両者の差分すなわち隣接画素間の信号レベル差の絶対値を算出し、積分回路９が絶対値差分回路８の出力を積分して被写体の輝度変化量を検出する。マイクロコンピュータ１０は、積分回路６と積分回路９の両方の積分値を取り込み、両方の積分値に応じてレンズコントロール３を駆動し、フォーカスレンズの位置制御を行う。

この場合、マイクロコンピュータ１０は、積分回路９で算出された隣接画素の輝度変化量と、積分回路６から出力される高周波成分の積分結果を基に被写体の動き量を算出し、動き量が大きければ高周波成分の積分結果に動き量分の補正量を加算してフォーカスレンズ位置の制御を行う。動き量が少なければ、動き量分の補正をしないようにフォーカスレンズ位置の制御を行う。これにより、被写体の動きに追従しつつ、高周波成分の積分結果の精度向上を図ることが可能となり、手ぶれが生じたり被写体が動く場合であっても合焦位置の偽ピークの発生を軽減することができ、オートフォーカス時の高周波成分データの信頼性が向上する。

特開平７―１１５５７８号公報

しかしながら、画面中の高周波成分の積分値と注目画素周辺の画素の輝度変化による輝度変化量とによるフォーカス制御だけでは、画面中の目標とする被写体が画面のごく小さな領域だけに存在するような場合には、フォーカス制御が困難であるという問題がある。 例えば、監視カメラで侵入者等の有無を監視しているとき、カメラの撮影画面内に入ってくる侵入者等の被写体画像は最初の内は小さいため、侵入者にフォーカスした映像を撮像するのが困難である。

画面中の大部分を占める被写体すなわち背景となる被写体が高周波成分を多く含んでいるような場合、画面中のごく小さな領域に存在する目標被写体の高周波成分は画面全体の高周波成分の中に埋もれてしまう。この場合、オートフォーカス装置は画面の大部分を占める高周波成分の多い背景被写体にフォーカスさせようと制御するため、小さな目標被写体に合焦した映像を撮像するのが困難なためである。

また、フォーカス制御と同様に、画面に占める割合が小さな被写体に合わせた露出制御を行う場合も適切な露出制御が困難であり、画面中の小さな目標被写体が動いている場合にはフォーカス制御や露出制御だけでなくホワイトバランス制御も難しいという問題がある。

本発明は、上記従来技術の問題点を解決するために為されたもので、画面に占める高周波成分の多い被写体の面積に依存せず、画面中の小さな被写体や動きのある被写体であっても適切にフォーカス制御を行うことができ、また、適切な露出制御やホワイトバランス制御が可能な映像信号処理装置、この映像信号処理装置を搭載した撮像装置及び映像信号処理方法並びに映像信号処理用プログラムを提供することを目的とする。

本発明の映像信号処理装置は、被写体の画像を撮像した映像信号の高周波成分を抽出するフィルタ手段と、撮像画面の領域を複数に分割した分割領域毎に前記フィルタ手段から出力される高周波成分を積分する積分手段と、前記映像信号から前記画像中の動き情報を抽出する動きベクトル算出手段と、前記動きベクトル算出手段が抽出した前記動き情報に基づいて前記分割領域の中からフォーカス調整対象領域を設定し前記フォーカス調整対象領域の前記高周波成分に基づいてフォーカスレンズ位置を制御する制御手段とを備えることを特徴とする。

この構成により、画面に占める高周波成分の多い被写体の面積に依存せず、画面中の小さな被写体や動きのある被写体であっても適切にフォーカス制御を行うことが可能となる。

本発明の映像信号処理装置は、前記分割領域の中から露出調整対象領域を前記動き情報に基づいて設定し前記露出調整対象領域の露出制御を行う露出制御手段を備えることを特徴とする。

この構成により、画面に占める高周波成分の多い被写体の面積に依存せずに、画面中の小さな被写体や動きのある被写体であっても適切にフォーカス制御と露出制御を行うことができる。

本発明の映像信号処理装置は、前記分割領域の中からズーム制御対象領域を前記動き情報に基づいて設定し前記ズーム制御対象領域の画像を拡大表示するズーム制御手段を備えることを特徴とする。

この構成により、画面に占める高周波成分の多い被写体の面積に依存せずに、画面中の小さな被写体や動きのある被写体であっても適切にフォーカス制御とズーム制御を行うことができる。

本発明の映像信号処理装置は、前記分割領域の中からホワイトバランス制御対象領域を前記動き情報に基づいて設定し前記ホワイトバランス制御対象領域の画像をホワイトバランス制御するホワイトバランス制御手段を備えることを特徴とする。

この構成により、画面に占める高周波成分の多い被写体の面積に依存せずに、画面中の小さな被写体や動きのある被写体であっても適切にフォーカス制御とホワイトバランス制御を行うことができる。

本発明の映像信号処理装置は、前記分割領域の中からネットワーク伝送領域を前記動き情報に基づいて設定し前記ネットワーク伝送領域の内側の画像を前記ネットワーク伝送領域の外側の画像より優先してネットワークに伝送する伝送手段を備えることを特徴とする。

この構成により、画面に占める高周波成分の多い被写体の面積に依存せずに、画面中の小さな被写体や動きのある被写体であっても適切にフォーカス制御を行うことができると共にネットワークの伝送帯域に応じた画像伝送を行うことが可能となる。

本発明の映像信号処理装置は、前記フォーカス調整対象領域の画像が前記撮像画面内の所定位置となるように撮像装置の撮影する向きを調整する載置台を制御する載置台制御手段を備えることを特徴とする。

この構成により、動きベクトルが集中する領域の被写体に対するフォーカス制御を行うと共に、常にこの被写体の画像が画面の所定位置例えば画面中央位置となる様に被写体の動きに追従して被写体を監視することが可能となる。

本発明の映像信号処理装置は、前記動き情報に基づいて前記撮像画像の映像信号を処理する画像処理手段を備えることを特徴とする。

この構成により、画像処理を適切に行うことができ、画像処理の性能が向上する。

本発明の撮像装置は、上記のいずれかに記載の映像信号処理装置を備えることを特徴とする。

この構成により、撮像装置の性能が向上する。

本発明の映像信号処理用プログラムは、上記のいずれかに記載の映像信号処理装置をコンピュータのソフトウェア処理で実現することを特徴とする。

この構成により、映像信号処理装置を低コストで実現できると共に装置の小型化を図ることが可能となる。

本発明の映像信号処理方法は、被写体の画像を撮像した映像信号の高周波成分を抽出するフィルタステップと、撮像画面の領域を複数に分割した分割領域毎に前記フィルタステップにて出力される高周波成分を積分する積分ステップと、前記映像信号から前記画像中の動き情報を抽出する動きベクトル算出ステップと、前記動きベクトル算出ステップにて抽出された前記動き情報に基づいて前記分割領域の中からフォーカス調整対象領域を設定し前記フォーカス調整対象領域の前記高周波成分に基づいてフォーカスレンズ位置を制御する制御ステップとを備えることを特徴とする。

この構成により、画面に占める高周波成分の多い被写体の面積に依存せず、画面中の小さな被写体や動きのある被写体であっても適切にフォーカス制御を行うことが可能となる。

本発明によれば、画面に占める高周波成分の多い被写体の面積に依存せず、画面中の小さな被写体や動きのある物体であっても適切にフォーカス制御や露出制御、ホワイトバランス制御を行うことが可能となる。

以下、本発明の一実施の形態を図面を参照して説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る撮像装置の要部構成図である。この撮像装置は、光を集光するレンズ系１０００と、レンズ系１０００に含まれるフォーカスレンズの位置調整を行なったりレンズ系１０００に含まれる絞りの開口量の調整を行うレンズ系制御手段１００１と、レンズ系１０００で集光された光を電気信号に変換する撮像素子１０１０と、撮像素子１０１０を駆動する撮像素子駆動手段１０２０と、撮像素子１０１０から出力されるアナログ映像信号を処理する前処理手段１０３０とを備える。

前処理手段１０３０は、相関二重サンプリングよりリセットノイズを除去するＣＤＳ（Correllated Double Sampling）回路と、ノイズ成分が除去されたアナログ映像信号が一定の信号レベルを保持するように振幅調整を行なうＡＧＣ(Automatic Gain Control)回路と、振幅調整されたアナログ映像信号に対してＡ／Ｄ変換するためにクランプする回路で構成される。

本実施形態に係る撮像装置は更に、前処理手段１０３０の出力をディジタル信号に変換するＡ／Ｄ変換器１０４０と、Ａ／Ｄ変換器１０４０から出力される映像信号に対して輝度信号処理、色差信号処理を行いＮＴＳＣ／ＰＡＬ方式等の映像信号を生成して図示しない後段の記録回路等に出力するカメラプロセス１０５０と、カメラプロセス１０５０で生成された輝度信号に基づいてフォーカス制御を行うオートフォーカス制御装置９００とを備える。

オートフォーカス制御装置９００は、輝度信号を基準に映像信号の高周波成分を抽出するＢＰＦ（バンドパスフィルタ）１０６０と、カメラプロセス１０５０で生成された輝度信号を基準に画面を複数の領域（後述のブロック）に分割し分割された領域（ブロック）毎にＢＰＦ１０６０から出力される映像信号の高周波成分を積分する領域分割ＡＦデータ生成手段１０７０と、カメラプロセス１０５０で生成された輝度信号を基準に被写体画像の動きベクトルを算出する動きベクトル算出手段１０８０と、領域分割ＡＦデータ生成手段１０７０の出力と動きベクトル算出手段１０８０の出力とを基にレンズ系制御手段１００１を制御する演算制御手段１０９０とを備える。

図２は、図１に示すオートフォーカス制御装置９００の動作を説明する撮影画面説明図である。図２（ａ）に示す様に、画面を１つの領域として画面中の高周波成分を基にフォーカス制御する場合には、物体Ｂや物体Ｃのような広い面積の被写体画像が画面中の高周波成分の多くを占めるため、物体Ａの画像のように小さな被写体の高周波成分の割合は少なくなる傾向にある。このため、オートフォーカス制御は物体Ｂや物体Ｃの様に画面中で広い面積を占める被写体に合焦するように制御が進み、物体Ａのような小さな物体に合焦させることは難しい。また、物体Ａのように被写体が動いている場合には、物体Ａに合焦させるようにフォーカス制御を行うのはより困難である。

このため、本実施形態では先ず、領域分割ＡＦデータ生成手段１０７０で１画面を図２（ｂ）のように水平方向８ブロック、垂直方向６ブロックの計４８ブロックに分割し、分割されたブロック毎に、映像信号の高周波成分を積分する。即ち、領域分割Ａ／Ｆデータ生成手段１０７０は、ＢＰＦ１０６０から出力される高周波成分をブロック毎に積分し、計４８ブロックの各高周波成分の積分値を演算制御手段１０９０に出力する。

動きベクトル算出手段１０８０は、図２（ｃ）に示す様に、画面中の動きベクトル成分１０８１を求め、この動きベクトル情報を演算制御手段１０９０に出力する。図示する例では、物体Ａは画面の左から右に動いている。動きベクトルは動く物体Ａの画像周辺に集中する特性があるため、演算制御手段１０９０はこの特性を利用して、物体Ａの周辺の動きベクトルが集中する領域に物体Ａが存在する可能性が高いと判断し、動きベクトルが集中する領域を基準にフォーカス調整を行うようにレンズ系制御手段１００１を制御する。

例えば、図３（ａ）に示す様に、動きベクトルが集中する物体Ａを含む領域ＡＡ（この例では、３×２＝６ブロック）を設定し、この領域ＡＡにおける高周波成分の積分値が、図３（ｂ）に示す様に、最大となるように、レンズ絞り制御信号１００２（図１参照）を生成してレンズ系制御手段１００１に出力する。

これにより、レンズ系１０００のフォーカスは、動きのある物体Ａを含む領域ＡＡ付近を基準に調整される。また、被写体が小さな動きのあるものであっても、被写体の動きに追従しつつ、フォーカス制御が行われる。従って、本実施形態では、高周波成分の多い被写体の画面に占める面積に関係なく、目標被写体にフォーカス制御することができ、被写体の動きに追従したフォーカス制御を良好に行うことが可能となる。

また、小さな被写体が静止している場合でも、画面を複数の領域（ブロック）に分割し、分割された領域（ブロック）毎に高周波成分を算出するため、図３（ａ）の物体Ｂや物体Ｃだけでなく、任意の領域（ブロック）毎にフォーカス制御を行うこともできる。このため、監視カメラ等では被写体が固定されるような場合が多いが、予めフォーカスを優先して調整する領域を設定しておけば、常に設定した領域はフォーカスが適切に調整され、良好な映像信号を得ることができる。

尚、ここでは領域分割ＡＦデータ生成手段１０７０で水平８ブロック、垂直６ブロックの計４８のブロックに分割したが、さらに細かく領域を細分化し、より小さな被写体に追従してフォーカス制御ができるようにしても良い。また、動きのある小さな被写体が画面中に存在しないような場合には、演算制御手段１０９０で高周波成分の多い被写体に優先してフォーカス制御するようにフォーカス制御の重み付けをしておけば、違和感の少ないフォーカス制御を行うことも可能となる。

（第２の実施の形態）
図４は、本発明の第２の実施の形態に係る撮像装置の要部構成図である。本実施形態に係る撮像装置は、図１に示した第１の実施形態に係る撮像装置に対して、カメラプロセス１０５０および演算制御手段１０９０に接続された露出制御手段１１００を付加した点が異なり、その他の構成要素は第１の実施形態の撮像装置と同じであるため同一構成要素には同一符号を付してその説明は省略する。

本実施形態の撮像装置では、カメラプロセス１０５０が露出制御手段１１００からの露出制御信号１１０１によって制御され、演算制御手段１０９０が露光制御とフォーカス制御を行う。また、カメラプロセス１０５０は露光制御手段１１００に輝度信号を出力し、露光制御手段１１００は、領域分割ＡＦデータ生成手段１０７０と同様に、画面を水平方向８ブロック、垂直方向６ブロックの計４８ブロックに分割し、分割された領域（ブロック）毎に輝度平均値を算出する機能を有する。

図５は、本実施形態に係る撮像装置の動作説明図である。例えば、物体Ａ付近が非常に明るく、かつ物体Ａが左から右に移動するような被写体の場合には、領域分割ＡＦデータ生成手段１０７０から出力されるブロック毎の高周波成分積分量と動きベクトル算出手段１０８０から出力される動きベクトル情報とに基づき、演算制御手段１０９０は、第１の実施の形態と同様に、領域ＡＡにフォーカスを合わせるためのレンズ絞り制御信号１００２を生成してレンズ系制御手段１００１を制御をする。

次に、露出制御手段１１００で算出される物体Ａ周辺の領域ＡＡの輝度平均値を基に、演算制御手段１０９０は、領域ＡＡの映像信号の信号レベルを、図５に示す例では１／２に下げるように露出制御手段１１００に指令し、露出制御手段１１００は、カメラプロセス１０５０に対して、領域ＡＡの映像信号に対するゲインを下げるように露出制御信号１１０１を出力する。

これにより、本実施形態の撮像装置では、フォーカスは、第１の実施形態に係る撮像装置と同様に、動きのある物体Ａを含む領域ＡＡ付近を基準に調整でき、被写体が小さな動きのある物体であっても、被写体の動きに追従しつつ、フォーカス制御を行うことができる。これに加え、本実施形態の撮像装置では、領域ＡＡに対する露出制御も良好に行うことができ、上記の例では、領域ＡＡの輝度が周りの領域より明るすぎて見づらい画面になるのを防止できる。

この様に、本実施形態によれば、高周波成分の多い被写体の画面に占める面積に関係なく、被写体の動きに追従したフォーカス制御と露出制御の両方を良好に行うことができる。また、小さな被写体が静止している場合でも、画面を複数の領域に分割し、分割された領域毎に高周波成分、輝度平均値を算出するため、図５に示す物体Ｂや物体Ｃだけでなく、任意の領域毎にフォーカス制御と露出制御を行うことも可能である。

このため、監視カメラ等の様に被写体が固定されるような場合でも、予めフォーカスを優先して調整対象とする領域を設定し、露出制御についてもフォーカス調整対象領域に連動させ、フォーカス調整対象領域に該当する領域の輝度平均値を基準に演算制御手段１０９０がフォーカス制御に露出制御を追従させれば、設定領域に対してはフォーカス制御だけでなく露出制御も常に適切に調整可能となり、良好な映像信号を得ることができる。

尚、上述した説明では、領域分割ＡＦデータ生成手段１０７０及び露出制御手段１１００で領域分割する数を水平８ブロック、垂直６ブロックの計４８ブロックとしたが、更に細かく領域を細分化し、より小さな被写体に追従してフォーカス制御及び露出制御ができるようにしても良いことはいうまでもない。

（第３の実施の形態）
図６は、本発明の第３の実施の形態に係る撮像装置の要部構成図である。本実施形態に係る撮像装置は、図４に示した第２の実施形態に係る撮像装置に対して、カメラプロセス１０５０および演算制御手段１０９０に接続されたズーム制御手段１２００を付加した点が異なり、その他の構成要素は第２の実施形態の撮像装置と同じであるため同一構成要素には同一符号を付してその説明は省略する。

本実施形態の撮像装置では、カメラプロセス１０５０は、露出制御手段１１００からの露出制御信号１１０１と、ズーム制御手段１２００からのズーム制御信号１２０１によって制御され、露出制御と信号処理によるズーム制御を行う。演算制御手段１０９０は、露光制御とフォーカス制御、さらにズーム制御の指令をする。

図７は、本実施形態に係る撮像装置の動作説明図である。例えば、本来動きのない領域において、物体Ａが左から右に移動するような映像が撮像されたとき、演算制御手段１０９０は、動きベクトル算出手段１０８０から出力された動きベクトル情報に基づき何らかの異常が発生したと判断する。そして、第２の実施形態の撮像装置と同様に、動きベクトルが集中する物体Ａを中心とする領域ＡＡを設定して領域ＡＡのフォーカス制御と露出制御を行い、更に、本実施形態では、領域ＡＡをズームアップするようにズーム制御手段１２００を制御する。

これにより、カメラプロセス１０５０は、露出制御信号１１０１とズーム制御手段１２００からのズーム制御信号１２０１に基づいて領域ＡＡの露出制御及びズーム処理を行い、レンズ系制御手段１００１は演算制御手段１０９０からのフォーカス制御信号に基づいてレンズ系１０００のフォーカス制御を行う。これにより、図７右図に示すように、物体Ａの画像が含まれる領域ＡＡのフォーカス及び露出が適切に調整された拡大画像の映像信号を得ることが可能となる。

この様に、本実施形態によれば、高周波成分の多い被写体が画面に占める面積に関係なく、被写体の動きに追従したフォーカス制御を良好に行いつつ、露出制御とズーム制御を行うことが可能となる。また、小さな被写体が静止している場合でも、画面を複数の領域に分割し、分割された領域毎に高周波成分、輝度平均値を算出でき、動き情報を利用した制御を演算制御手段１０９０で行うことができるため、物体Ｂや物体Ｃだけでなく、任意の領域毎にフォーカス制御と露出制御、ズーム制御を行うこともできる。

従って、監視カメラ等で多い被写体が固定されるような場合でも、予めフォーカスを優先して調整対象とする領域を設定し、露出制御とズーム制御についてもフォーカス調整対象とする領域に連動させれば、フォーカス調整対象とする領域に該当する領域の動きベクトルを基準に演算制御手段１０９０で、フォーカス制御に露出制御、ズーム制御を追従させるようにすれば、設定領域は常にフォーカス制御、露出制御、さらに信号処理によるズーム制御が適切に調整され、良好な映像信号を得ることが可能となる。

尚、本実施形態でも同様に、領域分割ＡＦデータ生成手段１０７０及び露出制御手段１１００で領域分割する数を水平８ブロック、垂直６ブロックの計４８ブロックとしたが、更に細かく領域を細分化し、より小さな被写体に追従してフォーカス制御及び露出制御ができるようにしても良いことはいうまでもない。

（第４の実施の形態）
図８は、本発明の第４の実施の形態に係る撮像装置の要部構成図である。本実施形態に係る撮像装置は、図６に示した第３の実施形態に係る撮像装置に対して、カメラプロセス１０５０および演算制御手段１０９０に接続されたホワイトバランス制御手段１３００を付加した点が異なり、その他の構成要素は第３の実施形態の撮像装置と同じであるため同一構成要素には同一符号を付してその説明は省略する。

本実施形態の撮像装置では、カメラプロセス１０５０は、露出制御手段１１００からの露出制御信号１１０１と、ズーム制御手段１２００からのズーム制御信号１２０１と、ホワイトバランス制御手段１３００からのホワイトバランス制御信号１３０１によって制御されると共に、ホワイトバランス制御手段１３００に赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の色信号を出力する。

また、本実施形態のホワイトバランス制御手段１３００は、領域分割ＡＦデータ生成手段１０７０や露出制御手段１１００と同様に、画面を水平方向８ブロック、垂直方向６ブロックの計４８ブロックに領域分割し、各領域（ブロック）毎に、カメラプロセス１０５０から得たＲ、Ｇ、Ｂの色信号を基にホワイトバランス調整ゲインを生成する。

例えば、ホワイトバランス制御手段１３００では、ブロック毎にＲ、Ｇ、Ｂ夫々の累積加算結果（ΣＲ、ΣＧ、ΣＢ）からホワイトバランスを補正するためのホワイトバランス補正ゲイン（ＷＧＡＩＮＲ、ＷＧＡＩＮＧ、ＷＧＡＩＮＢ）を、次の
ＷＧＡＩＮＲ＝ΣＧ／ΣＲ …（１）式
ＷＧＡＩＮＧ＝ΣＧ／ΣＧ＝１（基準） …（２）式
ＷＧＡＩＮＢ＝ΣＧ／ΣＢ …（３）式
から求める。

図９は、本実施形態に係る撮像装置の動作説明図である。例えば、本来動きのない領域において、物体Ａが左から右に移動するような画像が撮像された場合、演算制御手段１０９０は動きベクトル算出手段１０８０から出力される動きベクトル情報に基づき、何らかの異常が発生したと判断し、図９左図の動きベクトルが集中する物体Ａを中心とする領域ＡＡを設定し、この領域ＡＡをズームするようにズーム制御手段１２００を制御する。

本実施形態では更に、ホワイトバランス制御手段１３００が、動きベクトルに基づき、移動する物体Ａを中心とする領域ＡＡ部分のホワイトバランス制御を行う。即ち、（１）式、（２）式、（３）式により、ホワイトバランス補正ゲイン（ＷＧＡＩＮＲ、ＷＧＡＩＮＧ、ＷＧＡＩＮＢ）を算出し、ホワイトバランス制御信号１３０１としてカメラプロセス１０５０に出力する。

ホワイトバランス制御信号１３０１を受信したカメラプロセス１０５０は、露出制御信号１１０１と、ズーム制御信号１２０１と、ホワイトバランス制御信号１３０１に基づき、領域ＡＡを、図９右図に示す様に、拡大ズームすると共に、Ｒ、Ｇ、Ｂの色成分毎に（１）式から（３）式で生成されるホワイトバランス補正ゲイン（ＷＧＡＩＮＲ、ＷＧＡＩＮＧ、ＷＧＡＩＮＢ）を用いてホワイトバランス制御を行い、更に露出制御も行う。

従って、本実施形態によれば、高周波成分の多い被写体が画面に占める面積に関係なく、被写体の動きに追従したフォーカス制御を良好に行いつつ、ズーム制御と露出制御とホワイトバランス制御を同時に行うことができる。また、小さな被写体が静止している場合でも、画面を複数の領域に分割し、分割された領域毎に高周波成分、輝度平均値を算出でき、動き情報を利用した制御を演算制御手段１０９０で行うことができるため、物体Ｂや物体Ｃだけでなく、任意の領域毎にフォーカス制御と露出制御、ズーム制御及びホワイトバランス制御を行うことができる。

このため、監視カメラ等で多い、被写体が固定されるような場合でも、予めフォーカスを優先して調整対象とする領域を設定し、露出制御とズーム制御、さらにホワイトバランス制御についてもフォーカス調整対象とする領域に連動させれば、フォーカス調整対象とする領域に該当する領域の動きベクトルを基準に演算制御手段１０９０が、フォーカス制御に、露出制御、ズーム制御、ホワイトバランス制御を追従させるようにすれば、設定領域で常にフォーカス制御と露出制御、さらに信号処理によるズーム制御、ホワイトバランス制御が適切に調整された良好な映像信号を得ることが可能となる。

尚、本実施形態でも同様に、領域分割ＡＦデータ生成手段１０７０、露出制御手段１１００、ホワイトバランス制御手段１３００は、領域分割する数を水平８ブロック、垂直６ブロックの計４８ブロックとしたが、更に細かく領域を細分化し、より小さな被写体に追従してフォーカス制御、露出制御、ホワイトバランス制御を行うことができるようにしても良い。

（第５の実施の形態）
図１０は、本発明の第５の実施の形態に係る撮像装置の要部構成図である。本実施形態に係る撮像装置は、図８に示した第４の実施形態に係る撮像装置に対して、カメラプロセス１０５０および演算制御手段１０９０に接続されたネットワークインタフェースＩ／Ｆ制御手段１４００を付加した点が異なり、その他の構成要素は第４の実施形態の撮像装置と同じであるため同一構成要素には同一符号を付してその説明は省略する。

本実施形態の撮像装置では、図１１（ａ）に示されるような画面、例えば、本来動きの無い物体Ｂ、物体Ｃが映っている画面で左から右に移動する物体Ａが検出された画面で、演算制御手段１０９０は動きベクトル算出手段１０８０から受信した動きベクトル情報をネットワークＩ／Ｆ制御手段１４００に送る。これにより、ネットワークＩ／Ｆ制御手段１４００は、動きベクトル情報に基づいて物体Ａを中心とする領域ＡＡを図１１（ｂ）に示される様に設定でき、そして、この領域ＡＡ内の画像を、その他の領域（画面の領域ＡＡ以外の領域）の画像より優先してネットワークに送信することができる。

本実施形態の撮像装置によれば、動きの無い領域の画像は、動きの或る領域の画像比べて画像の伝送レートを下げて伝送することができ、伝送帯域を有効活用することが可能となる。例えば、動きの無い領域の静止画像は、１０フレームのうち１フレーム程度を伝送し、動きのある領域の画像についてはフレーム毎にネットワークに伝送する。このように、ネットワークＩ／Ｆ制御手段１４００で伝送する画像のフレームレートを動きベクトルを基準に重み付けして制御すれば、動きのある被写体の画像を優先的に伝送できるため、動きがなめらかな良好な映像信号をネットワークに伝送することが可能となる。

（第６の実施の形態）
図１２は、本発明の第６の実施の形態に係る撮像装置の要部構成図である。本実施形態に係る撮像装置は、図１０に示した第５の実施形態に係る撮像装置に対して、撮像装置を搭載する回転台１６００と、この回転台１６００を演算制御手段１０９０からの指令に基づいて制御する回転台制御手段１５００を付加した点が異なり、その他の構成要素は第５の実施形態の撮像装置と同じであるため同一構成要素には同一符号を付してその説明は省略する。

本実施形態に係る撮像装置では、例えば図１３（ａ）に示す被写体、すなわち、動きの無い物体Ｂ、物体Ｃを撮像しているときに動きの有る物体Ａの画像が検出されたとき、演算制御手段１０９０は、動きベクトル算出手段１０８０から出力される動きベクトル情報に基づいて回転台制御手段１５００を制御し、回転台制御手段１５００は回転台制御信号１５０１を回転台１６００を駆動する。これにより、図１３（ｂ）に示す様に、例えば動きの有る物体Ａの画像が画面の中央となるように制御することが可能となる。

このように、本実施形態によれば、例えば動きのある被写体を常に画面の中央で捕捉することができ、動きのある被写体を的確に撮像することができるため、被写体の自動追尾等を行うことが可能となる。

（第７の実施の形態）
図１４は、本発明の第７の実施の形態に係る撮像装置の要部構成図である。本実施形態に係る撮像装置は、図１２に示した第６の実施形態に係る撮像装置に対して、カメラプロセス１０５０から出力される映像信号や、ネットワークＩ／Ｆ制御手段１４００から出力される映像信号を取り込んで、演算制御手段１０９０から取り込んだ動きベクトル情報に基づいて処理する画像処理手段１７００を付加した点が異なり、その他の構成要素は第６の実施形態の撮像装置と同じであるため同一構成要素には同一符号を付してその説明は省略する。

本実施形態の撮像装置では、動きベクトル算出手段１０８０で算出した動きベクトル情報に基づいてカメラプロセス１０５０から出力される映像信号や、ネットワークＩ／Ｆ制御手段１４００から出力される映像信号を画像処理手段１７００で画像処理するため、画面中の小さな動きのある物体であってもフォーカスが適切に調整された良好な画像を基に画像処理を行うことが可能となる。このため、例えば画面の一部の領域に存在する移動中の自動車のナンバープレートの文字認識を行うような場合でも、ナンバープレートにフォーカスが調整され、かつ露出制御、ホワイトバランス調整が適切に施された画像を基にナンバープレート画像の切り出しや文字認識を行うことができ、認識精度を向上させる等、画像処理の精度向上を図ることが可能となる。

尚、以上述べた各実施形態の撮像装置は、映像信号処理装置を構成するオートフォーカス制御装置９００や露出制御手段１１００、ズーム制御手段１２００、ホワイトバランス制御手段１３００、ネットワークＩ／Ｆ制御手段１４００、回転台制御手段１５００、画像処理手段１７００等の構成要素を夫々個々のハードウェアで構成しても良いが、各構成要素を、ソフトウェア処理によりマイクロコンピュータやＤＳＰ（デジタルシグナルプロセッサ）によって実現しても良い。

本発明の撮像装置は、画面の極く小さな領域に存在する被写体であってその撮像画像信号中の高周波成分の割合が画面全体の高周波成分に比べて少ない場合であってもその被写体の動きに追従したフォーカス制御を良好に行うことができるという効果を有し、監視カメラ等の映像監視を目的とする撮像装置等として有用である。

本発明の第１の実施の形態に係る撮像装置の要部構成図 （ａ）本発明の第１の実施の形態に係る撮像装置が物体Ａ、物体Ｂ、物体Ｃの存在する領域を撮像した画面を示す図 （ｂ）本発明の第１の実施の形態に係る撮像装置が物体Ａ、物体Ｂ、物体Ｃの存在する画面を水平方向８ブロック、垂直方向６ブロックの領域に分割した様子を示す図 （ｃ）本発明の第１の実施の形態に係る撮像装置が物体Ａ、物体Ｂ、物体Ｃの存在する画面を水平方向８ブロック、垂直方向６ブロックの領域に分割すると共に移動物体Ａの周辺で検出した動きベクトルの状態を示す図 （ａ）本発明の第１の実施の形態に係る撮像装置が物体Ａ、物体Ｂ、物体Ｃの存在する画面を水平方向８ブロック、垂直方向６ブロックの領域に分割したときに移動物体Ａの周辺の領域ＡＡにフォーカスを合わせる様子を示す図 （ｂ）本発明の第１の実施の形態に係る撮像装置が領域ＡＡでフォーカスするときの領域ＡＡの高周波成分量とフォーカスレンズ位置との関係を示すグラフ 本発明の第２の実施の形態に係る撮像装置の要部構成図 本発明の第２の実施の形態に係る撮像装置が物体Ａ、物体Ｂ、物体Ｃの存在する画面を水平方向８ブロック、垂直方向６ブロックの領域に分割したときの移動物体Ａの周辺の領域ＡＡに対して露出制御するための露出特性を示す図 本発明の第３の実施の形態に係る撮像装置の要部構成図 本発明の第３の実施の形態に係る撮像装置が物体Ａ、物体Ｂ、物体Ｃの存在する画面を水平方向８ブロック、垂直方向６ブロックの領域に分割したときに移動物体Ａのズーム対象とする領域ＡＡに動きベクトルが集中する様子と領域ＡＡをズームした様子を示す図 本発明の第４の実施の形態に係る撮像装置の要部構成図 本発明の第４の実施の形態に係る撮像装置が物体Ａ、物体Ｂ、物体Ｃの存在する画面を水平方向８ブロック、垂直方向６ブロックの領域に分割したときに移動物体Ａのズーム対象、ホワイトバランス制御対象とする領域ＡＡに動きベクトルが集中する様子と領域ＡＡをズームしホワイトバランス制御を行った様子を示す図 本発明の第５の実施の形態に係る撮像装置の要部構成図 （ａ）本発明の第５の実施の形態に係る撮像装置が物体Ａ、物体Ｂ、物体Ｃの存在する画面を水平方向８ブロック、垂直方向６ブロックの領域に分割したときに移動物体Ａに動きベクトルが集中する様子を示す図 （ｂ）本発明の第５の実施の形態に係る撮像装置が動きベクトルの集中する領域ＡＡを設定する様子を示す図 本発明の第６の実施の形態に係る撮像装置の要部構成図 （ａ）本発明の第６の実施の形態に係る撮像装置が物体Ａ、物体Ｂ、物体Ｃの存在する画面を水平方向８ブロック、垂直方向６ブロックの領域に分割したときに移動物体Ａに動きベクトルが集中する様子を示す図 （ｂ）本発明の第６の実施の形態に係る撮像装置が動きベクトルの集中する物体Ａを画面の中心に制御した様子を示す図 本発明の第７の実施の形態に係る撮像装置の要部構成図 従来の撮像装置の要部構成図

符号の説明

９００ オートフォーカス制御装置
１０００ レンズ系
１００１ レンズ系制御手段
１００２ レンズ絞り制御信号
１０１０ 撮像素子
１０２０ 撮像素子駆動手段
１０３０ 前処理手段
１０４０ Ａ／Ｄ変換器
１０５０ カメラプロセス
１０６０ ＢＰＦ（バンドパスフィルタ）
１０７０ 領域分割ＡＦデータ生成手段
１０８０ 動きベクトル算出手段
１０９０ 演算制御手段
１１００ 露出制御手段
１１０１ 露出制御信号
１２００ ズーム制御手段
１２０１ ズーム制御信号
１３００ ホワイトバランス制御手段
１３０１ ホワイトバランス制御信号
１４００ ネットワークＩ／Ｆ制御手段
１５００ 回転台制御手段
１５０１ 回転台制御信号
１６００ 回転台
１７００ 画像処理手段

Claims (10)

1. 被写体の画像を撮像した映像信号の高周波成分を抽出するフィルタ手段と、撮像画面の領域を複数に分割した分割領域毎に前記フィルタ手段から出力される高周波成分を積分する積分手段と、前記映像信号から前記画像中の動き情報を抽出する動きベクトル算出手段と、前記動きベクトル算出手段が抽出した前記動き情報に基づいて前記分割領域の中からフォーカス調整対象領域を設定し前記フォーカス調整対象領域の前記高周波成分に基づいてフォーカスレンズ位置を制御する制御手段とを備えることを特徴とする映像信号処理装置。
2. 前記分割領域の中から露出調整対象領域を前記動き情報に基づいて設定し前記露出調整対象領域の露出制御を行う露出制御手段を備えることを特徴とする請求項１に記載の映像信号処理装置。
3. 前記分割領域の中からズーム制御対象領域を前記動き情報に基づいて設定し前記ズーム制御対象領域の画像を拡大表示するズーム制御手段を備えることを特徴とする請求項１または請求項２に記載の映像信号処理装置。
4. 前記分割領域の中からホワイトバランス制御対象領域を前記動き情報に基づいて設定し前記ホワイトバランス制御対象領域の画像をホワイトバランス制御するホワイトバランス制御手段を備えることを特徴とする請求項１乃至請求項３のいずれかに記載の映像信号処理装置。
5. 前記分割領域の中からネットワーク伝送領域を前記動き情報に基づいて設定し前記ネットワーク伝送領域の内側の画像を前記ネットワーク伝送領域の外側の画像より優先してネットワークに伝送する伝送手段を備えることを特徴とする請求項１乃至請求項４のいずれかに記載の映像信号処理装置。
6. 前記フォーカス調整対象領域の画像が前記撮像画面内の所定位置となるように撮像装置の撮影する向きを調整する載置台を制御する載置台制御手段を備えることを特徴とする請求項１乃至請求項５のいずれかに記載の映像信号処理装置。
7. 前記動き情報に基づいて前記撮像画像の映像信号を処理する画像処理手段を備えることを特徴とする請求項１乃至請求項６のいずれかに記載の映像信号処理装置。
8. 請求項１乃至請求項７のいずれかに記載の映像信号処理装置を備えることを特徴とする撮像装置。
9. 請求項１乃至請求項７のいずれかに記載の映像信号処理装置をコンピュータのソフトウェア処理で実現することを特徴とする映像信号処理用プログラム。
10. 被写体の画像を撮像した映像信号の高周波成分を抽出するフィルタステップと、撮像画面の領域を複数に分割した分割領域毎に前記フィルタステップにて出力される高周波成分を積分する積分ステップと、前記映像信号から前記画像中の動き情報を抽出する動きベクトル算出ステップと、前記動きベクトル算出ステップにて抽出された前記動き情報に基づいて前記分割領域の中からフォーカス調整対象領域を設定し前記フォーカス調整対象領域の前記高周波成分に基づいてフォーカスレンズ位置を制御する制御ステップとを備えることを特徴とする映像信号処理方法。

Images