JP2023149478A - 撮像素子、撮像装置、撮像装置の制御方法、およびプログラム - Google Patents

Abstract

【課題】高速な被写体に対して良好に追従することが可能な撮像素子を提供する。【解決手段】撮像部（１０５）と認識部（１０６）とを有する撮像素子（１０２）であって、撮像部は、撮像光学系（１０１）を介して形成された光学像を光電変換して画像データを出力し、認識部は、撮像部から出力される画像データに基づいて被写体を認識し、被写体の領域に基づいて生成された制御情報が撮像素子から出力され、制御情報に基づいて画角が変更される。【選択図】図１

Description

本発明は、撮像素子、撮像装置、撮像装置の制御方法、およびプログラムに関する。

特許文献１には、物体の大きさが画面上で所定の大きさになるようにズーム倍率を変更した後に撮影された画像から物体を検出することにより、高速でズーム倍率を変更した際の自動追尾の失敗を防ぐ自動追尾装置が開示されている。特許文献２には、車両に搭載された撮像部で生成された画像データから周辺領域のシーンを認識し、必要なシーンでのみ所定の制御を行う撮像装置が開示されている。特許文献３には、画像認識機能を有する撮像素子を備えた撮像装置が開示されている。

特開２００７－２０８４５３号公報 特開２０２０－２５２６５号公報 特開２０２０－０３９１２３号公報

特許文献１～３に開示されて構成では、撮像素子の外部に設けられた画像処理部を介してレンズの駆動信号を送信するため、レンズの駆動処理に時間を要する。このため、撮像素子からの画像データの読み出しに対して画像認識処理が遅延し、高速な被写体に対して追従できない場合がある。

そこで本発明は、高速な被写体に対して良好に追従することが可能な撮像素子を提供することを目的とする。

本発明の一側面としての撮像素子は、撮像部と認識部とを有する撮像素子であって、前記撮像部は、撮像光学系を介して形成された光学像を光電変換して画像データを出力し、前記認識部は、前記撮像部から出力される前記画像データに基づいて被写体を認識し、前記被写体の領域に基づいて生成された制御情報が前記撮像素子から出力され、該制御情報に基づいて画角が変更される。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、高速な被写体に対して良好に追従することが可能な撮像素子を提供することができる。

第１実施形態における撮像装置のブロック図である。 第１実施形態における撮像装置のタイミングチャートである。 第１実施形態における撮像装置のタイミングチャートである。 第１実施形態における撮像装置のタイミングチャートである。 第２実施形態における撮像装置のブロック図である。 第２実施形態における撮像装置のタイミングチャートである。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

（第１実施形態）
まず、本発明の第１実施形態について説明する。図１は、本実施形態における撮像装置１００のブロック図である。撮像装置１００は、レンズ１０１、撮像素子１０２、画像処理部１０３、回転台（可動部）１０４、撮像画角変更部（画角変更部）１０９、およびズーム制御手段１１２を有する。

レンズ１０１は、被写体の光学像（被写体像）を形成する撮像光学系である。撮像素子１０２は、レンズ１０１により形成された光学像を光電変換して画像データを出力する。また撮像素子１０２は、光電変換を行うとともに、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：ＡＩ）による被写体検出またはシーン認識を行い、画像データの出力と同時にシーン認識結果に基づく制御情報を出力することができる。

撮像素子１０２は、撮像部（画素部）１０５、認識部１０６、制御情報生成部１０７、およびＩＦ（インタフェース）１０８を有する。また撮像素子１０２は、少なくとも第１層と第２層とを含む積層構造を有する積層センサチップであり、例えば、撮像部１０５は第１層に配置され、認識部１０６は第２層に配置されている。撮像素子１０２は、撮像部１０５において光学像を画像データへ変換する。撮像部１０５は、図示しないＣＭＯＳ素子とその制御を行う回路とを含み、光学像を光の強度に応じた電気的な画像データへ変換する。撮像部１０５により変換された画像データは、撮像素子１０２から画像処理部１０３への出力のためにＩＦ１０８へ送られるともに、認識部１０６へ送られる。

認識部１０６は、撮像部１０５から出力された画像データの全てを取得した後に被写体検出やシーン認識を行うのではなく、画像データの一部のみを取得した状態で（全ての画像データの取得完了前に）被写体検出やシーン認識を行う。これにより認識部１０６は、撮像素子１０２からの画像データの出力を行うフレームと同時に、被写体検出およびシーン認識の結果を出力することが可能になる。

制御情報生成部１０７は、認識部１０６から出力された被写体情報およびシーン情報（画像認識処理の結果）に基づいて、現在撮像中のシーンが被写体に追従すべきシーンであるか否かに関するシーン検出結果、および追従する被写体の位置を出力する。制御情報生成部１０７は、認識部１０６から出力されたシーン検出結果に基づいて、被写体に追跡すべきと判定した場合、パン駆動、チルト駆動、およびズーム駆動を行うための制御情報を出力する。本実施形態において、制御情報は、撮像画角を変更するために用いられるＰｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ（ＰＷＭ）信号を生成するためのシリアルデータ信号である。また制御情報は、パン駆動、チルト駆動、およびズーム駆動の駆動電圧、目標ステップ位置、Ｄｕｔｙ、またはレンズドライバ制御信号などのレンズ駆動に必要な制御信号の少なくとも一つを含むが、これに限定されるものではない。撮像部１０５から出力された画像データおよび制御情報生成部１０７にて生成された制御情報は、ＩＦ１０８を介して、外部出力に適した形態に変換されて撮像素子１０２から出力される。

撮像素子１０２から出力された制御情報は、レンズ１０１またはパン回転およびチルト回転を行う回転台１０４を駆動するための情報である。撮像画角変更部１０９は、レンズ１０１または図示しない筐体に設けられている。撮像画角変更部１０９は、撮像素子１０２から出力された制御情報を、撮像装置１００のパンおよびチルトを変更するパン制御手段１１０およびチルト制御手段１１１、ならびにレンズ１０１のズーム倍率を変更するズーム制御手段１１２の位相電圧に変換する。これにより、パン制御手段１１０、チルト制御手段１１１、およびズーム制御手段１１２のそれぞれのステッピングモータ（駆動手段）を制御して所望の画角を得ることができる。なお本実施形態は、交換式レンズと筐体のそれぞれを駆動する三つの制御手段を有するが、これに限定されるものではなく、レンズおよび筐体を駆動する各制御手段が一体化されていてもよい。

一方、撮像素子１０２から出力された画像データは、所定の画像処理を行うための画像処理部１０３に入力される。画像処理部１０３は、ＩＦ（インタフェース）１１３および画像処理手段１１４を有する。画像処理部１０３に入力された画像データは、ＩＦ１１３を介して画像処理に適した画像データに変換された後、画像処理手段１１４により所定の画像処理を行う。ここで画像処理とは、例えば色収差の補正や歪曲の補正などのレンズ１０１による光学的な特性の補正を含むが、これに限定されるものではない。画像処理は、輪郭強調やノイズリダクションや色に関する補正などの人が好ましいと感じる画像にするための処理、または解像度の変換や記録や伝送ためのフォーマット変換などを含む処理であってもよい。画像処理手段１１４で画像処理された画像データは、映像として出力または記録するために画像処理部１０３から出力される。

図２は、撮像装置１００のタイミングチャートである。１フレーム期間２０１は、毎秒３０フレームの場合は１／３０秒、毎秒６０フレームの場合は１／６０秒をそれぞれ示す。１フレーム期間２０１の間に、撮像素子１０２によって全画素の信号が画像データに変換される画像読み出し（全画像読み出し）２０２が行われる。画像読み出し２０２の期間は、全画像の読み出しに要する期間であり、撮像素子１０２の画素数、動作周波数、または回路構成などにより決定される。撮像素子１０２の認識部１０６にて全画像を用いて画像認識を行う場合、画像読み出し２０２が終了後に画像認識２０３を開始し、認識結果が出力される。この結果を基に、撮像素子１０２の制御情報生成部１０７は制御情報２０４を生成し、撮像画角変更部１０９は制御更新２０５を行う。

このように、撮像素子１０２内の認識部１０６で画像認識を行う場合、画像読み出し２０２と同じ１フレーム期間２０１内で認識結果が出力されるため、後段の画像処理部１０３で認識を行うよりも早く認識結果を得ることができる。その結果、従来と比較して、１～数フレーム分だけ早く追従制御を行うことが可能となるため、追従性が向上する。

図３は、撮像部１０５の画素を１／４に間引いた画素で画像認識を行う場合における撮像装置１００のタイミングチャートである。１／４画素の読み出し、すなわち画像読み出し（全画像読み出し）３０２の期間の１／４の読み出しタイミングで画像認識３０３を行う。ここで、認識成功となった場合、このタイミングで制御情報３０４を生成して制御更新３０５を生成することができる。この場合、画像読み出し３０２の期間が終了するよりも早く認識結果が出力されるため、より早く駆動制御を変更することができ、全画素読み出しの場合よりも更に追従性を向上させることが可能となる。

１／４画素で認識が成功しなかった場合、さらに１／４画素を読み出して１／２画素の読み出しで生成した画像で認識を行う。さらに１／２画素で認識が成功しなかった場合、３／４画素、４／４＝全画素読み出しでの画像で認識を行う。１／４画素、１／２画素、３／４画素、４／４画素での読み出し後の画像認識で認識が成功したタイミングで認識結果を出力可能であるため、いずれの場合でも従来と比較して早く認識結果を得ることができる。なお本実施形態では、１／４画素ずつ間引いて読み出しを行う場合を説明したが、これに限定されるものではなく、１／４以外の間引き率へ変更してもよい。

図４は、本実施形態の変形例としての撮像装置１００のタイミングチャートである。図４に示されるように、画像認識４０３を基に制御更新４０５を実施した後、同じフレーム期間内で再度画像認識４０６を行うこともできる。なお図４では、１フレーム期間で二回画像認識を行う場合を示しているが、これに限定されるものではない。二回以上の複数回画像認識処理を行うこと、またはフレーム期間毎に認識回数を変更してもよく、画像周期とは同期せずに画像認識処理を行うことができる。

（第２実施形態）
次に、本発明の第２実施形態について説明する。図５は、本実施形態における撮像装置５００のブロック図である。撮像装置５００は、レンズ５０１、撮像素子５０２、画像処理部５０３、回転台（可動部）５０４、撮像画角変更部（画角変更部）５１５、およびズーム制御手段５１８を有する。

レンズ５０１は、被写体の光学像（被写体像）を形成する撮像光学系である。撮像素子５０２は、レンズ５０１により形成された光学像を光電変換して画像データを出力する。また撮像素子５０２は、光電変換を行うとともに、ＡＩによる被写体検出またはシーン認識を行い、画像データの出力と同時にシーン認識結果に基づく制御情報を出力することができる。

撮像素子５０２は、撮像部５０５、画像処理部５０６、認識部５０７、制御情報生成部５０８、およびＩＦ５０９を有する。撮像素子５０２は、撮像部５０５において光学像を画像データへ変換する。撮像部５０５は、図示しないＣＭＯＳ素子とその制御を行う回路とを含み、光学像を光の強度に応じた電気的な画像データへ変換する。撮像部５０５により変換された画像データは、撮像素子５０２から画像処理部５０３への出力のためにＩＦ５０９へ送られるともに、画像処理部５０６へ送られる。

画像処理部５０６は、ホワイトバランスを合わせる処理や、画素の補間処理など、認識を行うために必要な比較的簡易な画像処理を行う。認識部５０７は、画像処理部５０６にて処理された画像データに基づいて、被写体検出またはシーン認識を行う。認識部５０７は、撮像部５０５から出力された画像データの全てを取得した後に被写体検出やシーン認識を行うのではなく、画像データの一部のみを取得した状態で（全ての画像データの取得完了前に）被写体検出やシーン認識を行う。これにより認識部５０７は、撮像素子５０２からの画像データの出力を行うフレームと同時に、被写体検出およびシーン認識の結果を出力することが可能になる。

認識部５０７は、撮像部５０５からの画像データに基づいて（画像処理部５０６からの出力信号を用いて）画像認識処理を行い、被写体情報（被写体検出の結果）およびシーン情報（シーン認識の結果）を出力する。制御情報生成部５０８は、被写体情報およびシーン情報に基づいて、現在撮像中のシーンの追従を撮像素子５０２または画像処理部５０３のいずれからの制御情報で行うかを切り替える切替信号（選択信号）と、被写体に追従するための制御情報とを出力する。切替信号および制御情報は、ＩＦ５０９を介して外部出力に適した形態に変換され、撮像素子５０２から出力される。すなわち本実施形態は、撮像画角変更部５１５は、撮像素子５０２において生成される制御情報および画像処理部５０３において生成される制御情報の両方を用いて、画角を変更する。

画像処理部５０３は、ＩＦ５１０を介して、撮像素子５０２からの出力信号を画像処理に適した画像データへ変換する。画像処理手段５１１は、ＩＦ５１０から入力された画像データに対して画像処理を行う。ここで画像処理は、例えば、色収差の補正または歪曲の補正などのレンズ５０１による光学的な特性の補正または画素の補間に関する処理を含む。また画像処理は、ホワイトバランスの調整、輪郭強調やノイズリダクションなどの人が画像として認識するのに必要な種々の処理を含んでもよい。また画像処理は、解像度の変換や認識に適した画像にするための画像処理を含んでいてもよい。

画像処理された画像データは、映像として出力または記録する目的で画像処理部５０３から出力されると同時に、被写体認識を行うために認識部５１２へ送られる。認識部５１２で行われる被写体認識は、画像処理手段５１１で種々の画像処理がなされた結果の画像データに対して行われるため、撮像素子５０２内の認識部５０７で認識される結果に対してより正確に認識できるが、認識結果の出力までに時間を要する。

認識部５１２による被写体認識の結果（被写体情報）は、制御情報生成部５１３に送られる。制御情報生成部５１３は、追従を行うための制御情報を出力する。制御情報は、撮像素子５０２内の制御情報生成部５０８で出力される制御情報と同様に、パン駆動、チルト駆動、およびズーム駆動の駆動電圧、目標ステップ位置、Ｄｕｔｙ、またはレンズドライバ制御信号などレンズ駆動に必要な制御情報の少なくとも一つを含む。制御情報生成部５１３から出力された制御情報は、制御情報切替部（選択部）５１４に入力される。制御情報切替部５１４には、ＩＦ５１０で変換された切替信号（選択信号）、および撮像素子５０２から出力された制御情報も入力される。

第１実施形態にて説明したように 撮像素子からの制御情報は画像のフレーム期間中に何度も更新されることがあるため、制御情報切替部５１４の切り替えは、画像のフレーム期間と同期せずに（非同期で）行われる。制御情報切替部５１４は、切替信号（選択信号）に基づいて、撮像素子５０２の制御情報または画像処理部５０３の制御情報のいずれか一つを選択して出力する。制御情報切替部５１４から出力された制御信号は、ＩＦ５１０を介して、パン回転およびチルト回転を行う回転台５０４と、レンズ５０１のズームとを駆動するための情報である。

撮像画角変更部５１５は、制御情報切替部５１４により選択された制御情報を、パン制御手段５１６、チルト制御手段５１７、およびズーム制御手段５１８の各制御アクチュエータに適した信号に変換する。パン制御信号はパン制御手段５１６に送られ、回転台５０４のパンを制御する。チルト制御信号はチルト制御手段５１７に送られ、回転台５０４のチルトを制御する。ズーム制御信号はズーム制御手段５１８に送られ、レンズ５０１におけるズームレンズの駆動を制御する。

図６は、本実施形態における撮像装置５００のタイミングチャートである。１フレーム期間６００は、毎秒３０フレームの場合は１／３０秒、毎秒６０フレームの場合は１／６０秒をそれぞれ示す。１フレーム期間６００の間に撮像素子５０２によって全画素の信号が画像データに変換される画素読み出し（全画素読み出し）６０１が行われる。画素読み出し６０１の期間は、撮像素子５０２の画素数、動作周波数、または回路構成などにより決定される。

撮像素子５０２が制御情報を作る場合、例えば１／２に間引いた画像データで画像認識を行う場合におけるタイミングを説明する。１／２画像を読み出したところで画像処理６０２が始まる。これは、前述のように、ホワイトバランス処理や、画素を補間する程度の比較的簡易な処理である。画像処理６０２が完了後に画像認識６０３を開始し、認識結果が出力される。この結果を元に撮像素子５０２の中で制御情報６０４が生成される。また、撮像素子５０２内部の制御情報６０４は複数回行うことができるため、画素読み出し６０１の後に画像処理６０９を行い、続けて画像認識６１０による認識を行い、その認識結果の出力後に制御情報６１１を出力することもできる。

一方、画像処理部５０３で認識を行う場合、撮像素子５０２から画像データが入力される画像読み出し６０５をきっかけに画像処理６０６が始まる。前述のように、画像処理部５０３の画像処理では種々の処理を行うため、撮像素子５０２での画像処理６０２に比べて長い時間を要する。認識処理は開始前に画像が揃っている必要があるため、画像処理６０６の完了後に画像認識６０７を開始し、認識結果が出力される。この結果を元に画像処理部５０６の制御情報６０８が生成される。

以上のように、撮像素子５０２の内部で制御情報６０４を生成する場合、１フレーム期間６００の間に複数回出力することができる（高速で制御情報を取得できる）が、画像処理６０２が簡易な処理なために正確さはやや劣る。一方、画像処理部５０３の内部で制御情報６０８を生成する場合、画像読み出し６０５や画像処理６０６に時間を要するため、制御情報６１１が得られるのは少なくとも１フレーム後になる。代わりに、画像処理６０６で様々な処理を行っているため、人が認識するのに近い認識情報を得ることができる。

本実施形態では、撮像素子５０２の認識部５０７でシーン認識を行い、シーン認識の結果に基づいて、撮像画角を変更するために用いられる制御情報を切り替える。すなわち、シーン認識の結果、速い応答速度が要求されるシーンであると判定した場合、撮像素子５０２の制御情報生成部５０８から出力される制御情報を用いる。一方、速い応答速度が要求されるシーンでない場合、画像処理部５０３の制御情報生成部５１３から出力される制御情報を用いる。このため、応答速度の速さと追従の正確さとを両立することができる。野球放送の例で考えると、ピッチャーの投球前の追従には画像処理部５０３の制御信号を用いて正確な追従し、ピッチャーの投球後は撮像素子５０２の制御信号を用いる。これにより、打球のフレームアウトをできるだけ防ぐという使い方をすることが可能である。

以上のように、各実施例の撮像素子１０２、５０２は、撮像部１０５、５０５および認識部１０６、５０７を有する。撮像部は、撮像光学系を介して形成された光学像を光電変換して画像データを出力する。認識部は、撮像部から出力される画像データに基づいて被写体を認識し（画像認識処理を行い）、被写体の領域に基づいて生成された制御情報が撮像素子から出力され、制御情報に基づいて画角が変更される。

各実施例の撮像装置１００、５００は、撮像素子と、画角を変更する画角変更部（撮像画角変更部１０９、５１５）とを有する。撮像素子は、被写体の領域に基づいて生成された制御情報を出力し、画角変更部は、制御情報に基づいて画角を変更する。

好ましくは、撮像装置は、パン方向およびチルト方向に移動可能な可動部（回転台１０４、５０４）を有する。可動部は、パン方向における駆動を制御するパン制御手段１１０、５１６、およびチルト方向における駆動を制御するチルト制御手段１１１、５１７を有する。画角変更部は、制御情報を用いてパン制御手段またはチルト制御手段の少なくとも一つを制御する。また好ましくは、撮像装置は、撮像光学系のズームレンズの駆動を制御するズーム制御手段１１２、５１８を有する。画角変更部は、制御情報を用いてズーム制御手段を制御する。

好ましくは、認識部からの信号は、撮像部から画像データが読み出されるフレーム期間内に出力される。より好ましくは、認識部からの信号は、撮像部から画像データが読み出されるフレーム周期と同期せずに出力される。また好ましくは、制御情報は、駆動電圧、目標ステップ位置、Ｄｕｔｙ、またはレンズドライバ制御信号の少なくとも一つを含む。また好ましくは、制御情報は、撮像画角を変更するために用いられるＰＷＭ信号を生成するためのシリアルデータ信号である。

好ましくは、撮像装置は、画像処理部５０３および選択部（制御情報切替部５１４）を有する。画像処理部は、撮像素子から出力される画像データに対して画像処理を行い、制御情報（第２制御情報）を生成する。選択部は、撮像素子において生成される制御情報または画像処理部において生成される第２制御情報を選択する。画角変更部は、選択部により選択された制御情報または第２制御情報を選択的に用いて、画角を変更する。より好ましくは、選択部は、画像処理部に設けられている。また好ましくは、選択部は、撮像素子に設けられている。より好ましくは、撮像素子は、画像処理部において生成される制御情報を画像処理部から受信する。また好ましくは、選択部は、撮像素子および画像処理部のいずれとも独立して設けられている。

好ましくは、選択部は、撮像素子から出力される選択信号に基づいて、撮像素子において生成される制御情報または画像処理部において生成される第２制御情報を選択する。より好ましくは、選択部は、画像データのフレーム期間と同期せずに、撮像素子において生成される制御情報または画像処理部において生成される第２制御情報を切り替える。また好ましくは、選択信号は、画像認識処理（シーン認識処理）により判定されたシーンに基づいて生成される。選択部は、シーンが第１シーン（例えば、速い応答速度が必要なシーン）である場合、撮像素子において生成される制御情報を選択する。一方、選択部は、シーンが第２シーン（例えば、正確な認識が必要なシーン）である場合、画像処理部において生成される制御情報を選択する。

好ましくは、認識部は、画像データにおける被写体および被写体の周辺領域を認識してフレームアウトを回避すべきか否かを判定する。より好ましくは、フレームアウトを回避すべきと判定された場合、選択部は、撮像素子において生成される制御情報を選択する。一方、フレームアウトを回避すべきでないと判定された場合、選択部は、画像処理部において生成される制御情報を選択する。

好ましくは、画角変更部は、撮像素子において生成される制御情報および画像処理部において生成される第２制御情報の両方を用いて、画角を変更する。また好ましくは、第２制御情報は、制御情報よりも処理負荷が大きい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施形態は、従来のように撮像素子の外部に設けられた画像処理部を介してレンズの駆動信号を送信する代わりに、積層センサチップとして構成された撮像素子の内部で認識処理を行って得られた制御情報をレンズの駆動信号として送信する。これにより、処理に要する時間を短縮することができる。このため各実施形態によれば、高速な被写体に対して良好に追従することが可能な撮像素子、撮像装置、撮像装置の制御方法、およびプログラムを提供することができる。また各実施形態によれば、高速の被写体の追従と、より正確な追従との両立が可能になり、用途に応じた追従を実現することができる。このため各実施形態の撮像装置は、例えば、ＡＩでシーン認識を行うことで、フレームアウトが問題になるシーンか否かを判定しつつ、高速な被写体でも追従することが可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００、５００ 撮像装置
１０１、５０１ レンズ（撮像光学系）
１０２、５０２ 撮像素子
１０５、５０５ 撮像部
１０６、５０７ 認識部
１０３、５０３ 画像処理部
１０９、５１５ 撮像画角変更部（画角変更部）

Claims (23)

1. 撮像部と認識部とを有する撮像素子であって、
   前記撮像部は、撮像光学系を介して形成された光学像を光電変換して画像データを出力し、
   前記認識部は、前記撮像部から出力される前記画像データに基づいて被写体を認識し、
   前記被写体の領域に基づいて生成された制御情報が前記撮像素子から出力され、該制御情報に基づいて画角が変更されることを特徴とする撮像素子。
2. 前記撮像素子は、少なくとも第１層と第２層とを含む積層構造を有する積層センサチップであり、
   前記撮像部は、前記第１層に配置され、
   前記認識部は、前記第２層に配置されていることを特徴とする請求項１に記載の撮像素子。
3. 撮像素子と、
   画角を変更する画角変更部とを有し、
   前記撮像素子は、撮像光学系を介して形成された光学像を光電変換して画像データを出力する撮像部と、該撮像部から出力される該画像データに基づいて被写体を認識する認識部とを有し、前記被写体の領域に基づいて生成された制御情報を出力し、
   前記画角変更部は、前記制御情報に基づいて前記画角を変更することを特徴とする撮像装置。
4. パン方向およびチルト方向に移動可能な可動部を更に有し、
   前記可動部は、
   前記パン方向における駆動を制御するパン制御手段と、
   前記チルト方向における駆動を制御するチルト制御手段と、を有し、
   前記画角変更部は、前記制御情報を用いて前記パン制御手段または前記チルト制御手段の少なくとも一つを制御することを特徴とする請求項３に記載の撮像装置。
5. 前記撮像光学系のズームレンズの駆動を制御するズーム制御手段を更に有し、
   前記画角変更部は、前記制御情報を用いて前記ズーム制御手段を制御することを特徴とする請求項３または４に記載の撮像装置。
6. 前記認識部からの信号は、前記撮像部から前記画像データが読み出されるフレーム期間内に出力されることを特徴とする請求項３乃至５のいずれか一項に記載の撮像装置。
7. 前記認識部からの信号は、前記撮像部から前記画像データが読み出されるフレーム周期と同期せずに出力されることを特徴とする請求項６に記載の撮像装置。
8. 前記制御情報は、駆動電圧、目標ステップ位置、Ｄｕｔｙ、またはレンズドライバ制御信号の少なくとも一つを含むことを特徴とする請求項３乃至７のいずれか一項に記載の撮像装置。
9. 前記制御情報は、ＰＷＭ信号を生成するためのシリアルデータ信号であることを特徴とする請求項１乃至８のいずれか一項に記載の撮像装置。
10. 前記撮像素子から出力される前記画像データに対して画像処理を行い、第２制御情報を生成する画像処理部と、
    前記撮像素子において生成される前記制御情報または前記画像処理部において生成される前記第２制御情報を選択する選択部とを更に有し、
    前記画角変更部は、前記選択部により選択された前記制御情報または前記第２制御情報を選択的に用いて、前記画角を変更することを特徴とする請求項３乃至９のいずれか一項に記載の撮像装置。
11. 前記選択部は、前記画像処理部に設けられていることを特徴とする請求項１０に記載の撮像装置。
12. 前記選択部は、前記撮像素子に設けられていることを特徴とする請求項１０に記載の撮像装置。
13. 前記撮像素子は、前記第２制御情報を前記画像処理部から受信することを特徴とする請求項１０に記載の撮像装置。
14. 前記選択部は、前記撮像素子および前記画像処理部のいずれとも独立して設けられていることを特徴とする請求項１０に記載の撮像装置。
15. 前記選択部は、前記撮像素子から出力される選択信号に基づいて、前記制御情報または前記第２制御情報を選択することを特徴する請求項１０乃至１４のいずれか一項に記載の撮像装置。
16. 前記選択部は、前記画像データのフレーム期間と同期せずに、前記制御情報または前記第２制御情報を切り替えることを特徴とする請求項１０乃至１５のいずれか一項に記載の撮像装置。
17. 前記選択信号は、前記認識部により判定されたシーンに基づいて生成され、
    前記選択部は、
    前記シーンが第１シーンである場合、前記撮像素子において生成される前記制御情報を選択し、
    前記シーンが第２シーンである場合、前記画像処理部において生成される前記第２制御情報を選択することを特徴とする請求項１５に記載の撮像装置。
18. 前記認識部は、前記画像データにおける前記被写体および該被写体の周辺領域を認識してフレームアウトを回避すべきか否かを判定することを特徴とする請求項１０乃至１７のいずれか一項に記載の撮像装置。
19. 前記選択部は、
    前記フレームアウトを回避すべきと判定された場合、前記撮像素子において生成される前記制御情報を選択し、
    前記フレームアウトを回避すべきでないと判定された場合、前記画像処理部において生成される前記第２制御情報を選択することを特徴とする請求項１８に記載の撮像装置。
20. 前記撮像素子から出力される前記画像データに対して画像処理を行い、第２制御情報を生成する画像処理部を更に有し、
    前記画角変更部は、前記撮像素子において生成される前記制御情報および前記画像処理部において生成される第２制御情報の両方を用いて、前記画角を変更することを特徴とする請求項３乃至９のいずれか一項に記載の撮像装置。
21. 前記第２制御情報は、前記制御情報よりも処理負荷が大きいことを特徴とする請求項１０乃至２０のいずれか一項に記載の撮像装置。
22. 撮像素子を用いて、撮像光学系を介して形成された光学像を光電変換して画像データを出力するステップと、
    前記撮像素子において、前記画像データに基づいて被写体を認識するステップと、
    前記被写体の領域に基づいて生成された制御情報を前記撮像素子から出力するステップと、
    前記制御情報に基づいて画角を変更するステップと、を有することを特徴とする撮像装置の制御方法。
23. 請求項２２に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。