JP2007281555A - 撮像装置 - Google Patents

Abstract

【課題】目標物体の動きベクトルを高速に検出可能な高フレームレート画像と、人やマシ
ンが認識できる高画質な通常画像との両者を同時に取得できると共に、検出した動きベク
トルに基づき、撮影画像の変化が振動によるものか否かを判定可能な撮像装置を提供する
。
【解決手段】撮像システム３を、１回の通常露光期間に、センサセルアレイ５６の全露光
領域に対する通常露光時間の露光による画像を撮像すると共に、同じ通常露光期間に、セ
ンサセルアレイ５６の特定領域（露光領域の一部から構成）に対する複数種類の露光時間
の露光による画像を撮像し、且つ特定領域の撮像画像データに基づき目標物の動きベクト
ルを検出する撮像装置１と、撮像装置１から取得した動きベクトル信号に基づき、目標物
の画像変化が振動によるものか否かを判定したり、この判定結果に基づき、通常露光時間
の撮像画像データを補正したりするホストシステム２とを含んだ構成とした。
【選択図】 図１

Description

本発明は、光電変換素子からの電荷の読み出しを、破壊読み出し方式及び非破壊読み出
し方式を用いて行うことが可能な撮像装置に関する。

スチルカメラの手ぶれ補正は古くから研究され、手ぶれ検出としては、撮像画像からの
検出、ジャイロなどを用いた検出方法がある。撮像画像から検出する場合は、たとえばＭ
ＰＥＧなどで用いられる映像のフレーム間の相関を利用して動き検出する方法（動きベク
トル検出）が知られている。
また、近年、携帯テレビ電話が普及しつつある。携帯テレビ電話においては、使用者が
移動中もしくは移動車両の中でそれを使用するとき、手ぶれのため顔画像が揺らぎ、受信
側にて見難い映像となる。この対策としてムービーで行われている手ぶれ補正は有効であ
る。それは、撮像画像と表示画像の画角(画素数)を変える方法である。すなわち、予め画
角を広めに撮影し、目標とする被写体(目標物)が、概ね表示画像の中心に来るように、撮
像画像を切り出し表示する方法である。この切り出しを行うときに、被写体の動きベクト
ルを利用し、動き量に応じて切り出し領域を変更する。

また、固定されたネットワークカメラで、パンやチルトなどカメラ自体が自動で移動す
る機能を搭載したものがある（監視カメラシステム）。これらのカメラシステムにおいて
、高速に動く被写体(目標物)を常に画像の中心に正確におき、かつ画像全体を常に記録も
しくは監視する、という機能がある。このようなシステムにおいては、精度良く検出・ト
ラッキングする為に、特定対象物の動きベクトルを検出する事は有効である。

更に、遠隔地の作業ロボットにおいて、ロボットのカメラ(目)の撮像画像を無線等で遠
隔地から見たい、などの要求がある。通常、ロボットのカメラ(目)はマシンのメカ制御に
利用されている。
上記４つのアプリケーション例においては、カメラで撮像する画像・映像を人間が認識
、観賞すると同時に、そのカメラからの映像により、装置を自動制御する必要がある。

また、近年、安価な高速度カメラの登場により、映像を用いた高速、安定な制御が可能
になった。この高速度カメラは、ロボットビジョン等の制御に応用されている。このよう
な制御では、例えば、１／１０００などのフレームレートの撮像を行う。この高速撮影に
より、パターンマッチング等の比較的軽い計算機処理でも、目標物の動き検出（相対的動
き）の精度が大きく向上する。すなわち、高速フレームレート映像では被写体の動きが殆
どなく、前後のフレームでの相関が高く、目標物の画像としての変化の検出を正確に行え
る。すなわち、Ｘ，Ｙ方向の移動のみならず、回転方向やＺ方向(３次元の回転)に対して
も、フレーム間の相関量計算やパターンマッチングで予測可能となる（比較すべきパター
ンの数が減り、パターンマッチングを行う回数が減る）。これにより、目標物とロボット
の相対位置関係を高速かつ正確に把握でき、また目標物の動きに追従させることが可能と
なる。（高速フレームレート化とそれがもたらす効果：動き量が減ることから、動き検出
が軽くなる（例えば、ＭＰＥＧの場合７０％））。これは、目的が制御であることから、
対象物の座標（位置）情報、対象物の形状が重要であり、階調性や広角な画像は必要とし
ない（目標物の領域画像を高速に、かつエッジ部が正確に把握でき形状が認識できること
が重要）。

また、人間の視覚特性は、せいぜい１／３０秒程度と言われており、実時間で高速な画
像を認識することはできない（このように用途によって、カメラの撮像条件は大きく異な
る）。
また、上記４つのアプリケーション例においては、高画質と高速性とを両立させるのが
困難であるという問題がある（前述の高速度カメラは、露光量が不十分のため、Ｓ／Ｎの
高い画像は取得できない）。特に、手振れを補正する制御や、目標物をトラッキングする
制御を行うアプリケーションにおいては、最終的に、カメラが撮影した映像を人が観察、
鑑賞することが目的となるため、Ｓ／Ｎが高く、コントラストのある画質が要求される。
すなわち適度な露光が必要であり、シャッタ速度の高速化に限界がある（撮像した画像が
、十分視認性の高い必要があり、露光時間を必要とするため）。つまり、一つのカメラで
高画質と高速性とを両立させることは、前述のごとく、動き検出のために高速撮影すると
、画像のＳ／Ｎが劣化し、高品質な観察・観賞用画像を取得できない点から非常に困難で
ある。

そこで、高画質と高速性とを両立させるために、２つのカメラを用い、一方を動き検出
（制御）用高速カメラ、もう一方を通常の観察・観賞用カメラとして使い分ける方法があ
る。
また、従来、動きベクトルを検出して手振れなどの振動によってずれた画像を補正する
技術として、例えば、特許文献１に記載の画像動き補正装置などがある。

特許文献１の画像動き補正装置は、代表点抽出領域を定め、そこから画像全体の動きベ
クトルを算出するもので、画面全体の動きベクトルは代表点の動きベクトルを用いた多数
決法によって決めている。また、読み出し速度を書き込み速度より遅くして画像を予め設
定した補正範囲と一致する領域だけ拡大する読み出し制御手段を有し、手ぶれ補正を行う
際に表示領域よりも小さくした画像を元の画像の大きさに拡大して表示する。
特開昭６３―１６６３７０号公報

しかしながら、上記のように２つのカメラを使い分ける方法では、コストや消費電力が
高くなるといった問題が生じる。
また、上記特許文献１の従来技術においては、視認用も兼ねた撮影画像を用いて動きベ
クトルの検出を行っているため、２つのフレーム間で画像の相関が小さくなり易く、動き
が高速且つ大きい被写体などの動きベクトルを正確に検出するためには、マッチング処理
を行う範囲を大きめにとらなければならず、これによって、検出処理の処理量が大きくな
ってしまうといった問題が生じる恐れがある。

そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたも
のであって、目標物体の動きベクトルを高速に検出可能な高フレームレート画像と、人や
マシンが認識できる高画質な通常画像との両者を同時に取得できると共に、検出した動き
ベクトルに基づき、撮影画像の変化が振動によるものか否かを判定可能な撮像装置を提供
することを目的とする。

〔形態１〕 上記目的を達成するために、形態１の撮像装置は、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光
電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像装置であ
って、
前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、所定露光
時間で露光された電荷を破壊読み出し方式で読み出す第１読出手段と、
前記第１読出手段と同じ露光期間において、前記光電変換部の前記露光領域の一部であ
る特定領域における前記光電変換素子の構成する各画素から、それぞれ異なる露光時間で
露光された複数種類の電荷を非破壊読み出し方式で読み出す第２読出手段と、
前記第１読出手段で読み出された前記露光領域に対する所定露光時間の電荷から構成さ
れる第１画素データに基づき、視認用の画像データを生成する視認用画像データ生成手段
と、
前記第２読出手段で読み出された前記特定領域に対するそれぞれ露光時間の異なる電荷
から構成される複数種類の第２画素データに基づき、前記複数種類の各露光時間毎の高速
走査画像データを生成する高速走査画像データ生成手段と、
前記各露光時間毎の高速走査画像データに基づき、前記特定領域において撮像される目
標被写体の動きベクトルを検出する動きベクトル検出手段と、を備えることを特徴として
いる。

このような構成であれば、第１読出手段によって、前記光電変換部の露光領域における
前記光電変換素子の構成する各画素から、所定露光時間で露光された電荷を破壊読み出し
方式で読み出すことが可能であり、第２読出手段によって、前記第１読出手段と同じ露光
期間において、前記光電変換部の前記露光領域の一部である特定領域における前記光電変
換素子の構成する各画素から、それぞれ異なる露光時間で露光された複数種類の電荷を非
破壊読み出し方式で読み出すことが可能である。

更に、視認用画像データ生成手段によって、前記第１読出手段で読み出された前記露光
領域に対する所定露光時間の電荷から構成される第１画素データに基づき、視認用の画像
データを生成することが可能であり、高速走査画像データ生成手段によって、前記第２読
出手段で読み出された前記特定領域に対するそれぞれ露光時間の異なる電荷から構成され
る複数種類の第２画素データに基づき、前記複数種類の各露光時間毎の高速走査画像デー
タを生成することが可能であり、動きベクトル検出手段によって、前記各露光時間毎の高
速走査画像データに基づき、前記特定領域において撮像される目標被写体の動きベクトル
を検出することが可能である。

従って、例えば、動きのある注目被写体及びその背景から構成される撮像対象を撮像す
る場合に、この撮像対象に対して、第１読出手段によって、露光領域全体の画素を、例え
ば、撮像結果の全体内容を視認可能な撮像画像を得るのに十分な長さの長露光時間で露光
して、当該露光領域全体の各画素の電荷を読み出すことで長露光時間で露光された撮像対
象画像（全体画像）データを得ることができる。一方、前記長露光時間による露光期間中
において、前記動きのある注目被写体の領域を含むその周辺領域を特定領域として、当該
特定領域の画素に対して、例えば、前記長露光時間よりも短い、複数種類（例えば、５種
類など）の露光時間で順次露光される各画素から電荷を非破壊で順次読み出すことで、長
露光時間時のフレームレートよりも高速なフレームレートで複数種類の露光時間で露光さ
れた特定領域の画像データを得ることができる。

これにより、前記長露光時間で露光された電荷から構成される各画素データから視認用
の画像データを生成することができるので、観察、鑑賞をするのに十分な画質の撮像画像
（露光領域全体の画像）を得ることができると共に、注目被写体の動きベクトル検出用の
高フレームレート画像データを得ることができるという効果が得られる。
また、前記高フレームレートで取得された特定領域の画像データに基づき注目被写体の
動きベクトルを検出することが可能なので、高フレームレートにおける各フレーム間で相
関の大きい（差の少ない）画像から動きベクトルを検出することができるので、動きベク
トルを正確に検出できるという効果が得られる。

また、フレーム間の相関が大きくなることから、動きベクトルの検出領域（動き予測領
域）を比較的狭くすることができるので、フレーム数の増加による検出処理回数の増加は
あっても、処理回数による増加分以上に処理量（計算量）を低減することができるので、
結果的に動きベクトルの検出処理量を低減することができるという効果が得られる。
ここで、上記「光電変換部」は、例えば、ＣＭＯＳ技術を用いて構成されており、ＣＭ
ＯＳ技術を利用した非破壊読み出し可能な撮像素子としては、閾値変調型撮像素子（例え
ば、ＶＭＩＳ（Threshold Voltage Modulation Image Sensor））などがある。

また、上記「破壊読み出し方式」は、光電変換素子から電荷（画素信号）を読み出すと
きに、当該光電変換素子に蓄積された電荷を空にするリセット処理を伴うものである。
また、上記「非破壊読み出し方式」は、光電変換素子から電荷（画素信号）を読み出す
ときに、当該光電変換素子に蓄積された電荷を空にせず蓄積状態を維持したままで読み出
すものである。つまり、電荷読み出し時にリセット処理を行わないため、設定された露光
時間に至るまで、電荷の蓄積途中において、異なる露光時間に対して何度でも電荷の読み
出しを行うことができる。

また、上記「動きベクトルの検出」とは、動画像を形成するそれぞれが時間的に離れた
フレーム間で、一方のフレーム内の対象ブロックと、他方のフレーム内のサーチエリア（
参照画素の範囲）における候補ブロックとのブロックマッチングを行い、相関の最も高い
ブロックのフレーム内の相対位置を動きベクトルとして検出することである。

〔形態２〕 更に、形態２の撮像装置は、形態１の撮像装置において、
前記高速走査画像データ生成手段は、前記第２読出手段において前記複数種類の露光時
間における各露光時間で読み出された電荷から構成される画素データの画素値と、前記第
２読出手段において前記各露光時間の１つ前の露光時間で読み出された電荷から構成され
る画素データの画素値とのそれぞれの差分値を算出し、当該算出した差分値に基づき前記
高速走査画像データを生成することを特徴としている。

このような構成であれば、現在、電荷の非破壊読み出しの行われている露光時間の１つ
前の露光時間で読み出された画素データを、例えば、基準データとして保持しておき、現
在読み出された画素データから前記基準データを減じてなる差分値を算出し、この差分値
に基づき、前記高速走査画像データを生成することが可能となるので、読み出した画素デ
ータに混入する固定パターンノイズを除去することが可能である。

ここで、光電変換部を構成する各光電変換素子（画素）から電荷を読み出すときに、例
えば、各光電変換素子の個々の特性のばらつきに起因する固定パターンノイズが発生する
。そのため、非破壊読み出し方式では、読み出した電荷から構成される画素データに、雑
音が多く混入される。
つまり、差分値を算出することによって、画素データに混入される雑音成分を除去する
ことができるので、より正確な輝度レベルの画素データから構成される高速走査画像デー
タを得ることができるという効果が得られる。
ここで、「固定パターンノイズ」には、例えば、長時間露光時に問題になる暗電流シェ
ーディングや、画素ごとの閾値ばらつきやセンサ感度の違いによって発生するものなどが
ある。

〔形態３〕 更に、形態３の撮像装置は、形態１又は２の撮像装置において、
前記動きベクトル検出手段は、前記各露光時間に対して生成された高速画像データと、
前記各露光時間の１つ前の露光時間に対して生成された高速画像データとに基づき、前記
動きベクトルを検出することを特徴としている。
このような構成であれば、特定領域における連続する２フレームの高速画像データから
動きベクトルを検出することが可能となるので、高速移動する注目被写体などの動きベク
トルをより正確に検出することができるという効果が得られる。

〔形態４〕 更に、形態４の撮像装置は、形態１乃至３のいずれか１の撮像装置におい
て、
前記特定領域に対する前記電荷の読み出しタイミングを決定する基準信号を生成する基
準信号生成手段を備え、
前記第２読出手段は、前記基準信号生成手段で生成された基準信号に基づき、前記特定
領域の各画素から電荷を読み出すことを特徴としている。

このような構成であれば、基準信号生成手段によって、前記特定領域に対する前記電荷
の読み出しタイミングを決定する基準信号を生成することが可能であり、前記第２読出手
段は、前記基準信号生成手段で生成された基準信号に基づき、前記特定領域の各画素から
電荷を読み出すことが可能である。
従って、特定領域の画素からの電荷の読み出しタイミングを簡易に制御することができ
ると共に、露光領域における任意の領域を特定領域として簡易に設定することができると
いう効果が得られる。

〔形態５〕 更に、形態５の撮像装置は、形態１乃至４のいずれか１の撮像装置におい
て、
前記動きベクトル検出手段で検出された目標被写体の動きベクトルに基づき、前記特定
領域の位置を、前記目標被写体が前記特定領域の撮像範囲内に含まれるように自動的に変
更する特定領域位置変更手段を備えることを特徴としている。

このような構成であれば、特定領域位置変更手段によって、前記動きベクトル検出手段
で検出された目標被写体の動きベクトルに基づき、前記特定領域の位置を、前記目標被写
体が前記特定領域の撮像範囲内に含まれるように自動的に変更することが可能である。
従って、注目被写体が大きく動いて、現在設定されている特定領域から外れてしまうよ
うな場合も、例えば、検出した動きベクトルから注目被写体の移動方向を推定して、特定
領域の位置を自動的に変更することが可能となるので、注目被写体の動きベクトルを正確
に検出し続けることができるという効果が得られる。これにより、例えば、動きベクトル
に基づく、手振れ防止などが原因の画像のずれ補正をより正確に行うことが可能となる。

〔形態６〕 更に、形態６の撮像装置は、形態５の撮像装置において、
前記高速画像データ生成手段は、前記特定領域位置変更手段によって特定領域の位置変
更があったときに、その位置変更結果に基づき、前記第２画素データの示す輝度値を補正
することを特徴としている。
このような構成であれば、特定領域の位置変更があった直後に発生する露光時間のずれ
に対応することが可能となるので、位置変更後も正確な画素データにより構成される高速
走査画像データを得ることができるという効果が得られる。

〔形態７〕 更に、形態７の撮像装置は、形態１乃至６のいずれか１の撮像装置におい
て、
前記動きベクトル検出手段で検出された目標被写体の動きベクトルに基づき、前記高速
画像データ中の目標被写体画像データの変化が、所定の振動によって生じたのか否かを判
定する判定手段を備えることを特徴としている。

このような構成であれば、判定手段によって、前記動きベクトル検出手段で検出された
目標被写体の動きベクトルに基づき、前記高速画像データ中の目標被写体画像データの変
化が、撮影者の手振れや撮影者の周囲環境が原因で発する振動などによって生じたのか、
例えば、目標被写体の動作によって生じたのかなどを判定することが可能である。
従って、注目被写体画像の変化が、例えば、振動によるものか、注目被写体の動作によ
るものかを判定することができるので、この判定結果を用いて、画像のずれを補正する処
理を行うことで、より適切な画像補正を行うことができるという効果が得られる。

以下、本発明に係る撮像装置の実施の形態を、図面に基づいて説明する。図１〜図１３
は、本発明に係る撮像装置１の実施の形態を示す図である。
以下、図１に基づき、本発明に係る撮像装置１を適用した撮像システム３の概略構成を
説明する。ここで、図１は、本発明に係る撮像システム３の概略構成を示すブロック図で
ある。なお、本実施の形態において、本発明に係る撮像システム３は、撮像装置１によっ
て、注目被写体（目標物）を、通常フレームレート（以下、メインフレームレートと称す
）及び高速フレームレート（以下、サブフレームレートと称す）で撮影し、サブフレーム
レートで撮像したの撮影画像データに基づき動きベクトルを検出する。そして、ホストシ
ステム２において、前記検出した動きベクトルに基づき、メインフレームレートで撮像し
た撮影画像データに対して、例えば、撮影者の手振れや周囲環境の振動などが原因で発生
する画像のずれを補正する。そして、ホストシステム２は、補正後の画像データを所定の
送信先に送信する。

撮像システム３は、図１に示すように、１メインフレーム期間（１回の通常露光期間）
に、センサセルアレイ５６（後述）の全露光領域（全領域）に対する通常露光時間（ユー
ザ等によって任意に設定される時間）の露光による画像を撮像すると共に、同じ１メイン
フレーム期間に、センサセルアレイ５６の特定領域（露光領域の一部から構成）に対する
複数種類の露光時間の露光による画像を撮像し、且つ特定領域の撮像画像データに基づき
注目被写体の動きベクトルを検出する撮像装置１と、撮像装置１からの動きベクトル情報
に基づき、前記通常露光時間の撮像画像データの画像を補正したり、当該補正した画像デ
ータを所定の送信先に送信したりするホストシステム２とを含んで構成される。

撮像装置１は、図１に示すように、通常露光時間の露光期間において、センサセルアレ
イ５６（後述）の全露光領域における通常露光時間で露光された各画素のラインから破壊
読み出し方式で画素信号を読み出すと共に、特定領域における複数種類の露光時間（本実
施の形態においては、いずれも通常露光時間以下の時間で且つ重複無し）で露光された各
画素のラインから非破壊読み出し方式によって各種類毎の画素信号を読み出し、これら読
み出した画素のライン毎の画素信号の画素データ（デジタルデータ）を順次出力する領域
走査対応撮像処理系１０（以下、撮像処理系１０と称す）と、撮像処理系１０から出力さ
れた、全露光領域の各画素からの通常露光時間の露光に対応する画素データに基づき通常
画像データ（視認用画像データ）を生成し、特定領域の各画素からの複数種類の露光時間
の露光にそれぞれ対応する画素データに基づき特定領域画像データを生成し、当該生成し
た特定領域画像データに基づき注目被写体の動きベクトルを検出する映像処理系１２と、
通常画像データ、特定領域画像データなどの各種画像データを記憶するフレームメモリ１
４とを含んで構成される。

更に、図２〜図６に基づき、撮像処理系１０の内部構成を説明する。ここで、図２は、
撮像処理系１０の内部構成及びホストシステム２の内部構成を示すブロック図である。ま
た、図３は、第１のＡＦＥ(Analog Front End)１０２の内部構成を示す図である。また、
図４は、領域別走査対応型撮像素子１００の内部構成を示すブロック図である。また、図
５は、走査ラインスキャナ５４の内部構成を示す図である。また、図６は、センサセルア
レイ５６の詳細構成を示す図である。

図２に示すように、撮像処理系１０は、領域別走査対応型撮像素子１００と、第１のＡ
ＦＥ１０２と、第２のＡＦＥ１０４とを含んで構成される。
領域別走査対応型撮像素子１００（以下、撮像素子１００と称す）は、被写体からの光
を撮像レンズ（不図示）でセンサセルアレイ５６（後述）に集光し、その集光量に応じた
電荷をセンサセルアレイ５６の各画素に蓄積させる。また、撮像素子１００は、映像処理
系１２のタイミング制御器１２ｂ（後述）から出力される駆動信号（ピクセルクロック、
水平同期信号及び垂直同期信号）に基づいて、センサセルアレイ５６の全露光領域の各画
素列に蓄積されている電荷群を電圧群に順次変換する。また、後述する走査ラインスキャ
ナ５４の生成する特定領域＿垂直同期信号に同期して、センサセルアレイ５６の特定領域
の各画素列に蓄積されている電荷群を電圧群に順次変換する。

そして、撮像素子１００は、全露光領域に対する通常露光時間で露光された電荷群を変
換してなる電圧群は、第１水平転送部５８（後述）の有する、第１ラインメモリＳ及び第
１ラインメモリＮを含んで構成される第１出力チャンネル（以下、ＣＨ１と称す）を介し
て第１のＡＦＥ１０２に順次出力させ、他方の特定領域に対する複数種類の露光時間で露
光された電荷群を順次変換してなる電圧群は、第２水平転送部６０（後述）の有する、第
２ラインメモリを含んで構成される第２出力チャンネル（以下、ＣＨ２と称す）を介して
第２のＡＦＥ１０４に順次出力させる。また、本実施の形態においては、全露光領域に対
して、ＣＨ１を介して破壊読み出し方式で各画素からの電荷の読み出しを行い、特定領域
に対して、ＣＨ２を介して非破壊読み出し方式で各画素からの電荷の読み出しを行うこと
によって、電子シャッタ機能による１回の露光期間（通常露光時間）において、全露光領
域における通常露光時間での露光時の電荷群と、特定領域における複数種類の露光時間で
の露光時の電荷群とをそれぞれ独立に読み出すようになっている。

ここで、破壊読み出しと非破壊読み出しの動作の違いを説明する。破壊読み出しは、読
み出し後、直ちにリセット処理（センサセル内に蓄積された電荷を空にする処理）を行い
、再び読み出し動作を行う。リセット前の読み出し信号（アナログデータ）は第１ライン
メモリＳに、リセット後の読み出し信号（アナログデータ）は第１ラインメモリＮに格納
される。そして、差動増幅回路６２（後述）において、対応する画素信号の減算処理を行
って信号レベル検出及びノイズ除去を行う。一方、非破壊読み出しは、読み出し後にリセ
ット処理は行わない。読み出し後の信号（アナログデータ）は各々第２ラインメモリに格
納される。第１ラインメモリ及び第２ラインメモリにそれぞれ格納された画素信号はピク
セルクロックに同期して、第１のＡＦＥ１０２及び第２のＡＦＥ１０４にそれぞれ出力さ
れる。

第１のＡＦＥ１０２及び第２のＡＦＥ１０４は、第１水平転送部５８のＣＨ１及び第２
水平転送部６０のＣＨ２を介して出力されるそれぞれ異なる露光時間に対応する電圧信号
（アナログデータ）を、デジタルデータ（以下、画素データと称す）に変換する。そして
、第１のＡＦＥ１０２及び第２のＡＦＥ１０４は、その生成された画素データを映像処理
系１２の高速・特定領域画像生成部１２ｄ（後述）及び通常画像生成部１２ｃ（後述）に
それぞれ出力する。

更に、図３に基づき、第１のＡＦＥ１０２の内部構成を説明する。
第１のＡＦＥ１０２は、図３に示すように、クランプ回路１０２ａと、増幅回路１０２
ｂと、Ａ／Ｄ変換回路１０２ｃとを含んで構成される。
クランプ回路１０２ａは、撮像素子１００からの画素信号を受信し、それが遮光領域の
信号かを検出し、遮光領域と検出された場合はその信号レベルが黒（基準）レベルになる
ように、入力信号全てに対してクランプ処理を行い、このクランプ処理後の画素信号を増
幅回路１０２ｂに出力する。

増幅回路１０２ｂは、クランプ後の画素信号を、Ａ／Ｄ変換器の入力レンジと整合する
ように増幅し、この増幅後の画素信号をＡ／Ｄ変換回路１０２ｃに出力する。
Ａ／Ｄ変換回路１０２ｃは、増幅回路１０２ｂからの画素信号（アナログデータ）を、
画素データ（デジタルデータ）に変換して映像処理系１２へと出力する。
なお、第１のＡＦＥ１０２及び第２のＡＦＥ１０４は、同一の内部構成となるので、第
２のＡＦＥ１０４に対する内部構成の説明は省略する。

更に、図４に基づき、撮像素子１００の内部構成を説明する。
撮像素子１００は、図４に示すように、基準タイミング発生器５０と、駆動パルス発生
器５２と、走査ラインスキャナ５４と、センサセルアレイ５６と、第１水平転送部５８と
、第２水平転送部６０とを含んで構成される。
基準タイミング発生器５０は、映像処理系１２のタイミング制御器１２ｂ（後述）から
の垂直同期信号及び水平同期信号に基づき、基準タイミング信号を発生する。

駆動パルス発生器５２は、基準タイミング発生器５０からの基準タイミング信号と、走
査ラインスキャナ５４からのリセットライン選択信号及び読出しライン選択信号とに基づ
き駆動パルスを発生してセンサセルアレイ５６に供給する。
走査ラインスキャナ５４は、各種駆動制御信号に基づき、全露光領域に対するリセット
ラインの位置を選択してリセットライン選択信号を生成し、また、全露光領域に対する読
み出しラインの位置を選択して読み出しライン選択信号を生成する。また、映像処理系１
２の通信器・ＤＳＰ動作制御部１２ａ（後述）からの開始ライン番号及び走査領域幅を指
定する制御信号に基づき、特定領域に対する読み出しラインの位置を選択して読み出しラ
イン選択信号を生成する。これら生成した選択信号は駆動パルス発生器５２に出力される
。

センサセルアレイ５６は、ＣＭＯＳ技術を用いて各画素が構成されており、駆動パルス
発生器５２から供給される駆動パルスに基づき、全露光領域における各画素を通常露光時
間で露光すると共に、当該露光により各画素に蓄積された電荷を、各画素のライン毎に破
壊読み出し方式で読み出して第１水平転送部５８に順次出力する。一方、この通常露光時
間の露光期間において、特定領域における複数種類の露光時間における各画素に蓄積され
た電荷を、各画素のライン毎且つ各露光時間の種類毎に順次非破壊読み出し方式で読み出
して第２水平転送部６０に順次出力する。

第１水平転送部５８は、センサセルアレイ５６の全露光領域における通常露光時間に対
応する画素信号データ及びリセット直後の画素信号データを、各画素のライン毎にＣＨ１
の第１ラインメモリＳ及び第１ラインメモリＮにそれぞれ記憶し、当該記憶した通常露光
時間及びリセット直後の画素信号データを、差動増幅器６２（後述）にそれぞれ出力する
。

第２水平転送部６０は、センサセルアレイ５６の特定領域における複数種類の露光時間
にそれぞれ対応する画素信号データを、各画素のライン毎にＣＨ２の第２ラインメモリに
記憶し、当該記憶した画素信号データを第２のＡＦＥ１０４に出力する。
更に、図５に基づき、走査ラインスキャナ５４の内部構成を説明する。
走査ラインスキャナ５４は、図５に示すように、全領域走査カウンタ５４ａと、全領域
走査アドレスデコーダ５４ｂと、特定領域走査カウンタ５４ｃと、特定領域走査アドレス
デコーダ５４ｄと、ＯＲロジック５４ｅとを含んで構成される。

全領域走査カウンタ５４ａは、基準タイミング発生器５０からの垂直同期信号及び水平
同期信号に基づいて、カウントアップ動作を繰り返す。ここで、カウンタの値は、全露光
領域の画素のライン番号に対応しており、このライン番号は、全領域走査アドレスデコー
ダ５４ｂに出力される。
全領域走査アドレスデコーダ５４ｂは、全領域走査カウンタ５４ａからのライン番号の
ラインを「読み出しライン」として有効にし、それ以外のラインを無効にする。更に、有
効としたライン位置（アドレス）を示す読み出しライン制御信号をＯＲロジック５４ｅに
出力すると共に、この読み出しライン制御信号をリセットライン選択信号として駆動パル
ス発生器５２に出力する。

特定領域走査カウンタ５４ｃは、通信器・ＤＳＰ動作制御部１２ａからの開始ライン番
号と走査領域幅を示す情報に基づき、全領域走査カウンタ５４ａとは非同期にカウントア
ップ動作を繰り返す。ここで、カウンタの値は、特定領域の画素のライン番号に対応して
おり、このライン番号は、特定領域走査アドレスデコーダ５４ｄに出力される。また、特
定領域走査カウンタ５４ｃは、特定領域における垂直同期信号である特定領域＿垂直同期
信号を生成し、当該生成した特定領域＿垂直同期信号を映像処理系１２のタイミング制御
器１２ｂに出力する。

特定領域走査アドレスデコーダ５４ｄは、特定領域走査カウンタ５４ａからのライン番
号のラインを「読み出しライン」として有効にし、それ以外のラインを無効にする。更に
、有効としたライン位置（アドレス）を示す読み出しライン制御信号をＯＲロジック５４
ｅに出力する。
ＯＲロジック５４ｅは、全領域走査アドレスデコーダ５４ｂからの読み出しライン制御
信号と、特定領域走査アドレスデコーダ５４ｄからの読み出しライン制御信号とに基づき
、各ライン毎にＯＲ演算を行い、全露光領域に対する最終的な読み出しライン選択信号を
生成すると共に、特定領域に対する最終的な読み出しライン選択信号を生成する。これら
生成した読み出しライン選択信号は駆動パルス発生器５２に出力される。

更に、図６に基づき、センサセルアレイ５６の詳細構成を説明する。
図６に示すように、センサセルアレイ５６は、ＣＭＯＳを用いて構成された複数のセン
サセル（画素）５６ａをマトリクス状に配設し、各画素列毎に、各画素列を構成するセン
サセル５６ａに対して、アドレス線、リセット線及び読出し線が共通に接続され、この３
本の制御線を介して各種駆動信号が各画素列を構成するセンサセル５６ａに送信される。
そして、アドレス線及び読出し線が有効になると、図６に示す信号線を介して蓄積電荷を
第１又は第２出力チャンネル５８又は６０に転送する構成となっている。このような構成
によって、アドレス線により、リセット動作又は読出し動作を行わせる画素列を有効に（
選択）し、当該選択信号で選択した画素列の各センサセル５６ａに対して、リセット動作
を行わせる場合はリセット線を介してリセット動作を指示する信号を入力し、画素信号の
読出しを行わせる場合は、読出し線を介して蓄積電荷の転送を指示する信号を入力する。

次に、図７に基づき、撮像素子１００の露光時間の制御方法、及びセンサセルアレイ５
６からの画素信号の読み出し方法について説明する。ここで、図７は、撮像素子１００の
センサセルアレイ５６における各画素のライン毎の露光及び画素信号の読み出し動作の一
例を示す図である。
ここで、本発明の露光時間の制御は、センサセルアレイ５６の全露光領域（図７中の全
走査領域）に対して、全露光領域における各画素のラインの蓄積電荷のクリア（リセット
）及び通常露光時間の画素信号の読み出しを行う通常走査ライン（読み出しライン）Ｌ１
を設定すると共に、センサセルアレイ５６の特定領域（図７中の特定走査領域）に対して
、複数種類の露光時間の画素信号の非破壊読み出しを行う高速走査ライン（読み出しライ
ン）Ｌ２を設定する。そして、１回の露光期間（通常露光時間）において、通常露光時間
時の画素信号の読み出し及びリセット並びに複数種類の露光時間時の画素信号の非破壊読
み出しがそれぞれ独立に実行されるように行われる。つまり、通常走査ラインＬ１及び高
速走査ラインＬ２は、図７に示すように、全露光領域における画素のライン（例えば、第
１〜第１８ライン）に順次通常露光時間分の電荷が蓄積されると、通常走査ラインＬ１が
各画素のラインの画素信号を順次読み出すと共に、その蓄積電荷を順次クリアするように
設定される。一方、特定領域の画素のライン（例えば、第９〜第１２ライン）においては
、通常露光時間分の電荷が蓄積される期間中、複数種類の露光時間の各露光時間において
各画素のラインの画素信号を非破壊で順次読み出すように高速走査ラインＬ２がそれぞれ
設定される。

なお、本実施の形態においては、図７に示すように、全露光領域に対する通常露光時間
時の画素信号（アナログデータ）は、ＣＨ１の第１ラインメモリＳに読み出され、一方、
リセット直後の画素信号は、ＣＨ１の第１ラインメモリＮに読み出される。そして、これ
ら読み出された画素信号は、図７に示すように、第１水平転送部５８の出力側に設けられ
た差動増幅回路６２に出力され、当該差動増幅回路６２において、リセット前及びリセッ
ト後のそれぞれ対応する画素信号同士の減算処理を行って信号レベルの検出及びノイズ除
去を行う。そして減算処理後の画素信号は、第１のＡＦＥ１０２に出力されそこでデジタ
ルデータ（画素データ）に変換される。一方、特定領域に対する複数種類の露光時間時の
画素信号は、ＣＨ２の第２ラインメモリに読み出されて第２のＡＦＥ１０４に出力されそ
こでデジタルデータ（画素データ）に変換される。

また、上記通常走査ラインＬ１及び高速走査ラインＬ２の画素信号の読み出しタイミン
グの制御は、図７に示すように、全露光領域に対しては、各画素のライン毎に、通常走査
ラインＬ１を順次走査し（図７では上方向）、当該通常走査ラインＬ１においては、蓄積
電荷のクリア（リセット）を行うとともに、蓄積電荷のクリア（リセット）前後に通常露
光時間の露光が行われた画素の画素信号の読み出しを行う。そして、第１ラインにおいて
画素信号の読み出し及びリセットを行い、画素信号がラインメモリから全て外部に読み出
された後に、通常走査ラインＬ１の走査が順次行われる（水平同期信号と同期）。また、
通常走査ラインＬ１が再び第１ラインに到達したときに、丁度通常露光時間が経過するタ
イミングで通常走査ラインＬ１の走査が行われる（垂直同期信号と同期）。このような手
順で、センサセルアレイ５６の全露光領域の画素のラインに対して、各画素のライン毎に
、通常露光時の画素信号の読み出し及び蓄積電荷のクリア（リセット）を順次行う。一方
、特定領域においては、通常走査ラインＬ１によって蓄積電荷がクリア（リセット）され
ると、当該クリア（リセット）後の画素のラインに対して、高速走査ラインＬ２において
複数種類の各露光時間の露光が行われた画素の画素信号の非破壊読み出しを露光時間の短
い順に順次行う。このような手順で、センサセルアレイ５６の特定領域の各画素のライン
に対して、ライン毎に、複数種類の露光時間による露光時の画素信号の非破壊読み出しを
順次行う。

なお、本実施の形態において、通常走査ラインＬ１の画素信号の読み出しと、高速走査
ラインＬ２の画素信号の読み出しとを同時に行う為に、例えば、水平同期信号によって設
定される読み出し期間（ラインメモリへの転送期間）を２つの期間に分けて、一方の期間
で通常走査ラインＬ１によりＣＨ１の第１ラインメモリＳに画素信号を読み出し、他方の
期間で高速走査ラインＬ２によりＣＨ２の第２ラインメモリに画素信号を読み出すことで
回避するようになっている。

次に、図８〜図１１に基づき、映像処理系１２の内部構成を説明する。ここで、図８は
、映像処理系１２の内部構成を示すブロック図である。また、図９は、高速・特定走査画
像生成部１２ｄの内部構成を示す図である。また、図１０は、破壊読み出し方式における
画素の蓄積電荷量の推移を示す図である。また、図１１は、動きベクトル検出部１２ｅの
内部構成を示す図である。

映像処理系１２は、図８に示すように、通信器・ＤＳＰ動作制御部１２ａと、タイミン
グ制御器１２ｂと、通常画像生成部１２ｃと、高速・特定領域画像生成部１２ｄと、動き
ベクトル検出部１２ｅと、メモリアクセス調停器１２ｆと、出力読出器１２ｇとを含んで
構成される。
通信器・ＤＳＰ動作制御部１２ａは、システムコントローラ２ａ（後述）から、センサ
セルアレイ５６の特定領域に対する開始ライン番号と走査領域幅とに関する情報を取得し
、当該取得した開始ライン番号と走査領域幅とを示す駆動制御信号を、撮像処理系１０の
走査ラインスキャナ５４に出力する。また、システムコントローラ２ａから、特定領域の
開始位置及び幅が変更されたか否かを示すデータである特定領域スタート位置データを取
得し、当該取得した特定領域スタート位置データを、高速・特定領域画像生成部１２ｄに
出力する。

タイミング制御器１２ｂは、撮像素子１００の駆動信号（ピクセルクロック、水平同期
信号、垂直同期信号）を生成し、それを撮像素子１００の基準タイミング発生器５０に出
力する。また、タイミング制御器１２ｂは、水平同期信号及び垂直同期信号から、撮像処
理系１０のＣＨ１から出力される全露光領域の通常露光時間で露光時の画素信号に対応す
る、撮像素子１００のセンサセルアレイ５６における画素位置（画素列（ライン）番号、
画素番号）が分かるので、その画素列(ライン)番号（以下、「アドレス情報」とも呼ぶ。
）を生成し、そのアドレス情報を通常画像生成部１２ｃに出力する。また、タイミング制
御器１２ｂは、撮像処理系１０からの特定領域＿垂直同期信号及び水平同期信号から、撮
像処理系１０のＣＨ２から出力される特定領域の複数種類の露光時間で露光時の画素信号
に対応する、撮像素子１００のセンサセルアレイ５６における画素位置が分かるので、そ
のアドレス情報を生成し、当該アドレス情報を高速・特定領域画像生成部１２ｄに出力す
る。

通常画像生成部１２ｃは、撮像処理系１０からの、通常走査ラインＬ１の走査によって
読み出された画素信号から生成される画素データ（以下、通常走査画像データと称す）を
第１のＡＦＥ１０２を介して取得する。そして、当該取得した通常走査画像データと、タ
イミング制御器１２ｂから取得したアドレス情報とに基づき、視認用の画像である通常画
像のデータ（以下、通常画像データと称す）を生成し、当該生成した通常画像データを、
メモリアクセス調停器１２ｆを介してフレームメモリ１４に記憶する。

高速・特定領域画像生成部１２ｄは、図９に示すように、データ処理部７０と、差分画
像生成部７２とを含んで構成される。
データ処理部７０は、撮像処理系１０からの、高速走査ラインＬ２の走査によって読み
出された画素信号から生成される画素データ（以下、高速走査領域画像データと称す）を
第２のＡＦＥ１０４を介して取得し、一方、通信器・ＤＳＰ動作制御部１２ａから、特定
領域スタート位置データを取得する。そして、特定領域スタート位置データに基づき、特
定領域の開始位置及び幅が変更されたときは、特定領域における前記変更後の最初の１走
査に対応する高速走査領域画像データに対して無効フラグを対応付ける。一方、スタート
位置が変更されていないときは、取得した高速走査領域画像データに対して有効フラグを
対応付ける。有効又は無効フラグが対応付けられた高速走査領域画像データは、差分画像
生成部７２に出力されると共に、メモリアクセス調停器１２ｆを介してフレームメモリ１
４に記憶される。即ち、特定領域の位置や幅が変更されると露光時間が変化して、変更タ
イミングによっては走査の途中で幅が変化するため、変更後の最初の１走査において、変
更後の露光時間で露光された画素データと、変更前の露光時間で露光された画素データと
が混在してしまう恐れがある。そのため、変更後の最初の１走査に対応する高速走査領域
画像データについては、そのデータを後段の処理で使用しないようにするため、無効フラ
グを対応付ける。また、撮像処理系１０から取得した高速走査領域画像データは、差分画
像生成部７２において差分値の演算に使用するため、フレームメモリ１４に記憶保持する
。以下、この記憶保持された高速走査領域画像データを、特定領域基準画像データと称す
。

差分画像生成部７２は、データ処理部７０から、有効又は無効フラグの対応付けられた
特定領域画像データを取得すると、当該取得した特定領域画像データに対して１つ前の走
査（露光時間）で取得された特定領域基準画像データを、メモリアクセス調停器１２ｆを
介してフレームメモリ１４から読み出し、特定領域画像データを構成する各画素データの
示す画素値から、当該画素データと同じ画素位置の特定領域基準画像データを構成する各
画素データの示す画素値を減算し、当該減算結果の差分値に基づき特定領域画像データを
生成する。

ここで、差分画像生成部７２の動作説明の為、図１０に基づき、センサセルアレイ５６
の各画素における蓄積電荷量の推移について説明する。
図１０に示すように、１メインフレーム（通常露光時間）の露光期間中において、セン
サセルアレイ５６の各画素に蓄積される電荷量は時間の経過と共に増加する。特定領域に
おいては、非破壊読み出し方式で各画素から電荷を読み出すので、露光中に電荷の読み出
しを何度行っても各画素の蓄積電荷量が維持される。なお、図１０中のリセットタイミン
グは、センサセルアレイ５６に蓄積された電荷を空にするタイミングであり、このタイミ
ングが通常露光時間を決定する。また、特定領域に対して、例えば、図１０に示す（１）
〜（５）のタイミングで電荷を読み出し、そして前述の如く、差分から画像を生成する。
すなわち、（２）以降の各タイミングでそれぞれ読み出した電荷量と、これら各タイミン
グの１つ前のタイミングで読み出した電荷量とのそれぞれの差分から画像を生成する。こ
の差分による画像生成は、通常のフレームレート（メインフレームレート）の５倍のレー
トの画像生成を意味し、それは露光時間が通常露光時間の１／５の画像を生成しているこ
とを意味する。

また、撮像処理系１０から取得した高速走査領域画像データは、非破壊読み出しによっ
て読み出された電荷から構成されるため固定パターンノイズが混合してしまう。そのため
、差分値を算出することで固定パターンノイズを除去している。
更に、差分画像生成部７２は、前記生成した特定領域画像データ及び当該特定領域画像
データに対応する有効又は無効フラグを、目標物検出部１２ｅに出力すると共にメモリア
クセス調停器１２ｆを介してフレームメモリ１４に記憶する。

図８に戻って、動きベクトル検出部１２ｅは、図１１に示すように、第１及び第２信号
処理部８０及び８１と、切り出し制御部８２と、注目領域切り出し部８３と、動きベクト
ル及び目標物検出部８４とを含んで構成される。
第１信号処理部８０は、高速・特定領域画像生成部１２ｄからの特定領域の現サブフレ
ーム（前述した通常走査領域のフレームとは異なる５倍のレートのフレーム）における特
定領域画像データ（以下、現特定領域画像データと称す）を取得すると、この特定領域画
像データの各画素データの示す輝度レベルを、後段の処理に適したレベルに変換する。つ
まり、前記取得した特定領域画像データは、通常露光時間と比較して極短い（１／５の）
露光時間で露光された画像データであるので、その画素信号のレベル（輝度レベル）が小
さいため、一定のゲインを加えてレベルを増幅する。また、極短い露光時間のためにＳ／
Ｎが低いので、前記増幅後の特定領域画像データに対して２次元ローパスフィルタ（以下
、２次元ＬＰＦ）でフィルタリング処理を行い、ノイズを除去する。このように、レベル
補正及びノイズ除去を行うことで、後述するパターンマッチング処理の精度を向上する。
そして、当該レベル補正及びノイズ除去のされた現特定領域画像データを、注目領域切り
出し部８３に出力する。

第２信号処理部８１は、前記現サブフレームの１つ前のサブフレームの特定領域画像デ
ータ（以下、前特定領域画像データと称す）を、メモリアクセス調停器１２ｆを介してフ
レームメモリ１４から取得し、当該取得した前特定領域画像データに対して、上記第１信
号処理部８０と同様に、レベル補正処理及びノイズ除去処理を施す。そして、当該処理後
の前特定領域画像データを、注目領域切り出し部８３に出力する。従って、本実施の形態
においては、現サブフレームに対して、少なくとも１つ前のサブフレームの特定領域画像
データをフレームメモリ１４に記憶保持しておく。

切り出し制御部８２は、後述する前サブフレームの目標物検出二値画像データ（以下、
前目標物検出二値画像データと称す）を、メモリアクセス調停器１２ｆを介してフレーム
メモリ１４から取得し、当該目標物検出二値画像データに基づき、目標物（目標被写体）
の動き予測領域を決定し、全露光領域に対する、当該動き予測領域の座標情報及び目標物
の座標情報を注目領域切り出し部８３に出力する。具体的には、前サブフレームにおける
目標物検出二値画像データの座標情報に基づき、特定領域のサイズ及び目標物検出二値画
像のサイズに応じてそのｘ座標（横方向）及びｙ座標（縦方向）を拡大した領域を動き予
測領域として決定する。つまり、特定領域画像データにおける目標物検出二値画像を含む
所定サイズの画像データ領域が動き予測領域として設定される。

注目領域切り出し部８３は、目標物動き予測領域切り出し部８３ａと、目標物切り出し
部８３ｂとを含んで構成される。
目標物動き予測領域切り出し部８３ａは、切り出し制御部８２からの動き予測領域の座
標情報に基づき、第１信号処理部８０から入力される現特定領域画像データから、動き予
測領域の画像データを切り出し、当該切り出した画像データ（以下、現動き予測領域画像
データと称す）を、動きベクトル及び目標物検出部８２に出力する。

目標物切り出し部８３ｂは、切り出し制御部８２からの目標物検出二値画像データに基
づき、前特定領域画像データから、目標物を含む画像データであり且つ動き予測領域より
も小さいサイズの画像データ（以下、前目標物切り出し領域画像データと称す）を切り出
し、当該切り出した前目標物切り出し領域画像データを、動きベクトル及び目標物検出部
８２に出力する。

動きベクトル及び目標物検出部８２は、前目標物切り出し領域画像データと、動き予測
領域画像データにおける予め設定された各探索ポイントを開始点とした探索候補画像デー
タ（前目標物切り出し領域画像データと同じ形状及び同じサイズの画像データ）とをパタ
ーンマッチングしていき、最終的に、両者の相関性が最も高い探索候補画像データを、現
特定領域画像データにおける目標物切り出し領域画像データ（以下、現目標物切り出し領
域画像データと称す）として検出する。

また、動きベクトル及び目標物検出部８２は、前記検出した現目標物切り出し領域画像
データに基づき、現特定領域画像データの動き予測領域画像データにおける、例えば、現
目標物切り出し領域画像データの画素値を１とし、それ以外の画素値を０とした二値の画
素値から構成される、現サブフレームに対応した目標物検出二値画像データ（以下、現目
標物検出二値画像データと称す）を生成する。そして、前目標物検出二値画像データの座
標情報と、現目標物検出二値画像データの座標情報とに基づき、動きベクトルを検出（算
出）する。

そして、動きベクトル及び目標物検出部８２は、上記検出した動きベクトル情報（動き
ベクトル信号）を、ホストシステム２に出力し、上記生成した現目標物検出二値画像デー
タを、メモリアクセス調停器１２ｆを介してフレームメモリ１４に記憶する。
更に、図８に戻って、メモリアクセス調停器１２ｆは、通常画像生成部１２ｃ、高速・
特定領域画像生成部１２ｄ、動きベクトル検出部１２ｅ及び出力読出器１２ｇの４系統か
らのフレームメモリ１４に対する読み込み・書き込み命令に応じて、これら４系統のフレ
ームメモリ１４の画像データへのアクセス要求を調停しアクセスを行う。

出力読出器１２ｇは、システムコントローラ２ａからの出力タイミング信号に同期して
、メモリアクセス調停器１２ｆを介してフレームメモリ１４内の通常画像データを読み出
し、この読み出した通常画像データをシステムコントローラ２ａに出力する。
フレームメモリ１４は、図８に示すように、目標物二値検出画像データ、特定領域画像
データ、特定領域基準画像データ、通常画像データ等の各種画像データを記憶するメモリ
であり、メモリアクセス調停器１２ｆから読み出し要求があると、その要求が示す画素デ
ータを読み出させる。また、フレームメモリ１４は、メモリアクセス調停器１２ｆから書
き込み要求があると、その書き込み要求が示す画素データを書き込ませる。

次に、図２に基づき、ホストシステム２の内部構成を説明する。
ホストシステム２は、システムコントローラ２ａと、表示装置２ｂと、通信装置２ｃと
を含んで構成される。
システムコントローラ２ａは、映像処理系１２から視認用の通常画像データを取得する
と共に、動きベクトル信号（複数フレーム分）を取得し、当該取得した動きベクトル信号
に基づき、通常画像中の注目被写体の位置ずれが、手振れ等の振動によるずれか、注目被
写体の動作などの振動以外が原因のずれかを判断し、振動によるずれの場合は、通常画像
データ中から注目被写体が所定位置にくるように所定領域の画像を切り出す。つまり、本
実施の形態においては、注目被写体を含む撮像対象（人物や動物等）を、その周辺の領域
（背景）を多めに含むように広めに撮像し、この広めの撮像画像データから注目被写体を
含む撮像対象の一部などを表示用の画像データとして切り出すようになっている。そして
、この切り出した画像データ（以下、通常補正画像データと称す）を、不図示の記録装置
に記録したり、通信装置２ｃを介して他の撮像システムに送信したりする。また、システ
ムコントローラ２ａは、通信装置２ｃを介して、他の撮像システムから画像データ（通常
補正画像データ等）を取得し、当該取得した画像データに基づき表示装置２ｂに画像を表
示する。また、システムコントローラ２ａは、複数サブフレーム分の動きベクトル信号に
基づき、注目被写体の移動が大きい場合は、その移動先を予測し、予測した移動先に合わ
せて特定領域の位置（開始ライン番号）を再設定することも可能である。そして、当該設
定情報を、通信器・ＤＳＰ動作制御部１２ａに出力する。つまり、注目被写体の移動に合
わせて特定領域の開始位置を変更（目標物をトラッキング）することが可能である。

表示装置２ｂは、液晶ディスプレイ等の表示デバイスから構成されており、他の撮像シ
ステムから取得した画像データの画像を表示したり、不図示の記録装置に記録された通常
補正画像データの画像を表示したりする。従って、これら表示する画像データは、画像内
容が理解できる視認性の良さを必要とする。
通信装置２ｃは、システムコントローラ２ａで位置ずれの補正された（切り出された）
画像データである通常補正画像データを、他の撮像システムなどの外部機器に有線又は無
線を介して送信したり、他の撮像システムなどの外部機器から送信された画像データ（通
常補正画像データ等）を受信したりする。

次に、図１２〜図１３に基づき、本実施形態の実際の動作を説明する。ここで、図１２
は、撮像対象画像の一例を示す図である。また、図１３（ａ）は、前サブフレームの動き
予測領域画像を示す図であり、（ｂ）は、現フレームの動き予測領域画像を示す図であり
、（ｃ）は、目標物検出二値画像を示す図であり、（ｄ）は、動きベクトルの検出過程の
一例を示す図である。

以下、本発明に係る撮像システム３を、携帯型テレビ電話装置に適用した場合の動作を
説明する。一般に、携帯型のテレビ電話装置においては、電話装置自体を手で持ち、当該
電話装置に搭載されたカメラ（撮像装置）で自分（主に顔）を撮像し、その撮像画像デー
タと共に音声データを相手側に送信することで、相手先の通話者と互いに相手の画像を見
ながら電話を行うものである。従って、ここでは、図１２に示すように、所定の撮像位置
（拡大縮小なし）において、全露光領域における通話者の上半身及びその周辺の背景を少
し広めに含む撮像領域を通常走査領域として設定する。更に、手振れや周囲環境の発する
振動などにより画像のずれを補正するために、全露光領域における通話者の眼を含むその
周辺の撮像領域を特定走査領域として設定する。なお、ここでは、撮像対象を通話者とし
、注目被写体（目標物）を通話者の左眼とする。

具体的に、ホストシステム２において、通話者の眼を含むその周辺の撮像領域の開始ラ
イン番号及び走査領域幅を決定する。ここでは、全露光領域が４８０画素（縦）×３２０
（横）で、表示領域が３２０画素（縦）×２４０画素（横）のサイズとなっており、特定
領域の開始ライン番号を「８０」、走査領域幅を「９０」と決定する。つまり、全露光領
域におけるライン番号８０〜１６９の画素のラインの範囲を特定領域として決定する。こ
れにより、図１２に示すように、センサセルアレイ５６の全露光領域が通常露光時間によ
る露光を行う全走査領域となり、前記設定した特定領域が特定走査領域となる。

また、本実施の形態においては、特定走査領域のサンプリング時間を、上記図１０に示
す（１）〜（５）と同様に、通常露光時間を均等に５分割した時間とする。また、通常露
光時間は、全露光領域で撮像される全ての被写体に対して十分な露光ができるように適切
な時間を設定する。このようにして、特定領域の領域範囲（開始ライン位置、走査領域幅
）、全露光領域の通常露光時間、特定領域におけるサンプリング時間が決まると、ホスト
システム２は、これらの情報を、通信器・ＤＳＰ動作制御部１２ａを介して撮像装置１に
送信する。以下、特定領域の開始位置及び走査領域幅を可変させずに固定としたままとす
る場合の動作を説明する。

テレビ電話による通話先の呼び出しが開始されると、撮像装置１は、映像処理系１２に
おいて、ホストシステム２から露光時間に関する情報と、特定領域に対する開始ライン番
号「８０」及び走査領域幅「９０」に関する情報とを取得し、通信器・ＤＳＰ動作制御部
１２ａによって、特定領域の開始ライン番号「８０」と走査領域幅「９０」とを指定する
駆動制御信号を撮像処理系１０に送信する。更に、タイミング制御器１２ｂにおいて、全
露光領域に対する通常露光時間の画素信号が得られるように撮像素子１００を駆動する駆
動信号（ピクセルクロック、垂直同期信号及び水平同期信号）を撮像処理系１０に出力す
る。

撮像処理系１０は、駆動制御信号を受信すると、走査ラインスキャナ５４において、垂
直同期信号及び水平同期信号に同期してリセットライン選択信号と、全露光領域に対する
読み出しライン制御信号を生成する。また、開始ライン番号「８０」、走査領域幅「９０
」及び水平同期信号に基づき、特定領域に対する読み出しライン制御信号を生成する。更
に、これら生成した読み出し制御信号をＯＲロジック５４ｅに入力し、全露光領域及び特
定領域に対する読み出しライン選択信号をそれぞれ生成する。そして、これら生成したリ
セットライン選択信号、読み出しライン選択信号（２種類）を駆動パルス発生器５２に出
力する。駆動パルス発生器５２は、基準タイミング発生器からの基準タイミング信号及び
走査ラインスキャナ５４からの各種選択信号に基づき、駆動パルスを発生してセンサセル
アレイ５６に供給する。

センサセルアレイ５６は、駆動パルス発生器５２からの駆動パルスに基づき、通常走査
ラインＬ１及び高速走査ラインＬ２を走査して、全露光領域の各画素のラインから通常露
光時間の露光により蓄積した電荷の破壊読み出しを行い（読み出し後に蓄積電荷のリセッ
トを行う）、この破壊読み出し動作とは独立に、特定領域の各画素のラインから複数種類
の露光時間の露光により蓄積した電荷の非破壊読み出しを行う（読み出し後に蓄積電荷の
リセットを行わない）。そして、通常走査ラインＬ１の走査によって読み出した電荷から
構成される画素信号データを第１水平転送部５８のＣＨ１を介して第１のＡＦＥ１０２に
出力し、高速走査ラインＬ２の走査によって読み出した電荷から構成される画素信号デー
タを第２水平転送部６０のＣＨ２を介して第２のＡＦＥ１０４に出力する。

第１のＡＦＥ１０２は、ＣＨ１を介して順次出力される通常露光時間の露光に対する画
素信号データ（アナログデータ）をデジタルデータに変換してなる画素データを生成し映
像処理系１２に出力する。一方、第２のＡＦＥ１０４は、ＣＨ２を介して順次出力される
複数種類の露光時間の露光に対する画素信号データ（アナログデータ）をデジタルデータ
に変換してなる画素データを生成し映像処理系１２に出力する。

映像処理系１２では、第１のＡＦＥ１０２から出力された全露光領域の画素データ（通
常走査画像データ）を通常画像生成部１２ｃに入力し、第２のＡＦＥ１０４から出力され
た特定領域の画素データ（特定領域画像データ）を高速・特定領域画像生成部１２ｄに入
力する。
通常画像生成部１２ｃは、通常走査画像データを第１のＡＦＥ１０２を介して取得する
と共に、タイミング制御器１２ｂから、当該取得した通常走査画像データに対応するアド
レス情報を取得し、当該アドレス情報と通常走査画像データとを対応付けて、メモリアク
セス調停器１２ｆを介してフレームメモリ１４に記憶する。

一方、高速・特定領域画像生成部１２ｄは、高速走査領域画像データを第２のＡＦＥ１
０４を介して取得すると共に、タイミング制御器１２ｂから、当該取得した高速走査領域
画像データ（特定領域における現サブフレームの高速走査領域画像データ）に対応するア
ドレス情報を取得する。更に、通信器・ＤＳＰ動作制御部１２ａを介して、システムコン
トローラ２ａからの特定領域スタート位置データを取得し、当該特定領域スタート位置デ
ータに基づき、前記取得した高速特定領域画像データが有効か無効かを判定し、この判定
結果に基づき、当該高速特定領域画像データに有効又は無効フラグを対応付ける。このよ
うにして、有効又は無効フラグが対応付けられた高速特定領域画像データは、次のサブフ
レームの走査で取得される高速走査領域画像データに対する特定領域画像データを生成す
る際に使用するため、特定領域基準画像データとして、前記取得したアドレス情報と対応
付けてフレームメモリ１４に記憶する。以下、この特定領域基準画像データを、後基準画
像データと称す。

更に、高速・特定領域画像生成部１２ｄは、前記取得した高速走査領域画像データの１
つ前のサブフレームにおいて取得した高速走査領域画像データからなる特定領域基準画像
データ（以下、前基準画像データと称す）を、メモリアクセス調停器１２ｆを介してフレ
ームメモリ１４から取得する。そして、前記取得した高速走査領域画像データを構成する
各画素データの画素値から、当該取得した前基準画像データにおける対応する各画素デー
タの画素値を減算して、差分値を算出する。更に、当該算出した差分値を画素値とした特
定領域画像データを生成し、当該特定領域画像データを、制御用データ生成部１２ｅに出
力すると共にメモリアクセス調停器１２ｆを介してフレームメモリ１４に記憶する。この
とき、特定領域画像データに対応する有効又は無効フラグのデータも動きベクトル検出部
１２ｅに出力する。

動きベクトル検出部１２ｅは、高速・特定領域画像生成部１２ｄから特定領域画像デー
タ（現特定領域画像データ）を取得すると、第１信号処理部８０において、当該取得した
現特定領域画像データの輝度レベルを増加補正すると共に、２次元ＬＰＦを用いてフィル
タリング処理を行う。一方、第２信号処理部８１において、この現特定領域画像データの
１つ前のサブフレームに対応する特定領域画像データ（前特定領域画像データ）を、メモ
リアクセス調停器１２ｆを介してフレームメモリ１４から取得し、この取得した前特定領
域画像データに対して、輝度レベル補正処理及び２次元ＬＰＦによるフィルタリング処理
を行う。つまり、高速なフレームレートで撮像した通話者の眼を含む画像データの輝度レ
ベルを増加補正し、更に、この補正により増幅したノイズ成分やマッチング処理において
不要な凹凸画像部分を２次元ＬＰＦで除去する。これにより、現特定領域画像データ及び
前特定領域画像データの輝度レベル及びＳ／Ｎが改善され、後段のパターンマッチング処
理を高精度に行うことが可能となる。そして、第１信号処理部８０及び第２信号処理部８
１は、これら処理後の現特定領域画像データ及び前特定領域画像データを、動きベクトル
及び目標物検出部８４にそれぞれ出力する。

一方、切り出し制御部８２は、現特定領域画像データの１つ前のサブフレームに対応す
る目標物検出二値画像データ（前目標物検出二値画像データ）を、メモリアクセス調停器
１２ｆを介してフレームメモリ１４から取得し、当該取得した前目標物検出二値画像デー
タに基づき、図１３（ａ）に示すように、前サブフレームにおける目標物の切り出し領域
の横方向の座標であるｘ座標及び縦方向の座標であるｙ座標をそれぞれ拡大した動き予測
領域を決定する。例えば、目標物切り出し領域画像（ここでは、左眼画像を含む矩形の領
域画像）のサイズが縦２０画素×横４０画素である場合に、この矩形領域を、例えば、ｙ
軸方向に上下７画素ずつ、ｘ軸方向に左右７画素ずつ拡大した縦３４画素×横５４画素の
画像領域を動き予測領域として決定する。そして、切り出し制御部８２は、この動き予測
領域の情報及び前サブフレームにおける目標物切り出し領域（以下、前目標物切り出し領
域と称す）の座標情報を、注目領域切り出し部８３に出力する。

目標物動き予測領域切り出し部８３ａは、第１信号処理部８０から現特定領域画像デー
タを取得し、切り出し制御部８２から動き予測領域の座標情報を取得すると、目標物動き
予測領域切り出し部８３ａにおいて、現特定領域画像データから動き予測領域の座標情報
に対応する座標位置の画像データ（現動き予測領域画像データ）を切り出す。そして、当
該切り出した現動き予測領域画像データを、動きベクトル及び目標物検出部８４に出力す
る。

一方、目標物切り出し部８３ｂは、第２信号処理部８１から前特定領域画像データを取
得し、切り出し制御部８２から目標物検出二値画像データもしくはそこから算出した目標
物切り出し領域の座標情報を取得すると、前特定領域画像データから前目標物切り出し領
域の画像データ（以下、前目標物切り出し領域画像データと称す）を切り出す。例えば、
図１３（ｃ）に示す当該切り出した前目標物切り出し領域画像データを、動きベクトル及
び目標物検出部８４に出力する。なお、本例では、図１３（ｂ）に示すように、現動き予
測領域画像において、目標物画像（左眼画像）が右上にずれた位置にあるとする。

動きベクトル及び目標物検出部８４は、注目領域切り出し部８３から、現動き予測領域
画像データ及び前目標物切り出し領域画像データを取得すると、現動き予測領域画像デー
タに対して予め設定された探索ポイントを左上の画素（開始点）とする探索候補画像デー
タと、前目標物切り出し領域画像データとのパターンマッチングを行う。ここで、探索ポ
イントは、現動き予測領域画像データの全パターンに対してパターンマッチングを行う場
合は全探索パターンの開始点が探索ポイントとなる。一方、公知のスパイラル探索法等を
用いる場合は、間引き探索が行われるため、所定画素数毎に間隔を空けて探索ポイントが
設定される。ここでは、動きベクトルの検出精度が最も高い全探索を行うこととする。

このようにして、全ての探索候補画像データと、前目標物切り出し領域画像データとの
マッチングを行い、マッチングの結果、現動き予測領域画像データと最も相関性の高い探
索候補画像データを、現サブフレームの目標物切り出し領域画像データ（現目標物切り出
し領域画像データ）とする。これにより、図１３（ｂ）に示すように、左眼画像を含む領
域が検出できたとする。

更に、動きベクトル及び目標物検出部８４は、現目標物切り出し領域画像データを検出
すると、当該現目標物切り出し領域画像データの画素値を全て「１」とし、それ以外の特
定領域の画像部分の画素値を全て「０」とした、現サブフレームの目標物検出二値画像デ
ータ（現目標物検出二値画像データ）を生成する。そして、図１３（ｄ）に示すように、
前目標物検出二値画像データにおける目標物の座標と、現目標物検出二値画像データにお
ける目標物の座標データとに基づき、当該目標物の動きベクトルを算出する。

このようにして、現目標物検出二値画像データを生成し、且つ動きベクトルを算出する
と、動きベクトル及び目標物検出部８４は、前記生成した現目標物検出二値画像データを
、メモリアクセス調停器１２ｆを介してフレームメモリ１４に記憶し、前記算出した動き
ベクトルの信号（動きベクトル信号）を、システムコントローラ２ａに出力する。
なお、上記現目標物検出二値画像データの生成処理及び動きベクトルの算出処理は、各
サブフレーム毎に順次行われ、算出された動きベクトルが、システムコントローラ２ａに
順次出力される。

システムコントローラ２ａは、撮像装置１から、通常走査画像データ及び複数サブフレ
ーム分の動きベクトル信号を受信すると、複数サブフレーム分の動きベクトルの変化から
、目標物の位置変化の有無を判定すると共に、位置変化がある場合はそれが振動によるも
のか否かを判定する。振動によるものか否かの判定処理は、予め実験等で測定した振動が
原因の動きベクトルの変化の測定結果と、前記取得した複数サブフレーム分の動きベクト
ルの示す変化との比較によって行う。例えば、同じ方向を細かく行ったり来たりするよう
な変化の場合は、振動が原因と判断し、例えば、通話者が横を向くなどの特定領域からの
急な目標物画像の消失や、通話者が全露光領域から完全に消失する、特定方向に一定の速
度での動きをする、などの場合は、振動以外が原因と判断する。そして、振動が原因と判
断した場合は、全露光領域に対する通常走査画像データから、振動によりずれた分を考慮
した表示用の画像データを切り出す。ここでは、図１２に示すように、通話者を広めの範
囲で撮像し、その撮像画像データから通話者が存在する表示領域の画像データを切り出す
ようになっている。つまり、広めに撮像した領域内に通話者がいる場合は、通話者の撮像
位置が手振れなどでずれた場合でも、そのずれた分に合わせて切り出し位置を調節するこ
とで、振動による画像のずれが補正された表示用の画像データ（通常補正画像データ）を
得るようになっている。

そして、システムコントローラ２ａは、このようにして得られた通常補正画像データを
、通話者の音声データと共に通信装置２ｃを介して通話相手のテレビ電話装置に送信する
。
一方、システムコントローラ２ａは、通信装置２ｃを介して通話相手のテレビ電話装置
から送信されてくる画像データ及び音声データに基づき、表示装置２ｂに画像を表示する
と共に、不図示の音声出力装置において音声を出力する。

このように、本実施の形態の撮像システム３における撮像装置１は、１つの撮像素子に
おいて、撮像対象を全露光領域において通常露光時間の露光で破壊読み出しにより撮像す
ると共に、この通常露光時間の露光期間において、特定領域の画像を複数種類の露光時間
の露光で非破壊読み出しによりそれぞれ撮像することが可能であるので、視認用の通常走
査画像データと、動きベクトル検出用の高フレームレート（通常露光の５倍のフレームレ
ート）画像データとを同時に取得することができる。更に、撮像装置１は、高フレームレ
ート画像データから動きベクトルを検出することができるので、通常フレームレートの画
像データから検出するよりも少ない処理量で動きベクトルの検出を行うことが可能である
。

つまり、目標物のある画像領域（特定領域）を高速サンプリング（サブサンプリング）
することで、注目被写体が移動しても、撮像画像には大きな変化が生じない。これにより
、撮像画像の画像としての変化量は小さくなり、動きベクトルを検出する範囲（動き予測
領域）を狭くすることが可能となる。従って、動きベクトルを検出するための演算回数は
増加するものの、動きベクトルを検出する範囲を小さくすることができるので、特にパタ
ーンマッチング処理に必要な演算量を大幅に低減することが可能となる。例えば、５倍の
フレームレートの場合は、演算量が５倍となるが、目標物の移動量が１／５となるため、
検出範囲を１／５とすることが可能となる。従って、全パターンとのマッチングを行う場
合は、検出範囲は面積となるので、検出範囲を約１／２５とすることが可能である。つま
り、処理量は約１／５（５×１／２５）となり、全体に亘る演算量は大幅に軽減される。
もしくは、同じ計算能力の計算リソースを使うのであれば、５倍の精度の検出が可能とな
る。

上記実施の形態において、撮像処理系１０の領域別走査対応型撮像素子１００における
基準タイミング発生器５０、走査ラインスキャナ５４、駆動パルス発生器５２、第１水平
転送部５８によるセンサセルアレイ５６の全露光領域からの通常露光時間での電荷の破壊
読み出し処理は、形態１の第１読出手段に対応し、撮像処理系１０の領域別走査対応型撮
像素子１００における基準タイミング発生器５０、走査ラインスキャナ５４、駆動パルス
発生器５２、第２水平転送部６０によるセンサセルアレイ５６の特定領域からの複数種類
の露光時間での電荷の非破壊読み出し処理は、形態１、２及び４のいずれか１の第２読出
手段に対応する。

また、上記実施の形態において、センサセルアレイ５６は、形態１の光電変換部に対応
し、通常画像生成部１２ｃは、形態１の視認用画像データ生成手段に対応し、高速・特定
領域画像生成部１２ｄは、形態１又は２の高速走査画像データ生成手段に対応し、動きベ
クトル検出部１２ｅは、形態１、３及び７のいずれか１の動きベクトル検出手段に対応す
る。

なお、これまでは、携帯型のテレビ電話装置に本発明を適用し、特定領域の開始位置を
可変させずに固定としたままとする場合の動作を説明してきたが、上記実施の形態の変形
例として、以下、特定領域の開始位置を可変にする場合について説明する。
例えば、本発明に係る撮像システム３を、固定カメラに適用した場合を説明する。この
場合、ホストシステム２のシステムコントローラ２ａにおいて、撮像装置１の動きベクト
ル検出部１２ｅから目標物の複数サブフレーム分の動きベクトル信号を取得し、これらの
情報と、現在設定されている特定領域の開始位置及び走査領域幅の情報とに基づき、目標
物が特定領域内に納まっているか否かを判定する。この判定により、例えば、特定領域か
らはみ出しているような場合は、目標物が特定領域内に納まるように特定領域の開始位置
を決定し、この決定した開始位置に対応する開始ライン番号情報を、通信器・ＤＳＰ動作
制御部１２ａを介して撮像装置１に出力する。

撮像装置１は、この取得した開始ライン番号の情報を、撮像処理系１０に出力し、上記
同様に、走査ラインスキャナ５４において、開始ライン番号、走査領域幅及び水平同期信
号に基づき、特定領域に対する読み出しライン選択信号をそれぞれ生成する。このように
、撮像装置１では、目標物の動きベクトル情報に応じて、特定領域における目標物の位置
及び位置変化を予測し、この位置変化に追随して特定領域の位置を変更（目標物をトラッ
キング）することが可能である。これにより、例えば、監視対象の監視を正確に行うこと
ができる。

一方、上記のように特定領域の開始位置を可変にした場合に、特定領域の位置が急に変
化するため、一部の画素のラインに対して露光時間が変化してしまうといった問題が生じ
る。つまり、特定領域の開始位置の変更前の露光時間と、変更後の露光時間とが異なって
しまい、同じフレームにおいて露光時間の異なる画素データが混在してしまう。本システ
ムにおいては、前述したように、システムコントローラ２ａにおいて、特定領域の開始位
置及び走査領域幅を変更したか否かを示す特定領域スタート位置データを、撮像装置１の
高速・特定領域画像生成部１２ｄに出力している。高速・特定領域画像生成部１２ｄは、
特定領域スタート位置データを取得すると、このデータから開始位置が変更されたか否か
を判断し、変更されたと判断したときは、特定領域の現サブフレームの特定領域画像デー
タから生成された現特定領域画像データに対して、無効フラグを対応付ける。このように
、無効フラグの対応付けられた１サブフレーム分の現特定領域画像データは、動きベクト
ル検出部１２ｅにおける各処理で使用しないようになっている。従って、目標物の誤検出
などを防ぐことが可能となり、より正確な動きベクトルを検出することが可能となる。な
お、１サブフレーム分を無効とせず、高速・特定領域画像生成部１２ｄにおいて、露光時
間がずれた分を輝度レベル補正することで対処することも可能である。

上記実施の形態の変形例において、上記システムコントローラ２ａからの開始位置情報
に基づき撮像処理系１０において特定領域の開始位置を自動変更する処理は、形態５又は
６の特定領域位置変更手段に対応する。
また、上記実施の形態の変形例において、高速・特定領域画像生成部１２ｄにおいて特
定領域の位置変更による露光時間の変化に対する輝度レベルの補正処理は、形態６の高速
画像データ生成手段に対応する。

なお、上記実施の形態においては、動きベクトルに基づき、目標物の画像変化が振動に
よるものか否かを判定する処理を、ホストシステム２に行わせる構成としたが、これに限
らず、振動によるものか否かを判定する処理を、撮像装置１側で行わせる構成としても良
い。この場合は、撮像装置１における上記振動によるものか否かを判定する処理は、形態
７の判定手段に対応する。

また、上記実施の形態においては、携帯型テレビ電話に、上記実施の形態の変形例にお
いては、固定カメラに対して本発明を適用した例を説明したが、これに限らず、パン・チ
ルトなどを自動で行うカメラに本発明を適用し、撮像装置１において検出した動きベクト
ルに基づき、パン・チルトを制御するなど、動きベクトルを応用できる対象であれば、ど
のような対象に適用しても良い。

また、上記実施の形態においては、出力チャンネル数をＣＨ１及びＣＨ２の２チャンネ
ルとしたが、これに限らず、特定領域に対してチャンネル数を増やして、更に、高速なフ
レームレートで画素信号を読み出すようにしても良い。これにより、例えば、特定領域の
範囲を大きくすることが可能となる。

本発明に係る撮像システム３の概略構成を示すブロック図である。 撮像処理系１０の内部構成及びホストシステム２の内部構成を示すブロック図である。 第１のＡＦＥ(Analog Front End)１０２の内部構成を示す図である。 領域別走査対応型撮像素子１００の内部構成を示すブロック図である。 走査ラインスキャナ５４の内部構成を示す図である。 センサセルアレイ５６の詳細構成を示す図である。 撮像素子１００のセンサセルアレイ５６における各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。 映像処理系１２の内部構成を示すブロック図である。 高速・特定走査画像生成部１２ｄの内部構成を示す図である。 破壊読み出し方式における画素の蓄積電荷量の推移を示す図である。 動きベクトル検出部１２ｅの内部構成を示す図である。 撮像対象画像の一例を示す図である。 （ａ）は、前サブフレームの動き予測領域画像を示す図であり、（ｂ）は、現フレームの動き予測領域画像を示す図であり、（ｃ）は、目標物検出二値画像を示す図であり、（ｄ）は、動きベクトルの検出過程の一例を示す図である。

符号の説明

１は撮像装置、２はホストシステム、２ａはシステムコントローラ、２ｂは表示装置、２
ｃは通信装置、３は撮像システム、１０は撮像処理系、１２は映像処理系（ＤＳＰ）、１
４はフレームメモリ、１００は領域別走査対応型撮像素子、１０２は第１のＡＦＥ、１０
４は第２のＡＦＥ、５０は基準タイミング発生器、５２は駆動パルス発生器、５４は走査
ラインスキャナ、５６はセンサセルアレイ、５８は第１水平転送部、６０は第２水平転送
部、５４ａは全領域走査カウンタ、５４ｂは全領域走査アドレスデコーダ、５４ｃは特定
領域走査カウンタ、５４ｄは特定領域走査アドレスデコーダ、５４ｅはＯＲロジック、１
２ａは通信器、１２ｂはタイミング制御器、１２ｃは通常画像生成部、１２ｄは高速・特
定領域画像生成部、１２ｅは動きベクトル検出部、１２ｆはメモリアクセス調停器、１２
ｇは出力読出器、７０はデータ処理部、７２は差分画像生成部、８０は第１信号処理部、
８１は第２信号処理部、８２は切り出し制御部、８３は注目領域切り出し部、８３ａは目
標物動き予測領域切り出し部、８３ｂは目標物切り出し部、８４は動きベクトル及び目標
物検出部

Claims (7)

1. 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光
   電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像装置であ
   って、
   前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、所定露光
   時間で露光された電荷を破壊読み出し方式で読み出す第１読出手段と、
   前記第１読出手段と同じ露光期間において、前記光電変換部の前記露光領域の一部であ
   る特定領域における前記光電変換素子の構成する各画素から、それぞれ異なる露光時間で
   露光された複数種類の電荷を非破壊読み出し方式で読み出す第２読出手段と、
   前記第１読出手段で読み出された前記露光領域に対する所定露光時間の電荷から構成さ
   れる第１画素データに基づき、視認用の画像データを生成する視認用画像データ生成手段
   と、
   前記第２読出手段で読み出された前記特定領域に対するそれぞれ露光時間の異なる電荷
   から構成される複数種類の第２画素データに基づき、前記複数種類の各露光時間毎の高速
   走査画像データを生成する高速走査画像データ生成手段と、
   前記各露光時間毎の高速走査画像データに基づき、前記特定領域において撮像される目
   標被写体の動きベクトルを検出する動きベクトル検出手段と、を備えることを特徴とする
   撮像装置。
2. 前記高速走査画像データ生成手段は、前記第２読出手段において前記複数種類の露光時
   間における各露光時間で読み出された電荷から構成される画素データの画素値と、前記第
   ２読出手段において前記各露光時間の１つ前の露光時間で読み出された電荷から構成され
   る画素データの画素値とのそれぞれの差分値を算出し、当該算出した差分値に基づき前記
   高速走査画像データを生成することを特徴とする請求項１記載の撮像装置。
3. 前記動きベクトル検出手段は、前記各露光時間に対して生成された高速画像データと、
   前記各露光時間の１つ前の露光時間に対して生成された高速画像データとに基づき、前記
   動きベクトルを検出することを特徴とする請求項１又は請求項２記載の撮像装置。
4. 前記特定領域に対する前記電荷の読み出しタイミングを決定する基準信号を生成する基
   準信号生成手段を備え、
   前記第２読出手段は、前記基準信号生成手段で生成された基準信号に基づき、前記特定
   領域の各画素から電荷を読み出すことを特徴とする請求項１乃至請求項３のいずれか１項
   に記載の撮像装置。
5. 前記動きベクトル検出手段で検出された目標被写体の動きベクトルに基づき、前記特定
   領域の位置を、前記目標被写体が前記特定領域の撮像範囲内に含まれるように自動的に変
   更する特定領域位置変更手段を備えることを特徴とする請求項１乃至請求項４のいずれか
   １項に記載の撮像装置。
6. 前記高速画像データ生成手段は、前記特定領域位置変更手段によって特定領域の位置変
   更があったときに、その位置変更結果に基づき、前記第２画素データの示す輝度値を補正
   することを特徴とする請求項５記載の撮像装置。
7. 前記動きベクトル検出手段で検出された目標被写体の動きベクトルに基づき、前記高速
   画像データ中の目標被写体画像データの変化が、所定の振動によって生じたのか否かを判
   定する判定手段を備えることを特徴とする請求項１乃至請求項６のいずれか１項に記載の
   撮像装置。

Images