JP2007235509A - イメージセンサ、撮像装置、信号処理方法、画像処理方法、および、プログラム - Google Patents

イメージセンサ、撮像装置、信号処理方法、画像処理方法、および、プログラム Download PDF

Info

Publication number
JP2007235509A
JP2007235509A JP2006054400A JP2006054400A JP2007235509A JP 2007235509 A JP2007235509 A JP 2007235509A JP 2006054400 A JP2006054400 A JP 2006054400A JP 2006054400 A JP2006054400 A JP 2006054400A JP 2007235509 A JP2007235509 A JP 2007235509A
Authority
JP
Japan
Prior art keywords
value
pixel
motion vector
circuit
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006054400A
Other languages
English (en)
Inventor
Katsunao Shinmyo
克尚 神明
Kenji Takahashi
健治 高橋
Tsutomu Ichikawa
勉 市川
Takashi Sawao
貴志 沢尾
Koji Yano
幸司 矢野
Hisanobu Sugiyama
寿伸 杉山
Akihiro Okumura
明弘 奥村
Takao Inoue
孝夫 井上
Noriaki Takahashi
紀晃 高橋
Tetsujiro Kondo
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006054400A priority Critical patent/JP2007235509A/ja
Publication of JP2007235509A publication Critical patent/JP2007235509A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】撮像した画像の各画素の動きベクトルを、複雑な処理を行わずに簡単に検出する。
【解決手段】複数の画素を有するイメージセンサの１つの画素の受光面において、フォトダイオード１４１が中央に配置され、フォトダイオード１４１の周囲にフォトダイオード１４２−１乃至１４２−８が配置される。各画素の動きベクトルの検出に用いる動きベクトル信号が、フォトダイオード１４１が検出した光量の所定の時間の間隔における差、フォトダイオード１４２−４，１４２−５が検出した光量の差、および、フォトダイオード１４２−２，１４２−７が検出した光量の差に基づいて、画素ごとに生成される。本発明は、撮像装置に適用できる。
【選択図】図１０

Description

本発明は、イメージセンサ、撮像装置、信号処理方法、画像処理方法、および、プログラムに関し、特に、撮像した画像の各画素の動きベクトルを簡単に検出できるようにしたイメージセンサ、撮像装置、信号処理方法、画像処理方法、および、プログラムに関する。
図１は、従来のCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)を用いたイメージセンサ１の画素の配列を示す図である。なお、図１においては、１つの画素は図内の正方形の領域により示される。イメージセンサ１においては、各画素がイメージセンサ１の受光面に格子状に配置され、各画素内には可能な限り大きなフォトダイオードが１つ配置される。
図２は、従来のCMOSイメージセンサの１画素の等価回路１１を示す回路図であり、各画素ごとに図２に示される等価回路１１が設けられている。等価回路１１は、フォトダイオード２１およびn型のMOSFET（Metal Oxide Semiconductor Field Effect Transistor）２２乃至２４により構成される。フォトダイオード２１のカソードは、ノードNを介して、MOSFET２２のゲートおよびMOSFET２４のソースに接続されている。フォトダイオード２１のアノードは接地されている。MOSFET２２のドレインは、MOSFET２４のドレイン、および、リセット電圧Vrstを供給する図示せぬ電圧源に接続されている。MOSFET２２のソースは、MOSFET２３のドレインに接続されている。MOSFET２３のゲートは、垂直選択線２５に接続され、ソースは、信号線２６に接続されている。MOSFET２４のゲートは、リセット線２７に接続されている。
ここで、等価回路１１の動作の概要を説明する。まず、リセット線２７を介してMOSFET２４のゲートにリセット信号が入力され、MOSFET２４がオンすると、ノードＮの電位がリセット電圧Vrstのレベルにリセットされる。フォトダイオード２１は、フォトダイオード２１に入射した光の強さに応じた電荷を光電変換により発生し、発生した電荷は、MOSFET２４がオフされた後、ノードＮに蓄積され、ノードNの電位が変化する。
次に、垂直選択線２５を介して、スイッチとしてのMOSFET２３のゲートに選択信号が印加され、MOSFET２３がオンされると、１画素分の輝度値、すなわち、画素値を表す画素信号が、MOSFET２２，２３を介して、信号線２６に出力される。このとき、MOSFET２２は増幅器として働き、ノードNの電位の変化が、MOSFET２２により増幅されて、画素信号の値の変化として現れる。その後、再び、リセット信号によりMOSFET２４がオンされ、ノードNの電位がリセットされた後、電荷の蓄積が開始される。
そして、CMOSイメージセンサからは、各画素からの画素信号を所定の順序で配列した画像信号が出力される。
ところで、クラス分類適応処理を用いた多倍密化処理、ノイズ除去処理、中間フレーム（または、フィールド）生成処理といった画像処理では、まず、入力画像を画像処理することにより得ようとする出力画像を構成する画素を、順次、注目画素とし、その注目画素に最も近い位置にある、入力画像を構成する画素を基準画素とする。そしてその注目画素を、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる入力画像を構成する画素の画素値の幾つかが、クラスタップとして抽出される。また、その注目画素の画素値を予測するのに用いる入力画像を構成する画素の画素値の幾つかが、予測タップとして抽出される。そのような画像処理においては、注目画素が存在するフレーム（または、フィールド）、および、その前後のフレーム（または、フィールド）から予測タップおよびクラスタップが抽出される場合がある。
なお、以下、クラスタップおよび予測タップを特に区別する必要がない場合、単に、タップと称する。また、以下、特に区別する必要がある場合を除いて、フレームおよびフィールドの両方に該当する部分について、説明を簡単にするために、フレームのみについて言及することとする。
図３は、クラスタップおよび予測タップを複数のフレームから抽出する場合の例を示す図である。なお、図３においては、フレームt内の基準画素３１に対するクラスタップおよび予測タップとして、基準画素３１を中心とする縦５画素および横５画素を対角線とする、四角形の領域内の１３個の画素により構成されるタップ３２−２、フレームtの１つ前のフレームt-1においてタップ３５−２に対応する位置にあるタップ３５−１、および、フレームtの１つ後のフレームt+1においてタップ３５−２に対応する位置にあるタップ３５−３が抽出される例を示している。
図３に示されるように、複数のフレームにおいて、同じ位置にある画素をタップとして抽出する場合、注目画素およびそれに対応する基準画素が動きの少ない被写体上にあるとき、各フレームにおいて抽出されるタップにおける画像がほぼ同様となり、注目画素の画素値の予測精度が高くなるため、クラス分類適応処理を行うことによる効果が大きくなる。例えば、図４に示すように、基準画素３４が、動きの少ない被写体である家３３の上にある場合、抽出されるタップ３２−１乃至３２−３における画像がほぼ同様となり、注目画素の画素値の予測精度が高くなるため、クラス分類適応処理を行うことによる効果が大きくなる。
しかし、注目画素およびそれに対応する基準画素が動きの大きい被写体上またはその近傍にある場合、各フレームにおいて抽出されるタップにおける画像が、フレームごとに大きく異なり、注目画素の画素値の予測精度が低くなるため、クラス分類適応処理を行うことによる効果が減少する。例えば、図５に示すように、基準画素３７が動きの大きい被写体であるトラック３６の上にある場合、抽出されるタップ３８−１乃至３８−３における画像が大きく異なり、注目画素の画素値の予測精度が低くなるため、クラス分類適応処理を行うことによる効果が減少する。
この問題を解決するために、複数のフレームからクラスタップおよび予測タップを抽出する場合、基準画素における動きベクトルを検出し、動きベクトルに基づいて、各フレームにおけるタップの位置を移動させることが提案されている（例えば、特許文献１参照）。例えば、図６に示されるように、トラック３６上の基準画素３７の動きベクトルを検出し、基準画素が存在するフレームの前後のフレームにおけるタップ３９−１，３９−３の位置を、基準画素３７の動きベクトルに基づいて、図内の点線で示されるタップ３９−２に対応する位置から移動させる。これにより、注目画素について抽出されるタップ３９−１乃至３９−３における画像がほぼ同様となり、注目画素の画素値の予測精度が高くなる。
図７は、上述した動きベクトルを用いて抽出するタップの位置を移動させるクラス分類適応処理を実現する撮像装置５１の機能的構成を示す図である。撮像装置５１は、イメージセンサ６１、ベクトル検出部６２、タップ抽出部６３，６４、ADRC(Adaptive Dynamic Range Coding)処理部６５、クラス分類部６６、係数メモリ６７、および、予測演算部６８により構成される。
イメージセンサ６１は、図１に示されるように格子状に複数の画素が配置されており、撮像した画像、すなわち、入力画像の画像信号を、ベクトル検出部６２、および、タップ抽出部６３，６４に供給する。
ベクトル検出部６２は、複数のフレームの入力画像に基づいて、ブロックマッチング法などの方法を用いて、入力画像の各画素の動きベクトルを検出する。ベクトル検出部６２は、検出した動きベクトルを示す情報を、タップ抽出部６３，６４に供給する。
タップ抽出部６３は、入力画像を変換して得ようとする出力画像を構成する画素を、順次、注目画素とし、その注目画素に最も近い位置にある、入力画像を構成する画素を基準画素とする。また、タップ抽出部６３は、上述したように、その基準画素の動きベクトルに基づいて、予測タップの位置を移動させて、複数のフレームから予測タップを抽出する。タップ抽出部６３は、抽出した予測タップを予測演算部６８に供給する。
タップ抽出部６４は、上述したように、基準画素の動きベクトルに基づいて、クラスタップの位置を移動させて、複数のフレームからクラスタップを抽出する。タップ抽出部６４は、抽出したクラスタップをADRC処理部６５に供給する。
ADRC処理部６５は、クラスタップを構成する画素の画素値をADRC処理し、その結果得られるADRCコードを示す情報をクラス分類部６６に供給する。
クラス分類部６６は、ADRC処理部６５からのADRCコードに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを示す情報を、係数メモリ６７に供給する。
係数メモリ６７は、学習によってあらかじめ求められたクラスごとのタップ係数のセットを記憶している。係数メモリ６７は、その記憶しているタップ係数のセットのうちの、クラス分類部６６から供給されるクラスコードに対応するアドレスに記憶されているタップ係数、すなわち、クラス分類部６６から供給されるクラスコードが表すクラスのタップ係数を、予測演算部６８に供給する。
なお、タップ係数は、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当する。
予測演算部６８は、タップ抽出部６３が出力する予測タップと、係数メモリ６７が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測演算部６８は、注目画素の画素値の予測値、すなわち、出力画像を構成する画素の画素値を求めて出力する。
特許第３６６９５３０号公報
しかしながら、図７の撮像装置５１においては、ブロックマッチング法などの方法を用いて入力画像の各画素の動きベクトルを検出することにより、ベクトル検出部６２を実現する回路が、他の回路と比較して非常に大きくなったり、メモリなどのリソースを大量に消費したりするため、コストや消費電力の面で不利であった。
本発明は、このような状況を鑑みてなされたものであり、撮像した画像の各画素の動きベクトルを、複雑な処理を行わずに、簡単に検出できるようにするものである。
本発明の第１の側面のイメージセンサは、複数の画素を有するイメージセンサにおいて、１つの画素値を表す信号を出力する単位である１つの画素内に、前記画素の受光面の中央に配置され、入射する光量を検出する第１の検出手段と、前記受光面において、前記第１の検出手段の周囲に配置され、入射する光量を検出する複数の第２の検出手段と、前記第１の検出手段により検出された光量を示す値である中心値、および、複数の前記第２の検出手段により検出された光量を示す値である複数の周辺値に基づいて、前記画素における動きベクトルの検出に用いる動きベクトル信号を生成する信号生成手段とを備える。
前記信号生成手段には、第１の時刻における前記中心値と、前記第１の時刻から前記イメージセンサの撮像間隔のn分の１の時間分前の第２の時刻における前記中心値との差分である時間差分値、前記第１の検出手段を中心とする第１の方向に位置する２つの前記第２の検出手段により前記第１の時刻において検出された前記周辺値の差分である第１の空間差分値、および、前記第１の方向と直交し、前記第１の検出手段を中心とする第２の方向に位置する２つの前記第２の検出手段により前記第１の時刻において検出された前記周辺値の差分である第２の空間差分値を検出させるとともに、前記第１の検出手段の位置を原点とし、前記第１の方向をx軸方向、および、前記第２の方向をｙ軸方向とする座標系において、前記第２の時刻と前記第１の時刻の間における前記画素の動きベクトルの候補として予め設定されているm個の候補ベクトルを(xi,yi)（ただし、i＝1乃至m）とした場合、xi×第１の空間差分値＋yi×第２の空間差分値＋時間差分値により計算されるm個の判定値、および、前記時間差分値に基づいて、前記動きベクトル信号を生成させることができる。
前記信号生成手段には、前記判定値の絶対値のうち最小となるものを検出するために前記判定値の絶対値を比較した結果、および、前記時間差分値を所定の閾値と比較した結果を示す信号を前記動きベクトル信号として生成させることができる。
前記信号生成手段には、第１の時刻における前記中心値と、前記第１の時刻から前記イメージセンサの撮像間隔のn分の１の時間分前の第２の時刻における前記中心値との差分である時間差分値、および、前記第２の時刻における前記中心値と前記第１の時刻における前記周辺値のそれぞれとの差分である複数の時空間差分値に基づいて、前記動きベクトル信号を生成させることができる。
前記信号生成手段には、前記時間差分値の絶対値および前記時空間差分値の絶対値のうち最小となるものを検出するために前記時間差分値の絶対値および前記時空間差分値の絶対値を比較した結果を示す信号を動きベクトル信号として生成させることができる。
前記信号生成手段には、前記時間差分値の絶対値および前記時空間差分値の絶対値のうち最小となるものを検出するために前記時間差分値の絶対値および前記時空間差分値の絶対値を比較した結果、および、前記時間差分値の絶対値および前記時空間差分値の絶対値の最小値を所定の閾値と比較した結果を示す信号を動きベクトル信号として生成させることができる。
本発明の第１の側面の信号処理方法は、複数の画素を有するイメージセンサの信号処理方法であって、１つの画素値を表す信号を出力する単位である１つの画素の受光面の中央に配置される第１の検出部、および、前記受光面において、前記第１の検出部の周囲に配置された複数の第２の検出部により、入射する光量を検出し、前記第１の検出部により検出された光量を示す値である中心値、および、複数の前記第２の検出部により検出された光量を示す値である複数の周辺値に基づいて、前記画素における動きベクトルの検出に用いる動きベクトル信号を生成するステップを含む。
本発明の第１の側面のプログラムは、複数の画素を有するイメージセンサのプログラムであって、１つの画素値を表す信号を出力する単位である１つの画素の受光面の中央に配置される第１の検出部により検出された光量を示す値である中心値、および、前記受光面において、前記第１の検出部の周囲に配置された複数の第２の検出部により検出された光量を示す値である複数の周辺値に基づいて、前記画素における動きベクトルの検出に用いる動きベクトル信号を生成するステップを含む。
本発明の第２の側面の撮像装置は、１つの画素値を表す信号を出力する単位である１つの画素内に、前記画素の受光面の中央に配置され、入射する光量を検出する第１の検出手段と、前記受光面において、前記第１の検出手段の周囲に配置され、入射する光量を検出する複数の第２の検出手段と、前記第１の検出手段により検出された光量を示す値である中心値、および、複数の前記第２の検出手段により検出された光量を示す値である複数の周辺値に基づいて、前記画素における動きベクトルの検出に用いる動きベクトル信号を生成する信号生成手段とを備える複数の画素で構成されるイメージセンサと、前記動きベクトル信号に基づいて、各画素の動きベクトルを検出する動きベクトル検出手段とを備える。
前記信号生成手段には、第１の時刻における前記中心値と、前記第１の時刻から前記イメージセンサの撮像間隔のn分の１の時間分前の第２の時刻における前記中心値との差分である時間差分値、前記第１の検出手段を中心とする第１の方向に位置する２つの前記第２の検出手段により前記第１の時刻において検出された前記周辺値の差分である第１の空間差分値、および、前記第１の方向と直交し、前記第１の検出手段を中心とする第２の方向に位置する２つの前記第２の検出手段により前記第１の時刻において検出された前記周辺値の差分である第２の空間差分値を検出させるとともに、前記第１の検出手段の位置を原点とし、前記第１の方向をx軸方向、および、前記第２の方向をｙ軸方向とする座標系において、前記第２の時刻と前記第１の時刻の間における前記画素の動きベクトルの候補として予め設定されているm個の候補ベクトルを(xi,yi)（ただし、i＝1乃至m）とした場合、xi×第１の空間差分値＋yi×第２の空間差分値＋時間差分値により計算されるm個の判定値、および、前記時間差分値に基づいて、前記動きベクトル信号を生成させ、前記動きベクトル検出手段には、前記時間差分値が所定の閾値以上である場合、前記判定値が最小となる前記候補ベクトルをn倍したベクトルをその前記画素の前記動きベクトルとして検出させ、前記時間差分値が前記閾値より小さい場合、その前記画素の前記動きベクトルの大きさを０とさせることができる。
前記信号生成手段には、前記判定値の絶対値のうち最小となるものを検出するために前記判定値の絶対値を比較した結果、および、前記時間差分値を所定の閾値と比較した結果を示す信号を前記動きベクトル信号として生成させることができる。
前記信号生成手段には、第１の時刻における前記中心値と、前記第１の時刻から前記イメージセンサの撮像間隔のn分の１の時間分前の第２の時刻における前記中心値との差分である時間差分値、および、前記第２の時刻における前記中心値と前記第１の時刻における前記周辺値のそれぞれとの差分である複数の時空間差分値に基づいて、前記動きベクトル信号を生成させ、前記動きベクトル検出手段には、前記時間差分値および前記時空間差分値のうち前記時空間差分値が最小となる場合、前記第１の検出手段の位置を基準として、前記時空間差分値が最小となる前記第２の検出手段の位置に向かうベクトルをn倍したベクトルをその前記画素の前記動きベクトルとして検出させ、前記時間差分値および前記時空間差分値のうち前記時間差分値が最小となる場合、その前記画素の前記動きベクトルの大きさを０とさせることができる。
前記信号生成手段には、前記時間差分値の絶対値および前記時空間差分値の絶対値のうち最小となるものを検出するために前記時間差分値の絶対値および前記時空間差分値の絶対値を比較した結果を示す信号を動きベクトル信号として生成させることができる。
前記動きベクトル検出手段には、さらに、前記時間差分値の絶対値および前記時空間差分値の絶対値の最小値が所定の閾値より大きい場合、その前記画素の前記動きベクトルの大きさを０とさせることができる。
前記信号生成手段には、前記時間差分値の絶対値および前記時空間差分値の絶対値のうち最小となるものを検出するために前記時間差分値の絶対値および前記時空間差分値の絶対値を比較した結果、および、前記時間差分値の絶対値および前記時空間差分値の絶対値の最小値を前記閾値と比較した結果を示す信号を動きベクトル信号として生成させることができる。
前記イメージセンサにより撮像された第１の画像より高画質の第２の画像の注目画素を予測するのに用いる複数の画素を、前記注目画素の動きベクトルに基づいて、前記注目画素が属する画像を含む複数の前記第１の画像から予測タップとして抽出する予測タップ抽出手段と、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記注目画素の動きベクトルに基づいて、前記注目画素が属する画像を含む複数の前記第１の画像からクラスタップとして抽出するクラスタップ抽出手段と、前記クラスタップに基づいて、前記注目画素のクラス分類を行うクラス分類手段と、学習によりあらかじめ求められた、複数のクラスそれぞれに対応する係数の中から、前記注目画素のクラスに対応する係数を供給する係数供給手段と、前記注目画素のクラスに対応する係数と、前記予測タップとを用いた予測演算により、前記注目画素を求める演算手段とをさらに設けることができる。
本発明の第２の側面の画像処理方法は、複数の画素で構成されるイメージセンサを有する撮像装置の画像処理方法であって、１つの画素値を表す信号を出力する単位である１つの画素の受光面の中央に配置される第１の検出部、および、前記受光面において、前記第１の検出部の周囲に配置された複数の第２の検出部により、入射する光量を検出し、前記第１の検出部により検出された光量を示す値である中心値、および、複数の前記第２の検出部により検出された光量を示す値である複数の周辺値に基づいて、前記画素における動きベクトルの検出に用いる動きベクトル信号を生成し、前記動きベクトル信号に基づいて、各画素の動きベクトルを検出するステップを含む。
本発明の第２の側面のプログラムは、複数の画素で構成されるイメージセンサを有する撮像装置のプログラムであって、１つの画素値を表す信号を出力する単位である１つの画素の受光面の中央に配置される第１の検出部により検出された光量を示す値である中心値、および、前記受光面において、前記第１の検出部の周囲に配置された複数の第２の検出部により検出された光量を示す値である複数の周辺値に基づいて、前記画素における動きベクトルの検出に用いる動きベクトル信号を生成し、前記動きベクトル信号に基づいて、各画素の動きベクトルを検出するステップを含む。
本発明の第１の側面においては、１つの画素値を表す信号を出力する単位である１つの画素の受光面の中央に配置される第１の検出手段により検出された光量を示す値である中心値、および、前記受光面において、前記第１の検出手段の周囲に配置された複数の第２の検出手段により検出された光量を示す値である複数の周辺値に基づいて、前記画素における動きベクトルの検出に用いる動きベクトル信号が生成される。
本発明の第２の側面においては、１つの画素値を表す信号を出力する単位である１つの画素の受光面の中央に配置される第１の検出手段により検出された光量を示す値である中心値、および、前記受光面において、前記第１の検出手段の周囲に配置された複数の第２の検出手段により検出された光量を示す値である複数の周辺値に基づいて、前記画素における動きベクトルの検出に用いる動きベクトル信号が生成され、前記動きベクトル信号に基づいて、各画素の動きベクトルが検出される。
以上のように、本発明の第１の側面によれば、撮像した画像の各画素における動きベクトルの検出に用いる動きベクトル信号を生成することができる。特に、本発明の第１の側面によれば、複雑な処理を行わずに、動きベクトル信号を生成することができ、その結果、撮像した画像の各画素の動きベクトルを簡単に検出することができる。
本発明の第２の側面によれば、撮像した画像の各画素における動きベクトルの検出に用いる動きベクトル信号を生成することができる。特に、本発明の第２の側面によれば、撮像した画像の各画素の動きベクトルを、複雑な処理を行わずに、簡単に検出することができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の第１の側面のイメージセンサ（例えば、図８のイメージセンサ１１１、または、図２９のイメージセンサ５１１）は、複数の画素を有するイメージセンサであって、１つの画素値を表す信号を出力する単位である１つの画素内に、前記画素の受光面の中央に配置され、入射する光量を検出する第１の検出手段（例えば、図１０のフォトダイオード１４１）と、前記受光面において、前記第１の検出手段の周囲に配置され、入射する光量を検出する複数の第２の検出手段（例えば、図１０のフォトダイオード１４２−１乃至１４２−８）と、前記第１の検出手段により検出された光量を示す値である中心値（例えば、電圧Vm）、および、複数の前記第２の検出手段により検出された光量を示す値である複数の周辺値（例えば、電圧V1乃至V8）に基づいて、前記画素における動きベクトルの検出に用いる動きベクトル信号を生成する信号生成手段（例えば、図１１の動きベクトル信号生成回路１５３、または、図３０の動きベクトル信号生成回路５３１）とを備える。
本発明の第１の側面のイメージセンサにおいては、前記信号生成手段には、第１の時刻における前記中心値と、前記第１の時刻から前記イメージセンサの撮像間隔のn分の１の時間分前の第２の時刻における前記中心値との差分である時間差分値（例えば、電圧VGt）、前記第１の検出手段を中心とする第１の方向に位置する２つの前記第２の検出手段（例えば、図１０のフォトダイオード１４２−４，１４２−５）により前記第１の時刻において検出された前記周辺値の差分である第１の空間差分値（例えば、電圧VGx）、および、前記第１の方向と直交し、前記第１の検出手段を中心とする第２の方向に位置する２つの前記第２の検出手段（例えば、図１０のフォトダイオード１４２−２，１４２−７）により前記第１の時刻において検出された前記周辺値の差分である第２の空間差分値（例えば、電圧VGy）を検出するとともに、前記第１の検出手段の位置を原点とし、前記第１の方向をx軸方向、および、前記第２の方向をｙ軸方向とする座標系において、前記第２の時刻と前記第１の時刻の間における前記画素の動きベクトルの候補として予め設定されているm個の候補ベクトルを(xi,yi)（ただし、i＝1乃至m）とした場合、xi×第１の空間差分値＋yi×第２の空間差分値＋時間差分値により計算されるm個の判定値（例えば、ベクトル判定値）、および、前記時間差分値に基づいて、前記動きベクトル信号を生成させることができる。
本発明の第１の側面の信号処理方法は、複数の画素を有するイメージセンサ（例えば、図８のイメージセンサ１１１、または、図２９のイメージセンサ５１１）の信号処理方法であって、１つの画素値を表す信号を出力する単位である１つの画素の受光面の中央に配置される第１の検出部（例えば、図１０のフォトダイオード１４１）、および、前記受光面において、前記第１の検出部の周囲に配置された複数の第２の検出部（例えば、図１０のフォトダイオード１４２−１乃至１４２−８）により、入射する光量を検出し（例えば、図２０のステップＳ１、または、図３３のＳ４０１）、前記第１の検出部により検出された光量を示す値である中心値（例えば、電圧Vm）、および、複数の前記第２の検出部により検出された光量を示す値である複数の周辺値（例えば、電圧V1乃至V8）に基づいて、前記画素における動きベクトルの検出に用いる動きベクトル信号を生成する（例えば、図２０のステップＳ２、または、図３３のステップＳ４０２）ステップを含む。
本発明の第１の側面のプログラムは、複数の画素を有するイメージセンサ（例えば、図８のイメージセンサ１１１、または、図２９のイメージセンサ５１１）のプログラムであって、１つの画素値を表す信号を出力する単位である１つの画素の受光面の中央に配置される第１の検出部（例えば、図１０のフォトダイオード１４１）により検出された光量を示す値である中心値（例えば、電圧Vm）、および、前記受光面において、前記第１の検出部の周囲に配置された複数の第２の検出部（例えば、図１０のフォトダイオード１４２−１乃至１４２−８）により検出された光量を示す値である複数の周辺値（例えば、電圧V1乃至V8）に基づいて、前記画素における動きベクトルの検出に用いる動きベクトル信号を生成する（例えば、図２０のステップＳ２、または、図３３のステップＳ４０２）ステップを含む。
本発明の第２の側面の撮像装置（例えば、図８の撮像装置１０１、または、図２９の撮像装置５０１）は、１つの画素値を表す信号を出力する単位である１つの画素内に、前記画素の受光面の中央に配置され、入射する光量を検出する第１の検出手段（例えば、図１０のフォトダイオード１４１）と、前記受光面において、前記第１の検出手段の周囲に配置され、入射する光量を検出する複数の第２の検出手段（例えば、図１０のフォトダイオード１４２−１乃至１４２−８）と、前記第１の検出手段により検出された光量を示す値である中心値（例えば、電圧Vm）、および、複数の前記第２の検出手段により検出された光量を示す値である複数の周辺値（例えば、電圧V1乃至V8）に基づいて、前記画素における動きベクトルの検出に用いる動きベクトル信号を生成する信号生成手段（例えば、図１１の動きベクトル信号生成回路１５３、または、図３０の動きベクトル信号生成回路５３１）とを備える複数の画素で構成されるイメージセンサ（例えば、図８のイメージセンサ１１１、または、図２９のイメージセンサ５１１）と、前記動きベクトル信号に基づいて、各画素の動きベクトルを検出する動きベクトル検出手段（例えば、図１８のベクトル検出回路３１１、または、図２９の最終判定部５２１）とを備える。
本発明の第２の側面の撮像装置は、前記イメージセンサにより撮像された第１の画像より高画質の第２の画像の注目画素を予測するのに用いる複数の画素を、前記注目画素の動きベクトルに基づいて、前記注目画素が属する画像を含む複数の前記第１の画像から予測タップとして抽出する予測タップ抽出手段（例えば、図８のタップ抽出部１２１、または、図２９のタップ抽出部５２２）と、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記注目画素の動きベクトルに基づいて、前記注目画素が属する画像を含む複数の前記第１の画像からクラスタップとして抽出するクラスタップ抽出手段（例えば、図８のタップ抽出部１２２、または、図２９のタップ抽出部５２３）と、前記クラスタップに基づいて、前記注目画素のクラス分類を行うクラス分類手段（例えば、図８または図２９のクラス分類部１２４）と、学習によりあらかじめ求められた、複数のクラスそれぞれに対応する係数の中から、前記注目画素のクラスに対応する係数を供給する係数供給手段（例えば、図８または図２９の係数メモリ１２５）と、前記注目画素のクラスに対応する係数と、前記予測タップとを用いた予測演算により、前記注目画素を求める演算手段（例えば、図８または図２９の予測演算部１２６）とをさらに備える。
本発明の第２の側面の画像処理方法は、複数の画素で構成されるイメージセンサ（例えば、図８のイメージセンサ１１１、または、図２９のイメージセンサ５１１）を有する撮像装置（例えば、図８の撮像装置１０１、または、図２９の撮像装置５０１）の画像処理方法であって、１つの画素値を表す信号を出力する単位である１つの画素の受光面の中央に配置される第１の検出部（例えば、図１０のフォトダイオード１４１）、および、前記受光面において、前記第１の検出部の周囲に配置された複数の第２の検出部（例えば、図１０のフォトダイオード１４２−１乃至１４２−８）により、入射する光量を検出し（例えば、図２０のステップＳ１、または、図３３のＳ４０１）、前記第１の検出部により検出された光量を示す値である中心値（例えば、電圧Vm）、および、複数の前記第２の検出部により検出された光量を示す値である複数の周辺値（例えば、電圧V1乃至V8）に基づいて、前記画素における動きベクトルの検出に用いる動きベクトル信号を生成し（例えば、図２０のステップＳ２、または、図３３のステップＳ４０２）、前記動きベクトル信号に基づいて、各画素の動きベクトルを検出する（例えば、図２０のステップＳ３、または、図３３のステップＳ４０３）ステップを含む。
本発明の第２の側面のプログラムは、複数の画素で構成されるイメージセンサ（例えば、図８のイメージセンサ１１１、または、図２９のイメージセンサ５１１）を有する撮像装置（例えば、図８の撮像装置１０１、または、図２９の撮像装置５０１）のプログラムであって、１つの画素値を表す信号を出力する単位である１つの画素の受光面の中央に配置される第１の検出部（例えば、図１０のフォトダイオード１４１）により検出された光量を示す値である中心値（例えば、電圧Vm）、および、前記受光面において、前記第１の検出部の周囲に配置された複数の第２の検出部（例えば、図１０のフォトダイオード１４２−１乃至１４２−８）により検出された光量を示す値である複数の周辺値（例えば、電圧V1乃至V8）に基づいて、前記画素における動きベクトルの検出に用いる動きベクトル信号を生成し（例えば、図２０のステップＳ２、または、図３３のステップＳ４０２）、前記動きベクトル信号に基づいて、各画素の動きベクトルを検出する（例えば、図２０のステップＳ３、または、図３３のステップＳ４０３）ステップを含む。
以下、本発明の実施の形態について図を参照して説明する。
図８は、本発明を適用した撮像装置１０１の一実施の形態を示すブロック図である。例えば、ビデオカメラ等の撮像装置１０１は、イメージセンサ１１１、および、画像処理部１１２により構成される。また、画像処理部１１２は、タップ抽出部１２１，１２２、ADRC処理部１２３、クラス分類部１２４、係数メモリ１２５、および、予測演算部１２６により構成される。
イメージセンサ１１１は、撮像した画像、すなわち、入力画像の画像信号をタップ抽出部１２１，１２２に供給する。また、イメージセンサ１１１は、図２１および図２７などを参照して後述するように、入力画像の各画素における動きベクトルの検出に用いる動きベクトル信号を生成し、生成した動きベクトル信号をタップ抽出部１２１，１２２に供給する。なお、以下、適宜、入力画像の画像信号を、単に、入力画像とも称する。
画像処理部１１２は、図２０などを参照して後述するように、クラス分類適応処理を用いて、イメージセンサ１１１から供給される入力画像を、より高画質の画像である出力画像に変換する画像処理を行う。
例えば、画像処理部１１２は、SD(Standard Definition)画像としての入力画像を、HD(High Definition)画像としての出力画像に変換する画像処理を行う。また、例えば、画像処理部１１２は、入力画像を、より高解像度の出力画像に変換する解像度向上処理を行う。さらに、例えば、画像処理部１１２は、入力画像を、高Ｓ／Ｎ(Siginal/Noise)の出力画像に変換するノイズ除去処理を行う。すなわち、画像処理部１１２は、入力画像および出力画像をどのように定義するかによって、様々な高画質化の処理を実現することができる。
タップ抽出部１２１は、入力画像を変換して得ようとする出力画像を構成する画素を、順次、注目画素とし、その注目画素に最も近い位置にある、入力画像を構成する画素を基準画素とする。タップ抽出部１２１は、基準画素の動きベクトルに基づいて、その注目画素の画素値を予測するのに用いる入力画像を構成する画素の画素値の幾つかを、予測タップとして抽出する。具体的には、タップ抽出部１２１は、注目画素に対応する、入力画像の位置に対して、空間的または時間的に近い位置にある複数の画素を、予測タップとして抽出する。タップ抽出部１２１は、抽出した予測タップを予測演算部１２６に供給する。
タップ抽出部１２２は、注目画素を、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる入力画像を構成する画素の幾つかを、クラスタップとして抽出する。タップ抽出部１２２は、抽出したクラスタップをクラス分類部１２４に供給する。
なお、ここでは、説明を簡単にするために、予測タップとクラスタップは、同一のタップ構造を有するもの、すなわち、同一の画素から構成されるものとする。但し、予測タップとクラスタップとは、異なるタップ構造とすることが可能である。
ADRC処理部１２３は、クラスタップを構成する画素の画素値をADRC処理し、その結果得られるADRCコードを示す情報をクラス分類部１２４に供給する。
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、クラスタップを構成する画素の集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素の画素値がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの差の１／２で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビット、すなわち、２値化される。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
クラス分類部１２４は、ADRC処理部１２３からのADRCコードに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを示す情報を、係数メモリ１２５に供給する。
係数メモリ１２５は、後述する学習によってあらかじめ求められたクラスごとのタップ係数のセットを記憶している。係数メモリ１２５は、その記憶しているタップ係数のセットのうちの、クラス分類部１２４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数、すなわち、クラス分類部１２４から供給されるクラスコードが表すクラスのタップ係数を、予測演算部１２６に供給する。
予測演算部１２６は、タップ抽出部１２１が出力する予測タップと、係数メモリ１２５が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測演算部１２６は、注目画素の画素値の予測値、すなわち、出力画像を構成する画素の画素値を求めて出力する。
図９は、イメージセンサ１１１の画素の配列の例を示す図である。なお、図９においては、１つの画素は、太枠で囲まれた正方形の領域により示される。イメージセンサ１１１においては、上述した従来のイメージセンサ１と同様に、複数の画素が、イメージセンサ１１１の受光面に格子状に配置される。ただし、イメージセンサ１１１においては、イメージセンサ１と異なり、図１０に示されるように、１画素内に複数のフォトダイオードが配置される。
図１０は、イメージセンサ１１１の１つの画素内のフォトダイオードの配置の例を示す図である。イメージセンサ１１１においては、フォトダイオード１４１およびフォトダイオード１４２−１乃至１４２−８の合計９つのフォトダイオードが１つの画素内に配置される。
具体的には、ほぼ正方形の形状をしたフォトダイオード１４１が、画素の受光面のほぼ中央に配置され、フォトダイオード１４２−１乃至１４２−８が、フォトダイオード１４１の周囲に配置される。フォトダイオード１４２−１は、フォトダイオード１４１の左斜め上に配置され、フォトダイオード１４２−２は、フォトダイオード１４１の上に配置され、フォトダイオード１４２−３は、フォトダイオード１４１の右斜め上に配置され、フォトダイオード１４２−４は、フォトダイオード１４１の左に配置され、フォトダイオード１４２−５は、フォトダイオード１４１の右に配置され、フォトダイオード１４２−６は、フォトダイオード１４１の左斜め下に配置され、フォトダイオード１４２−７は、フォトダイオード１４１の下に配置され、フォトダイオード１４２−８は、フォトダイオード１４１の右斜め下に配置される。
すなわち、フォトダイオード１４２−４，１４２−５は、フォトダイオード１４１を中心として左右方向に位置し、フォトダイオード１４２−２，１４２−７は、フォトダイオード１４１を中心として上下方向に位置し、フォトダイオード１４２−１，１４２−８は、フォトダイオード１４１を中心として左４５度方向に位置し、フォトダイオード１４２−３，１４２−６は、フォトダイオード１４１を中心として右４５度方向に位置する。つまり、フォトダイオード１４１は、画素内の中央の領域に入射する光量を検出し、フォトダイオード１４２−１乃至１４２−８は、その中央の領域の周辺の領域に入射する光量を検出する。
また、受光面におけるフォトダイオード１４２−１、１４２−３、１４２−６、および、１４２−８の形状は、正方形の１つの角を正方形の形状に切り取った６角形の形状とされ、フォトダイオード１４２−２、１４２−４、１４２−５、および、１４２−７の形状は、長方形とされる。
なお、ここでは、画素内に含まれるフォトダイオード、すなわち、入射光量を検出する検出手段の数に関わらず、イメージセンサ１１１から出力される画像信号を構成する１つの画素値を表す信号を出力する単位を１画素とする。
図１１は、CMOSを利用したイメージセンサ１１１の１画素あたりの等価回路１５０の構成の例を示す回路図である。等価回路１５０は、信号検出回路１５１および信号検出回路１５２−１乃至１５２−８、動きベクトル信号生成回路１５３、並びに、MOSFET１５４により構成される。
ここで、CMOSを利用したイメージセンサとは、画素内に入射した光を光電変換して得られた信号を増幅する信号増幅機能を有するイメージセンサのことをいう。
信号検出回路１５１および信号検出回路１５２−１乃至１５２−８は、図２を参照して上述した従来のイメージセンサ１の等価回路１１とほぼ同様の構成をしている。
すなわち、信号検出回路１５１は、フォトダイオード１４１およびn型のMOSFET１７１乃至１７３により構成される。フォトダイオード１４１のカソードは、ノードNｍを介して、MOSFET１７１のゲートおよびMOSFET１７３のソースに接続されている。フォトダイオード１４１のアノードは接地されている。MOSFET１７１のドレインは、MOSFET１７３のドレイン、および、リセット電圧Vrstを供給する図示せぬ電圧源に接続されている。MOSFET１７１のソースは、MOSFET１７２のドレインに接続されている。MOSFET１７２のゲートは、垂直選択線１５５に接続され、ソースは、画素信号線１５６に接続されている。MOSFET１７３のゲートは、リセット線１５８に接続されている。ノードNmは、動きベクトル信号生成回路１５３に接続されている。
また、信号検出回路１５２−１は、フォトダイオード１４２−１、並びに、n型のMOSFET１８１−１、１８２−１、および、１８３−１により構成される。フォトダイオード１４２−１のカソードは、ノードＮ１を介して、MOSFET１８１−１のゲートおよびMOSFET１８３−１のソースに接続されている。フォトダイオード１４２−１のアノードは接地されている。MOSFET１８１−１のドレインは、MOSFET１８３−１のドレイン、および、リセット電圧Vrstを供給する図示せぬ電圧源に接続されている。MOSFET１８１−１のソースは、MOSFET１８２−１のドレインに接続されている。MOSFET１８２−１のゲートは、垂直選択線１５５に接続され、ソースは、画素信号線１５６に接続されている。MOSFET１８３−１のゲートは、リセット線１５８に接続されている。また、ノードN１は、動きベクトル信号生成回路１５３に接続されている。
同様に、信号検出回路１５２−２乃至１５２−８は、それぞれ、フォトダイオード１４２−２乃至１４２−８、並びに、n型のMOSFET１８１−２乃至１８１−８、１８２−２乃至１８２−８、および、１８３−２乃至１８３−８により構成される。フォトダイオード１４２−２乃至１４２−８のカソードは、それぞれ、ノードN2乃至Ｎ８を介して、MOSFET１８１−２乃至１８１−８のゲートおよびMOSFET１８３−２乃至１８３−８のソースに接続されている。フォトダイオード１４２−２乃至１４２−８のアノードは接地されている。MOSFET１８１−２乃至１８１−８のドレインは、それぞれ、MOSFET１８３−２乃至１８３−８のドレイン、および、リセット電圧Vrstを供給する図示せぬ電圧源に接続されている。MOSFET１８１−２乃至１８１−８のソースは、それぞれ、MOSFET１８２−２乃至１８２−８のドレインに接続されている。MOSFET１８２−２乃至１８２−８のゲートは、垂直選択線１５５に接続され、ソースは、画素信号線１５６に接続されている。MOSFET１８３−２乃至１８３−８のゲートは、リセット線１５８に接続されている。また、ノードN2乃至N８は、動きベクトル信号生成回路１５３に接続されている。
MOSFET１５４のドレインは、動きベクトル信号生成回路１５３に接続され、ゲートは垂直選択線１５５に接続され、ソースは動きベクトル信号線１５７に接続されている。
ここで、等価回路１５０の動作の概要を説明する。まず、リセット線１５８を介して、MOSFET１７３およびMOSFET１８３−１乃至１８３−８のゲートに、リセット信号が入力され、MOSFET１７３およびMOSFET１８３−１乃至１８３−８がオンすると、ノードNmおよびノードN1乃至N8の電位がリセット電圧Vrstのレベルにリセットされる。フォトダイオード１４１およびフォトダイオード１４２−１乃至１４２−８は、それぞれ、フォトダイオード１４１およびフォトダイオード１４２−１乃至１４２−８に入射した光の強さに応じた電荷を光電変換により発生し、発生した電荷は、MOSFET１７３およびMOSFET１８３−１乃至１８３−８がオフされた後、それぞれノードＮmおよびN1乃至N8に蓄積され、ノードＮmおよびN1乃至N8の電位が変化する。
次に、垂直選択線１５５を介して、スイッチとしてのMOSFET１７２およびMOSFET１８２−１乃至１８２−８のゲートに選択信号が印加され、MOSFET１７２およびMOSFET１８１−２乃至１８２−８がオンされると、信号検出回路１５１および信号検出回路１５２−１乃至１５２−８の各輝度値を表す信号が、それぞれ、MOSFET１７１，１７２、または、MOSFET１８１−１乃至１８１−８およびMOSFET１８２−１乃至１８２−８を介して、画素信号線１５６に出力される。このとき、MOSFET１７１およびMOSFET１８１−１乃至１８１−８は増幅器として働き、ノードNmおよびN1乃至N8の電位の変化が、それぞれ、MOSFET１７１およびMOSFET１８１−１乃至１８１−８により増幅されて、画素信号線１５６に出力される信号の変化として現れる。
すなわち、信号検出回路１５１および信号検出回路１５２−１乃至１５２−８から出力された信号は、画素信号線１５６において足し合わされ、足し合わされた信号が、等価回路１５０により構成される１つの画素の輝度値、すなわち、画素値を表す画素信号として外部に出力される。
なお、１画素分の画素信号として、例えば、信号検出回路１５１および信号検出回路１５２−１乃至１５２−８から出力される信号のうち１つを選択したり、いくつかを選択して足し合わせた信号とするようにしてもよい。
その後、再び、リセット信号により、MOSFET１７３およびMOSFET１８３−１乃至１８３−８がオンされ、ノードNmおよびN1乃至N8の電位がリセットされた後、電荷の蓄積が開始される。
同様の動作が各画素において行われ、イメージセンサ１１１からは、各画素からの画素信号を所定の順序で配列した画像信号が、タップ抽出部１２１，１２２に出力される。
また、フォトダイオード１４１により検出された光量を示す値である、ノードNmの電位と接地電位間の電圧Vm、および、フォトダイオード１４２−１乃至１４２−８により検出された光量を示す値である、ノードN1乃至N8の電位と接地電位間の電圧V1乃至V8が、動きベクトル信号生成回路１５３に入力される。
動きベクトル信号生成回路１５３は、図２１または図２７などを参照して後述するように、電圧VmおよびV1乃至V8に基づいて、動きベクトル信号を生成する。垂直選択線１５５を介して、スイッチとしてのMOSFET１５４のゲートに選択信号が印加され、MOSFET１５４がオンされると、動きベクトル信号生成回路１５３から、動きベクトル信号が動きベクトル信号線１５７に出力される。
そして、イメージセンサ１１１からは、各画素からの動きベクトル信号を所定の順序で配列した動きベクトル信号が、対応する画像信号と同期して、タップ抽出部１２１，１２２に出力される。
次に、撮像装置１０１における動きベクトルの検出方法の例について説明する。なお、この例においては、以下に述べるように、勾配法を用いて、入力画像の各画素の動きベクトルが検出される。
なお、以下、入力画像の各画素の座標を、画像の水平方向であるx軸方向および垂直方向であるy軸方向、並びに、時間軸方向であるt軸方向を用いて（x,y,t）と表し、座標（x,y,t）の画素を画素（x,y,t）と表し、画素（x,y,t）の輝度値をY（x,y,t）と表す。
注目する画素（x0,y0,t0）における画像（以下、局所画像と称する）が微小時間dtの間に、x軸方向にdx、y軸方向にdyだけ移動したとすると、移動後の局所画像の輝度Y(x0+dx,y0+dy,t0+dt)は、Taylor展開近似を用いて、以下の式１４により表される。
Figure 2007235509
なお、Gx（x0,y0,t0）、Gy（x0,y0,t0）、および、Gt（x0,y0,t0）は、それぞれ、座標（x0,y0,t0）における輝度値Y（x0,y0,t0）のx軸方向の勾配、y軸方向の勾配、および、t軸方向の勾配を示す。ここで、時間t0+dtにおける局所画像の輝度Y(x0+dx,y0+dy,t0+dt)が、時間t0における輝度Y(x0,y0,t0)と変らないと仮定すると、以下の式（２）が成り立つ。
Y(x0+dx,y0+dy,t0+dt)=Y(x0,y0,t0) ・・・（２）
また、式（１）および式（２）より、以下の式（３）および式（４）が導き出される。
Gx(x0,y0,t0)dx+Gy(x0,y0,t0)dy+Gt(x0,y0,t0)dt=0 ・・・（３）
Gx(x0,y0,t0)dx/dt+Gy(x0,y0,t0)dy/dt+Gt(x0,y0,t0)=0 ・・・（４）
なお、dx/dtおよびdy/dtは、時間dtあたりのx軸方向およびy軸方向の局所画像の移動量を示す。時間dtがフレーム間隔と等しいとすると、dx/dtは画素(x0,y0,t0)の動きベクトルのx成分Vxと等しくなり、dy/dtはy成分Vyと等しくなる。このVxおよびVyを用いると、式（４）は式（５）のように表される。
Gx(x0,y0,t0)Vx+Gy(x0,y0,t0)Vy+Gt(x0,y0,t0)=0 ・・・（５）
ところで、Gx(x0,y0,t0)、Gy(x0,y0,t0)、Gt(x0,y0,t0)が既知であるとしても、２つの変数であるVxおよびVyに対して導出式が式（５）しかないため、変数VxおよびVyの値を求めることはできない。通常の勾配法では、式（５）のVxおよびVyを求めるために、画素（x0,y0,t0）の周辺の画素における画像も同じ動きであると仮定して、画素（x0,y0,t0）の周辺の画素の輝度値を用いて、最小自乗法などによりVxおよびVyが導出される。
しかし、本発明の実施の形態において、動きベクトルを求める目的は、クラス分類適応処理のタップ位置を移動させる量を求めることであり、それほど厳密な精度は求められておらず、例えば、動きベクトルを画素間隔より小さい単位、すなわち、画素以下精度まで求める必要はない。
また、dtをフレーム間隔とした場合、VxおよびVyは、１フレーム間に局所画像が動いた量となり、VxおよびVyが取りうる値は多くなる。一方、dtを露光途中の時間、すなわち、イメージセンサ１１１の撮像間隔であるフレーム間隔のｎ分の１の時間とした場合、VxおよびVyが取りうる値は劇的に少なくなる。１フレーム間における局所画像の動きが等速直線運動であると仮定すると、dtをフレーム間隔のｎ分の１の時間とした場合、dtをフレーム間隔とした場合と比較して、VxおよびVyの取りうる値の範囲、すなわち、探索範囲は、1/n2となる。
さらに、局所画像が１フレーム間において等速直線運動をしていると仮定すれば、dtをフレーム間隔のｎ分の１の時間として求めたVxおよびVyを、ｎ倍することにより、簡易的に１フレーム間における動きベクトルを求めることができる。
以上により、本発明の実施の形態では、通常の勾配法のように周辺の画素の情報を用いてVxおよびVyの値を算出するのではなく、VxおよびVyの取りうる値を予め設定しておき、最も確からしい値を注目する画素における動きベクトルとする。換言すれば、予め動きベクトルの候補となるベクトル（以下、候補ベクトルと称する）を設定しておき、最も確からしい候補ベクトルを、その画素の動きベクトルとして検出する。
具体的には、イメージセンサ１１１においては、各画素における候補ベクトルを、以下のとおり設定する。すなわち、まず、フォトダイオード１４１の位置を原点（0,0）とし、原点を中心とするx軸方向、すなわち、フォトダイオード１４２−４の位置からフォトダイオード１４２−５の位置に向かう方向、および、y軸方向、すなわち、フォトダイオード１４２−２の位置からフォトダイオード１４２−７の位置に向かう方向の互いに直交する２軸からなる座標系において、フォトダイオード１４２−１の位置の座標を（-1,-1）とし、フォトダイオード１４２−２の位置の座標を（0,-1）とし、フォトダイオード１４２−３の位置の座標を（1,-1）とし、フォトダイオード１４２−４の位置の座標を（-1,0）とし、フォトダイオード１４２−５の位置の座標を（1,0）とし、フォトダイオード１４２−６の位置の座標を（-1,1）とし、フォトダイオード１４２−７の位置の座標を（0,1）とし、フォトダイオード１４２−８の位置の座標を（1,1）とする。
そして、フォトダイオード１４１の位置を基準として、フォトダイオード１４２−１乃至１４２−８の位置に向かう、(Vx,Vy）=（-1,0）（1,0）（0,-1）（0,1）（-1,-1）（-1,1）（1,-1）（1,1）の８個のベクトル、すなわち、原点を基準とする左右上下および斜め方向の計８方向のベクトルを候補ベクトルに設定する。
すなわち、イメージセンサ１１１においては、VxおよびVyの取りうる範囲が１つの画素内に限定される。換言すれば、中央に配置されているフォトダイオード１４１により検出された被写体が、所定の時間dtの間に移動すると推定される範囲を、フォトダイオード１４１の周囲に配置されているフォトダイオード１４２−１乃至１４２−８の範囲内に限定する。
以下の式（６）乃至（１３）は、以上の8組の（Vx,Vy）の値をそれぞれ式（５）に代入したものである。
Gx(x0,y0,t0)×(-1)+Gy(x0,y0,t0)×(0)+Gt(x0,y0,t0)=0 ・・・（６）
Gx(x0,y0,t0)×(1)+Gy(x0,y0,t0)×(0)+Gt(x0,y0,t0)=0 ・・・（７）
Gx(x0,y0,t0)×(0)+Gy(x0,y0,t0)×(-1)+Gt(x0,y0,t0)=0 ・・・（８）
Gx(x0,y0,t0)×(0)+Gy(x0,y0,t0)×(1)+Gt(x0,y0,t0)=0 ・・・（９）
Gx(x0,y0,t0)×(-1)+Gy(x0,y0,t0)×(-1)+Gt(x0,y0,t0)=0 ・・・（１０）
Gx(x0,y0,t0)×(-1)+Gy(x0,y0,t0)×(1)+Gt(x0,y0,t0)=0 ・・・（１１）
Gx(x0,y0,t0)×(1)+Gy(x0,y0,t0)×(-1)+Gt(x0,y0,t0)=0 ・・・（１２）
Gx(x0,y0,t0)×(1)+Gy(x0,y0,t0)×(1)+Gt(x0,y0,t0)=0 ・・・（１３）
後述するように、本発明の実施の形態においては、Gx(x0,y0,t0)、Gy(x0,y0,t0)、および、Gt(x0,y0,t0)は、イメージセンサ１１１を用いて求めることができるため、その値を用いて、式（６）乃至（１３）のうち、左辺の値が最も0に近い式に対応するVxおよびVyの組、すなわち、候補ベクトルが、その画素の時間dtの間における動きベクトルとして検出される。また、局所画像が静止している場合を考慮して、Gt(x0,y0,t0)の値の変化が所定の閾値より小さい場合、（Vx,Vy）=（0,0）、すなわち、動きベクトルの大きさは０とされる。
また、以下、適宜、dtをフレーム間隔の６分の１の時間とし、フォトダイオード１４１と隣接するフォトダイオード１４２−１乃至１４２−８との間の距離が、同じ方向に隣接する画素間の距離の３分の１であるものとして説明する。従って、上述したように、１フレーム間における動きベクトルは、候補ベクトルを６倍することにより求められるので、１フレーム間の動きベクトルのｘ軸およびｙ軸方向の大きさは最大で２画素（＝1/3×6）となる。
図１２は、以上に説明した方法に基づいて、入力画像の画素毎の動きベクトルを検出するために用いる動きベクトル信号を生成する動きベクトル信号生成回路１５３の機能的構成を示すブロック図である。動きベクトル信号生成回路１５３は、差分回路２０１Ａ−１、２０１Ａ−２、および、２０１Ｂ、比較回路２０２Ａ−１、２０２Ａ−２、２０２Ｂ−１乃至２０２Ｂ−４、２０２Ｃ−１、２０２Ｃ−２、２０２Ｄ、および、２０２Ｅ、遅延回路（Delay）２０３、加算回路２０４Ａ−１乃至２０４Ａ−８、および、２０４Ｂ−１乃至２０４Ｂ−８、絶対値演算回路２０５−１乃至２０５−８、選択回路２０６Ａ−１乃至２０６Ａ−４、２０６Ｂ−１、および、２０６Ｂ−２、並びに、D/A（Digital/Analog）コンバータ２０７により構成される。
差分回路２０１Ａ−１は、図１１の信号検出回路１５２−４のノードＮ４の電圧V4および信号検出回路１５２−５のノードＮ５の電圧V5が入力され、電圧V4と電圧V5の差分である電圧VGx（＝V5-V4）を演算して、比較回路２０２Ａ−１、並びに、加算回路２０４Ａ−２、２０４Ａ−７、および、２０４Ａ−８に出力する。電圧VGxは、画素内でフォトダイオード１４１を中心とする水平方向に位置するフォトダイオード１４２−４とフォトダイオード１４２−５により検出された光量の差分を示す値であり、上述した式（６）乃至(１３)のGx(x0,y0,t0)に相当する。
差分回路２０１Ａ−２は、信号検出回路１５２−２のノードＮ２の電圧V2および信号検出回路１５２−７のノードＮ７の電圧V7が入力され、電圧V2と電圧V7の差分である電圧VGy（＝V7-V2）を演算して、比較回路２０２Ａ−２、並びに、加算回路２０４Ａ−４、２０４Ａ−６、および、２０４Ａ−８に供給する。電圧VGyは、画素内でフォトダイオード１４１を中心とする垂直方向に位置するフォトダイオード１４２−２とフォトダイオード１４２−７により検出された光量の差分を示す値であり、式（６）乃至(１３)のGy(x0,y0,t0)に相当する。
比較回路２０２Ａ−１は、電圧VGxの符号を反転した電圧-VGxを演算して、加算回路２０４Ａ−１、２０４Ａ−５、および、２０４Ａ−６に供給する。
比較回路２０２Ａ−２は、電圧VGyの符号を反転した電圧-VGyを、加算回路２０４Ａ−３、２０４Ａ−５、および、２０４Ａ−７に供給する。
遅延回路２０３は、信号検出回路１５１から入力されたノードNmの電圧Vmを所定の時間dtだけ遅延させて、差分回路２０１Ｂに供給する。
差分回路２０１Ｂは、信号検出回路１５１から入力されたノードNmの電圧Vmと、遅延回路２０３から供給された、時間dtだけ前のノードNmの電圧Vm'の差分である電圧VGtを、加算回路２０４Ｂ−１乃至２０４Ｂ−８、および、比較回路２０２Ｅに供給する。電圧VGtは、現在フォトダイオード１４１により検出されている光量と時間dtだけ前にフォトダイオード１４１により検出された光量の差分を示す値であり、式（６）乃至(１３)のGt(x0,y0,t0)に相当する。
加算回路２０４Ａ−１は、電圧-VGxと0Vを加算した電圧、すなわち、電圧-VGxを加算回路２０４Ｂ−１に供給する。
加算回路２０４Ａ−２は、電圧VGxと0Vを加算した電圧、すなわち、電圧VGxを加算回路２０４Ｂ−２に供給する。
加算回路２０４Ａ−３は、電圧-VGyと0Vを加算した電圧、すなわち、電圧-VGyを加算回路２０４Ｂ−３に供給する。
加算回路２０４Ａ−４は、電圧VGyと0Vを加算した電圧、すなわち、電圧VGyを加算回路２０４Ｂ−４に供給する。
加算回路２０４Ａ−５は、電圧-VGxと電圧-VGyを加算した電圧、すなわち、電圧-VGx-VGyを加算回路２０４Ｂ−５に供給する。
加算回路２０４Ａ−６は、電圧-VGxと電圧VGyを加算した電圧、すなわち、電圧-VGx+VGyを加算回路２０４Ｂ−６に供給する。
加算回路２０４Ａ−７は、電圧VGxと電圧-VGyを加算した電圧、すなわち、電圧VGx-VGyを加算回路２０４Ｂ−７に供給する。
加算回路２０４Ａ−８は、電圧VGxと電圧VGyを加算した電圧、すなわち、電圧VGx+VGyを加算回路２０４Ｂ−８に供給する。
加算回路２０４Ｂ−１は、電圧-VGxと電圧VGtを加算した電圧、すなわち、式（６）の左辺の値に相当する電圧-VGx+VGtを絶対値演算回路２０５−１に供給する。
加算回路２０４Ｂ−２は、電圧VGxと電圧VGtを加算した電圧、すなわち、式（７）の左辺の値に相当する電圧VGx+VGtを絶対値演算回路２０５−２に供給する。
加算回路２０４Ｂ−３は、電圧-VGyと電圧VGtを加算した電圧、すなわち、式（８）の左辺の値に相当する電圧-VGy+VGtを絶対値演算回路２０５−３に供給する。
加算回路２０４Ｂ−４は、電圧VGyと電圧VGtを加算した電圧、すなわち、式（９）の左辺の値に相当する電圧VGy+VGtを絶対値演算回路２０５−４に供給する。
加算回路２０４Ｂ−５は、電圧-VGx-VGyと電圧VGtを加算した電圧、すなわち、式（１０）の左辺の値に相当する電圧-VGx-VGy+VGtを絶対値演算回路２０５−５に供給する。
加算回路２０４Ｂ−６は、電圧-VGx+VGyと電圧VGtを加算した電圧、すなわち、式（１１）の左辺の値に相当する電圧-VGx+VGy+VGtを絶対値演算回路２０５−６に供給する。
加算回路２０４Ｂ−７は、電圧VGx-VGyと電圧VGtを加算した電圧、すなわち、式（１２）の左辺の値に相当する電圧VGx-VGy+VGtを絶対値演算回路２０５−７に供給する。
加算回路２０４Ｂ−８は、電圧VGx＋VGyとVGtを加算した電圧、すなわち、式（１３）の左辺の値に相当する電圧VGx+VGy+VGtを絶対値演算回路２０５−８に供給する。
なお、以下、加算回路２０４Ｂ−１乃至２０４Ｂ−８から出力される電圧値、すなわち、式（６）乃至（１３）の左辺の値に相当する電圧値をベクトル判定値と称する。
絶対値演算回路２０５−１は、加算回路２０４Ｂ−１から供給された電圧の絶対値|-VGx+VGt|を演算して、比較回路２０２Ｂ−１および選択回路２０６Ａ−１に供給する。
絶対値演算回路２０５−２は、加算回路２０４Ｂ−２から供給された電圧の絶対値|VGx+VGt|を演算して、比較回路２０２Ｂ−１および選択回路２０６Ａ−１に供給する。
絶対値演算回路２０５−３は、加算回路２０４Ｂ−３から供給された電圧の絶対値|-VGy+VGt|を演算して、比較回路２０２Ｂ−２および選択回路２０６Ａ−２に供給する。
絶対値演算回路２０５−４は、加算回路２０４Ｂ−４から供給された電圧の絶対値|VGy+VGt|を演算して、比較回路２０２Ｂ−２および選択回路２０６Ａ−２に供給する。
絶対値演算回路２０５−５は、加算回路２０４Ｂ−５から供給された電圧の絶対値|-VGx-VGy+VGt|を演算して、比較回路２０２Ｂ−３および選択回路２０６Ａ−３に供給する。
絶対値演算回路２０５−６は、加算回路２０４Ｂ−６から供給された電圧の絶対値|-VGx+VGy+VGt|を演算して、比較回路２０２Ｂ−３および選択回路２０６Ａ−３に供給する。
絶対値演算回路２０５−７は、加算回路２０４Ｂ−７から供給された電圧の絶対値|VGx-VGy+VGt|を演算して、比較回路２０２Ｂ−４および選択回路２０６Ａ−４に供給する。
絶対値演算回路２０５−８は、加算回路２０４Ｂ−８から供給された電圧の絶対値|VGx+VGy+VGt|を演算して、比較回路２０２Ｂ−４および選択回路２０６Ａ−４に供給する。
比較回路２０２Ｂ−１は、絶対値|-VGx+VGt|と絶対値|VGx+VGt|とを比較し、比較結果を示す信号VO0を、選択回路２０６Ａ−１およびD/Aコンバータ２０７に供給する。なお、信号VO0は、|-VGx+VGt|＜|VGx+VGt|である場合、Highレベルとなり、|-VGx+VGt|＞|VGx+VGt|である場合、Lowレベルとなる。すなわち、信号VO0は、式（６）および式（７）の左辺の値の絶対値の比較結果を示す。
比較回路２０２Ｂ−２は、絶対値|-VGy+VGt|と絶対値|VGy+VGt|とを比較し、比較結果を示す信号VO1を、選択回路２０６Ａ−２およびD/Aコンバータ２０７に供給する。なお、信号VO1は、|-VGy+VGt|＜|VGy+VGt|である場合、Highレベルとなり、|-VGy+VGt|＞|VGy+VGt|である場合、Lowレベルとなる。すなわち、信号VO1は、式（８）および式（９）の左辺の値の絶対値の比較結果を示す。
比較回路２０２Ｂ−３は、絶対値|-VGx-VGy+VGt|と絶対値|-VGx+VGy+VGt|とを比較し、比較結果を示す信号VO2を、選択回路２０６Ａ−３およびD/Aコンバータ２０７に供給する。なお、信号VO2は、|-VGx-VGy+VGt|＜|-VGx+VGy+VGt|である場合、Highレベルとなり、|-VGx-VGy+VGt|＞|-VGx+VGy+VGt|である場合、Lowレベルとなる。すなわち、信号VO2は、式（１０）および式（１１）の左辺の値の絶対値の比較結果を示す。
比較回路２０２Ｂ−４は、絶対値|VGx-VGy+VGt|と絶対値|VGx+VGy+VGt|とを比較し、比較結果を示す信号VO3を、選択回路２０６Ａ−４およびD/Aコンバータ２０７に供給する。なお、信号VO3は、|VGx-VGy+VGt|＜|VGx+VGy+VGt|である場合、Highレベルとなり、|VGx-VGy+VGt|＞|VGx+VGy+VGt|である場合、Lowレベルとなる。すなわち、信号VO3は、式（１２）および式（１３）の左辺の値の絶対値の比較結果を示す。
選択回路２０６Ａ−１は、信号VO0に基づいて、絶対値|-VGx+VGt|と絶対値|VGx+VGt|のうち値が小さい方を選択して、比較回路２０２Ｃ−１および選択回路２０６Ｂ−１に供給する。すなわち、式（６）および式（７）の左辺の値の絶対値のうち、より0に近い値が選択される。
選択回路２０６Ａ−２は、信号VO1に基づいて、絶対値|-VGy+VGt|と絶対値|VGy+VGt|のうち値が小さい方を選択して、比較回路２０２Ｃ−１および選択回路２０６Ｂ−１に供給する。すなわち、式（８）および式（９）の左辺の値の絶対値のうち、より0に近い値が選択される。
選択回路２０６Ａ−３は、信号VO2に基づいて、絶対値|-VGx-VGy+VGt|と絶対値|-VGx+VGy+VGt|のうち値が小さい方を選択して、比較回路２０２Ｃ−２および選択回路２０６Ｂ−２に供給する。すなわち、式（１０）および式（１１）の左辺の値の絶対値のうち、より0に近い値が選択される。
選択回路２０６Ａ−４は、信号VO3に基づいて、絶対値|VGx-VGy+VGt|と絶対値|VGx+VGy+VGt|のうち値が小さい方を選択して、比較回路２０２Ｃ−２および選択回路２０６Ｂ−２に供給する。すなわち、式（１２）および式（１３）の左辺の値の絶対値のうち、より0に近い値が選択される。
比較回路２０２Ｃ−１は、選択回路２０６Ａ−１により選択された絶対値と、選択回路２０６Ａ−２により選択された絶対値とを比較し、比較結果を示す信号VO4を、選択回路２０６Ｂ−１およびD/Aコンバータ２０７に供給する。なお、信号VO4は、選択回路２０６Ａ−１により選択された絶対値の方が小さい場合、Highレベルとなり、選択回路２０６Ａ−２により選択された絶対値の方が小さい場合、Lowレベルとなる。
比較回路２０２Ｃ−２は、選択回路２０６Ａ−３により選択された絶対値と、選択回路２０６Ａ−４により選択された絶対値とを比較し、比較結果を示す信号VO5を、選択回路２０６Ｂ−２およびD/Aコンバータ２０７に供給する。なお、信号VO5は、選択回路２０６Ａ−３により選択された絶対値の方が小さい場合、Highレベルとなり、選択回路２０６Ａ−４により選択された絶対値の方が小さい場合、Lowレベルとなる。
選択回路２０６Ｂ−１は、信号VO4に基づいて、選択回路２０６Ａ−１により選択された絶対値と、選択回路２０６Ａ−２により選択された絶対値のうち値が小さい方を選択し、比較回路２０２Ｄに供給する。すなわち、|-VGx+VGt|、|VGx+VGt|、|-VGy+VGt|および|VGy+VGt|のうち最小値、換言すれば、式（６）乃至（９）の左辺の値の絶対値のうち、最も0に近い値が抽出される。
選択回路２０６Ｂ−２は、信号VO5に基づいて、選択回路２０６Ａ−３により選択された絶対値と、選択回路２０６Ａ−４により選択された絶対値のうち値が小さい方を選択し、比較回路２０２Ｄに供給する。すなわち、|-VGx-VGy+VGt|、|-VGx+VGy+VGt|、|VGx-VGy+VGt|および|VGx+VGy+VGt|のうち最小値、換言すれば、式（１０）乃至（１３）の左辺の値の絶対値のうち、最も0に近い値が抽出される。
比較回路２０２Ｄは、選択回路２０６Ｂ−１により選択された絶対値と、選択回路２０６Ｂ−２により選択された絶対値とを比較し、比較結果を示す信号VO6を、D/Aコンバータ２０７に供給する。なお、信号VO6は、選択回路２０６Ｂ−１により選択された絶対値の方が小さい場合、Highレベルとなり、選択回路２０６Ｂ−２により選択された絶対値の方が小さい場合、Lowレベルとなる。
比較回路２０２Ｅは、電圧VGtと、外部から入力される比較用の電圧Vrefとを比較し、比較結果を示す信号VO7を、D/Aコンバータ２０７に供給する。なお、信号VO7は、電圧VGtの方が小さい場合、Highレベルとなり、電圧Vrefの方が小さい場合、Lowレベルとなる。すなわち、信号VO7は、式（６）乃至（１３）のGt(x0,y0,t0)の値が、所定の閾値以上であるかを示す。
D/Aコンバータ２０７は、信号VO0乃至VO7により構成される８ビットの値を２５６階調のアナログ信号に変換し、変換したアナログ信号を動きベクトル信号としてMOSFET１５４に供給する。すなわち、動きベクトル信号は、動きベクトル判定値、および、電圧VGtに基づいて生成される。より具体的には、動きベクトル信号は、動きベクトル判定値の絶対値のうち最小となるものを検出するために動きベクトル判定値の絶対値を比較した結果、および、電圧VGtを所定の閾値である電圧Vrefと比較した結果を示す信号であり、後述するように、動きベクトル信号に基づいて、その画素の動きベクトルが検出される。
なお、以下、差分回路２０１Ａ−１、２０１Ａ−２、および、２０１Ｂを個々に区別する必要がない場合、単に差分回路２０１と称する。また、比較回路２０２Ａ−１、２０２Ａ−２、２０２Ｂ−１乃至２０２Ｂ−４、２０２Ｃ−１、２０２Ｃ−２、２０２Ｄ、および、２０２Ｅを個々に区別する必要がない場合、単に比較回路２０２と称する。さらに、加算回路２０４Ａ−１乃至２０４Ａ−８、および、２０４Ｂ−１乃至２０４Ｂ−８を個々に区別する必要がない場合、単に加算回路２０４と称する。また、絶対値演算回路２０５−１乃至２０５−８を個々に区別する必要がない場合、単に絶対値演算回路２０５と称する。さらに、選択回路２０６Ａ−１乃至２０６Ａ−４、２０６Ｂ−１、および、２０６Ｂ−２を個々に区別する必要がない場合、単に選択回路２０６と称する。
図１３は、図１２の差分回路２０１の構成例を示す回路図である。
差分回路２０１においては、入力端子２３１および入力端子２３２が、それぞれ抵抗２３３および抵抗２３４を介して演算増幅器２３５のプラス端子およびマイナス端子に接続されている。また、出力端子２３７に接続されている演算増幅器２３５の出力端子は、抵抗２３６を介して、演算増幅器２３５のマイナス端子に接続されている。さらに、演算増幅器２３５のプラス端子には、抵抗２３８の一端が接続され、抵抗２３８の他の一端は接地されている。
ここで、入力端子２３１から抵抗２３３および抵抗２３８に流れる電流をＩ１とし、入力端子２３２から抵抗２３４および抵抗２３６に流れる電流をＩ２とする。また、抵抗２３４、抵抗２３３、抵抗２３６、および抵抗２３８の抵抗の大きさをそれぞれＲ１乃至Ｒ４とする。
入力端子２３１における電圧の大きさをＶ１１とすると、入力端子２３１から抵抗２３３および抵抗２３８に流れる電流はＩ１であるので、式（１４）が成り立つ。
Ｉ１＝Ｖ１１／（Ｒ２＋Ｒ４） ・・・（１４）
式（１４）を用いて、演算増幅器２３５のプラス端子における電圧Ｖｉを式（１５）で表すことができる。
Ｖｉ＝（Ｒ４／（Ｒ２＋Ｒ４））Ｖ１１ ・・・（１５）
また、演算増幅器２３５のマイナス端子における電圧は、演算増幅器２３５のプラス端子における電圧Ｖｉと等しいので、入力端子２３２における電圧の大きさをＶ１２とすると、入力端子２３２から抵抗２３４および抵抗２３６に流れる電流Ｉ２は、式（１６）により表すことができる。
Ｉ２＝（Ｖ１２−Ｖｉ）／Ｒ１ ・・・（１６）
さらに、式（１６）に式（１５）を代入することにより式（１７）を得ることができる。
Ｉ２＝（１／Ｒ１）Ｖ１２−（Ｒ４／（Ｒ１（Ｒ２＋Ｒ４）））Ｖ１１
・・・（１７）
さらに、また、出力端子２３７における電圧をVoutとすると、電圧Voutは、式（１８）により表すことができる。
Vout＝Ｖｉ−（Ｉ２×Ｒ３） ・・・（１８）
この式（１８）のＶｉおよびＩ２にそれぞれ式（１５）および式（１７）を代入すると、式（１９）を得ることができる。
Vout＝（Ｒ４／（Ｒ２＋Ｒ４））×（（Ｒ１＋Ｒ３）／Ｒ１）Ｖ１１−（Ｒ３／Ｒ１）Ｖ１２
・・・（１９）
ここで、Ｒ１乃至Ｒ４のそれぞれの大きさが同じであるとすると、式（１９）は式（２０）により表すことができる。
Vout＝Ｖ１１−Ｖ１２ ・・・（２０）
このように、差分回路２０１においては、式（２０）により表されるように、出力端子２３７における電圧Voutは、入力端子２３１および入力端子２３２に入力された電圧Ｖ１１およびＶ１２を差分した値となる。
図１４は、図１２の比較回路２０２の構成例を示す回路図である。
比較回路２０２は、ｐ型のMOSFET２４１、ｐ型のMOSFET２４２、ｎ型のMOSFET２４３、およびｎ型のMOSFET２４４から構成され、例えば、センスアンプ（sense amplifier）として用いられている。
MOSFET２４１およびMOSFET２４２のソースは、端子２４５に接続されており、MOSFET２４３およびMOSFET２４４のソースは、端子２４６に接続されている。
また、MOSFET２４２およびMOSFET２４４のゲートは、MOSFET２４１およびMOSFET２４３のドレイン、並びに入力端子２４７と接続されている。さらに、MOSFET２４１およびMOSFET２４３のゲートは、MOSFET２４２およびMOSFET２４４のドレイン、並びに入力端子２４８および出力端子２４９に接続されている。
比較回路２０２においては、端子２４５に入力される電圧の電圧値VLsenseおよび端子２４６に入力される電圧の電圧値VHsenseを変化させると、入力端子２４７に入力された電圧の電圧値Ｖ２１、および入力端子２４８に入力された電圧の電圧値Ｖ２２の大小関係に応じて、出力端子２４９から出力される電圧の電圧値Voutが変化する。
以下、図１５を参照して、比較回路２０２の動作について説明する。図１５は、比較回路２０２の端子２４５および端子２４６に印加される電圧の大きさ、並びに出力端子２４９から出力される電圧の大きさの時間的な変化を示す図である。なお、図中、縦軸は電圧値を示しており、横軸は時間を示している。
入力端子２４７および入力端子２４８にそれぞれ電圧値Ｖ２１および電圧値Ｖ２２の電圧が入力された状態で、時刻Ｔ１においてVLsenseがＶＬとなるように端子２４５に電圧が印加されると、VLsenseの値は、曲線２５１に示すように、直線的にＶＬに近づいていき、その値がＶＬとなると、その後は継続してＶＬとなる。ここで、電圧値ＶＬの値は、例えば０Ｖとされる。
また、時刻Ｔ２においてVHsenseがＶＨとなるように端子２４６に電圧が印加されると、VHsenseの値は、曲線２５２に示すように、直線的にＶＨに近づいていき、その値がＶＨとなると、その後は継続してＶＨとなる。このように、端子２４５および端子２４６にそれぞれ電圧値ＶＬおよび電圧値ＶＨの電圧が印加されると比較回路２０２は活性化されて、出力端子２４９から出力される電圧の電圧値Voutは変化する。ここで、電圧値ＶＨの値は、例えば、3.3Vまたは1.5Vとされる。
例えば、Ｖ２１がＶ２２よりも大きい場合、すなわち、Ｖ２１＞Ｖ２２である場合、MOSFET２４１およびMOSFET２４４がオンされる。
この状態において、端子２４５および端子２４６に、それぞれ電圧値ＶＬおよび電圧値ＶＨの電圧が印加されると、MOSFET２４１がオンされているので、MOSFET２４２およびMOSFET２４４のゲートの電位は端子２４５の電位と等しくなり、MOSFET２４２がオンされる。そして、出力端子２４９の電位は端子２４５の電位と等しくなり、出力端子２４９からは電圧値ＶＬの電圧が出力される。したがって、Voutの値は、曲線２５３に示すように、時刻Ｔ２以降、直線的にＶＬに近づいていき、その値がＶＬとなると、その後は継続してＶＬとなる。
これに対して、Ｖ２１がＶ２２よりも小さい場合、すなわち、Ｖ２１＜Ｖ２２である場合、MOSFET２４２およびMOSFET２４３がオンされる。
この状態において、端子２４５および端子２４６に、それぞれ電圧値ＶＬおよび電圧値ＶＨの電圧が印加されると、MOSFET２４３がオンされているので、MOSFET２４２およびMOSFET２４４のゲートの電位は端子２４６の電位と等しくなり、MOSFET２４４がオンされる。そして、出力端子２４９の電位は端子２４６の電位と等しくなり、出力端子２４９からは電圧値ＶＨの電圧が出力される。したがって、Voutの値は、曲線２５４に示すように、時刻Ｔ２以降、直線的にＶＨに近づいていき、その値がＶＨとなると、その後は継続してＶＨとなる。
このように、比較回路２０２においては、Ｖ２１がＶ２２よりも大きい場合、出力端子２４９からは電圧値ＶＬ、すなわち、Lowレベルの電圧が出力され、Ｖ２１がＶ２２よりも小さい場合、出力端子２４９からは電圧値ＶＨ、すなわち、Highレベルの電圧が出力される。
図１６は、図１２の加算回路２０４の構成例を示す回路図である。
加算回路２０４においては、静電容量がそれぞれＣ１乃至Ｃ３である３つのコンデンサ２６１乃至コンデンサ２６３が直列に接続されている。具体的には、コンデンサ２６１の一端は接地され、他の一端は、コンデンサ２６２の一端および入力端子２６４に接続されている。コンデンサ２６２の一端であって、コンデンサ２６１に接続されている一端とは異なる一端は、コンデンサ２６３の一端、および、出力端子２６６に接続されている。コンデンサ２６３の一端であって、コンデンサ２６２に接続されている一端とは異なる一端は、入力端子２６５に接続されている。
コンデンサ２６１乃至コンデンサ２６３のそれぞれに電荷が蓄積されていない状態において、入力端子２６４および入力端子２６５にそれぞれ電圧値Ｖ３１の電圧および電圧値Ｖ３２の電圧を印加すると、コンデンサ２６２およびコンデンサ２６３には、同じ量の電荷が蓄えられるので、出力端子２６６の電圧値Voutの値は、式（２１）により表される。
Vout＝（Ｃ２／（Ｃ２＋Ｃ３））Ｖ３１＋（Ｃ３／（Ｃ２＋Ｃ３））Ｖ３２
・・・（２１）
式（２１）において、Ｃ２＝Ｃ３であるとすると、式（２１）は次式（２２）により表される。
Vout＝（Ｖ３１＋Ｖ３２）／２ ・・・（２２）
このように、入力端子２６４および入力端子２６５に電圧値Ｖ３１および電圧値Ｖ３２を入力すると、式（２２）に示されるように、出力として入力された電圧値の平均値を得ることができる。
なお、加算回路２０４においては、出力端子２６６から出力される電圧の電圧値Voutを２倍して出力するようにしてもよいし、そのまま出力するようにしてもよい。
図１７は、図１２の絶対値演算回路２０５の構成の例を示す回路図である。
絶対値演算回路２０５においては、抵抗２７２の一端は入力端子２７１、および、抵抗２７８の一端と接続され、他の一端は、抵抗２７３の一端、ダイオード２７４のカソード、および、演算増幅器２７６のマイナス端子に接続されている。抵抗２７３の一端であって、抵抗２７２の一端に接続されている一端とは異なる一端は、点Pを介して、抵抗２７７の一端、および、ダイオード２７５のアノードに接続されている。ダイオード２７４のアノードは、ダイオード２７５のカソード、および、演算増幅器２７６の出力端子に接続されている。演算増幅器２７６のプラス端子は、演算増幅器２８０のプラス端子に接続されるとともに、接地されている。抵抗２７７の一端であって、抵抗２７３の一端に接続されている一端とは異なる一端は、抵抗２７８の一端であって、抵抗２７２の一端に接続されている一端とは異なる一端、抵抗２７９の一端、および、演算増幅器２８０のマイナス端子に接続されている。抵抗２７９の一端であって、抵抗２７７の一端に接続されている一端とは異なる一端は、演算増幅器２８０の出力端子、および、出力端子２８１に接続されている。
なお、抵抗２７２の抵抗値をＲ１１、抵抗２７３の抵抗値をＲ１２、抵抗２７７の抵抗値をＲ１３、抵抗２７８の抵抗値をＲ１４、および、抵抗２７９の抵抗値をＲ１５とすると、抵抗値Ｒ１乃至Ｒ５は、以下の式（２３）に表される関係となるように設定される。
２×Ｒ１１＝２×Ｒ１２＝２×Ｒ１３＝Ｒ１４＝Ｒ１５ ・・・（２３）
絶対値演算回路２０５においては、抵抗２７２，２７３、ダイオード２７４，２７５、および、演算増幅器２７６により直線検波回路が構成されており、入力端子２７１に入力される電圧をVinとすると、点Pの電圧Vpは、以下の式（２４）により表される。
Figure 2007235509
また、絶対値演算回路２０５においては、抵抗２７７乃至２７９、および、演算増幅器２８０により加算回路が構成されており、出力端子２８１から出力される電圧Voutは、以下の式（２５）により表される。
Figure 2007235509
式（２５）に式（２４）を代入すると、次式（２６）となる。すなわち、出力端子２８１から出力される電圧Voutは、入力端子２７１に入力される電圧Vinの絶対値となる。
Figure 2007235509
図１８は、図８のタップ抽出部１２１の機能的構成を示すブロック図である。タップ抽出部１２１は、フレーム遅延回路３０１，３０２、タップ抽出回路３０３−１Ｓ乃至３０３−１ＲＤ、３０３−２、および、３０３−３Ｓ乃至３０３−３ＲＤ、並びに、選択回路３０４により構成される。また、選択回路３０４は、ベクトル検出回路３１１およびタップ選択回路３１２により構成される。
イメージセンサ１１１からタップ抽出部１２１に供給された入力画像の画像信号、および、入力画像に対応する動きベクトル信号は、フレーム遅延回路３０１、および、タップ抽出回路３０３−３Ｓ乃至３０３−３ＲＤに供給される。フレーム遅延回路３０１は、イメージセンサ１１１から供給された入力画像を１フレーム分遅延させて、タップ抽出回路３０３−２に供給し、動きベクトル信号を１フレーム分遅延させて、ベクトル検出回路３１１に供給する。また、フレーム遅延回路３０２は、フレーム遅延回路３０１から供給された入力画像を、１フレーム分遅延させてタップ抽出回路３０３−１Ｓ乃至３０３−１ＲＤに供給する。すなわち、タップ抽出回路３０３−２には、タップ抽出回路３０３−３Ｓ乃至３０３−３ＲＤに供給された入力画像の１フレーム前の入力画像が供給され、タップ抽出回路３０３−１Ｓ乃至３０３−１ＲＤには、タップ抽出回路３０３−３Ｓ乃至３０３−３ＲＤに供給された入力画像の２フレーム前の入力画像が供給される。
なお、タップ抽出部１２１においては、フレーム遅延回路３０１からタップ抽出回路３０３−２に供給される入力画像（以下、適宜、注目画像と称する）の各画素について、タップの抽出が行われる。
タップ抽出回路３０３−１Ｓ乃至３０３−１ＲＤは、注目画像の１フレーム前の入力画像からタップを抽出し、抽出したタップをタップ選択回路３１２に供給する。また、タップ抽出回路３０３−２は、注目画像からタップを抽出し、抽出したタップをタップ選択回路３１２に供給する。さらに、タップ抽出回路３０３−３Ｓ乃至３０３−３ＲＤは、注目画像の１フレーム後の入力画像からタップを抽出し、抽出したタップをタップ選択回路３１２に供給する。
ここで、図１９を参照して、タップ抽出回路３０３−１Ｓ乃至３０３−３ＲＤにより抽出されるタップの例について説明する。なお、図１９において、フレームtの入力画像を注目画像とする。また、図内の黒丸は、基準画素、すなわち、入力画像を変換して得ようとする出力画像における注目画素に最も近い位置にある、入力画像を構成する画素を示し、フレームt-1およびフレームt+1における斜線を施して示す丸は、タップの中心の画素を示し、フレームt-1乃至フレームt+1における白丸は、タップを構成するその他の画素を示す。また、フレームt-1およびフレームt+1における点線の丸は、フレームtのタップと同じ位置にあるフレームt-1およびフレームt+1の画素の位置を示す。
タップ３５１−１Ｓ乃至３５１−１ＬＤは、それぞれ、タップ抽出回路３０３−１Ｓ乃至３０３−１ＲＤにより抽出されるタップの例を示し、タップ３５１−２は、タップ抽出回路３０３−２により抽出されるタップの例を示し、タップ３５１−３Ｓ乃至３５１−３ＬＤは、それぞれ、タップ抽出回路３０３−３Ｓ乃至３０３−３ＲＤにより抽出されるタップの例を示す。
すなわち、タップ３５１−１Ｓは、注目画像の１フレーム前の入力画像において、基準画素に対応する位置にある画素を中心とする、縦５画素および横５画素を対角線とする四角形の領域内の１３個の画素により構成される。
タップ３５１−１Ｕは、注目画像の１フレーム前の入力画像において、基準画素に対応する位置から下方向に２画素移動した位置にある画素を中心とする、縦５画素および横５画素を対角線とする四角形の領域内の１３個の画素により構成される。
タップ３５１−１Ｄは、注目画像の１フレーム前の入力画像において、基準画素に対応する位置から上方向に２画素移動した位置にある画素を中心とする、縦５画素および横５画素を対角線とする四角形の領域内の１３個の画素により構成される。
タップ３５１−１Ｌは、注目画像の１フレーム前の入力画像において、基準画素に対応する位置から右方向に２画素移動した位置にある画素を中心とする、縦５画素および横５画素を対角線とする四角形の領域内の１３個の画素により構成される。
タップ３５１−１Ｒは、注目画像の１フレーム前の入力画像において、基準画素に対応する位置から左方向に２画素移動した位置にある画素を中心とする、縦５画素および横５画素を対角線とする四角形の領域内の１３個の画素により構成される。
タップ３５１−１ＲＵは、注目画像の１フレーム前の入力画像において、基準画素に対応する位置から左斜め下方向に２画素移動した位置にある画素を中心とする、縦５画素および横５画素を対角線とする四角形の領域内の１３個の画素により構成される。
タップ３５１−１ＲＤは、注目画像の１フレーム前の入力画像において、基準画素に対応する位置から左斜め上方向に２画素移動した位置にある画素を中心とする、縦５画素および横５画素を対角線とする四角形の領域内の１３個の画素により構成される。
タップ３５１−１ＬＵは、注目画像の１フレーム前の入力画像において、基準画素に対応する位置から右斜め下方向に２画素移動した位置にある画素を中心とする、縦５画素および横５画素を対角線とする四角形の領域内の１３個の画素により構成される。
タップ３５１−１ＬＤは、注目画像の１フレーム前の入力画像において、基準画素に対応する位置から右斜め上方向に２画素移動した位置にある画素を中心とする、縦５画素および横５画素を対角線とする四角形の領域内の１３個の画素により構成される。
タップ３５１−２は、注目画像において、基準画素を中心とする、縦５画素および横５画素を対角線とする四角形の領域内の１３個の画素により構成される。
タップ３５１−３Ｓは、注目画像の１フレーム後の入力画像において、基準画素に対応する位置にある画素を中心とする縦５画素および横５画素を対角線とする、四角形の領域内の１３個の画素により構成される。
タップ３５１−３Ｕは、注目画像の１フレーム後の入力画像において、基準画素に対応する位置から上方向に２画素移動した位置にある画素を中心とする、縦５画素および横５画素を対角線とする四角形の領域内の１３個の画素により構成される。
タップ３５１−３Ｄは、注目画像の１フレーム後の入力画像において、基準画素に対応する位置から下方向に２画素移動した位置にある画素を中心とする、縦５画素および横５画素を対角線とする四角形の領域内の１３個の画素により構成される。
タップ３５１−３Ｌは、注目画像の１フレーム後の入力画像において、基準画素に対応する位置から左方向に２画素移動した位置にある画素を中心とする、縦５画素および横５画素を対角線とする四角形の領域内の１３個の画素により構成される。
タップ３５１−３Ｒは、注目画像の１フレーム後の入力画像において、基準画素に対応する位置から右方向に２画素移動した位置にある画素を中心とする、縦５画素および横５画素を対角線とする四角形の領域内の１３個の画素により構成される。
タップ３５１−３ＲＵは、注目画像の１フレーム後の入力画像において、基準画素に対応する位置から右斜め上方向に２画素移動した位置にある画素を中心とする、縦５画素および横５画素を対角線とする四角形の領域内の１３個の画素により構成される。
タップ３５１−３ＲＤは、注目画像の１フレーム後の入力画像において、基準画素に対応する位置から右斜め下方向に２画素移動した位置にある画素を中心とする、縦５画素および横５画素を対角線とする四角形の領域内の１３個の画素により構成される。
タップ３５１−３ＬＵは、注目画像の１フレーム後の入力画像において、基準画素に対応する位置から左斜め上方向に２画素移動した位置にある画素を中心とする、縦５画素および横５画素を対角線とする四角形の領域内の１３個の画素により構成される。
タップ３５１−３ＬＤは、注目画像の１フレーム後の入力画像において、基準画素に対応する位置から左斜め下方向に２画素移動した位置にある画素を中心とする、縦５画素および横５画素を対角線とする四角形の領域内の１３個の画素により構成される。
なお、以下、タップ抽出回路３０３−１Ｓ乃至３０３−３ＬＤを特に区別する必要がない場合、単に、タップ抽出回路３０３と称する。また、以下、タップ３５１−１Ｓ乃至３５１−３ＬＤを特に区別する必要がない場合、単に、タップ３５１と称する。
選択回路３０４は、タップ抽出回路３０３により選択されたタップ３５１のうち、注目画素に対応するタップを選択し、選択したタップを予測演算部１２６に供給する。
ベクトル検出回路３１１は、図２３を参照して後述するように、動きベクトル信号に基づいて、注目画像の各画素の動きベクトルを検出し、検出した動きベクトルを示す情報を、タップ選択回路３１２に供給する。
タップ選択回路３１２は、注目画像を変換して得ようとする出力画像を構成する画素を、順次、注目画素とし、その注目画素に最も近い位置にある、入力画像を構成する画素を基準画素とする。また、タップ選択回路３１２は、設定した基準画素を示す情報を、各タップ抽出回路３０３、および、ベクトル検出回路３１１に供給する。さらに、タップ選択回路３１２は、基準画素の動きベクトルに基づいて、タップを選択し、注目画素に対応する予測タップとして、予測演算部１２６に供給する。
具体的には、タップ選択回路３１２は、基準画素の動きベクトルの方向が上方向である場合、タップ３５１−１Ｕ、タップ３５１−２およびタップ３５１−３Ｕを選択し、基準画素の動きベクトルの方向が下方向である場合、タップ３５１−１Ｄ、タップ３５１−２およびタップ３５１−３Ｄを選択し、基準画素の動きベクトルの方向が左方向である場合、タップ３５１−１Ｌ、タップ３５１−２およびタップ３５１−３Ｌを選択し、基準画素の動きベクトルの方向が右方向である場合、タップ３５１−１Ｒ、タップ３５１−２およびタップ３５１−３Ｒを選択し、基準画素の動きベクトルの方向が右斜め上方向である場合、タップ３５１−１ＲＵ、タップ３５１−２およびタップ３５１−３ＲＵを選択し、基準画素の動きベクトルの方向が右斜め下方向である場合、タップ３５１−１ＲＤ、タップ３５１−２およびタップ３５１−３ＲＤを選択し、基準画素の動きベクトルの方向が左斜め上方向である場合、タップ３５１−１ＬＵ、タップ３５１−２およびタップ３５１−３ＬＵを選択し、基準画素の動きベクトルの方向が左斜め下方向である場合、タップ３５１−１ＬＤ、タップ３５１−２およびタップ３５１−３ＬＤを選択し、注目画素に対応する予測タップとする。
また、タップ選択回路３１２は、基準画素が静止している場合、すなわち、基準画素の動きベクトルの大きさが０である場合、または、基準画素の動きベクトルが検出されなかった場合、タップ３５１−１Ｓ、タップ３５１−２およびタップ３５１−３Ｓを注目画素に対応する予測タップとする
すなわち、タップ選択回路３１２は、基準画素の動きベクトルの方向に応じて、予測タップを抽出する。
なお、タップ抽出部１２２は、タップ抽出部１２１と同様の構成であり、また、同様の処理を行うため、その説明は繰り返しになるので省略する。
次に、図２０乃至図２３を参照して、撮像装置１０１の処理を説明する。
まず、図２０のフローチャートを参照して、撮像装置１０１により実行される撮像処理を説明する。なお、この処理は、例えば、ユーザが、撮像装置１０１の図示せぬ操作部を操作することにより、撮像の開始の指令を入力したとき開始される。
なお、以下、説明を簡単にするために、３フレーム目以降の画像を処理する場合、すなわち、予測タップおよび抽出タップを抽出するために用いる注目画像、および、その前後のフレームの画像が撮像された後の処理について説明する。
ステップＳ１において、イメージセンサ１１１は、画像信号を生成する。ステップＳ２において、動きベクトル信号生成回路１５３は、動きベクトル信号生成処理を行う。
具体的には、イメージセンサ１１１は、図１１を参照して上述したように、入力画像の画像信号を生成する。イメージセンサ１１１は、生成した画像信号を、タップ抽出部１２１のフレーム遅延回路３０１、および、タップ抽出回路３０３−３Ｓ乃至３０３−３ＲＤ、並びに、タップ抽出部１２２のフレーム遅延回路３０１、および、タップ抽出回路３０３−３Ｓ乃至３０３−３ＲＤに供給する。
タップ抽出部１２１のフレーム遅延回路３０１は、供給された入力画像を記憶するとともに、１フレーム前の入力画像、すなわち、注目画像を、タップ抽出部１２１のフレーム遅延回路３０２およびタップ抽出回路３０３−２に供給し、注目画像に対応する動きベクトルを示す情報をベクトル検出回路３１１に供給する。タップ抽出部１２１のフレーム遅延回路３０２は、１フレーム前の入力画像を記憶するとともに、２フレーム前の入力画像をタップ抽出回路３０３−１Ｓ乃至３０３−１ＲＤに供給する。
同様に、タップ抽出部１２２のフレーム遅延回路３０１は、供給された入力画像を記憶するとともに、１フレーム前の入力画像、すなわち、注目画像を、タップ抽出部１２２のフレーム遅延回路３０２およびタップ抽出回路３０３−２に供給し、注目画像に対応する動きベクトルを示す情報をベクトル検出回路３１１に供給する。タップ抽出部１２２のフレーム遅延回路３０２は、１フレーム前の入力画像を記憶するとともに、２フレーム前の入力画像をタップ抽出回路３０３−１Ｓ乃至３０３−１ＲＤに供給する。
動きベクトル信号生成処理の詳細は、図２１を参照して後述するが、この処理により、入力画像に対応する動きベクトル信号が生成され、イメージセンサ１１１からタップ抽出部１２１のフレーム遅延回路３０２およびタップ抽出部１２２のフレーム遅延回路３０２に供給される。
ステップＳ３において、タップ抽出部１２１は、予測タップ抽出処理を行う。予測タップ抽出処理の詳細は、図２２を参照して後述するが、この処理により、注目画素に対応する予測タップが抽出され、抽出された予測タップが、タップ抽出部１２１から予測演算部１２６に供給される。
ステップＳ４において、タップ抽出部１２２は、クラスタップ抽出処理を行う。クラスタップ抽出処理の詳細は、図２２を参照して後述するが、この処理により、注目画素に対応するクラスタップが抽出され、抽出されたクラスタップが、タップ抽出部１２２からADRC処理部１２３に供給される。
ステップＳ５において、ADRC処理部１２３は、クラスタップにADRC処理を施す。具体的には、ADRC処理部１２３は、クラスタップを構成する画素の画素値の最大値MAXと最小値MINを検出し、DR=MAX-MINを、クラスタップを構成する画素の集合の局所的なダイナミックレンジとする。ADRC処理部１２３は、クラスタップを構成する各画素の画素値から、最小値MINを減算し、その減算値をDR/2Kで除算（量子化）する。ADRC処理部１２３は、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列を、ADRCコードとして、クラス分類部１２４に供給する。例えば、K=1とされる。
ステップＳ６において、クラス分類部１２４は、クラス分類を行う。具体的には、クラス分類部１２４は、ADRC処理部１２３からのADRCコードに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを示す情報を、係数メモリ１２５に供給する。
ステップＳ７において、係数メモリ１２５は、タップ係数を供給する。具体的には、係数メモリ１２５は、内部に記憶しているタップ係数のセットのうち、注目画素のクラスコードに対応するタップ係数を取得する。係数メモリ１２５は、取得したタップ係数を予測演算部１２６に供給する。
ステップＳ８において、予測演算部１２６は、予測演算を行う。具体的には、予測演算部１２６は、タップ抽出部１２１が出力する予測タップと、係数メモリ１２５から取得したタップ係数とを用いて、所定の予測演算を行うことにより、注目画素の画素値を求める。
ステップＳ９において、タップ抽出部１２１は、全ての画素を処理したかを判定する。タップ抽出部１２１は、出力画像の画素のうち、まだ注目画素として処理していない画素がある場合、まだ全ての画素について処理していないと判定し、処理はステップＳ３に戻る。その後、ステップＳ９において、全ての画素について処理したと判定されるまで、ステップＳ３乃至Ｓ９の処理が繰り返し実行される。
ステップＳ９において、全ての画素について処理したと判定された場合、処理はステップＳ１０に進む。
ステップＳ１０において、予測演算部１２６は、出力画像を出力する。具体的には、予測演算部１２６は、予測演算により求められた画素値からなる出力画像を、後段の図示せぬ記録部に供給し、記録させたり、図示せぬ表示部に供給し、表示させる。あるいは、出力画像は、外部の装置に出力される。
ステップＳ１１において、画像処理部１１２は、撮像の停止が指令されたかを判定する。撮像の停止が指令されていないと判定された場合、処理はステップＳ１に戻る。その後、ステップＳ１１において、撮像の停止が指令されたと判定されるまで、ステップＳ１乃至Ｓ１１の処理が繰返し実行される。
ステップＳ１１において、例えば、ユーザが、撮像装置１０１の図示せぬ操作部を操作して、撮像の停止を指令した場合、撮像の停止が指令されたと判定され、撮像処理は終了する。
次に、図２１のフローチャートを参照して、図２０のステップＳ２の動きベクトル信号生成処理の詳細を説明する。
ステップＳ２１において、図１２の差分回路２０１Ａ−１，２０１Ａ−２は、空間方向の差分値を検出する。具体的には、差分回路２０１Ａ−１は、図１１の信号検出回路１５２−４のノードＮ４の電圧V4および信号検出回路１５２−５のノードＮ５の電圧V5の差分である電圧VGx、すなわち、水平方向の勾配としての画素内の輝度値の水平方向の差分値を検出する。差分回路２０１Ａ−１は、電圧VGxを、比較回路２０２Ａ−１、並びに、加算回路２０４Ａ−２、２０４Ａ−７、および、２０４Ａ−８に供給する。比較回路２０２Ａ−１は、電圧VGxの符号を反転した電圧-VGxを、加算回路２０４Ａ−１、２０４Ａ−５、および、２０４Ａ−６に供給する。
また、差分回路２０１Ａ−２は、信号検出回路１５２−２のノードＮ２の電圧V2および信号検出回路１５２−７のノードＮ７の電圧V7の差分である電圧VGy、すなわち、垂直方向の勾配としての画素内の輝度値の垂直方向の差分値を検出する。差分回路２０１Ａ−２は、電圧VGyを、比較回路２０２Ａ−２、並びに、加算回路２０４Ａ−４、２０４Ａ−６、および、２０４Ａ−８に供給する。比較回路２０２Ａ−２は、電圧VGyの符号を反転した電圧-VGyを、加算回路２０４Ａ−３、２０４Ａ−５、および、２０４Ａ−７に供給する。
ステップＳ２２において、差分回路２０１Ｂは、時間方向の差分値を検出する。具体的には、差分回路２０１Ｂは、信号検出回路１５１から入力されたノードNmの電圧Vmと、遅延回路２０３から供給された、時間dt分前のノードNmの電圧Vm'の差分である電圧VGt、すなわち、時間方向の勾配としての画素内の輝度値の時間方向の差分値を検出する。差分回路２０１Ｂは、電圧VGtを、加算回路２０４Ｂ−１乃至２０４Ｂ−８、および、比較回路２０２Ｅに供給する。
ステップＳ２３において、加算回路２０４Ｂ−１乃至２０４Ｂ−８は、ベクトル判定値を求める。具体的には、加算回路２０４Ａ−１は、電圧-VGxを加算回路２０４Ｂ−１に供給し、加算回路２０４Ａ−２は、電圧VGxを加算回路２０４Ｂ−２に供給し、加算回路２０４Ａ−３は、電圧-VGyを加算回路２０４Ｂ−３に供給し、加算回路２０４Ａ−４は、電圧VGyを加算回路２０４Ｂ−４に供給し、加算回路２０４Ａ−５は、電圧-VGx-VGyを演算して、加算回路２０４Ｂ−５に供給し、加算回路２０４Ａ−６は、電圧-VGx+VGyを演算して、加算回路２０４Ｂ−６に供給し、加算回路２０４Ａ−７は、電圧VGx-VGyを演算して、加算回路２０４Ｂ−７に供給し、加算回路２０４Ａ−８は、電圧VGx+VGyを演算して、加算回路２０４Ｂ−８に供給する。
また、加算回路２０４Ｂ−１は、上述した式（６）の左辺の値に相当する電圧-VGx+VGtを演算して、絶対値演算回路２０５−１に供給し、加算回路２０４Ｂ−２は、式（７）の左辺の値に相当する電圧VGx+VGtを演算して、絶対値演算回路２０５−２に供給し、加算回路２０４Ｂ−３は、式（８）の左辺の値に相当する電圧-VGy+VGtを演算して、絶対値演算回路２０５−３に供給し、加算回路２０４Ｂ−４は、式（９）の左辺の値に相当する電圧VGy+VGtを演算して、絶対値演算回路２０５−４に供給し、加算回路２０４Ｂ−５は、式（１０）の左辺の値に相当する電圧-VGx-VGy+VGtを演算して、絶対値演算回路２０５−５に供給し、加算回路２０４Ｂ−６は、式（１１）の左辺の値に相当する電圧-VGx+VGy+VGtを演算して、絶対値演算回路２０５−６に供給し、加算回路２０４Ｂ−７は、式（１２）の左辺の値に相当する電圧VGx-VGy+VGtを演算して、絶対値演算回路２０５−７に供給し、加算回路２０４Ｂ−８は、式（１３）の左辺の値に相当する電圧VGx+VGy+VGtを演算して、絶対値演算回路２０５−８に供給する。
ステップＳ２４において、比較回路２０２Ｂ−１乃至２０２Ｂ−４、２０２Ｃ−１、２０２Ｃ−２、および、２０２Ｄは、ベクトル判定値を比較する。具体的には、絶対値演算回路２０５−１は、加算回路２０４Ｂ−１から供給された電圧の絶対値|-VGx+VGt|を演算して、比較回路２０２Ｂ−１および選択回路２０６Ａ−１に供給し、絶対値演算回路２０５−２は、加算回路２０４Ｂ−２から供給された電圧の絶対値|VGx+VGt|を演算して、比較回路２０２Ｂ−１および選択回路２０６Ａ−１に供給し、絶対値演算回路２０５−３は、加算回路２０４Ｂ−３から供給された電圧の絶対値|-VGy+VGt|を演算して、比較回路２０２Ｂ−２および選択回路２０６Ａ−２に供給し、絶対値演算回路２０５−４は、加算回路２０４Ｂ−４から供給された電圧の絶対値|VGy+VGt|を演算して、比較回路２０２Ｂ−２および選択回路２０６Ａ−２に供給し、絶対値演算回路２０５−５は、加算回路２０４Ｂ−５から供給された電圧の絶対値|-VGx-VGy+VGt|を演算して、比較回路２０２Ｂ−３および選択回路２０６Ａ−３に供給し、絶対値演算回路２０５−６は、加算回路２０４Ｂ−６から供給された電圧の絶対値|-VGx+VGy+VGt|を演算して、比較回路２０２Ｂ−３および選択回路２０６Ａ−３に供給し、絶対値演算回路２０５−７は、加算回路２０４Ｂ−７から供給された電圧の絶対値|VGx-VGy+VGt|を演算して、比較回路２０２Ｂ−４および選択回路２０６Ａ−４に供給し、絶対値演算回路２０５−８は、加算回路２０４Ｂ−８から供給された電圧の絶対値|VGx+VGy+VGt|を演算して、比較回路２０２Ｂ−４および選択回路２０６Ａ−４に供給する。
また、比較回路２０２Ｂ−１は、絶対値|-VGx+VGt|と絶対値|VGx+VGt|とを比較し、比較結果を示す信号VO0を、選択回路２０６Ａ−１およびD/Aコンバータ２０７に供給し、比較回路２０２Ｂ−２は、絶対値|-VGy+VGt|と絶対値|VGy+VGt|とを比較し、比較結果を示す信号VO1を、選択回路２０６Ａ−２およびD/Aコンバータ２０７に供給し、比較回路２０２Ｂ−３は、絶対値|-VGx-VGy+VGt|と絶対値|-VGx+VGy+VGt|とを比較し、比較結果を示す信号VO2を、選択回路２０６Ａ−３およびD/Aコンバータ２０７に供給し、比較回路２０２Ｂ−４は、絶対値|VGx-VGy+VGt|と絶対値|VGx+VGy+VGt|とを比較し、比較結果を示す信号VO3を、選択回路２０６Ａ−４およびD/Aコンバータ２０７に供給する。
さらに、選択回路２０６Ａ−１は、信号VO0に基づいて、絶対値|-VGx+VGt|と絶対値|VGx+VGt|のうち値が小さい方を選択して、比較回路２０２Ｃ−１および選択回路２０６Ｂ−１に供給し、選択回路２０６Ａ−２は、信号VO1に基づいて、絶対値|-VGy+VGt|と絶対値|VGy+VGt|のうち値が小さい方を選択して、比較回路２０２Ｃ−１および選択回路２０６Ｂ−１に供給し、選択回路２０６Ａ−３は、信号VO2に基づいて、絶対値|-VGx-VGy+VGt|と絶対値|-VGx+VGy+VGt|のうち値が小さい方を選択して、比較回路２０２Ｃ−２および選択回路２０６Ｂ−２に供給し、選択回路２０６Ｂ−４は、信号VO3に基づいて、絶対値|VGx-VGy+VGt|と絶対値|VGx+VGy+VGt|のうち値が小さい方を選択して、比較回路２０２Ｃ−２および選択回路２０６Ｂ−２に供給する。
また、比較回路２０２Ｃ−１は、選択回路２０６Ａ−１により選択された絶対値と、選択回路２０６Ａ−２により選択された絶対値とを比較し、比較結果を示す信号VO4を、選択回路２０６Ｂ−１およびD/Aコンバータ２０７に供給し、比較回路２０２Ｃ−２は、選択回路２０６Ａ−３により選択された絶対値と、選択回路２０６Ａ−４により選択された絶対値とを比較し、比較結果を示す信号VO5を、選択回路２０６Ｂ−２およびD/Aコンバータ２０７に供給する。
さらに、選択回路２０６Ｂ−１は、信号VO4に基づいて、選択回路２０６Ａ−１により選択された絶対値と、選択回路２０６Ａ−２により選択された絶対値のうち値が小さい方を選択し、比較回路２０２Ｄに供給し、選択回路２０６Ｂ−２は、信号VO5に基づいて、選択回路２０６Ａ−３により選択された絶対値と、選択回路２０６Ａ−４により選択された絶対値のうち値が小さい方を選択し、比較回路２０２Ｄに供給する。
また、比較回路２０２Ｄは、選択回路２０６Ｂ−１により選択された絶対値と、選択回路２０６Ｂ−２により選択された絶対値とを比較し、比較結果を示す信号VO6を、D/Aコンバータ２０７に供給する。
ステップＳ２５において、比較回路２０２Ｅは、時間方向の差分値を所定の閾値と比較する。具体的には、比較回路２０２Ｅは、電圧VGtと、外部から入力される比較用の電圧Vrefとを比較し、比較結果を示す信号VO7を、D/Aコンバータ２０７に供給する。
ステップＳ２６において、D/Aコンバータ２０７は、動きベクトル信号を生成し、動きベクトル信号生成処理は終了する。具体的には、D/Aコンバータ２０７は、信号VO0乃至VO7により構成される８ビットの値を２５６階調のアナログ信号に変換する。その後、垂直選択線１５５を介して、MOSFET１５４のゲートに選択信号が印加され、MOSFET１５４がオンされると、D/Aコンバータ２０７から、動きベクトル信号が動きベクトル信号線１５７に出力される。そして、イメージセンサ１１１からは、各画素からの動きベクトル信号を所定の順序で配列した動きベクトル信号が、対応する画像信号と同期して、ベクトル検出回路３１１に出力される。
次に、図２２のフローチャートを参照して、図２０のステップＳ３の予測タップ抽出処理の詳細を説明する。
ステップＳ４１において、タップ選択回路３１２は、注目画素および基準画素を設定する。具体的には、タップ選択回路３１２は、出力画像の画素のうち、まだ注目画素として処理していない画素を１つ選択し、注目画素とする。また、タップ選択回路３１２は、注目画像を構成する画素のうち、注目画素に最も近い位置にある画素を基準画素とする。タップ選択回路３１２は、設定した注目画素および基準画素を示す情報を、各タップ抽出回路３０３、並びに、ベクトル検出回路３１１に供給する。
ステップＳ４２において、タップ抽出回路３０３−２は、注目画像におけるタップ、すなわち、上述した図１９のタップ３５１−２を抽出する。タップ抽出回路３０３−２は、抽出したタップをタップ選択回路３１２に供給する。
ステップＳ４３において、タップ抽出回路３０３−１Ｓ乃至３０３−１ＲＤは、注目画像の１フレーム前の入力画像おけるタップ、すなわち、上述した図１９のタップ３５１−１Ｓ乃至３５１−１ＬＤをそれぞれ抽出する。タップ抽出回路３０３−１Ｓ乃至３０３−１ＲＤは、それぞれ、抽出したタップをタップ選択回路３１２に供給する。
ステップＳ４４において、タップ抽出回路３０３−３Ｓ乃至３０３−３ＲＤは、注目画像の１フレーム後の入力画像おけるタップ、すなわち、上述した図１９のタップ３５１−３Ｓ乃至３５１−３ＬＤをそれぞれ抽出する。タップ抽出回路３０３−３Ｓ乃至３０３−３ＲＤは、それぞれ、それぞれ抽出したタップをタップ選択回路３１２に供給する。
ステップＳ４５において、ベクトル検出回路３１１は、動きベクトル検出処理を行う。動きベクトル検出処理の詳細は、図２３を参照して後述するが、この処理により、基準画素の動きベクトルが検出され、検出された動きベクトルを示す情報がタップ選択回路３１２に供給される。
ステップＳ４６において、タップ選択回路３１２は、タップを選択し、予測タップ抽出処理は終了する。具体的には、タップ選択回路３１２は、図１９を参照して上述したように、ベクトル検出回路３１１により検出された、注目画像における基準画素の動きベクトルに基づいて、各タップ抽出回路３０３から供給されたタップの中から予測タップを選択する。タップ選択回路３１２は、選択した予測タップを予測演算部１２６に供給する。
なお、図２０のステップＳ４のクラスタップ抽出処理は、上述したステップＳ３の予測タップ抽出処理と同様であり、その説明は繰り返しになるので省略する。
次に、図２３のフローチャートを参照して、図２０のステップＳ４５の動きベクトル検出処理の詳細を説明する。
ステップＳ８１において、ベクトル検出回路３１１は、基準画素に対応する動きベクトル信号に基づいて、VO7＝0、すなわち、VO7がLowレベルであるかを判定する。VO7＝0であると判定された場合、すなわち、電圧VGt＜電圧Vrefである場合、処理はステップＳ８２に進む。
ステップＳ８２において、ベクトル検出回路３１１は、基準画素における画像が静止していると判定し、基準画素の動きベクトルの大きさを０とする。その後、処理はステップＳ９８に進む。
ステップＳ８１において、VO7＝1、すなわち、VO7がHighレベルであると判定された場合、処理はステップＳ８３に進む。
ステップＳ８３において、ベクトル検出回路３１１は、VO6＝0であるかを判定する。VO6＝1であると判定された場合、処理はステップＳ８４に進む。
ステップＳ８４において、ベクトル検出回路３１１は、VO4＝0であるかを判定する。VO4＝１であると判定された場合、処理はステップＳ８５に進む。
ステップＳ８５において、ベクトル検出回路３１１は、VO0＝0であるかを判定する。VO0＝1であると判定された場合、すなわち、絶対値演算回路２０５−１乃至２０５−８のうち絶対値演算回路２０５−１の出力値が最小である場合、処理はステップＳ８６に進む。
ステップＳ８６において、ベクトル検出回路３１１は、基準画素の動きベクトルを、左方向に＋２画素の大きさのベクトル、すなわち、ベクトル判定値が最小となる候補ベクトル(-1,0)を6倍したベクトルとする。その後、処理はステップＳ９８に進む。
ステップＳ８５において、VO0＝0であると判定された場合、すなわち、絶対値演算回路２０５−１乃至２０５−８のうち絶対値演算回路２０５−２の出力値が最小である場合、処理はステップＳ８７に進む。
ステップＳ８７において、ベクトル検出回路３１１は、基準画素の動きベクトルを、右方向に＋２画素の大きさのベクトル、すなわち、ベクトル判定値が最小となる候補ベクトル(1,0)を6倍したベクトルとする。その後、処理はステップＳ９８に進む。
ステップＳ８４において、VO4＝0であると判定された場合、処理はステップＳ８８に進み、ステップＳ８８において、ベクトル検出回路３１１は、VO1＝0であるかを判定する。VO1＝1であると判定された場合、すなわち、絶対値演算回路２０５−１乃至２０５−８のうち絶対値演算回路２０５−３の出力値が最小である場合、処理はステップＳ８９に進む。
ステップＳ８９において、ベクトル検出回路３１１は、基準画素の動きベクトルを、上方向に＋２画素の大きさのベクトル、すなわち、ベクトル判定値が最小となる候補ベクトル(0,-1)を6倍したベクトルとする。その後、処理はステップＳ９８に進む。
ステップＳ８８において、VO1＝0であると判定された場合、すなわち、絶対値演算回路２０５−１乃至２０５−８のうち絶対値演算回路２０５−４の出力値が最小である場合、処理はステップＳ９０に進む。
ステップＳ９０において、ベクトル検出回路３１１は、基準画素の動きベクトルを、下方向に＋２画素の大きさのベクトル、すなわち、ベクトル判定値が最小となる候補ベクトル(0,1)を6倍したベクトルとする。その後、処理はステップＳ９８に進む。
ステップＳ８３において、VO6＝0であると判定された場合、処理はステップＳ９１に進み、ステップＳ９１において、ベクトル検出回路３１１は、VO5＝0であるかを判定する。VO5＝1であると判定された場合、処理はステップＳ９２に進む。
ステップＳ９２において、ベクトル検出回路３１１は、VO2＝0であるかを判定する。VO2＝1であると判定された場合、すなわち、絶対値演算回路２０５−１乃至２０５−８のうち絶対値演算回路２０５−５の出力値が最小である場合、処理はステップＳ９３に進む。
ステップＳ９３において、ベクトル検出回路３１１は、基準画素の動きベクトルを、左上方向に＋２画素の大きさのベクトル、すなわち、ベクトル判定値が最小となる候補ベクトル(-1,-1)を6倍したベクトルとする。その後、処理はステップＳ９８に進む。
ステップＳ９２において、VO2＝0であると判定された場合、すなわち、絶対値演算回路２０５−１乃至２０５−８のうち絶対値演算回路２０５−６の出力値が最小である場合、処理はステップＳ９４に進む。
ステップＳ９４において、ベクトル検出回路３１１は、基準画素の動きベクトルを、左下方向に＋２画素の大きさのベクトル、すなわち、ベクトル判定値が最小となる候補ベクトル(-1,1)を6倍したベクトルとする。その後、処理はステップＳ９８に進む。
ステップＳ９１において、VO5＝0であると判定された場合、処理はステップＳ９５に進み、ステップＳ９５において、ベクトル検出回路３１１は、VO3＝0であるかを判定する。VO3＝1であると判定された場合、すなわち、絶対値演算回路２０５−１乃至２０５−８のうち絶対値演算回路２０５−７の出力値が最小である場合、処理はステップＳ９６に進む。
ステップＳ９６において、ベクトル検出回路３１１は、基準画素の動きベクトルを、右上方向に＋２画素の大きさのベクトル、すなわち、ベクトル判定値が最小となる候補ベクトル(1,-1)を6倍したベクトルとする。その後、処理はステップＳ９８に進む。
ステップＳ９５において、VO3=0であると判定された場合、すなわち、絶対値演算回路２０５−１乃至２０５−８のうち絶対値演算回路２０５−８の出力値が最小である場合、処理はステップＳ９７に進む。
ステップＳ９７において、ベクトル検出回路３１１は、基準画素の動きベクトルを、右下方向に＋２画素の大きさのベクトル、すなわち、ベクトル判定値が最小となる候補ベクトル(1,1)を6倍したベクトルとする。その後、処理はステップＳ９８に進む。
ステップＳ９８において、ベクトル検出回路３１１は、検出結果を供給し、動きベクトル検出処理は終了する。具体的には、ベクトル検出回路３１１は、検出した基準画素の動きベクトルを示す情報をタップ選択回路３１２に供給する。
次に、図８の予測演算部１２６における予測演算と、係数メモリ１２５に記憶されたタップ係数の学習について説明する。
いま、画像変換処理として、例えば、高画質の画像（以下、高画質画像と称する）を出力画像とするとともに、その高画質画像をLPF(Low Pass Filter)によってフィルタリングする等してその画質、例えば、解像度を低下させた低画質の画像（以下、低画質画像と称する）を入力画像として、低画質画像から予測タップを抽出し、その予測タップとタップ係数を用いて、高画質画素の画素値を、所定の予測演算によって予測することを考える。
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められることになる。
Figure 2007235509
ただし、式（２７）において、ｘnは、高画質画素ｙについての予測タップを構成する、ｎ番目の低画質画像の画素（以下、適宜、低画質画素という）の画素値を表し、ｗnは、ｎ番目の低画質画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（２７）では、予測タップが、Ｎ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
ここで、高画質画素の画素値ｙは、式（２７）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（２７）によって得られるその真値ｙkの予測値をｙk'と表すと、その予測誤差ｅkは、次式で表される。
Figure 2007235509
いま、式（２８）の予測値ｙk'は、式（２７）にしたがって求められるため、式（２８）のｙk'を、式（２７）にしたがって置き換えると、次式が得られる。
Figure 2007235509
但し、式（２９）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
式（２９）（または式（２８））の予測誤差ｅkを０とするタップ係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
Figure 2007235509
ただし、式（３０）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットの学習用のサンプルの数を表す。
式（３０）の自乗誤差の総和Ｅの極小値は、式（３１）に示すように、総和Ｅをタップ係数ｗnで偏微分したものを０とするｗnによって与えられる。
Figure 2007235509
一方、上述の式（２９）をタップ係数ｗnで偏微分すると、次式が得られる。
Figure 2007235509
式（３１）と式（３２）から、次式が得られる。
Figure 2007235509
式（３３）のｅkに、式（２９）を代入することにより、式（３３）は、式（３４）に示す正規方程式で表すことができる。
Figure 2007235509
式（３４）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗnについて解くことができる。
式（３４）の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗnを、クラスごとに求めることができる。
図８の画像処理部１１２では、以上のようなクラスごとのタップ係数を用いて、式（２７）の演算を行うことにより、入力画像としてのSD画像が、出力画像としてのHD画像に変換される。
図２４は、式（３４）の正規方程式をクラスごとにたてて解くことによりタップ係数ｗnを求める学習を行う学習装置４０１の機能的構成を示すブロック図である。学習装置４０１は、水平・垂直フィルタ４１１、ベクトル検出部４１２、タップ抽出部４１３，４１４、ADRC処理部４１５、クラス分類部４１６、学習演算回路４１７、学習データメモリ４１８、行列演算回路４１９、および、係数メモリ４２０により構成される。
学習装置４０１には、タップ係数ｗnの学習に用いる教師画像として、HD画像が入力される。学習装置４０１に入力された教師画像は、水平・垂直フィルタ４１１、ベクトル検出部４１２、および、学習演算回路４１７に供給される。
水平・垂直フィルタ４１１は、教師画像から、イメージセンサ１１１から出力される画像に相当する生徒画像を生成する。すなわち、水平・垂直フィルタ４１１は、教師画像の画素数を、撮像装置１０１のイメージセンサ１１１から出力される画像と同一になるように間引き、さらに、必要に応じて、LPF(Low Pass Filter)によるフィルタリングを行うことにより、SD画像としての生徒画像を生成する。水平・垂直フィルタ４１１は、生成した生徒画像をタップ抽出部４１３，４１４に供給する。
ベクトル検出部４１２は、教師画像の画素のうち生徒画像を構成する画素について、所定の方法に基づいて、動きベクトルを検出する。ベクトル検出部４１２が、動きベクトルを検出する方法は、特定の方法に限定されるものではなく、例えば、ブロックマッチング法や勾配法を用いて、動きベクトルが検出される。ベクトル検出部４１２は、図１８のベクトル検出回路３１１により検出される９種類の動きベクトル（大きさが０の動きベクトルを含む）のうち、検出した動きベクトルに最も近い動きベクトルを、その画素の動きベクトルとし、動きベクトルを示す情報をタップ抽出部４１３，４１４に供給する。
タップ抽出部４１３は、教師画像を構成する画素を、順次、注目画素とし、その注目画素に最も近い位置にある生徒画像を構成する画素を基準画素とする。タップ抽出部４１３は、基準画素の動きベクトルに基づいて、図８のタップ抽出部１２２が注目画素について得る予測タップと同一のタップ構造の予測タップ、すなわち、図８のタップ抽出部１２２が、基準画素の動きベクトルに対応して、注目画素について得る予測タップを構成する画素と同一の位置関係にある生徒画像の画素からなる予測タップを抽出し、学習演算回路４１７に供給する。
タップ抽出部４１４は、基準画素の動きベクトルに基づいて、図８のタップ抽出部１２３が注目画素について得るクラスタップと同一のタップ構造のクラスタップ、図８のタップ抽出部１２３が、基準画素の動きベクトルに対応して、注目画素について得るクラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなるクラスタップを抽出し、ADRC処理部４１５に供給する。
ADRC処理部４１５は、クラスタップを構成する画素に対して、図８のADRC処理部１２３と同様のADRC処理を行い、その結果得られるADRCコードを示す情報をクラス分類部４１６に供給する。
クラス分類部４１６は、ADRC処理部４１５からのADRCコードに基づき、図８のクラス分類部１２４と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、学習演算回路４１７に出力する。
学習演算回路４１７は、教師画像における注目画素と、タップ抽出部４１３から供給される注目画素についての予測タップを構成する生徒画像の画素とを対象とした足し込みを、クラス分類部４１６から供給されるクラスコードごとに行う。
すなわち、学習演算回路４１７は、クラス分類部４１６から供給されるクラスコードに対応するクラスごとに、予測タップを構成する生徒画像の画素の画素値ｘn,kを用い、式（３４）の左辺の行列における生徒画像の画素どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
さらに、学習演算回路４１７は、クラス分類部４１６から供給されるクラスコードに対応するクラスごとに、予測タップを構成する生徒画像の画素の画素値ｘn,kと教師画像の画素のうちの注目画素の画素値ｙkを用い、式（３４）の右辺のベクトルにおける生徒画像の画素ｘn,kおよび教師画像の画素ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
すなわち、学習演算回路４１７は、前回、注目画素とされた教師画像の画素について求められた式（３４）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、学習データメモリ４１８に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師画像の画素について、その教師画像の画素ｙk+1および生徒画像の画素ｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む。すなわち、式（３４）のサメーションで表される加算が行われる。
そして、学習演算回路４１７は、教師画像の全ての画素を注目画素として、上述の足し込みを行うことにより、各クラスについて、式（３４）に示した正規方程式をたてると、その正規方程式を、学習データメモリ４１８に記憶させる。
行列演算回路４１９は、学習データメモリ４１８に記憶されている正規方程式を解くことにより、各クラスについて、最適なタップ係数ｗnを求め、求めたタップ係数ｗnを係数メモリ４２０に記憶させる。係数メモリ４２０に記憶されたタップ係数ｗnは、図８の係数メモリ１２５に転送され、撮像装置１０１の予測演算に用いられる。
次に、図２５のフローチャートを参照して、学習装置４０１により実行される学習処理を説明する。なお、この処理は、例えば、学習装置４０１への教師画像の入力が開始されたとき、開始される。
ステップＳ２０１において、学習装置４０１は、教師画像を取得する。具体的には、外部から学習装置４０１に教師画像が入力され、その教師画像が、水平・垂直フィルタ４１１、ベクトル検出部４１２、および、学習演算回路４１７に供給される。
ステップＳ２０２において、水平・垂直フィルタ４１１は、生徒画像を生成する。具体的には、水平・垂直フィルタ４１１は、教師画像の画素数を、撮像装置１０１のイメージセンサ１１１から出力される画像と同一になるように間引き、さらに、必要に応じて、LPF(Low Pass Filter)によるフィルタリングを行うことにより、SD画像としての生徒画像を生成する。水平・垂直フィルタ４１１は、生成した生徒画像をタップ抽出部４１３，４１４に供給する。
ステップＳ２０３において、動きベクトル検出部４１２は、動きベクトルを検出する。具体的には、動きベクトル検出部４１２は、教師画像の画素のうち、まだ、注目画素としていないものを、注目画素とする。さらに、動きベクトル検出部４１２は、注目画素に最も近い位置にある生徒画像を構成する画素を基準画素とする。動きベクトル検出部４１２は、所定の方法に基づいて、基準画素の動きベクトルを検出する。動きベクトル検出部４１２は、図１８のベクトル検出回路３１１により検出される９種類の動きベクトルのうち、検出した動きベクトルに最も近い動きベクトルを、その画素の動きベクトルとし、動きベクトルを示す情報をタップ抽出部４１３，４１４に供給する。
ステップＳ２０４において、タップ抽出部４１３は、図２０のステップＳ３における、図８のタップ抽出部１２１による処理と同様の処理を行い、注目画素に対応する予測タップを抽出し、抽出した予測タップを学習演算回路４１７に供給する。
ステップＳ２０５において、タップ抽出部４１４は、図２０のステップＳ４における、図８のタップ抽出部１２２による処理と同様の処理を行い、注目画素に対応するクラスタップを抽出し、抽出したクラスタップをADRC処理部４１５に供給する。
ステップＳ２０６において、ADRC処理部４１５は、図２０のステップＳ５における、図８のADRC処理部１２３による処理と同様の処理を行い、クラスタップに対応するADRCコードを求め、求めたADRCコードをクラス分類部４１６に供給する。
ステップＳ２０７において、クラス分類部４１６は、図２０のステップＳ６における、図８のクラス分類部１２４による処理と同様の処理を行い、ADRCコードに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを示す情報を、学習演算回路４１７に供給する。
ステップＳ２０８において、学習演算回路４１７は、クラスごとの足し込みを行う。具体的には、学習演算回路４１７は、教師画像における注目画素と、タップ抽出部４１３から供給される注目画素について得られた予測タップを構成する生徒画像の画素とを対象として、クラス分類部４１６から供給されるクラスコードに対応するクラスについてたてられた式（３４）の足し込みを行う。学習演算回路４１７は、足し込みを行うことによりたてた式（３４）に示した正規方程式を、学習データメモリ４１８に記憶させる。
ステップＳ２０９において、タップ抽出部４１３は、全ての画素を処理したかを判定する。タップ抽出部４１３は、教師画像を構成する画素のうち注目画素として処理していない画素がある場合、全ての画素を処理してしないと判定し、処理はステップＳ２０３に戻る。その後、ステップＳ２０９において、全ての画素を処理したと判定されるまで、ステップＳ２０３乃至Ｓ２０９の処理が繰返し実行される。
ステップＳ２０９において、教師画像を構成する画素のうち注目画素としていない画素がない場合、動きベクトル検出部４１２は、全ての画素を処理したと判定し、処理はステップＳ２１０に進む。
ステップＳ２１０において、学習装置４０１は、新たな教師画像が入力されたかを判定する。新たな教師画像が入力されたと判定された場合、処理はステップＳ２０１に戻る。その後、ステップＳ２１０において、新たな教師画像が入力されていないと判定されるまで、ステップＳ２０１乃至Ｓ２１０の処理が繰返し実行される。
ステップＳ２１０において、新たな教師画像が入力されていないと判定された場合、処理はステップＳ２１１に進む。
ステップＳ２１１において、行列演算回路４１９は、タップ係数を算出し、学習処理は終了する。具体的には、行列演算回路４１９は、学習データメモリ４１８に記憶されているクラスごとの式（３４）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとのタップ係数ｗnのセットを求める。行列演算回路４１９は、求めた各クラスごとのタップ係数ｗnのセットを、係数メモリ４２０に記憶させる。
以上のように、入力画像の各画素の動きベクトルを、複雑な計算や回路を用いずに、簡単に検出することができる。また、検出された動きベクトルに基づいて、クラスタップおよび予測タップの位置を調整することにより、クラス分類適応処理を用いた画像処理の効果が向上する。
次に、撮像装置１０１における動きベクトルの検出方法の第２の実施の形態について説明する。なお、この実施の形態においては、以下に述べるように、画素マッチング（局所相関法）を用いて、入力画像の各画素の動きベクトルが検出される。
ところで、局所相関法は、所定の探索範囲内において、動きベクトルを検出する対象となる領域と最も相関が高い領域を検出することにより、動きベクトルを検出する方法であり、その代表例として、ブロックマッチングが挙げられる。しかしながら、通常のブロックマッチングでは、探索範囲が大きかったり、演算量が大きくなったりするため、本発明の実施の形態では、以下のような仮定の元に局所相関法を用いて画素毎の動きベクトルを算出する。
まず、画素値の相関を取る単位を、ブロックマッチングのようにブロック単位ではなく、１画素単位とする。また、上述した勾配法に基づく方法と同様に、動きベクトルの検出を行う時間間隔を、イメージセンサ１１１の撮像間隔であるフレーム間隔のｎ分の１の時間とし、局所画像が１フレーム間において等速直線運動をしていると仮定する。これにより、検出した動きベクトルをｎ倍することにより、簡易的に１フレーム間における動きベクトルを求めることができる。
以上のような限定を行うことにより、図１１のノードNmおよびN1乃至N8の電圧VmおよびV1乃至V8にのみに基づいて、画素ごとに動きベクトルを検出することが可能となる。具体的には、時間t0におけるノードNmおよびN1乃至N8の電圧VmおよびV1乃至V8と、時間t0-ΔtにおけるノードNmの電圧Vm'とのマッチングを取り、すなわち、電圧を比較して、フォトダイオード１４１の位置を基準として、時間t0において電圧Vm'に最も近い電圧のノードに接続されているフォトダイオードの位置に向かうベクトルが、その画素の時間t0-Δtからt0の間における動きベクトルとして検出される。なお、ここでいうマッチングは、以下の式（３５）乃至（４３）に基づいて、V1乃至Vmと電圧Vm'との差分の絶対値D1乃至Dｍを算出し、絶対値D1乃至Dｍの大小を比較することにより行われる。
D1(t0)=|V1(t0)-Vm(t0 -Δt)| ・・・（３５）
D2(t0)=|V2(t0)-Vm(t0 -Δt)| ・・・（３６）
D3(t0)=|V3(t0)-Vm(t0 -Δt)| ・・・（３７）
D4(t0)=|V4(t0)-Vm(t0 -Δt)| ・・・（３８）
D5(t0)=|V5(t0)-Vm(t0 -Δt)| ・・・（３９）
D6(t0)=|V6(t0)-Vm(t0 -Δt)| ・・・（４０）
D7(t0)=|V7(t0)-Vm(t0 -Δt)| ・・・（４１）
D8(t0)=|V8(t0)-Vm(t0 -Δt)| ・・・（４２）
Dm(t0)=|Vm(t0)-Vm(t0 -Δt)| ・・・（４３）
なお、V1(t0)乃至V8(t0)は、時間t0における電圧V1乃至V8の値を示し、Vm(t0)およびVm(t0 -Δt)（＝Vm'）は、時間t0およびt0-Δtにおける電圧Vmの値を示す。
また、以下、適宜、Δtをフレーム間隔の６分の１の時間とし、これまでと同様に、フォトダイオード１４１と、隣接するフォトダイオード１４２−１乃至１４２−８との間の距離が、同じ方向に隣接する画素間の距離の３分の１であるものとして説明する。従って、１フレーム間における動きベクトルは、フォトダイオード１４１の位置を基準として、時間t0において電圧Vm'に最も近い電圧のノードに接続されているフォトダイオードの位置に向かうベクトルを６倍することにより求められるので、１フレーム間の動きベクトルのｘ軸およびｙ軸方向の大きさは最大で２画素（＝1/3×6）となる。
図２６は、以上に説明した方法に基づいて、入力画像の画素毎の動きベクトルを検出するために用いる動きベクトル信号を生成する動きベクトル信号生成回路１５３の機能的構成を示すブロック図である。図２６の動きベクトル信号生成回路１５３は、遅延回路（Delay）４５１−１乃至４５１−９、差分回路４５２−１乃至４５２−９、絶対値演算回路４５３−１乃至４５３−９、比較回路４５４Ａ−１乃至４５４Ａ−４、４５４Ｂ−１，４５４Ｂ−２、４５４Ｃ、および、４５４Ｄ、選択回路４５５Ａ−１乃至４５５Ａ−４、４５５Ｂ−１，４５５Ｂ−２、および、４５５Ｃ、並びに、D/Aコンバータ４５６により構成される。
遅延回路４５１−１乃至４５１−９は、それぞれ、信号検出回路１５１から入力されたノードNmの電圧を所定の時間Δtだけ遅延させた電圧Vm'を、差分回路４５２−１乃至４５２−９に供給する。
差分回路４５２−１は、信号検出回路１５２−１から入力されたノードN１の電圧V１と電圧Vm'との差分である電圧V1-Vm'を演算して、絶対値演算回路４５３−１に供給する。
差分回路４５２−２は、信号検出回路１５２−２から入力されたノードN2の電圧V2と電圧Vm'との差分である電圧V2-Vm'を演算して、絶対値演算回路４５３−２に供給する。
差分回路４５２−３は、信号検出回路１５２−３から入力されたノードN3の電圧V3と電圧Vm'との差分である電圧V3-Vm'を演算して、絶対値演算回路４５３−３に供給する。
差分回路４５２−４は、信号検出回路１５２−４から入力されたノードN4の電圧V4と電圧Vm'との差分である電圧V4-Vm'を演算して、絶対値演算回路４５３−４に供給する。
差分回路４５２−５は、信号検出回路１５２−５から入力されたノードN5の電圧V5と電圧Vm'との差分である電圧V5-Vm'を演算して、絶対値演算回路４５３−５に供給する。
差分回路４５２−６は、信号検出回路１５２−６から入力されたノードN6の電圧V6と電圧Vm'との差分である電圧V6-Vm'を演算して、絶対値演算回路４５３−６に供給する。
差分回路４５２−７は、信号検出回路１５２−７から入力されたノードN7の電圧V7と電圧Vm'との差分である電圧V7-Vm'を演算して、絶対値演算回路４５３−７に供給する。
差分回路４５２−８は、信号検出回路１５２−８から入力されたノードN8の電圧V8と電圧Vm'との差分である電圧V8-Vm'を演算して、絶対値演算回路４５３−８に供給する。
差分回路４５２−９は、信号検出回路１５１から入力されたノードNmの電圧Vmと電圧Vm'との差分である電圧Vｍ-Vm'を演算して、絶対値演算回路４５３−９に供給する。
絶対値演算回路４５３−１は、差分回路４５２−１から供給された電圧の絶対値D1(=｜V1-Vm'｜)を演算して、比較回路４５４Ａ−１および選択回路４５５Ａ−１に供給する。なお、絶対値D1は、式（３５）のD1(t0)に相当する。
絶対値演算回路４５３−２は、差分回路４５２−２から供給された電圧の絶対値D2(=｜V2-Vm'｜)を演算して、比較回路４５４Ａ−１および選択回路４５５Ａ−１に供給する。なお、絶対値D2は、式（３６）のD2(t0)に相当する。
絶対値演算回路４５３−３は、差分回路４５２−３から供給された電圧の絶対値D3(=｜V3-Vm'｜)を演算して、比較回路４５４Ａ−２および選択回路４５５Ａ−２に供給する。なお、絶対値D3は、式（３７）のD3(t0)に相当する。
絶対値演算回路４５３−４は、差分回路４５２−４から供給された電圧の絶対値D4(=｜V4-Vm'｜)を演算して、比較回路４５４Ａ−２および選択回路４５５Ａ−２に供給する。なお、絶対値D4は、式（３８）のD4(t0)に相当する。
絶対値演算回路４５３−５は、差分回路４５２−５から供給された電圧の絶対値D5(=｜V5-Vm'｜)を演算して、比較回路４５４Ａ−３および選択回路４５５Ａ−３に供給する。なお、絶対値D5は、式（３９）のD5(t0)に相当する。
絶対値演算回路４５３−６は、差分回路４５２−６から供給された電圧の絶対値D6(=｜V6-Vm'｜)を演算して、比較回路４５４Ａ−３および選択回路４５５Ａ−３に供給する。なお、絶対値D6は、式（４０）のD6(t0)に相当する。
絶対値演算回路４５３−７は、差分回路４５２−７から供給された電圧の絶対値D7(=｜V7-Vm'｜)を演算して、比較回路４５４Ａ−４および選択回路４５５Ａ−４に供給する。なお、絶対値D7は、式（４１）のD7(t0)に相当する。
絶対値演算回路４５３−８は、差分回路４５２−８から供給された電圧の絶対値D8(=｜V8-Vm'｜)を演算して、比較回路４５４Ａ−４および選択回路４５５Ａ−４に供給する。なお、絶対値D8は、式（４２）のD8(t0)に相当する。
絶対値演算回路４５３−９は、差分回路４５２−９から供給された電圧の絶対値Dｍ(=｜Vm-Vm'｜)を演算して、比較回路４５４Ｄに供給する。なお、絶対値Dmは、式（４３）の閾値Dm(t0)に相当する。
比較回路４５４Ａ−１は、絶対値D1と絶対値D2とを比較し、比較結果を示す信号VO0を、選択回路４５５Ａ−１およびD/Aコンバータ４５６に供給する。なお、信号VO0は、D1＜D2である場合、Highレベルとなり、D1＞D2である場合、Lowレベルとなる。
比較回路４５４Ａ−２は、絶対値D3と絶対値D4とを比較し、比較結果を示す信号VO1を、選択回路４５５Ａ−２およびD/Aコンバータ４５６に供給する。なお、信号VO1は、D3＜D4である場合、Highレベルとなり、D3＞D4である場合、Lowレベルとなる。
比較回路４５４Ａ−３は、絶対値D5と絶対値D6とを比較し、比較結果を示す信号VO2を、選択回路４５５Ａ−３およびD/Aコンバータ４５６に供給する。なお、信号VO2は、D5＜D6である場合、Highレベルとなり、D5＞D6である場合、Lowレベルとなる。
比較回路４５４Ａ−４は、絶対値D7と絶対値D8とを比較し、比較結果を示す信号VO3を、選択回路４５５Ａ−４およびD/Aコンバータ４５６に供給する。なお、信号VO3は、D7＜D8である場合、Highレベルとなり、D7＞D8である場合、Lowレベルとなる。
選択回路４５５Ａ−１は、信号VO0に基づいて、絶対値D1と絶対値D2のうち値が小さい方を選択して、比較回路４５４Ｂ−１および選択回路４５５Ｂ−１に供給する。
選択回路４５５Ａ−２は、信号VO1に基づいて、絶対値D3と絶対値D4のうち値が小さい方を選択して、比較回路４５４Ｂ−１および選択回路４５５Ｂ−１に供給する。
選択回路４５５Ａ−３は、信号VO2に基づいて、絶対値D5と絶対値D6のうち値が小さい方を選択して、比較回路４５４Ｂ−２および選択回路４５５Ｂ−２に供給する。
選択回路４５５Ａ−４は、信号VO3に基づいて、絶対値D7と絶対値D8のうち値が小さい方を選択して、比較回路４５４Ｂ−２および選択回路４５５Ｂ−２に供給する。
比較回路４５４Ｂ−１は、選択回路４５５Ａ−１により選択された絶対値と、選択回路４５５Ａ−２により選択された絶対値とを比較し、比較結果を示す信号VO4を、選択回路４５５Ｂ−１およびD/Aコンバータ４５６に供給する。なお、信号VO4は、選択回路４５５Ａ−１により選択された絶対値の方が小さい場合、Highレベルとなり、選択回路４５５Ａ−２により選択された絶対値の方が小さい場合、Lowレベルとなる。
比較回路４５４Ｂ−２は、選択回路４５５Ａ−３により選択された絶対値と、選択回路４５５Ａ−４により選択された絶対値とを比較し、比較結果を示す信号VO5を、選択回路４５５Ｂ−２およびD/Aコンバータ４５６に供給する。なお、信号VO5は、選択回路４５５Ａ−３により選択された絶対値の方が小さい場合、Highレベルとなり、選択回路４５５Ａ−４により選択された絶対値の方が小さい場合、Lowレベルとなる。
選択回路４５５Ｂ−１は、信号VO4に基づいて、選択回路４５５Ａ−１により選択された絶対値と、選択回路４５５Ａ−２により選択された絶対値のうち値が小さい方を選択し、比較回路４５４Ｃおよび選択回路４５５Ｃに供給する。すなわち、絶対値D1乃至D4のうち最小値が抽出され、比較回路４５４Ｃおよび選択回路４５５Ｃに供給される。
選択回路４５５Ｂ−２は、信号VO5に基づいて、選択回路４５５Ａ−３により選択された絶対値と、選択回路４５５Ａ−４により選択された絶対値のうち値が小さい方を選択し、比較回路４５４Ｃおよび選択回路４５５Ｃに供給する。すなわち、絶対値D5乃至D8のうち最小値が抽出され、比較回路４５４Ｃおよび選択回路４５５Ｃに供給される。
比較回路４５４Ｃは、選択回路４５５Ｂ−１により選択された絶対値と、選択回路４５５Ｂ−２により選択された絶対値とを比較し、比較結果を示す信号VO6を、選択回路４５５ＣおよびD/Aコンバータ４５６に供給する。なお、信号VO6は、選択回路４５５Ｂ−１により選択された絶対値の方が小さい場合、Highレベルとなり、選択回路４５５Ｂ−２により選択された絶対値の方が小さい場合、Lowレベルとなる。
選択回路４５５Ｃは、信号VO6に基づいて、選択回路４５５Ｂ−１により選択された絶対値と、選択回路４５５Ｂ−２により選択された絶対値のうち値が小さい方を選択し、比較回路４５４Ｄに供給する。すなわち、絶対値D1乃至D8のうち最小値が抽出され、比較回路４５４Ｄに供給される。
比較回路４５４Dは、選択回路４５５Ｃにより選択された絶対値、すなわち、絶対値D1乃至D8のうち最小値と、絶対値Dｍとを比較し、比較結果を示す信号VO7を、D/Aコンバータ４５６に供給する。なお、信号VO7は、選択回路４５５Ｃにより選択された絶対値の方が小さい場合、Highレベルとなり、絶対値Ｄｍの方が小さい場合、Lowレベルとなる。
D/Aコンバータ４５６は、信号VO0乃至VO7により構成される８ビットの値を２５６階調のアナログ信号に変換し、変換したアナログ信号を動きベクトル信号としてMOSFET１５４に供給する。すなわち、動きベクトル信号は、絶対値D1乃至D8およびDmに基づいて生成される。より具体的には、動きベクトル信号は、絶対値D1乃至D8およびDmのうち最小となる値を検出するために絶対値D1乃至D8およびDmを比較した結果を示す信号であり、後述するように、動きベクトル信号から、その画素の動きベクトルが検出される。
なお、差分回路４５２−１乃至４５２−９、絶対値演算回路４５３−１乃至４５３−９には、例えば、上述した図１３の回路を適用することができる。また、比較回路４５４Ａ−１乃至４５４Ａ−４、４５４Ｂ−１，４５４Ｂ−２、４５４Ｃ、および、４５４Ｄには、例えば、上述した図１４の回路を適用することができる。
なお、イメージセンサ１１１に図２６の動きベクトル信号生成回路１５３を適用することにより、イメージセンサ１１１に図１２の動きベクトル信号生成回路１５３を適用した場合と比較して、図２０のステップＳ２の動きベクトル信号生成処理、および、図２３のステップＳ４５の動きベクトル検出処理が上述した処理と異なる。他の処理は同様である。
まず、図２７のフローチャートを参照して、イメージセンサ１１１に図２６の動きベクトル信号生成回路１５３を適用した場合における、図２０のステップＳ２の動きベクトル信号生成処理の詳細を説明する。
ステップＳ３０１において、差分回路４５２−１乃至４５２−８は、時間および空間方向の差分値を検出する。具体的には、図２６を参照して上述したように、遅延回路４５１−１乃至４５１−８は、それぞれ、信号検出回路１５１から入力されたノードNmの電圧Vmを所定の時間Δtだけ遅延させて、差分回路４５２−１乃至４５２−８に供給する。
また、差分回路４５２−１は、電圧V1-Vm'を演算して、絶対値演算回路４５３−１に供給し、差分回路４５２−２は、電圧V2-Vm'を演算して、絶対値演算回路４５３−２に供給し、差分回路４５２−３は、電圧V3-Vm'を演算して、絶対値演算回路４５３−３に供給し、差分回路４５２−４は、電圧V4-Vm'を演算して、絶対値演算回路４５３−４に供給し、差分回路４５２−５は、電圧V5-Vm'を演算して、絶対値演算回路４５３−５に供給し、差分回路４５２−６は、電圧V6-Vm'を演算して、絶対値演算回路４５３−６に供給し、差分回路４５２−７は、電圧V7-Vm'を演算して、絶対値演算回路４５３−７に供給し、差分回路４５２−８は、電圧V8-Vm'を演算して、絶対値演算回路４５３−８に供給する。すなわち、画素内の輝度値の時間および空間方向の差分値が検出される。
さらに、絶対値演算回路４５３−１は、絶対値D1を演算して、比較回路４５４Ａ−１および選択回路４５５Ａ−１に供給し、絶対値演算回路４５３−２は、絶対値D2を演算して、比較回路４５４Ａ−２および選択回路４５５Ａ−２に供給し、絶対値演算回路４５３−３は、絶対値D3を演算して、比較回路４５４Ａ−３および選択回路４５５Ａ−３に供給し、絶対値演算回路４５３−４は、絶対値D4を演算して、比較回路４５４Ａ−４および選択回路４５５Ａ−４に供給し、絶対値演算回路４５３−５は、絶対値D5を演算して、比較回路４５４Ａ−５および選択回路４５５Ａ−５に供給し、絶対値演算回路４５３−６は、絶対値D6を演算して、比較回路４５４Ａ−６および選択回路４５５Ａ−６に供給し、絶対値演算回路４５３−７は、絶対値D7を演算して、比較回路４５４Ａ−７および選択回路４５５Ａ−７に供給し、絶対値演算回路４５３−８は、絶対値D8を演算して、比較回路４５４Ａ−８および選択回路４５５Ａ−８に供給する。
ステップＳ３０２において、差分回路４５２−９は、時間方向の差分値を検出する。具体的には、図２６を参照して上述したように、遅延回路４５１−９は、信号検出回路１５１から入力されたノードNmの電圧Vmを所定の時間Δtだけ遅延させて、差分回路４５２−９に供給する。差分回路４５２−９は、電圧Vm-Vm'を演算して、絶対値演算回路４５３−９に供給する。すなわち、画素内の輝度値の時間方向の差分値が検出される。絶対値演算回路４５３−９は、絶対値Dｍを演算して、比較回路４５４Ｄに供給する。
ステップＳ３０３において、比較回路４５４Ａ−１乃至４５４Ａ−４、４５４Ｂ−１，４５４Ｂ−２、４５４Ｃ、および、４５４Ｄは、各絶対値を比較する。具体的には、図２６を参照して上述したように、比較回路４５４Ａ−１は、絶対値D1と絶対値D2とを比較し、比較結果を示す信号VO0を選択回路４５５Ａ−１およびD/Aコンバータ４５６に供給し、比較回路４５４Ａ−２は、絶対値D3と絶対値D4とを比較し、比較結果を示す信号VO1を選択回路４５５Ａ−２およびD/Aコンバータ４５６に供給し、比較回路４５４Ａ−３は、絶対値D5と絶対値D6とを比較し、比較結果を示す信号VO2を選択回路４５５Ａ−３およびD/Aコンバータ４５６に供給し、比較回路４５４Ａ−４は、絶対値D7と絶対値D8とを比較し、比較結果を示す信号VO3を選択回路４５５Ａ−４およびD/Aコンバータ４５６に供給する。
また、選択回路４５５Ａ−１は、信号VO0に基づいて、絶対値D1と絶対値D2のうち値が小さい方を選択して、比較回路４５４Ｂ−１および選択回路４５５Ｂ−１に供給し、選択回路４５５Ａ−２は、信号VO1に基づいて、絶対値D3と絶対値D4のうち値が小さい方を選択して、比較回路４５４Ｂ−１および選択回路４５５Ｂ−１に供給し、選択回路４５５Ａ−３は、信号VO2に基づいて、絶対値D5と絶対値D6のうち値が小さい方を選択して、比較回路４５４Ｂ−２および選択回路４５５Ｂ−２に供給し、選択回路４５５Ａ−４は、信号VO3に基づいて、絶対値D7と絶対値D8のうち値が小さい方を選択して、比較回路４５４Ｂ−２および選択回路４５５Ｂ−２に供給する。
さらに、比較回路４５４Ｂ−１は、選択回路４５５Ａ−１により選択された絶対値と、選択回路４５５Ａ−２により選択された絶対値とを比較し、比較結果を示す信号VO4を、選択回路４５５Ｂ−１およびD/Aコンバータ４５６に供給し、比較回路４５４Ｂ−２は、選択回路４５５Ａ−３により選択された絶対値と、選択回路４５５Ａ−４により選択された絶対値とを比較し、比較結果を示す信号VO5を、選択回路４５５Ｂ−２およびD/Aコンバータ４５６に供給する。
また、選択回路４５５Ｂ−１は、信号VO4に基づいて、選択回路４５５Ａ−１により選択された絶対値と、選択回路４５５Ａ−２により選択された絶対値のうち値が小さい方を選択し、比較回路４５４Ｃおよび選択回路４５５Ｃに供給し、選択回路４５５Ｂ−２は、信号VO5に基づいて、選択回路４５５Ａ−３により選択された絶対値と、選択回路４５５Ａ−４により選択された絶対値のうち値が小さい方を選択し、比較回路４５４Ｃおよび選択回路４５５Ｃに供給する。
さらに、比較回路４５４Ｃは、選択回路４５５Ｂ−１により選択された絶対値と、選択回路４５５Ｂ−２により選択された絶対値とを比較し、比較結果を示す信号VO6を、選択回路４５５ＣおよびD/Aコンバータ４５６に供給する。
また、選択回路４５５Ｃは、信号VO6に基づいて、選択回路４５５Ｂ−１により選択された絶対値と、選択回路４５５Ｂ−２により選択された絶対値のうち値が小さい方を選択し、比較回路４５４Ｄに供給する。
さらに、比較回路４５４Ｄは、選択回路４５５Ｃにより選択された絶対値、すなわち、絶対値D1乃至D8のうち最小値と、絶対値Dｍとを比較し、比較結果を示す信号VO7を、D/Aコンバータ４５６に供給する。
ステップＳ３０４において、上述した図２１のステップＳ２６の処理と同様に、信号VO0乃至VO7に基づいて、D/Aコンバータ４５６により動きベクトル信号が生成され、動きベクトル信号生成処理は終了する。
次に、図２８のフローチャートを参照して、イメージセンサ１１１に図２６の動きベクトル信号生成回路１５３を適用した場合における、図２２のステップＳ４５の動きベクトル検出処理の詳細を説明する。
ステップＳ３４１において、ベクトル検出回路３１１は、基準画素に対応する動きベクトル信号に基づいて、VO7＝0、すなわち、VO7がLowレベルであるかを判定する。VO7＝0であると判定された場合、すなわち、絶対値D1乃至D8およびDmのうち絶対値Dmが最小である場合、処理はステップＳ３４２に進む。
ステップＳ３４２において、ベクトル検出回路３１１は、基準画素における画像が静止していると判定し、基準画素の動きベクトルの大きさを０とする。その後、処理はステップＳ３５８に進む。
ステップＳ３４１において、VO7＝1、すなわち、VO7がHighレベルであると判定された場合、処理はステップＳ３４３に進む。
ステップＳ３４３において、ベクトル検出回路３１１は、VO6＝0であるかを判定する。VO6＝1であると判定された場合、処理はステップＳ３４４に進む。
ステップＳ３４４において、ベクトル検出回路３１１は、VO4＝0であるかを判定する。VO4＝１であると判定された場合、処理はステップＳ３４５に進む。
ステップＳ３４５において、ベクトル検出回路３１１は、VO0＝0であるかを判定する。VO0＝1であると判定された場合、すなわち、絶対値D1乃至D8およびDmのうち絶対値D1が最小である場合、処理はステップＳ３４６に進む。
ステップＳ３４６において、ベクトル検出回路３１１は、基準画素の動きベクトルを、左上方向に＋２画素の大きさのベクトル、すなわち、フォトダイオード１４１の位置を基準として、フォトダイオード１４２−１の位置に向かうベクトルを6倍したベクトルとする。その後、処理はステップＳ３５８に進む。
ステップＳ３４５において、VO0＝0であると判定された場合、すなわち、絶対値D1乃至D8およびDmのうち絶対値D2が最小である場合、処理はステップＳ３４７に進む。
ステップＳ３４７において、ベクトル検出回路３１１は、基準画素の動きベクトルを、上方向に＋２画素の大きさのベクトル、すなわち、フォトダイオード１４１の位置を基準として、フォトダイオード１４２−２の位置に向かうベクトルを6倍したベクトルとする。その後、処理はステップＳ３５８に進む。
ステップＳ３４４において、VO4＝0であると判定された場合、処理はステップＳ３４８に進み、ステップＳ３４８において、ベクトル検出回路３１１は、VO1＝0であるかを判定する。VO1＝1であると判定された場合、すなわち、絶対値D1乃至D8およびDmのうち絶対値D3が最小である場合、処理はステップＳ３４９に進む。
ステップＳ３４９において、ベクトル検出回路３１１は、基準画素の動きベクトルを、右上方向に＋２画素の大きさのベクトル、すなわち、フォトダイオード１４１の位置を基準として、フォトダイオード１４２−３の位置に向かうベクトルを6倍したベクトルとする。その後、処理はステップＳ３５８に進む。
ステップＳ３４８において、VO1＝0であると判定された場合、すなわち、絶対値D1乃至D8およびDmのうち絶対値D4が最小である場合、処理はステップＳ３５０に進む。
ステップＳ３５０において、ベクトル検出回路３１１は、基準画素の動きベクトルを、左方向に＋２画素の大きさのベクトル、すなわち、フォトダイオード１４１の位置を基準として、フォトダイオード１４２−４の位置に向かうベクトルを6倍したベクトルとする。その後、処理はステップＳ３５８に進む。
ステップＳ３４３において、VO6＝0であると判定された場合、処理はステップＳ３５１に進み、ステップＳ３５１において、ベクトル検出回路３１１は、VO5＝0であるかを判定する。VO5＝1であると判定された場合、処理はステップＳ３５２に進む。
ステップＳ３５２において、ベクトル検出回路３１１は、VO2＝0であるかを判定する。VO2＝1であると判定された場合、すなわち、絶対値D1乃至D8およびDmのうち絶対値D5が最小である場合、処理はステップＳ３５３に進む。
ステップＳ３５３において、ベクトル検出回路３１１は、基準画素の動きベクトルを、右方向に＋２画素の大きさのベクトル、すなわち、フォトダイオード１４１の位置を基準として、フォトダイオード１４２−５の位置に向かうベクトルを6倍したベクトルとする。その後、処理はステップＳ３５８に進む。
ステップＳ３５２において、VO2＝0であると判定された場合、すなわち、絶対値D1乃至D8およびDmのうち絶対値D６が最小である場合、処理はステップＳ３５４に進む。
ステップＳ３５４において、ベクトル検出回路３１１は、基準画素の動きベクトルを、左下方向に＋２画素の大きさのベクトル、すなわち、フォトダイオード１４１の位置を基準として、フォトダイオード１４２−６の位置に向かうベクトルを6倍したベクトルとする。その後、処理はステップＳ３５８に進む。
ステップＳ３５１において、VO5＝0であると判定された場合、処理はステップＳ３５５に進み、ステップＳ３５５において、ベクトル検出回路３１１は、VO3＝0であるかを判定する。VO3＝1であると判定された場合、すなわち、絶対値D1乃至D8およびDmのうち絶対値D７が最小である場合、処理はステップＳ３５６に進む。
ステップＳ３５６において、ベクトル検出回路３１１は、基準画素の動きベクトルを、下方向に＋２画素の大きさのベクトル、すなわち、フォトダイオード１４１の位置を基準として、フォトダイオード１４２−７の位置に向かうベクトルを6倍したベクトルとする。その後、処理はステップＳ３５８に進む。
ステップＳ３５５において、VO3=0であると判定された場合、すなわち、絶対値D1乃至D8およびDmのうち絶対値D８が最小である場合、処理はステップＳ３５７に進む。
ステップＳ３５７において、ベクトル検出回路３１１は、基準画素の動きベクトルを、右下方向に＋２画素の大きさのベクトル、すなわち、フォトダイオード１４１の位置を基準として、フォトダイオード１４２−８の位置に向かうベクトルを6倍したベクトルとする。その後、処理はステップＳ３５８に進む。
ステップＳ３５８において、ベクトル検出回路３１１は、検出結果を供給し、動きベクトル検出処理は終了する。具体的には、ベクトル検出回路３１１は、検出した基準画素の動きベクトルを示す情報をタップ選択回路３１２に供給する。
以上のように、動きベクトルの検出方法の第２の実施の形態においても、入力画像の各画素の動きベクトルを、複雑な計算や回路を用いずに、簡単に検出することができる。
次に、図２９乃至図３６を参照して、本発明を適用した撮像装置の第２の実施の形態について説明する。
図２９は、本発明を適用した撮像装置の第２の実施の形態である撮像装置５０１の構成を示すブロック図である。撮像装置５０１は、イメージセンサ５１１、および、画像処理部５１２により構成される。画像処理部５１２は、最終判定部５２１、タップ抽出部５２２，５２３、ADRC処理部１２３、クラス分類部１２４、係数メモリ１２５、および、予測演算部１２６により構成される。なお、図中、図８と対応する部分については同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。
イメージセンサ５１１は、撮像した画像、すなわち、入力画像の画像信号をタップ抽出部５２２，５２３に供給する。また、イメージセンサ５１１は、画像信号の各画素の動きベクトルの検出に用いられる動きベクトル信号を生成し、生成した動きベクトル信号を最終判定部５２１に供給する。
画像処理部５１２は、最終判定部５２１が設けられ、タップ抽出部１２１，１２２の代わりにタップ抽出部５２２，５２３が設けられている点で、図８の画像処理部１１２と異なり、ADRC処理部１２３、クラス分類部１２４、係数メモリ１２５、および、予測演算部１２６が設けられている点で、画像処理部１１２と共通する。
最終判定部５２１は、図３４を参照して後述するように、動きベクトル信号に基づいて、動きベクトルを検出するとともに、信頼度の低い動きベクトルを補正する。最終判定部５２１は、検出および補正した動きベクトルを示す情報を、タップ抽出部５２２，５２３に供給する。
タップ抽出部５２２は、最終判定部５２１により検出された動きベクトルに基づいて、図８のタップ抽出部１２１と同様の処理により、予測タップを抽出する。タップ抽出部５２２は、抽出した予測タップを予測演算部１２６に供給する。
タップ抽出部５２３は、最終判定部５２１により検出された動きベクトルに基づいて、図８のタップ抽出部１２２と同様の処理により、クラスタップを抽出する。タップ抽出部５２３は、抽出したクラスタップをクラス分類部１２４に供給する。
図３０は、イメージセンサ５１１の１画素あたりの等価回路５３０の構成の例を示す回路図である。等価回路５３０は、信号検出回路１５１および信号検出回路１５２−１乃至１５２−８、動きベクトル信号生成回路５３１、並びに、MOSFET１５４により構成される。なお、図中、図１１と対応する部分については同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。
等価回路５３０は、動きベクトル信号生成回路１５３の代わりに動きベクトル信号生成回路５３１が設けられている点で、等価回路１５０と異なり、信号検出回路１５１、信号検出回路１５２−１乃至１５２−８、および、MOSFET１５４が設けられている点で、等価回路１５０と共通する。
動きベクトル信号生成回路５３１は、図３１を参照して後述するように、ノードNmの電圧Vm、および、ノードN1乃至N8の電圧V1乃至V8に基づいて、動きベクトル信号を生成し、生成した動きベクトル信号をMOSFET１５４に供給する。
なお、イメージセンサ５１１の１画素内におけるフォトダイオードの配置は、図１０のイメージセンサ１１１に示される配置と同一とされる。
図３１は、図３０の動きベクトル信号生成回路５３１の機能的構成を示すブロック図である。動きベクトル信号生成回路５３１は、遅延回路（Delay）４５１−１乃至４５１−９、差分回路４５２−１乃至４５２−９、絶対値演算回路４５３−１乃至４５３−９、比較回路４５４Ａ−１乃至４５４Ａ−４、４５４Ｂ−１，４５４Ｂ−２、４５４Ｃ、４５４Ｄ、および、４５４Ｅ、選択回路４５５Ａ−１乃至４５５Ａ−４、４５５Ｂ−１，４５５Ｂ−２、４５５Ｃ、および、４５５Ｄ、並びに、D/Aコンバータ５４１により構成される。なお、図中、図２６と対応する部分については同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。
動きベクトル信号生成回路５３１は、比較回路４５４Ｅおよび選択回路４５５Ｄが設けられ、D/Aコンバータ４５６の代わりに、D/Aコンバータ５４１が設けられている点で、図２６の動きベクトル信号生成回路１５３と異なり、遅延回路（Delay）４５１−１乃至４５１−９、差分回路４５２−１乃至４５２−９、絶対値演算回路４５３−１乃至４５３−９、比較回路４５４Ａ−１乃至４５４Ａ−４、４５５Ｂ−１，４５５Ｂ−２、４５４Ｃ、および、４５４Ｄ、並びに、選択回路４５５Ａ−１乃至４５５Ａ−４、４５５Ｂ−１，４５５Ｂ−２、および、４５５Ｃが設けられている点で、動きベクトル信号生成回路１５３と一致する。
選択回路４５５Dには、絶対値演算回路４５３−９から絶対値Dｍが供給され、比較回路４５４Ｄから信号VO7が供給され、選択回路４５５Cから、絶対値D1乃至D8のうち最小値が供給される。選択回路４５５Dは、信号VO7に基づいて、絶対値D1乃至D8のうち最小値と絶対値Dｍとのうち値が小さい方を選択し、比較回路４５４Ｅに供給する。
比較回路４５４Ｅは、選択回路４５５Dにより選択された絶対値と、外部から入力される比較用の電圧Vrefとを比較し、比較結果を示す信号VO8を、D/Aコンバータ５４１に供給する。なお、信号VO8は、電圧Vrefの方が大きい場合、Highレベルとなり、電圧Vrefの方が小さい場合、Lowレベルとなる。
すなわち、比較回路４５４Ｅにおいては、以下の式（４４）の条件式の真偽が検出される。
Vref＞min(D1(t0)，D2(t0)，D3(t0)，D4(t0)，D5(t0)，D6(t0)，D7(t0)，D8(t0)，Dm(t0))
・・・（４４）
D1(t0)乃至Dm(t0)が、全て所定の閾値Vrefより大きい場合、換言すれば、V1乃至VmとVm'との差が大きい場合、ノイズなどの影響により、マッチング演算の信頼性が低い可能性が高い。従って、後述するように、条件式（４４）が成立する場合、動きベクトルの検出結果の信頼性が低いと判断し、動きベクトルの大きさは０とされる。
D/Aコンバータ５４１には、比較回路４５４Ａ−１から信号VO0が供給され、比較回路４５４Ａ−２から信号VO1が供給され、比較回路４５４Ａ−３から信号VO2が供給され、比較回路４５４Ａ−４から信号VO3が供給され、比較回路４５４Ｂ−１から信号VO4が供給され、比較回路４５４Ｂ−２から信号VO5が供給され、比較回路４５４Ｃから信号VO6が供給され、比較回路４５４Ｄから信号VO7が供給され、比較回路４５４Ｅから信号VO8が供給される。D/Aコンバータ５４１は、信号VO0乃至V08により構成される９ビットの値を５１２階調のアナログ信号に変換し、変換したアナログ信号を動きベクトル信号としてMOSFET１５４に供給する。
すなわち、動きベクトル信号は、絶対値D1乃至D8およびDmに基づいて生成される。より具体的には、動きベクトル信号は、絶対値D1乃至D8およびDmのうち最小となる値を検出するために絶対値D1乃至D8およびDmを比較した結果、および、絶対値D1乃至D8およびDmの最小値を所定の閾値である電圧Vrefと比較した結果を示す信号であり、後述するように、動きベクトル信号から、その画素の動きベクトルが検出される。
図３２は、図２９のタップ抽出部５２２の機能的構成例を示すブロック図である。タップ抽出部５２２は、フレーム遅延回路３０１，３０２、タップ抽出回路３０３−１Ｓ乃至３０３−１ＲＤ、３０３−２、および、３０３−３Ｓ乃至３０３−３ＲＤ、並びに、選択回路５６１により構成される。また、選択回路５６１は、タップ選択回路３１２により構成される。なお、図中、図１８と対応する部分については同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。
タップ抽出部５２２は、ベクトル検出回路３１１を含まない点で、図１８のタップ抽出部１２１と異なり、フレーム遅延回路３０１，３０２、タップ抽出回路３０３−１Ｓ乃至３０３−１ＲＤ、３０３−２、および、３０３−３Ｓ乃至３０３−３ＲＤ、並びに、タップ選択回路３１２が設けられている点で、タップ抽出部１２１と共通する。
フレーム遅延回路３０１は、最終判定部５２１から供給される動きベクトルを示す情報を記憶するとともに、１フレーム分遅延させて、タップ選択回路３１２に供給する。
タップ選択回路３１２は、フレーム遅延回路３０１から取得した動きベクトルを示す情報に基づいて、各タップ抽出回路３０３から供給されるタップの中から、注目画素に対応する予測タップを選択し、予測タップを予測演算部１２６に供給する。
次に、図３３乃至図３６を参照して、撮像装置５０１の処理について説明する。
まず、図３３のフローチャートを参照して、撮像装置５０１により実行される撮像処理を説明する。なお、この処理は、例えば、ユーザが、図示せぬ操作部を操作することにより、撮像の開始の指令を入力したとき開始される。
なお、説明を簡単にするために、３フレーム目以降の画像を処理する場合、すなわち、予測タップおよび抽出タップを抽出するために用いる注目画像、および、その前後のフレームの画像が撮像された後の処理について説明する。
ステップＳ４０１において、図２０のステップＳ１の処理と同様に、イメージセンサ５１１により入力画像の画像信号が生成される。
ステップＳ４０２において、動きベクトル信号生成回路５３１は、動きベクトル信号生成処理を実行する。動きベクトル信号生成処理の詳細は、図３４を参照して後述するが、この処理により、入力画像に対応する動きベクトル信号が生成され、イメージセンサ５１１から最終判定部５２１に供給される。
ステップＳ４０３において、最終判定部５２１は、最終判定処理を行う。最終判定処理の詳細は、図３５を参照して後述するが、この処理により、入力画像の動きベクトルが検出され、検出された動きベクトルを示す情報が、最終判定部５２１からタップ抽出部５２２のフレーム遅延回路３０１、および、タップ抽出部５２３のフレーム遅延回路３０１に供給される。
ステップＳ４０４において、タップ抽出部５２２は、予測タップ抽出処理を行う。予測タップ抽出処理の詳細は、図３６を参照して後述するが、この処理により、注目画素に対応する予測タップが抽出され、抽出された予測タップが、タップ抽出部５２２から予測演算部１２６に供給される。
ステップＳ４０５において、タップ抽出部５２３は、クラスタップ抽出処理を行う。クラスタップ抽出処理の詳細は、図３６を参照して後述するが、この処理により、注目画素に対応するクラスタップが抽出され、抽出されたクラスタップが、タップ抽出部５２３からADRC処理部１２３に供給される。
ステップＳ４０６乃至Ｓ４１２の処理は、図２０のステップＳ５乃至Ｓ１１の処理と同様であり、その説明は繰り返しになるので省略する。
次に、図３４のフローチャートを参照して、図３３のステップＳ４０２の動きベクトル信号生成処理の詳細を説明する。
ステップＳ４３１において、図２７のステップＳ３０１の処理と同様に、時間および空間方向の差分値が検出され、ステップＳ４３２において、図２７のステップＳ３０２の処理と同様に、時間方向の差分値が検出され、ステップＳ４３３において、図２７のステップＳ３０３の処理と同様に、絶対値D1乃至D8およびDmが比較される。
なお、ステップＳ４３３において、図２７のステップＳ３０３の処理に加えて、以下の処理が行われる。すなわち、比較回路４５４Ｄは、比較結果を示す信号VO7を、選択回路４５５Ｄに供給する。選択回路４５５Ｄは、信号VO7に基づいて、絶対値D1乃至D8のうち最小値と絶対値Dｍとのうち値が小さい方を選択し、比較回路４５４Ｅに供給する。
ステップＳ４３４において、比較回路４５４Ｅは、絶対値の最小値を閾値と比較する。具体的には、図３１を参照して上述したように、比較回路４５４Ｅは、選択回路４５５Dにより選択された絶対値、すなわち、絶対値D1乃至D8およびDmのうちの最小値と、外部から入力される比較用の電圧Vrefとを比較し、比較結果を示す信号VO8を、D/Aコンバータ５４１に供給する。
ステップＳ４３５において、D/Aコンバータ５４１は、動きベクトル信号を生成し、動きベクトル信号生成処理は終了する。具体的には、D/Aコンバータ５４１は、信号VO0乃至VO8により構成される９ビットの値を５１２階調のアナログ信号に変換し、変換したアナログ信号を動きベクトル信号としてMOSFET１５４に供給する。その後、垂直選択線１５５を介して、MOSFET１５４のゲートに選択信号が印加され、MOSFET１５４がオンされると、D/Aコンバータ５４１から、動きベクトル信号が動きベクトル信号線１５７に出力される。そして、イメージセンサ５１１からは、各画素からの動きベクトル信号を所定の順序で配列した動きベクトル信号が、対応する画像信号と同期して、最終判定部５２１に出力される。
次に、図３５を参照して、図３３のステップＳ４０３の最終判定処理の詳細を説明する。
ステップＳ４６１において、最終判定部５２１は、最終判定を行う画素を設定する。具体的には、最終判定部５２１は、入力画像を構成する画素のうち、まだ動きベクトルの最終判定を行っていない画素を１つ選択する。なお、以下、最終判定部５２１により選択された画素を、選択画素と称する。
ステップＳ４６２において、最終判定部５２１は、選択画素に対応する動きベクトル信号に基づいて、VO8＝0、すなわち、VO8がLowレベルであるかを判定する。VO8＝0であると判定された場合、すなわち、差分値D1乃至D8およびDmが電圧Vrefより大きい場合、処理はステップＳ４６３に進む。
ステップＳ４６３において、最終判定部５２１は、選択画素における画像が静止していると判定し、選択画素の動きベクトルの大きさを０とする。すなわち、上述したように、動きベクトルの検出結果の信頼性が低いと判断され、動きベクトルの大きさが０に補正される。その後、処理はステップＳ４８１に進む。
ステップＳ４６２において、VO8＝1、すなわち、VO8がHighレベルであると判定された場合、処理はステップＳ４６４に進む。
ステップＳ４６４乃至Ｓ４８０において、最終判定部５２１により行われる処理は、図２８のステップＳ３４１乃至Ｓ３５７において、タップ抽出部１２１または１２２のベクトル検出回路３１１により行われる処理と同様であり、その説明は、繰り返しになるので省略するが、上述したように、これらの処理により、選択画素の動きベクトルが検出される。
ステップＳ４８１において、最終判定部５２１は、検出結果を供給する。具体的には、最終判定部５２１は、検出した選択画素の動きベクトルを示す情報を、タップ抽出部５２２のフレーム遅延回路３０１、および、タップ抽出部５２３のフレーム遅延回路３０１に供給する。タップ抽出部５２２のフレーム遅延回路３０１、および、タップ抽出部５２３のフレーム遅延回路３０１は、取得した動きベクトルを示す情報を記憶する。
ステップＳ４８２において、最終判定部５２１は、全ての画素を処理したかを判定する。最終判定部５２１は、入力画像の画素のうち、まだ動きベクトルの最終判定を行っていない画素がある場合、全ての画素を処理していないと判定し、処理はステップＳ４６１に戻る。その後、ステップＳ４８２において、全ての画素を処理したと判定されるまで、ステップＳ４６１乃至Ｓ４８２の処理が繰返し実行され、入力画像の全ての画素について、動きベクトルの最終判定が行われる。
ステップＳ４８２において、全ての画素を処理したと判定された場合、最終判定処理は終了する。
次に、図３６を参照して、図３３のステップＳ４０４の予測タップ抽出処理の詳細を説明する。
ステップＳ５０１において、タップ選択回路３１２は、上述した図２２のステップＳ４１の処理と同様に、注目画素および基準画素を設定する。タップ選択回路３１２は、設定した注目画素および基準画素を示す情報を、各タップ抽出回路３０３に供給する。
ステップＳ５０２乃至Ｓ５０４の処理は、上述した図２２のステップＳ４２乃至Ｓ４４の処理と同様であり、その説明は、繰り返しになるので省略するが、上述したようにこれらの処理により、各タップ抽出回路３０３が抽出したタップが、タップ選択回路３１２に供給される。
ステップＳ５０５において、タップ選択回路３１２は、タップを選択し、予測タップ抽出処理は終了する。具体的には、タップ選択回路３１２は、基準画素の動きベクトルを示す情報を、フレーム遅延回路３０１から取得する。タップ選択回路３１２は、図１９を参照して上述したように、注目画像における基準画素の動きベクトルに基づいて、各タップ抽出回路３０３から供給されたタップの中から予測タップを選択する。タップ選択回路３１２は、選択した予測タップを予測演算部１２６に供給する。
なお、図３３のステップＳ４０５のクラスタップ抽出処理は、上述したステップＳ４０４の予測タップ抽出処理と同様であり、その説明は繰り返しになるので省略する。
このように、最終判定処理により、信頼性の低い動きベクトルが補正されることにより、動きベクトルの検出精度が向上する。
以上のようにして、画像を撮像しながら、撮像した画像の各画素の動きベクトルの検出に用いる動きベクトル信号を、各画素に設けられた回路により生成することができる。従って、各画素の動きベクトルを、複雑な計算や回路を用いずに、簡単に検出することができる。また、動きベクトルの検出を実現するために用いる回路やリソースを小さくすることができ、コストの軽減、処理速度の高速化を実現することができる。
また、検出された画素毎の動きベクトルを用いて、クラス分類適応処理におけるタップを適切な位置に設定することにより、多倍密化処理、ノイズ除去処理，中間フレーム生成処理などの従来の画像処理において、被写体の動きが大きい画像に対しても、より高性能なクラス分類適応処理を実現することができる。
なお、本発明の実施の形態においては、１画素内のフォトダイオードの配置を、図１０に示される以外の配置とすることも可能である。
例えば、図３７に示されるように、画素の受光面の中央にフォトダイオード６０１を配置し、フォトダイオード６０２−１乃至６０２−４を、それぞれ、フォトダイオード６０１の上、左、右、および、下に配置するようにすることも可能である。なお、受光面におけるフォトダイオード６０１の形状は、正方形とされ、フォトダイオード６０２−１乃至６０２−４の形状は、フォトダイオードの１辺とその辺に平行な画素の周囲の１辺とを結んだ台形とされる。
また、例えば、図３８に示されるように、画素の受光面の中央にフォトダイオード６１１を配置し、フォトダイオード６１２−１乃至６１２−４を、それぞれ、フォトダイオード６１１の左斜め上、右斜め上、左斜め下、および、右斜め下に配置するようにすることも可能である。なお、受光面におけるフォトダイオード６１１の形状は、正方形とされ、フォトダイオード６１２−１乃至６１２−４は、画素の受光面を４等分した正方形から、画素の中央に近い角を正方形の形状に切り取った６角形の形状とされる。
さらに、例えば、図３９に示されるように、画素の受光面の中央にフォトダイオード６２１を配置し、フォトダイオード６２２−１乃至６２２−４を、それぞれ、フォトダイオード６２１の左斜め上、右斜め上、左斜め下、および、右斜め下に配置するようにすることも可能である。なお、受光面におけるフォトダイオード６２１の形状は、画素の周囲の各辺の中点を頂点とする正方形とされ、フォトダイオード６２２−１乃至６２２−４の形状は、画素の頂点と画素の周囲の各辺の中点を頂点とする二等辺三角形とされる。
また、例えば、イメージセンサ１１１または５１１に、フォトダイオードの輝度情報としてのアナログの信号である各ノードの電圧値を、時分割でA/D変換する回路を設けて、動きベクトル信号生成回路をデジタル回路により構成するようにしてもよい。この場合、動きベクトル信号を２値または多値のデジタル信号として出力することが可能であり、例えば、画素ごとの動きベクトルの方向（例えば、上下左右および斜め方向、並びに、静止の９方向）を示す離散値からなる信号とすることができる。また、生成したデジタル信号をD/A変換して、アナログ信号として出力するようにしてもよい。
また、上述したように、８ビットまたは９ビットの信号をD/A変換したアナログ信号として動きベクトル信号を出力する以外にも、動きベクトル信号生成回路内の各アナログ演算回路の出力、例えば、ベクトル判定値、または、絶対値D1乃至Dmなどをそのまま出力するようにしたり、各アナログ演算回路の出力を所定の閾値により２値またはいくつかの値に変換して出力するようにしてもよい。
また、動きベクトル信号生成回路において、加算、比較などの各演算結果を、上述したように電圧値で表す以外にも、電流値などの他の値で表すようにしてもよい。
さらに、最終判定処理として、図３５を参照して上述した例以外にも、例えば、所定の領域（例えば、５画素×５画素）内の各画素の動きベクトルの分布に基づいて、例えば、その領域内で最も多い動きベクトル、または、その領域内の動きベクトルの平均値などを、その領域内の動きベクトルとする処理を行うことにより、動きベクトルの検出精度を向上させることができる。また、最終判定処理において、各種の評価関数などを用いて、動きベクトルの検出精度を向上させるようにしてもよい。
また、以上の説明では、主にフレーム間の動きベクトルを検出する例について説明したが、本発明の実施の形態においては、フィールド間の動きベクトルを検出することも可能である。
なお、本発明は、例えば、各種の撮像装置に適用することができる。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図４０は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ７００の構成の例を示すブロック図である。CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２、または記録部７０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）７０３には、CPU７０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU７０１、ROM７０２、およびRAM７０３は、バス７０４により相互に接続されている。
CPU７０１にはまた、バス７０４を介して入出力インタフェース７０５が接続されている。入出力インタフェース７０５には、キーボード、マウス、マイクロホンなどよりなる入力部７０６、ディスプレイ、スピーカなどよりなる出力部７０７が接続されている。CPU７０１は、入力部７０６から入力される指令に対応して各種の処理を実行する。そして、CPU７０１は、処理の結果を出力部７０７に出力する。
入出力インタフェース７０５に接続されている記録部７０８は、例えばハードディスクからなり、CPU７０１が実行するプログラムや各種のデータを記憶する。通信部７０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
また、通信部７０９を介してプログラムを取得し、記録部７０８に記憶してもよい。
入出力インタフェース７０５に接続されているドライブ７１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部７０８に転送され、記憶される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図４０に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア７１１、または、プログラムが一時的もしくは永続的に格納されるROM７０２や、記録部７０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部７０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
従来のイメージセンサの画素の配列を示す図である。 従来のCMOSイメージセンサの１画素あたりの等価回路を示す回路図である。 タップを複数のフレームから抽出する場合の例を示す図である。 タップを複数のフレームから抽出する場合の他の例を示す図である。 タップを複数のフレームから抽出する場合のさらに他の例を示す図である。 基準画素の動きベクトルに基づいて、タップの位置を移動させる例を説明するための図である。 従来のクラス分類適応処理を用いた撮像装置の機能的構成を示す図である。 本発明を適用した撮像装置の一実施の形態の構成を示すブロック図である。 図８のイメージセンサの画素の配列の例を示す図である。 図８のイメージセンサの１画素内のフォトダイオードの配置の例を示す図である。 図８のイメージセンサの１画素あたりの等価回路の構成の例を示す回路図である。 図１１の動きベクトル信号生成回路の機能的構成を示すブロック図である。 図１２の差分回路の構成の例を示す回路図である。 図１２の比較回路の構成の例を示す回路図である。 図１４の比較回路の動作を説明するための図である。 図１２の加算回路の構成の例を示す回路図である。 図１２の絶対値回路の構成の例を示す回路図である。 図８のタップ抽出部の機能的構成を示すブロック図である。 図１８のタップ抽出回路により抽出されるタップの例を示す図である。 図８の撮像装置により実行される撮像処理を説明するためのフローチャートである。 図２０のステップＳ２の動きベクトル信号生成処理の詳細を説明するためのフローチャートである。 図２０のステップＳ３の予測タップ抽出処理およびステップＳ４のクラスタップ抽出処理の詳細を説明するためのフローチャートである。 図２２のステップＳ５の動きベクトル検出処理の詳細を説明するためのフローチャートである。 学習装置の機能的構成を示すブロック図である。 図２４の学習装置により実行される学習処理を説明するためのフローチャートである。 動きベクトル信号生成回路の第２の実施の形態の構成を示すブロック図である。 図２０のステップＳ２の動きベクトル信号生成処理の第２の実施の形態の詳細を説明するためのフローチャートである。 図２２のステップＳ５の動きベクトル検出処理の第２の実施の形態の詳細を説明するためのフローチャートである。 本発明を適用した撮像装置の第２の実施の形態の構成を示すブロック図である。 図２９のイメージセンサの１画素あたりの等価回路の構成を示す回路図である。 図３０の動きベクトル信号生成回路の機能的構成を示すブロック図である。 図２９のタップ抽出部の機能的構成を示すブロック図である。 図２９の撮像装置により実行される撮像処理を説明するためのフローチャートである。 図３３のステップＳ４０２の動きベクトル信号生成処理の詳細を説明するためのフローチャートである。 図３３のステップＳ４０３の最終判定処理の詳細を説明するためのフローチャートである。 図３３のステップＳ４０４の予測タップ抽出処理およびステップＳ４０５のクラスタップ抽出処理の詳細を説明するためのフローチャートである。 イメージセンサの１画素内のフォトダイオードの配置の他の例を示す図である。 イメージセンサの１画素内のフォトダイオードの配置のさらに他の例を示す図である。 イメージセンサの１画素内のフォトダイオードの配置のさらに他の例を示す図である。 パーソナルコンピュータの構成の例を示すブロック図である。
符号の説明
１０１ 撮像装置， １１１ イメージセンサ， １１２ 画像処理部， １２１，１２２ タップ抽出部， １２４ クラス分類部， １２５ 係数メモリ， １２６ 予測演算部， １４１，１４２ フォトダイオード， １５０ 等価回路， １５１，１５２ 信号検出回路， １５３ 動きベクトル信号生成回路， １５４ MOSFET， １７１乃至１７３ MOSFET， １８１乃至１８３ MOSFET， ２０１ 差分回路， ２０２ 比較回路， ２０３ 遅延回路， ２０４ 加算回路， ２０５ 絶対値演算回路， ２０６ 選択回路， ２０７ D/Aコンバータ， ３０１，３０２ フレーム遅延回路， ３０３ タップ抽出回路， ３０４ 選択回路， ３１１ ベクトル検出回路， ３１２ タップ選択回路， ３５１ タップ， ４５１ 遅延回路， ４５２ 差分回路， ４５３ 絶対値演算回路， ４５４ 比較回路， ４５５ 選択回路， ４５６ D/Aコンバータ， ５０１ 撮像装置， ５１１ イメージセンサ， ５１２ 画像処理部， ５２１ 最終判定部， ５２２，５２３ タップ抽出部， ５３０ 等価回路， ５３１ 動きベクトル信号生成回路， ５４１ D/Aコンバータ， ５６１ 選択回路， ６０１，６０２，６１１，６１２，６２１，６２２ フォトセンサ

Claims (18)

  1. 複数の画素を有するイメージセンサにおいて、
    １つの画素値を表す信号を出力する単位である１つの画素内に、
    前記画素の受光面の中央に配置され、入射する光量を検出する第１の検出手段と、
    前記受光面において、前記第１の検出手段の周囲に配置され、入射する光量を検出する複数の第２の検出手段と、
    前記第１の検出手段により検出された光量を示す値である中心値、および、複数の前記第２の検出手段により検出された光量を示す値である複数の周辺値に基づいて、前記画素における動きベクトルの検出に用いる動きベクトル信号を生成する信号生成手段と
    を備えるイメージセンサ。
  2. 前記信号生成手段は、第１の時刻における前記中心値と、前記第１の時刻から前記イメージセンサの撮像間隔のn分の１の時間分前の第２の時刻における前記中心値との差分である時間差分値、前記第１の検出手段を中心とする第１の方向に位置する２つの前記第２の検出手段により前記第１の時刻において検出された前記周辺値の差分である第１の空間差分値、および、前記第１の方向と直交し、前記第１の検出手段を中心とする第２の方向に位置する２つの前記第２の検出手段により前記第１の時刻において検出された前記周辺値の差分である第２の空間差分値を検出するとともに、前記第１の検出手段の位置を原点とし、前記原点を中心とする前記第１の方向であるx軸方向および前記第２の方向であるｙ軸方向の互いに直交する２軸からなる座標系において、前記第２の時刻と前記第１の時刻の間における前記画素の動きベクトルの候補として予め設定されているm個の候補ベクトルを(xi,yi)（ただし、i＝1乃至m）とした場合、xi×第１の空間差分値＋yi×第２の空間差分値＋時間差分値により計算されるm個の判定値、および、前記時間差分値に基づいて、前記動きベクトル信号を生成する
    請求項１に記載のイメージセンサ。
  3. 前記信号生成手段は、前記判定値の絶対値のうち最小となるものを検出するために前記判定値の絶対値を比較した結果、および、前記時間差分値を所定の閾値と比較した結果を示す信号を前記動きベクトル信号として生成する
    請求項２に記載のイメージセンサ。
  4. 前記信号生成手段は、第１の時刻における前記中心値と、前記第１の時刻から前記イメージセンサの撮像間隔のn分の１の時間分前の第２の時刻における前記中心値との差分である時間差分値、および、前記第２の時刻における前記中心値と前記第１の時刻における前記周辺値のそれぞれとの差分である複数の時空間差分値に基づいて、前記動きベクトル信号を生成する
    請求項１に記載のイメージセンサ。
  5. 前記信号生成手段は、前記時間差分値の絶対値および前記時空間差分値の絶対値のうち最小となるものを検出するために前記時間差分値の絶対値および前記時空間差分値の絶対値を比較した結果を示す信号を動きベクトル信号として生成する
    請求項４に記載のイメージセンサ。
  6. 前記信号生成手段は、前記時間差分値の絶対値および前記時空間差分値の絶対値のうち最小となるものを検出するために前記時間差分値の絶対値および前記時空間差分値の絶対値を比較した結果、および、前記時間差分値の絶対値および前記時空間差分値の絶対値の最小値を所定の閾値と比較した結果を示す信号を動きベクトル信号として生成する
    請求項４に記載のイメージセンサ。
  7. 複数の画素を有するイメージセンサの信号処理方法において、
    １つの画素値を表す信号を出力する単位である１つの画素の受光面の中央に配置される第１の検出部、および、前記受光面において、前記第１の検出部の周囲に配置された複数の第２の検出部により、入射する光量を検出し、
    前記第１の検出部により検出された光量を示す値である中心値、および、複数の前記第２の検出部により検出された光量を示す値である複数の周辺値に基づいて、前記画素における動きベクトルの検出に用いる動きベクトル信号を生成する
    ステップを含む信号処理方法。
  8. 複数の画素を有するイメージセンサのプログラムにおいて、
    １つの画素値を表す信号を出力する単位である１つの画素の受光面の中央に配置される第１の検出部により検出された光量を示す値である中心値、および、前記受光面において、前記第１の検出部の周囲に配置された複数の第２の検出部により検出された光量を示す値である複数の周辺値に基づいて、前記画素における動きベクトルの検出に用いる動きベクトル信号を生成する
    ステップを含む処理をコンピュータに実行させるプログラム。
  9. １つの画素値を表す信号を出力する単位である１つの画素内に、
    前記画素の受光面の中央に配置され、入射する光量を検出する第１の検出手段と、
    前記受光面において、前記第１の検出手段の周囲に配置され、入射する光量を検出する複数の第２の検出手段と、
    前記第１の検出手段により検出された光量を示す値である中心値、および、複数の前記第２の検出手段により検出された光量を示す値である複数の周辺値に基づいて、前記画素における動きベクトルの検出に用いる動きベクトル信号を生成する信号生成手段と
    を備える複数の画素で構成されるイメージセンサと、
    前記動きベクトル信号に基づいて、各画素の動きベクトルを検出する動きベクトル検出手段と
    を備える撮像装置。
  10. 前記信号生成手段は、第１の時刻における前記中心値と、前記第１の時刻から前記イメージセンサの撮像間隔のn分の１の時間分前の第２の時刻における前記中心値との差分である時間差分値、前記第１の検出手段を中心とする第１の方向に位置する２つの前記第２の検出手段により前記第１の時刻において検出された前記周辺値の差分である第１の空間差分値、および、前記第１の方向と直交し、前記第１の検出手段を中心とする第２の方向に位置する２つの前記第２の検出手段により前記第１の時刻において検出された前記周辺値の差分である第２の空間差分値を検出するとともに、前記第１の検出手段の位置を原点とし、前記第１の方向をx軸方向、および、前記第２の方向をｙ軸方向とする座標系において、前記第２の時刻と前記第１の時刻の間における前記画素の動きベクトルの候補として予め設定されているm個の候補ベクトルを(xi,yi)（ただし、i＝1乃至m）とした場合、xi×第１の空間差分値＋yi×第２の空間差分値＋時間差分値により計算されるm個の判定値、および、前記時間差分値に基づいて、前記動きベクトル信号を生成し、
    前記動きベクトル検出手段は、前記時間差分値が所定の閾値以上である場合、前記判定値が最小となる前記候補ベクトルをn倍したベクトルをその前記画素の前記動きベクトルとして検出し、前記時間差分値が前記閾値より小さい場合、その前記画素の前記動きベクトルの大きさを０とする
    請求項９に記載の撮像装置。
  11. 前記信号生成手段は、前記判定値の絶対値のうち最小となるものを検出するために前記判定値の絶対値を比較した結果、および、前記時間差分値を所定の閾値と比較した結果を示す信号を前記動きベクトル信号として生成する
    請求項１０に記載の撮像装置。
  12. 前記信号生成手段は、第１の時刻における前記中心値と、前記第１の時刻から前記イメージセンサの撮像間隔のn分の１の時間分前の第２の時刻における前記中心値との差分である時間差分値、および、前記第２の時刻における前記中心値と前記第１の時刻における前記周辺値のそれぞれとの差分である複数の時空間差分値に基づいて、前記動きベクトル信号を生成し、
    前記動きベクトル検出手段は、前記時間差分値および前記時空間差分値のうち前記時空間差分値が最小となる場合、前記第１の検出手段の位置を基準として、前記時空間差分値が最小となる前記第２の検出手段の位置に向かうベクトルをn倍したベクトルをその前記画素の前記動きベクトルとして検出し、前記時間差分値および前記時空間差分値のうち前記時間差分値が最小となる場合、その前記画素の前記動きベクトルの大きさを０とする
    請求項９に記載の撮像装置。
  13. 前記信号生成手段は、前記時間差分値の絶対値および前記時空間差分値の絶対値のうち最小となるものを検出するために前記時間差分値の絶対値および前記時空間差分値の絶対値を比較した結果を示す信号を動きベクトル信号として生成する
    請求項１２に記載の撮像装置。
  14. 前記動きベクトル検出手段は、さらに、前記時間差分値の絶対値および前記時空間差分値の絶対値の最小値が所定の閾値より大きい場合、その前記画素の前記動きベクトルの大きさを０とする
    請求項１２に記載の撮像装置。
  15. 前記信号生成手段は、前記時間差分値の絶対値および前記時空間差分値の絶対値のうち最小となるものを検出するために前記時間差分値の絶対値および前記時空間差分値の絶対値を比較した結果、および、前記時間差分値の絶対値および前記時空間差分値の絶対値の最小値を前記閾値と比較した結果を示す信号を動きベクトル信号として生成する
    請求項１４に記載の撮像装置。
  16. 前記イメージセンサにより撮像された第１の画像より高画質の第２の画像の注目画素を予測するのに用いる複数の画素を、前記注目画素の動きベクトルに基づいて、前記注目画素が属する画像を含む複数の前記第１の画像から予測タップとして抽出する予測タップ抽出手段と、
    前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記注目画素の動きベクトルに基づいて、前記注目画素が属する画像を含む複数の前記第１の画像からクラスタップとして抽出するクラスタップ抽出手段と、
    前記クラスタップに基づいて、前記注目画素のクラス分類を行うクラス分類手段と、
    学習によりあらかじめ求められた、複数のクラスそれぞれに対応する係数の中から、前記注目画素のクラスに対応する係数を供給する係数供給手段と、
    前記注目画素のクラスに対応する係数と、前記予測タップとを用いた予測演算により、前記注目画素を求める演算手段と
    をさらに備える請求項９に記載の撮像装置。
  17. 複数の画素で構成されるイメージセンサを有する撮像装置の画像処理方法において、
    １つの画素値を表す信号を出力する単位である１つの画素の受光面の中央に配置される第１の検出部、および、前記受光面において、前記第１の検出部の周囲に配置された複数の第２の検出部により、入射する光量を検出し、
    前記第１の検出部により検出された光量を示す値である中心値、および、複数の前記第２の検出部により検出された光量を示す値である複数の周辺値に基づいて、前記画素における動きベクトルの検出に用いる動きベクトル信号を生成し、
    前記動きベクトル信号に基づいて、各画素の動きベクトルを検出する
    ステップを含む画像処理方法。
  18. 複数の画素で構成されるイメージセンサを有する撮像装置のプログラムにおいて、
    １つの画素値を表す信号を出力する単位である１つの画素の受光面の中央に配置される第１の検出部により検出された光量を示す値である中心値、および、前記受光面において、前記第１の検出部の周囲に配置された複数の第２の検出部により検出された光量を示す値である複数の周辺値に基づいて、前記画素における動きベクトルの検出に用いる動きベクトル信号を生成し、
    前記動きベクトル信号に基づいて、各画素の動きベクトルを検出する
    ステップを含む処理をコンピュータに実行させるプログラム。
JP2006054400A 2006-03-01 2006-03-01 イメージセンサ、撮像装置、信号処理方法、画像処理方法、および、プログラム Withdrawn JP2007235509A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006054400A JP2007235509A (ja) 2006-03-01 2006-03-01 イメージセンサ、撮像装置、信号処理方法、画像処理方法、および、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006054400A JP2007235509A (ja) 2006-03-01 2006-03-01 イメージセンサ、撮像装置、信号処理方法、画像処理方法、および、プログラム

Publications (1)

Publication Number Publication Date
JP2007235509A true JP2007235509A (ja) 2007-09-13

Family

ID=38555642

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006054400A Withdrawn JP2007235509A (ja) 2006-03-01 2006-03-01 イメージセンサ、撮像装置、信号処理方法、画像処理方法、および、プログラム

Country Status (1)

Country Link
JP (1) JP2007235509A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10012493B2 (en) 2014-10-31 2018-07-03 Samsung Electronics Co., Ltd. Device and method for detecting position of object
GB2575137A (en) * 2018-06-25 2020-01-01 Univ Guangdong Technology An image sensor and an image dynamic information processing method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10012493B2 (en) 2014-10-31 2018-07-03 Samsung Electronics Co., Ltd. Device and method for detecting position of object
GB2575137A (en) * 2018-06-25 2020-01-01 Univ Guangdong Technology An image sensor and an image dynamic information processing method
GB2575137B (en) * 2018-06-25 2021-11-03 Univ Guangdong Technology An image sensor and an image dynamic information processing method

Similar Documents

Publication Publication Date Title
US7786921B2 (en) Data processing method, data processing apparatus, semiconductor device, and electronic apparatus
US10003761B2 (en) Imaging device having multiple analog-digital conversion circuits that perform multiple ad conversions for a singular one of a pixel signal
JP5149687B2 (ja) 撮像センサ、撮像システム、及び撮像センサの制御方法
US20110001853A1 (en) Solid-state imaging device and image defect correction processing circuit
JP6871815B2 (ja) 撮像装置及びその駆動方法
KR101452406B1 (ko) 기생 캐패시턴스의 영향을 줄일 수 있는 ｃｄｓ 회로 및이를 포함하는 이미지 센서
US10811448B2 (en) Solid-state imaging device
US10097196B2 (en) Image element, processing method, and electronic device
US10110797B2 (en) Imaging device and imaging system
US11706542B2 (en) Pixel circuit outputting time difference data and image data, and operating method of pixel array
JP2007235509A (ja) イメージセンサ、撮像装置、信号処理方法、画像処理方法、および、プログラム
US8665353B2 (en) Solid-state image pickup apparatus and method for driving the same
US6980230B2 (en) Center of mass detection via an active pixel sensor
US11463644B2 (en) Imaging device, imaging system, and drive method of imaging device
WO2017212870A1 (ja) 信号処理装置、信号処理方法、及び、撮像装置
EP3834407A1 (en) Imaging device with motion dependent pixel binning
US10999549B2 (en) Image sensor, column parallel ADC circuit and A/D conversion method thereof
JP6422319B2 (ja) 撮像装置、及びそれを用いた撮像システム
US11812176B2 (en) Pixel circuit selecting to output time difference data or image data
US11509852B2 (en) Imaging device, imaging system, and method of driving imaging device
JP2007235311A (ja) イメージセンサおよび撮像方法、画像処理装置および方法、学習装置および方法、並びにプログラム
JP2022102604A (ja) イメージセンサ及び画像認識システム
JP4972599B2 (ja) テレシネ映像検出装置
JP2003289249A (ja) 相関演算回路、ａ／ｄ変換器、ｄ／ａ変換器、及び信号処理システム
JP2014192542A (ja) 撮像装置、半導体集積回路装置、及び、ａ／ｄ変換方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20090512