JP2004159314A - メモリ装置、動きベクトルの検出装置および検出方法 - Google Patents

Abstract

【課題】第１、第２のフレームの画素データの差分データを高速に、かつ安価に得るようにする。
【解決手段】第１のフレーム（参照フレーム）の画素データを、メモリセルアレイ部２０ａの、ビット線ＢＬが延びる方向に並ぶ複数のメモリセルからなるユニットＡに、ストレートバイナリの形式で記憶する。第２のフレーム（探索フレーム）の画素データを、メモリセルアレイ部２０ｂの、ビット線ＢＬが延びる方向に並ぶ複数のメモリセルからなるユニットＢに２の補数の形式で記憶する。この第１、第２のフレームの画素データに係るワードＷＬ線を同時に活性化し、この複数のワード線ＷＬに接続された複数のメモリセルのキャパシタの蓄積電荷を１つのビット線ＢＬ上で結合する。Ａ／Ｄコンバータ５３は、その電荷総量に対応した値のデジタル信号、つまり差分絶対値を出力する。画素データの読み出し時に同時に減算、絶対値変換などの処理が実行される。
【選択図】 図８

Description

この発明は、メモリ装置、動きベクトルの検出装置および検出方法に関する。

詳しくは、この発明は、第１のフレームの画素データをビット線が延びる方向に並ぶ複数のメモリセルからなるユニットにストレートバイナリの形式で記憶し、第２のフレームの画素データをビット線が延びる方向に並ぶ複数のメモリセルからなるユニットに２の補数の形式で記憶しておき、この第１、第２のフレームの画素データに係るワード線を同時に活性化し、この複数のワード線に接続された複数のメモリセルのキャパシタの蓄積電荷を１つのビット線上で結合し、その電荷総量に対応した値のデジタル信号を出力する構成とすることによって、第１、第２のフレームの画素データの差分データを高速に、かつ安価に得ることができるようにしたメモリ装置に係るものである。

また、この発明は、ビット線が延びる方向に並ぶ複数のメモリセルからなるユニットのそれぞれにデータを記憶しておき、複数のデータに係るワード線を同時に活性化し、この複数のワード線に接続された複数のメモリセルのキャパシタの蓄積電荷を１つのビット線上で結合し、その電荷総量に対応した値のデジタル信号を出力する構成とすることによって、複数のデータの加算データを高速に、かつ安価に得ることができるようにしたメモリ装置に係るものである。

また、この発明は、参照フレームの各画素毎に、その画素データと探索フレームの複数の探索位置の画素データとの差分絶対値を生成し、この生成された差分絶対値を用いて、参照フレームの各参照ブロック毎に、この参照ブロックおよびこの参照ブロックに対応した探索フレームの探索範囲内の複数の候補ブロックの間の差分絶対値和を生成し、参照フレームの各参照ブロック毎に、生成された複数の差分絶対値和に基づいて、この参照ブロックに対応した動きベクトルを検出する構成とすることによって、動きベクトルの検出を高速に、かつ安価に行い得るようにした動きベクトルの検出装置および検出方法に係るものである。

画像処理においては、動きベクトル検出は重要な要素の一つであり、その代表的な方法としてブロックマッチング法がある。これは、あるフレーム（参照フレーム）の一部を構成するある画素ブロック（参照ブロック）について、時間の異なるフレーム（探索フレーム）における様々な位置での同一形状画素ブロック（候補ブロック）との相関を評価し、その中で相関が最も高い候補ブロックとの間の相対的な位置ずれを、その参照ブロックにおける動きベクトルとみなすものである。

ここで、候補ブロックを想定する領域が探索範囲である。相関の評価には、参照ブロックと候補ブロックとの対応する各画素間の画素データの差分絶対値のブロック内各画素についての総和、すなわち差分絶対値和が用いられることが多い。１個の参照ブロックにつき探索範囲内の候補ブロック分の差分絶対値和が得られるが、その中で最も差分絶対値和の小さいところが、画素を単位とした動きベクトルと見なされる。

図２２は、従来の動きベクトル検出回路２００の構成例を示している。
この動きベクトル検出回路２００は、参照フレームの画像信号Ｄｉが入力される入力端子２０１と、この参照フレームの画像信号Ｄｉを蓄積する参照フレームメモリ２０２と、探索フレームの画像信号を蓄積する探索フレームメモリ２０３とを有している。入力端子２０１からあるフレームの画像信号Ｄｉがフレームメモリ２０２に供給されて書き込まれる際に、このフレームメモリ２０２に記憶されていた１フレーム前の画像信号が読み出されてフレームメモリ２０３に供給されて書き込まれる。

また、動きベクトル検出回路２００は、フレームメモリ２０２からの参照ブロックの画素データと、フレームメモリ２０３からの当該参照ブロックに対応した探索範囲の複数の候補ブロックの画素データとを入力し、複数の候補ブロックのそれぞれに対し、この候補ブロックの画素データと参照ブロックの画素データとの差分絶対値を、対応する画素データ毎に演算して出力する演算回路２０４を有している。

この演算回路２０４は、参照ブロックの画素データと、２の補数変換部２０４ａでストレートバイナリ形式のデータから２の補数形式のデータに変換された候補ブロックの画素データを、加算部２０４ｂで加算することで差分データを得ると共に、この差分データの絶対値を絶対値変換部２０４ｃでとることによって、差分絶対値を得るようになっている。

また、動きベクトル検出回路２００は、演算回路２０４より出力される、複数の候補ブロックのそれぞれに対応する画素データ毎の差分絶対値を累積して差分絶対値和を得る総和演算部２０５と、この総和演算部２０５で得られる複数の候補ブロックのそれぞれに対する差分絶対値和を保持する差分絶対値和保持部２０６とを有している。

また、動きベクトル検出回路２００は、差分絶対値和保持部２０６に保持された複数の候補ブロックのそれぞれに対する差分絶対値和に基づいて動きベクトルを検出する最小値判定部２０７と、この最小値判定部２０７で検出された動きベクトルを保持する動きベクトル保持部２０８と、この動きベクトル保持部２０８に保持された各参照ブロックの動きベクトルＭＶを順次出力する出力端子２０９とを有している。最小値判定部２０７では、最小の差分絶対値和を発生する候補ブロックの位置を、動きベクトルとして検出する。

図２２に示す動きベクトル検出回路２００の動作を説明する。
入力端子２０１に入力される画像信号Ｄｉは参照フレームメモリ２０２に供給され、参照フレームの画像信号として蓄積される。またこの際、フレームメモリ２０２に記憶されていた１フレーム前の画像信号は、読み出されてフレームメモリ２０３に供給され、探索フレームの画像信号として蓄積される。

演算回路２０４には、フレームメモリ２０２から参照ブロックの画像データが読み出されて供給される。また、この演算回路２０４には、当該参照ブロックに対応した探索範囲の複数の候補ブロックの画素データが読み出されて供給される。そして、この演算回路２０４では、複数の候補ブロックのそれぞれに対し、この候補ブロックの画素データと参照ブロックの画素データとの差分絶対値が、対応する画素データ毎に演算されて出力される。

このように、演算回路２０４より出力される、複数の候補ブロックのそれぞれに対応する画素データ毎の差分絶対値は総和演算部２０５に順次供給されて差分絶対値和が得られる。この総和演算部２０５からの複数の候補ブロックのそれぞれに対する差分絶対値和は、差分絶対値和保持部２０６に供給されて保持される。そして、最小値判定部２０７では、このように差分絶対値和保持部２０６に保持された複数の候補ブロックのそれぞれに対する差分絶対値和に基づき、最小の差分絶対値和を発生する候補ブロックの位置が動きベクトルとして検出され、この動きベクトルが動きベクトル保持部２０８に保持される。

フレームメモリ２０２から演算回路２０４には参照フレーム内の複数の参照ブロックの画素データが順次供給される。そして、各参照ブロックの画素データに対応して、フレームメモリ２０３から演算回路２０４には複数の候補ブロックの画素データが供給される。したがって、各参照ブロックに対応して、演算回路２０４、総和演算部２０５、差分絶対値和保持部２０６、最小値判定部２０７および動きベクトル保持部２０８では上述した動作が繰り返され、従って最小値判定部２０７では各参照ブロックに対応した動きベクトルが順次検出され、この動きベクトルが動きベクトル保持部２０８に順次保持される。

そして、動きベクトル保持部２０８に保持された各参照ブロックに対応した動きベクトルは順次読み出される。そして、読み出された動きベクトルＭＶが出力端子２０９に出力される。このように出力される動きベクトルＭＶは、例えば動き補償予測符号化を行う際の動き補償処理に用いられる。

図２３のフローチャートは、上述した動きベクトル検出回路２００における動きベクトルＭＶの検出処理の手順を示している。

まず、ステップＳＴ２１で、処理を開始し、ステップＳＴ２２で、参照フレームメモリ２０２に記憶されている画像信号を読み出し、この画像信号を探索フレームの画像信号として探索フレームメモリ２０３に書き込む。また、ステップＳＴ２３で、入力端子２０１から参照フレームの画像信号Ｄｉを入力し、この画像信号を参照フレームメモリ２０２に書き込む。

次に、ステップＳＴ２４で、参照フレームメモリ２０２から参照ブロックの画素データを読み出し、またステップＳＴ２５で、探索フレームメモリ２０３からその参照ブロックに対応した探索範囲内にある候補ブロックの画素データを読み出し、２の補数変換部２０４ａで、ストレートバイナリ形式のデータから２の補数形式のデータに変換する。

そして、ステップＳＴ２７で、参照ブロックのストレートバイナリ形式の画素データと２の補数形式のデータに変換された候補ブロックの画素データの加算を行って、差分データを求める。そして、ステップＳＴ２８で、その差分データの絶対値を取り、参照ブロックおよび候補ブロックの画素データの間の差分絶対値を生成する。

次に、ステップＳＴ２９で、ある参照ブロックと所定の候補ブロックとの間の差分絶対値和を総和演算部２０５で演算し、保持部２０６に保存する。そして、ステップＳＴ３１で、ある参照ブロックと全ての候補ブロックとの間の差分絶対値和の生成が終了したか否かを判定する。終了していないときは、ステップＳＴ２５に戻って、ある参照ブロックと次の候補ブロックとの間の差分絶対値和を生成する処理に移る。一方、終了したときは、ステップＳＴ３２に進む。

ステップＳＴ３２では、ある参照ブロックに対応して保持部２０６に保持された差分絶対値和に基づき、最小の差分絶対値和を発生する候補ブロックの位置を動きベクトルとして検出する。そして、ステップＳＴ３３で、この検出された動きベクトルを動きベクトル保持部２０８に保存する。

次に、ステップＳＴ３４で、参照フレームの全参照ブロックでの上述した動きベクトルの検出処理が終了したか否かを判定する。終了していないときは、ステップＳＴ２４に戻って、次の参照ブロックに対応した動きベクトルを検出する処理に移る。一方、終了したときは、ステップＳＴ３５で、動きベクトル保持部２０８に保持された各参照ブロックに対応した動きベクトルＭＶを順次出力し、ステップＳＴ３６で処理を終了する。

上述した動きベクトル検出回路２００においては、演算回路として、差分データ演算用、絶対値演算用、総和演算用等の回路が必要であることから、その分高価になるという不都合があった。

そこで、この発明の目的は、第１、第２のフレームの画素データの差分データを高速に、かつ安価に得ることができるメモリ装置を提供することにある。また、この発明の目的は、複数のデータの加算データを高速に、かつ安価に得ることができるようにしたメモリ装置を提供することにある。さらに、この発明の目的は、動きベクトルの検出を高速に、かつ安価に行い得るようにした動きベクトルの検出装置および検出方法を提供することにある。

この発明に係るメモリ装置は、それぞれビット線およびワード線に接続され、マトリクス状に配された複数のメモリセルからなり、第１のフレームの画像信号を記憶する第１のフレームメモリ部と、それぞれビット線およびワード線に接続され、マトリクス状に配された複数のメモリセルからなり、第２のフレームの画像信号を記憶する第２のフレームメモリ部とを備え、第１のフレームメモリ部および上記第２のフレームメモリ部はビット線が延びる方向である行方向に連続して形成され、第１のフレームメモリ部および第２のフレームメモリ部では、１つのビット線上で、活性化された複数のワード線に接続された複数のメモリセルのキャパシタの蓄積電荷の結合が可能とされ、第１のフレームメモリ部および第２のフレームメモリ部は、それぞれのビット線に接続される複数のメモリセルが所定数のワード線に接続される所定数のメモリセル毎のユニットに分割され、この分割された各ユニットにそれぞれ１個の画素データが記憶され、第１のフレームメモリ部の各ユニットには、それぞれ第１のフレームの画像信号を構成する画素データがストレートバイナリの形式で記憶され、第２のフレームメモリ部の各ユニットには、それぞれ第２のフレームの画像信号を構成する画素データが２の補数の形式で記憶され、第１のフレームメモリ部の所定データに係る複数のワード線および第２のフレームメモリ部の所定データに係る複数のワード線を同時に活性化する活性化手段と、複数のビット線のうちいずれか１つのビット線を選択するビット線選択手段と、このビット線選択手段で選択されたビット線上に得られた電荷総量に対応した値のデジタル信号を出力する信号出力手段とをさらに備えるものである。

この発明においては、第１および第２のフレームメモリ部を備えている。これらのフレームメモリ部は、それぞれビット線およびワード線に接続され、マトリクス状に配された複数のメモリセルからなっている。これらのフレームメモリ部では、１つのビット線上で、活性化された複数のワード線に接続された複数のメモリセルのキャパシタの蓄積電荷の結合が可能となっている。これらのフレームメモリ部は、ビット線が延びる方向である行方向（ロウ方向）に連続して形成されている。

また、これらのフレームメモリ部は、それぞれのビット線に接続される複数のメモリセルが所定数のワード線に接続される所定数のメモリセル毎のユニットに分割され、この分割された各ユニットにそれぞれ１個の画素データが記憶される。第１のフレームメモリ部の各ユニットには、それぞれ第１のフレームの画像信号を構成する画素データがストレートバイナリの形式で記憶され、第２のフレームメモリ部の各ユニットには、それぞれ第２のフレームの画像信号を構成する画素データが２の補数の形式で記憶される。

ここで、第１のフレームメモリ部の所定データに係る複数のワード線および第２のフレームメモリ部の所定データに係る複数のワード線を同時に活性化することで、各ビット線上で、活性化された複数のワード線に接続された複数のメモリセルのキャパシタの蓄積電荷が結合される。そして、選択された１つのビット線上に得られた電荷総量に対応した値のデジタル信号が出力される。

上述したように、第１のフレームメモリ部の各ユニットには、それぞれ第１のフレームの画像信号を構成する画素データがストレートバイナリの形式で記憶され、第２のフレームメモリ部の各ユニットには、それぞれ第２のフレームの画像信号を構成する画素データが２の補数の形式で記憶されているため、各ビット線上に得られる電荷総量は、第１、第２のフレームの画素データの差分値に対応したものとなる。これにより、上述したデジタル信号として、第１、第２のフレームの画素データの減算結果が得られる。

このように、第１のフレームの画素データをビット線が延びる方向に並ぶ複数のメモリセルからなるユニットにストレートバイナリの形式で記憶し、第２のフレームの画素データをビット線が延びる方向に並ぶ複数のメモリセルからなるユニットに２の補数データの形式で記憶しておき、この第１、第２のフレームの画素データに係るワード線を同時に活性化し、この複数のワード線に接続された複数のメモリセルのキャパシタの蓄積電荷を１つのビット線上で結合し、その電荷総量に対応した値のデジタル信号を出力する構成とすることで、第１、第２のフレームの画素データの差分データを高速に、かつ安価に得ることができる。

ここで、第１のフレームメモリ部で活性化されるラインに対して、第２のフレームメモリ部で活性化されるラインの位置を変更することで、第１のフレームの所定ラインと、これと垂直方向（行方向）に所定ライン数だけずれた位置の第２のフレームのラインとの間における画素データの減算結果を得ることが可能となる。

また、第１のフレームメモリ部または第２のフレームメモリ部に記憶されている画素データの記憶位置を水平方向（列方向）に移動することで、第１のフレームの所定画素と、これと水平方向に所定画素数だけずれた位置の第２のフレームの画素との間における画素データの減算結果を得ることが可能となる。

なお、第１のフレームメモリ部の所定データに係る複数のワード線および第２のフレームメモリ部の所定データに係る複数のワード線が同時に活性化された場合には、上述したようにビット線上でこれらのワード線に接続された複数のメモリセルのキャパシタにおける蓄積電荷が結合されることから、これら複数のメモリセルの記憶データが破壊された状態となる。そのため、第１および第２のフレームメモリ部にそれぞれ記憶されている各１ライン分の画素データをワード線を活性化する前にキャッシュメモリ等に待避しておくことで、破壊された複数のメモリセルの記憶データを元に戻すことができる。

例えば、１つの画素データがＮビット（Ｎは正の整数）のデータであるとき、この１つのデータに係るワード線はＮ本であり、このＮ本のワード線に接続されたＮ個のメモリセルのキャパシタは、Ｎビットのデータの各ビットの重みに対応した容量を持つようにされる。これにより、Ｎビットのデータを記憶するためのメモリセルの個数はＮ個で済む。これに対して、各メモリセルのキャパシタの容量が同じものであるとすると、Ｎビットのデータを記憶するためのメモリセルは２^N−１個必要となる。

また、この発明に係るメモリ装置は、それぞれビット線およびワード線に接続され、マトリクス状に配された複数のメモリセルからなるメモリ部を備え、メモリ部では、１つのビット線上で、活性化された複数のワード線に接続された複数のメモリセルのキャパシタの蓄積電荷の結合が可能とされ、メモリ部は、それぞれのビット線に接続される複数のメモリセルが、所定数のワード線に接続される所定数のメモリセル毎のユニットに分割され、この分割された各ユニットにそれぞれ１個のデータが記憶され、複数のデータに係るワード線を同時に活性化する活性化手段と、複数のビット線のうちいずれか１つのビット線を選択するビット線選択手段と、このビット線選択手段で選択されたビット線上に得られた電荷総量に対応した値のデジタル信号を出力する信号出力手段とをさらに備えるものである。

この発明においては、それぞれビット線およびワード線に接続され、マトリクス状に配された複数のメモリセルからなっているメモリ部を備えている。このメモリ部では、１つのビット線上で、活性化された複数のワード線に接続された複数のメモリセルのキャパシタの蓄積電荷の結合が可能となっている。このメモリ部は、それぞれのビット線に接続される複数のメモリセルが、所定数のワード線に接続される所定数のメモリセル毎のユニットに分割され、この分割された各ユニットにそれぞれ１個のデータが記憶される。

ここで、複数のデータに係るワード線を同時に活性化することで、各ビット線上で、活性化された複数のワード線に接続された複数のメモリセルのキャパシタの蓄積電荷が結合される。そして、選択された１つのビット線上に得られた電荷総量に対応した値のデジタル信号が出力される。このデジタル信号は、複数のデータの加算結果に対応したものとなる。

このように、ビット線が延びる方向に並ぶ複数のメモリセルからなるユニットのそれぞれにデータを記憶しておき、複数のデータに係るワード線を同時に活性化し、この複数のワード線に接続された複数のメモリセルのキャパシタの蓄積電荷を１つのビット線上で結合し、その電荷総量に対応した値のデジタル信号を出力する構成とすることで、複数のデータの加算データを高速に、かつ安価に得ることができる。

例えば、メモリ部は、ビット線が延びる方向である行方向には１フレームの複数の画素位置に対応した個数のユニットを有し、ワード線が延びる方向である列方向には探索位置に対応した個数のユニットを有する。このメモリ部の各行の複数のユニットには、それぞれ対応する参照フレームの画素位置の画素データと探索フレームの複数の探索位置の画素データとの差分絶対値のデータが記憶される。ここで、参照フレームの参照ブロックを構成する各画素の画素位置に対応するユニットに係るワード線が同時に活性化されることで、デジタル信号として、参照フレームの参照ブロックとこの参照ブロックに対応した探索フレームの探索範囲内の複数の候補ブロックのそれぞれとの間の差分絶対和が得られる。

また、この発明に係る動きベクトル検出装置は、参照フレームの画像信号および探索フレームの画像信号を用い、参照フレームの各画素毎に、その画素データと探索フレームの複数の探索位置の画素データとの差分絶対値を生成する差分絶対値生成手段と、この差分絶対値生成手段で生成された差分絶対値を用いて、参照フレームの各参照ブロック毎に、この参照ブロックとこの参照ブロックに対応した探索フレームの探索範囲内の複数の候補ブロックのそれぞれとの間の差分絶対値和を生成する差分絶対値和生成手段と、参照フレームの各参照ブロック毎に、差分絶対値和生成手段で生成された複数の差分絶対値和に基づいて、参照ブロックに対応した動きベクトルを検出する動きベクトル検出手段とを備えるものである。

また、この発明に係る動きベクトル検出方法は、参照フレームの画像信号および探索フレームの画像信号を用い、参照フレームの各画素毎に、その画素データと探索フレームの複数の探索位置の画素データとの差分絶対値を生成する工程と、この生成された差分絶対値を用いて、参照フレームの各参照ブロック毎に、この参照ブロックとこの参照ブロックに対応した探索フレームの探索範囲内の複数の候補ブロックのそれぞれとの間の差分絶対値和を生成する工程と、参照フレームの各参照ブロック毎に、生成された複数の差分絶対値和に基づいて、参照ブロックに対応した動きベクトルを検出する工程とを備えるものである。

この発明においては、参照フレームの画像信号および探索フレームの画像信号を用い、参照フレームの各画素毎に、その画素データと探索フレームの複数の探索位置の画素データとの差分絶対値が生成される。この場合、参照フレームの全参照ブロックの動きベクトルをブロックマッチング法で求めるために必要となる全ての差分絶対値が生成される。

この生成された差分絶対値を用いて、参照フレームの各参照ブロック毎に、この参照ブロックとこの参照ブロックに対応した探索フレームの探索範囲内の複数の候補ブロックのそれぞれとの間の差分絶対値和が生成される。この場合、例えば、参照ブロックと所定の候補ブロックとの間の差分絶対値を一度に加算して差分絶対値和を得ることが可能となる。

この生成された複数の差分絶対値和に基づいて、参照ブロックに対応した動きベクトルが検出される。この場合、ある参照ブロックに関しては、最小値の差分絶対値和に対応した候補ブロックの位置が動きベクトルとして検出される。

このように、参照フレームの各画素毎に、その画素データと探索フレームの複数の探索位置の画素データとの差分絶対値を生成し、この生成された差分絶対値を用いて、参照フレームの各参照ブロック毎に、この参照ブロックとこの参照ブロックに対応した探索フレームの探索範囲内の複数の候補ブロックのそれぞれとの間の差分絶対値和を生成し、参照フレームの各参照ブロック毎に、生成された複数の差分絶対値和に基づいて、この参照ブロックに対応した動きベクトルを検出する構成とすることで、動きベクトルの検出を高速に、かつ安価に行い得る。

この発明に係るメモリ装置によれば、第１のフレームの画素データをビット線が延びる方向に並ぶ複数のメモリセルからなるユニットにストレートバイナリの形式で記憶し、第２のフレームの画素データをビット線が延びる方向に並ぶ複数のメモリセルからなるユニットに２の補数の形式で記憶しておき、この第１、第２のフレームの画素データに係るワード線を同時に活性化し、この複数のワード線に接続された複数のメモリセルのキャパシタの蓄積電荷を１つのビット線上で結合し、その電荷総量に対応した値のデジタル信号を出力するものであり、第１、第２のフレームの画素データの差分データを高速に、かつ安価に得ることができる。

また、この発明に係るメモリ装置によれば、ビット線が延びる方向に並ぶ複数のメモリセルからなるユニットのそれぞれにデータを記憶しておき、複数のデータに係るワード線を同時に活性化し、この複数のワード線に接続された複数のメモリセルのキャパシタの蓄積電荷を１つのビット線上で結合し、その電荷総量に対応した値のデジタル信号を出力するものであり、複数のデータの加算データを高速に、かつ安価に得ることができる。

また、この発明に係る動きベクトルの検出装置および検出方法によれば、参照フレームの各画素毎に、その画素データと探索フレームの複数の探索位置の画素データとの差分絶対値を生成し、この生成された差分絶対値を用いて、参照フレームの各参照ブロック毎に、この参照ブロックとこの参照ブロックに対応した探索フレームの探索範囲内の複数の候補ブロックのそれぞれとの間の差分絶対値和を生成し、参照フレームの各参照ブロック毎に、生成された複数の差分絶対値和に基づいて、この参照ブロックに対応した動きベクトルを検出するものであり、動きベクトルの検出を高速に、かつ安価に行い得る。

以下、図面を参照しながら、この発明の実施の形態について説明する。
図１は、実施の形態としての動き補償予測符号化装置１００の構成を示している。

この符号化装置１００は、画像信号Ｄｉを入力する入力端子１０１と、この入力端子１０１に供給される画像信号Ｄｉと後述する動き補償回路１１０から供給される予測画像信号との差分を演算する減算器１０２と、この減算器１０２で得られる差分信号に対してＤＣＴ（離散コサイン変換）を行うＤＣＴ回路１０３と、このＤＣＴ回路１０３で得られるＤＣＴ係数に対して量子化を行う量子化回路１０４と、この量子化回路１０４で得られた符号化信号Ｄｏを出力する出力端子１０５とを有している。

また、符号化装置１００は、量子化回路１０４で得られた符号化信号Ｄｏに対して逆量子化を行う逆量子化回路１０６と、この逆量子化回路１０６の出力信号に対して逆ＤＣＴを行って差分信号を得る逆ＤＣＴ回路１０７と、この逆ＤＣＴ回路１０７で得られる差分信号と動き補償回路１１０で得られる予測画像信号とを加算して元の画像信号を復元する加算器１０８と、この加算器１０８で復元された画像信号を記憶するフレームメモリ１０９とを有している。

また、符号化装置１００は、フレームメモリ１０９に記憶された画像信号を読み込み、この画像信号を、後述する動きベクトル検出回路１１１からの動きベクトルＭＶに基づいて動き補償をした後、上述したように減算器１０２および加算器１０８に予測画像信号として供給する動き補償回路１１０と、入力端子１０１に供給される画像信号Ｄｉの動きベクトルＭＶを検出して動き補償回路１１０に供給する動きベクトル検出回路１１１とを有している。

図１に示す動き補償予測符号化装置１００の動作を説明する。
入力端子１０１に入力される画像信号Ｄｉは、減算器１０２および動きベクトル検出回路１１１に供給される。減算器１０２では、この画像信号Ｄｉと動き補償回路１１０から供給される予測画像信号との差分が演算される。

減算器１０２で得られる差分信号はＤＣＴ回路１０３に供給されて離散コサイン変換される。このＤＣＴ回路１０３で得られるＤＣＴ係数は量子化回路１０４に供給されて量子化される。そして、この量子化回路１０４で得られた符号化信号Ｄｏが出力端子１０５に出力される。

また、量子化回路１０４で得られる符号化信号Ｄｏが逆量子化回路１０６に供給されて逆量子化され、さらにこの逆量子化回路１０６の出力信号が逆ＤＣＴ回路１０７に供給されて逆ＤＣＴされ、差分信号が復元される。この差分信号と動き補償回路１１０からの予測画像信号とが加算器１０８で加算されて元の画像信号が復元され、この復元された画像信号がフレームメモリ１０９に記憶される。

動き補償回路１１０では、あるフレームにおいては、その前のフレームにフレームメモリ１０９に記憶された画像信号の読み込みが行われて、動きベクトル検出回路１１１からの動きベクトルＭＶに基づいて動き補償されて、予測画像信号が得られる。この予測画像信号は、上述したように、差分信号を得るために減算器１０２に供給されると共に、画像信号を復元するために加算器１０８に供給される。

次に、動きベクトル検出回路１１１の詳細を説明する。
この動きベクトル検出回路１１１では、ブロックマッチング法により動きベクトルが検出される。これは、図２に示すように、探索フレームの候補ブロックを所定の探索範囲内で移動し、参照フレームの参照ブロックと最も合致している候補ブロックを検出することにより、動きベクトルを求めるものである。

ブロックマッチング法では、図３Ａに示すように、１枚の画像、例えば水平Ｈ画素、垂直Ｖラインの１フレームの画像が図３Ｂに示すように、Ｐ画素×Ｑラインのブロックに細分化される。図３Ｂの例では、Ｐ＝５、Ｑ＝５の例である。ｃがブロックの中心画素位置である。

図４Ａ〜Ｃは、ｃを中心画素とする参照ブロックとｃ´を中心とする候補ブロックの位置関係を示している。ｃを中心画素とする参照ブロックは、参照フレームの注目しているある参照ブロックであり、それと合致する探索フレームの候補ブロックが探索フレームにおいてｃ´を中心とするブロックの位置にあるものとしている。ブロックマッチング法では、探索範囲内において、参照ブロックと最も合致する候補ブロックを見出すことによって、動きベクトルを検出する。

図４Ａの場合では、水平方向に＋１画素、垂直方向に＋１ライン、すなわち、（＋１，＋１）の動きベクトルが検出される。図４Ｂでは、（＋３，＋３）の動きベクトルＭＶが検出され、図４Ｃでは、（＋２，−１）の動きベクトルが検出される。動きベクトルは、参照フレームの参照ブロック毎に求められる。

動きベクトルを探索する範囲を水平方向で±Ｓ画素、垂直方向で±Ｔラインとすると、参照ブロックは、その中心ｃに対して、水平に±Ｓ、垂直に±Ｔずれたところに中心ｃ´を有する候補ブロックと比較される必要がある。

図５は、探索範囲を水平方向で±Ｓ画素、垂直方向で±Ｔラインとしたときの、参照ブロックと比較すべき候補ブロックの中心を示した図である。この場合、参照フレームのある参照ブロックの中心ｃの位置をＲとする時に、比較すべき探索フレームの（２Ｓ＋１）×（２Ｔ＋１）個の候補ブロックとの比較が必要なことが分かる。すなわち、この図５のます目の位置にｃ´が存在する候補ブロックの全てが比較対象である。図５は、Ｓ＝４，Ｔ＝３とした例である。

探索範囲内の比較で得られた差分絶対値和の中で最小値を検出することによって、動きベクトルが検出される。図５の探索範囲は、候補ブロックの中心が位置する領域であり、Ｐ×Ｑ画素の大きさの候補ブロックの全体が含まれる探索範囲の大きさは、（２Ｓ＋Ｐ）×（２Ｔ＋Ｑ）となる。

図６は、動きベクトル検出回路１１１の構成を示している。
この動きベクトル検出回路１１１は、画像信号Ｄｉを参照フレームの信号としてメモリ部１２２に入力する入力端子１２１と、この参照フレームの画像信号Ｄｉおよび探索フレームの画像信号を蓄積するメモリ部１２２とを有している。このメモリ部１２２は、差分絶対値生成手段を構成している。

このメモリ部１２２は、参照フレームおよび探索フレームの画像信号を用い、参照フレームの各画素毎に、その画素データと探索フレームの複数の探索位置の画素データとの差分絶対値を生成するためのものである。このメモリ部１２２は、参照フレームの画像信号Ｄｉを蓄積するための参照フレームメモリ部１２２ａと、探索フレームの画像信号を蓄積するための探索フレームメモリ部１２２ｂと、キャッシュメモリ１２２ｃ，１２２ｄとを備えている。

キャッシュメモリ１２２ｃ，１２２ｄは、それぞれフレームメモリ部１２２ａ，１２２ｂの所定ラインの記憶データを用いて差分絶対値を得る際に、当該所定ラインの記憶データを一時的に待避させておく待避手段を構成している。

入力端子１２１からあるフレームの画像信号Ｄｉがメモリ部１２２の参照フレームメモリ部１２２ａに供給されて書き込まれる際に、この参照フレームメモリ部１２２ａに記憶されていた１フレーム前の画像信号が読み出されて探索フレームメモリ部１２２ｂに供給されて書き込まれる。

この場合、参照フレームメモリ部１２２ａより読み出された８ビットのストレートバイナリ形式の画素データが、メモリ部１２２の外部に設けられた２の補数変換部１２３で２の補数形式の画素データに変換され、９ビットの画素データとして探索フレームメモリ部１２２ｂに書き込まれる。ここで、２の補数の形式のデータを９ビットとするのは、８ビットのデータが「００００００００」であるとき、２の補数の形式のデータは「１００００００００」となり、これへの対応のためである。なお、２の補数変換部１２３は、メモリ部１２２の内部に設けられていてもよい。

図７は、参照フレームメモリ部１２２ａおよび探索フレームメモリ部１２２ｂを構成するメモリブロック１０の構成を示している。
このメモリブロック１０は、メモリセルアレイ２０と、記憶データ入出力用ポート３０と、ロウアドレスデコーダ４０と、演算データ出力用ポート５０と、制御回路８０とを有している。

メモリセルアレイ２０は、図８に示すように、参照フレームメモリ部１２２ａに対応したメモリセルアレイ部２０ａと、探索フレームメモリ部１２２ｂに対応したメモリセルアレイ部２０ｂとからなっている。

メモリセルアレイ部２０ａは、それぞれビット線ＢＬおよびワード線ＷＬに接続され、マトリクス状に配された複数のメモリセルＭＬからなっている。ビット線ＢＬは、ロウ方向（行方向）に延びる、データを転送するための線である。また、ワード線ＷＬは、カラム方向（列方向）に延びる、複数のビット線ＢＬに直交する線である。同様に、メモリセルアレイ部２０ｂは、それぞれビット線ＢＬおよびワード線ＷＬに接続され、マトリクス状に配された複数のメモリセルＭＬからなっている。図８においては、メモリセルＭＬを図示していないが、このメモリセルＭＬは、後述するように、ユニットＡ，Ｂを構成している。

これらメモリセルアレイ部２０ａ，２０ｂは、ビット線ＢＬが延びる方向である行方向（ロウ方向）に連続して形成されている。ここで、メモリセルアレイ部２０ａ，２０ｂは、メモリセルＭＬが例えばＤＲＡＭ構造のものであり、１つのビット線ＢＬ上で、活性化された複数のワード線ＷＬに接続された複数のメモリセルＭＬのキャパシタＣの蓄積電荷の結合が可能となっている。

メモリセルアレイ部２０ａにおいては、それぞれのビット線ＢＬに接続される複数のメモリセルＭＬが８個毎のユニットＡに分割されており、各ユニットＡにそれぞれ１個の画素データ（ストレートバイナリ形式の８ビットデータ）が記憶される。図９Ａは、ユニットＡの構成を示している。

このユニットＡは、８本のワード線ＷＬに接続され、８個のメモリセルＭＬで構成されている。メモリセルＭＬは、ＤＲＡＭ構造のものであって、アクセストランジスタＴとキャパシタＣとで構成されている。キャパシタＣの一端は接地され、その他端はアクセストランジスタＴを介してビット線ＢＬに接続されている。また、アクセストランジスタＴのゲートはワード線ＷＬに接続されている。このメモリセルＭＬに対する読み出しおよび書き込みは、従来周知のように、ワード線ＷＬを活性化してアクセストランジスタＴをオン状態とすることで行われる。

このユニットＡの８個のメモリセルＭＬのそれぞれには、１個の８ビットデータの各ビットがそれぞれ記憶される。この場合、８個のメモリセルＭＬのキャパシタＣは、上述の８ビットデータの各ビットの重みに対応した容量を持つようにされている。

図９Ａにおいては、上側がＬＳＢ(least significant bit)側であり、下側がＭＳＢ(most significant bit)側である。ユニットＡを構成する８個のメモリセルＭＬのキャパシタＣの容量は、ＬＳＢ側からＭＳＢ側に向かって順次倍にされている。つまり、この８個のメモリセルＭＬのキャパシタＣの容量は、ＬＳＢのキャパシタＣの容量をｐとすると、ＬＳＢ側から、それぞれｐ，２ｐ，４ｐ，８ｐ，１６ｐ，３２ｐ，６４ｐ，１２８ｐとされる。

メモリセルアレイ部２０ｂにおいては、それぞれのビット線ＢＬに接続される複数のメモリセルＭＬが９個毎のユニットＢに分割されており、各ユニットＢにそれぞれ１個の画素データ（２の補数形式の９ビットデータ）が記憶される。図９Ｂは、ユニットＢの構成を示している。

このユニットＢは、９本のワード線ＷＬに接続され、９個のメモリセルＭＬで構成されている。メモリセルＭＬは、ＤＲＡＭ構造のものであって、アクセストランジスタＴとキャパシタＣとで構成されている。キャパシタＣの一端は接地され、その他端はアクセストランジスタＴを介してビット線ＢＬに接続されている。また、アクセストランジスタＴのゲートはワード線ＷＬに接続されている。このメモリセルＭＬに対する読み出しおよび書き込みは、従来周知のように、ワード線ＷＬを活性化してアクセストランジスタＴをオン状態とすることで行われる。

このユニットＢの９個のメモリセルＭＬのそれぞれには、１個の９ビットデータの各ビットがそれぞれ記憶される。この場合、９個のメモリセルＭＬのキャパシタＣは、上述の９ビットデータの各ビットの重みに対応した容量を持つようにされている。

図９Ｂにおいては、上側がＬＳＢ側であり、下側がＭＳＢ側である。ユニットＢを構成する９個のメモリセルＭＬのキャパシタＣの容量は、ＬＳＢ側からＭＳＢ側に向かって順次倍にされている。つまり、この９個のメモリセルＭＬのキャパシタＣの容量は、ＬＳＢのキャパシタＣの容量をｐとすると、ＬＳＢ側から、それぞれｐ，２ｐ，４ｐ，８ｐ，１６ｐ，３２ｐ，６４ｐ，１２８ｐ，２５６ｐとされる。

ここで、各フレームがＨ本のラインで構成されると共に、各ラインがＷ画素で構成されるものとすると、メモリセルアレイ部２０ａは少なくともカラム方向にＷ個、ロウ方向にＨ個のユニットＡが配置された構造とされ、メモリセルアレイ部２０ｂも少なくともカラム方向にＷ個、ロウ方向にＨ個のユニットＢが配置された構造とされる。

図７に戻って、記憶データ入出力用ポート３０は、記憶データ用カラムアドレスデコーダ３１、アドレスバッファ３２およびＩ／Ｏバッファ３３で構成されている。カラムアドレスデコーダ３１には、Ｉ／Ｏゲート（カラム・スイッチ）やセンスアンプ等が含まれている。カラムアドレスデコーダ３１には、アドレスバッファ３２を介してカラムアドレスが入力される。

カラムアドレスデコーダ３１は、アドレスバッファ３２を介して供給されるカラムアドレスに対応して、メモリセルアレイ２０のカラム方向の所定のメモリセルＭＬに接続されるビット線ＢＬとの接続を確保し、Ｉ／Ｏバッファ３３およびカラムアドレスデコーダ３１を通じて、当該カラム方向の所定のメモリセルＭＬに対する、記憶データの書き込み、読み出しが可能となるようにする。

また、ロウアドレスデコーダ４０には、アドレスバッファ４１を介してロウアドレスが入力される。ロウアドレスデコーダ４０は、アドレスバッファ４１を介して供給されるロウアドレスに対応して、メモリセルアレイ２０のロウ方向の所定のメモリセルＭＬに接続されるワード線ＷＬを活性化し、Ｉ／Ｏバッファ３３およびカラムアドレスデコーダ３１を通じて、当該ロウ方向の所定のメモリセルＭＬに対する、記憶データの書き込み、読み出しが可能となるようにする。

また、演算データ出力用ポート５０は、演算データ出力用カラムアドレスデコーダ５１、アドレスバッファ５２およびＡ／Ｄコンバータ５３で構成されている。カラムアドレスデコーダ５１には、Ｉ／Ｏゲート（カラム・スイッチ）やセンスアンプ等が含まれている。カラムアドレスデコーダ５１には、アドレスバッファ５２を介してカラムアドレスが入力される。カラムアドレスデコーダ５１はビット線選択手段を構成している。また、カラムアドレスデコーダ５１、Ａ／Ｄコンバータ５３は信号出力手段を構成している。

カラムアドレスデコーダ５１は、アドレスバッファ５２を介して供給されるカラムアドレスに対応して、メモリセルアレイ２０のカラム方向の所定のメモリセルＭＬに接続される１つのビット線ＢＬとの接続を確保し、その１つのビット線ＢＬ上に得られた電荷総量に対応した値の電圧信号を出力する。Ａ／Ｄコンバータ５３は、カラムアドレスデコーダ５１から出力される電圧信号（アナログ信号）を所定ビット、例えば８ビットのデジタル信号に変換して出力する。

また、制御回路８０は、メモリブロック１０の上述した各回路の動作を、制御入力に基づいて制御する。

次に、図７に示すメモリブロック１０の動作を説明する。
このメモリブロック１０は、演算データ出力用ポート５０を除く部分のみで、メモリセルアレイ２０の所定のメモリセルＭＬに対する、記憶データの書き込み、読み出しが可能である。

すなわち、カラムアドレスデコーダ３１には、アドレスバッファ３２を介してカラムアドレスが入力される。カラムアドレスデコーダ３１は、このカラムアドレスに対応して、メモリセルアレイ２０のカラム方向の所定のメモリセルＭＬに接続されるビット線ＢＬとの接続を確保する。また、ロウアドレスデコーダ４０には、アドレスバッファ４１を介してロウアドレスが入力される。ロウアドレスデコーダ４０は、このロウアドレスに対応して、メモリセルアレイ２０のロウ方向の所定のメモリセルＭＬに接続されるワード線ＷＬを活性化する。これにより、Ｉ／Ｏバッファ３３およびカラムアドレスデコーダ３１を通じて、カラム方向およびロウ方向の所定のメモリセルＭＬに対する、記憶データの書き込み、読み出しが行われる。

演算データ出力用ポート５０を使用した、差分絶対値の出力動作について説明する。メモリセルアレイ２０のメモリセルアレイ部２０ａの各ユニットＡの８個のメモリセルＭＬには、上述したように、それぞれストレートバイナリ形式の８ビットの画素データの各ビットが記憶される。また、メモリセルアレイ２０のメモリセルアレイ部２０ｂの各ユニットＢの９個のメモリセルＭＬには、上述したように、それぞれ２の補数形式の９ビットの画素データの各ビットが記憶される。

ロウアドレスデコーダ４０には、アドレスバッファ４１を介してロウアドレスが入力される。ロウアドレスデコーダ４０は、このロウアドレスに対応して、メモリセルアレイ２０を構成するメモリセルアレイ部２０ａ，２０ｂの各１ラインの画素データ、つまり各１行のユニットに係る複数のワード線ＷＬを同時に活性化する。これにより、各ビット線ＢＬ上で、それぞれ、活性化された２つの画素データに係る複数のワード線ＷＬに接続された複数のメモリセルＭＬのキャパシタＣの蓄積電荷が結合される。

ここで、複数のメモリセルＭＬのキャパシタＣの総容量をＣmとし、そこに蓄積されている電荷総量をＱcとし、さらにビット線ＢＬの容量をＣbとすると、ビット線電荷総量Ｑbは、次式のようになる。つまり、ビット線電荷総量Ｑbは、複数のメモリセルＭＬのキャパシタＣに蓄積されている電荷総量Ｑcに比例したものとなる。
Ｑb＝Ｑc×Ｃb／（Ｃm＋Ｃb） ・・・（１）

この状態で、カラムアドレスデコーダ５１には、アドレスバッファ５２を介してカラムアドレスが入力される。カラムアドレスデコーダ５１は、このカラムアドレスに対応して、メモリセルアレイ２０のカラム方向の所定のメモリセルＭＬに接続される１つのビット線ＢＬとの接続を確保する。これにより、カラムアドレスデコーダ５１からは、接続が確保されたビット線ＢＬ上に得られた電荷総量に対応した値の電圧信号が出力される。そのため、Ａ／Ｄコンバータ５３からは、その接続が確保されたビット線ＢＬ上に得られた電荷総量に対応した値のデジタル信号が得られる。

上述したように、メモリセルアレイ部２０ａの各ユニットＡには、それぞれ参照フレームの画像信号Ｄｉを構成する画素データがストレートバイナリの形式で記憶され、メモリセルアレイ部２０ｂの各ユニットＢには、それぞれ探索フレームの画像信号を構成する画素データが２の補数の形式で記憶されている。そのため、各ビット線ＢＬ上に得られる電荷総量は、参照フレームおよび探索フレームの画素データの差分値に対応したものとなる。また、上述せずも、Ａ／Ｄコンバータ５３は、アナログ信号からデジタル信号への変換と共に、絶対値変換も行う。したがって、上述したようにＡ／Ｄコンバータ５３から得られるデジタル信号は、参照フレームの画素データから探索フレームの画素データを差し引いて得られる差分データをさらに絶対値変換してなる差分絶対値となる。

この場合、カラムアドレスデコーダ５１で接続を確保する１つのビット線ＢＬを順次変更することで、Ａ／Ｄコンバータ５３から、各ビット線ＢＬの部分に対応した差分絶対値が順次得られる。つまり、参照フレームの所定ラインと探索フレームの所定ラインとの間の１ライン分の差分絶対値が順次得られる。

ここで、図１０を参照して、減算演算の具体例を説明する。この具体例は、被減数データとしての８ビットのデータから減数データとしての８ビットのデータを減算する例である。ユニットＡの部分には被減算データとしての８ビットのデータがそのままストレートバイナリの形式で記憶されている。この８ビットのデータは「１００００１０１」であって、１０進数表現では「１３３」である。一方、ユニットＢの部分には減数データとしての８ビットのデータが２の補数の形式のデータに変換された９ビットのデータが記憶されている。この８ビットのデータは「０００１０１００」であって、１０進数表現では「２０」である。また、２の補数の形式に変換した後の９ビットのデータは「０１１１０１１００」である。

このようにユニットＡ、ユニットＢのそれぞれに被減数、減数のデータが記憶されることで、これらユニットＡ、ユニットＢのメモリセルＭＬのうち、ハッチングが施されていないキャパシタＣのみが電荷が蓄積された状態となる。この場合、ユニットＡの８個のメモリセルＭＬの全てのキャパシタＣに蓄積された電荷の総量は、ＬＳＢのメモリセルＭＬのキャパシタＣに蓄積される電荷をｑとすると、１３３ｑとなる。同様に、ユニットＢの９個のメモリセルＭＬの全てのキャパシタＣに蓄積された電荷の総量は、２３６ｑとなる。

このような状態で、２つのユニットＡ、ユニットＢに係る複数のワード線ＷＬが同時に活性化されて各メモリセルＭＬのアクセストランジスタＴがオン状態になると、ビット線ＢＬ上で、それぞれのユニットＡ、ユニットＢにおける蓄積電荷が結合される。これにより、ビット線ＢＬ上で結合された電荷の総量は１０進数で「３６９」に相当するものとなる。つまり、上述の（１）式から、ビット線電荷総量Ｑbは、Ｑb＝３６９ｑ×Ｃb／（Ｃm＋Ｃb）となる。

したがって、カラムアドレスデコーダ５１からはこの電荷総量「３６９」に対応した値の電圧信号が出力される。ここで、「３６９」は、２進数表現では「１０１１１０００１」である。このときのＭＳＢは符号ビットであり、「１」の場合は正を、「０」の場合は負を表すものとなる。そのため、Ａ／Ｄコンバータ５３では、この符号ビットを考慮したＡ／Ｄ変換が行われ、２つのユニットＡ、ユニットＢに記憶されていたデータの差分絶対値が得られる。

図１１は、ビット線電荷総量とＡ／Ｄコンバータ５３の出力値との関係を示している。この場合、ビット線電荷量「１」〜「２５５」に対応して「２５５」〜「１」、「２５６」〜「５１１」に対応して「０」〜「２５５」のデジタル信号を出力する。図１１における横軸のビット線電荷総量は、ｑ×Ｃb／（Ｃm＋Ｃb）が１となるように正規化したものである。後述する図１２，図２０における横軸のビット線電荷総量も同様である。

なお、ビット線電荷総量とＡ／Ｄコンバータ５３の出力値との関係を、図１２に示すように設定し、このＡ／Ｄコンバータ５３から差分データを得るようにし、この差分データを別個の絶対値化回路で絶対値に変換することも考えられる。この場合、Ａ／Ｄコンバータ５３は、ビット線電荷総量「１」〜「５１１」に対応して「−２５５」〜「２５５」のデジタル信号を出力する。

ところで、被減数データが８ビットのデータの場合には１０進数で「０」〜「２５５」の範囲の値を取り得るが、減数データも８ビットのデータの場合には１０進数で「０」〜「２５５」の範囲の値を取り得る。この場合に、被減数、減数のデータがそれぞれユニットＡ、ユニットＢに正しく記憶され、これらユニットＡ、ユニットＢに係る複数のワード線ＷＬが同時に活性化された場合には、ビット線電荷総量は１０進数で「１」〜「５１１」となり、「０」となることはあり得ない。そのため、図１１、図１２においては、ビット線電荷総量が「０」の場合に関しても変換を行っているが、その変換後のデジタル値自体には特に意味はない。

上述したように、このメモリブロック１０においては、メモリセルアレイ２０を構成するメモリセルアレイ部２０ａ，２０ｂの各１ラインの画素データに係る複数のワード線ＷＬを同時に活性化することで、参照フレームの所定ラインと探索フレームの所定ラインとの間の１ライン分の差分絶対値を得ることができる。

ここで、メモリセルアレイ部２０ａで活性化されるラインに対して、メモリセルアレイ部２０ｂで活性化されるラインの位置を変更することで、参照フレームの所定ラインと、これと垂直方向（行方向）に所定ライン数だけずれた位置の探索フレームのラインとの間における画素データの差分絶対値を得ることができる。

なお、メモリセルアレイ部２０ａ，２０ｂの各１ラインの画素データに係る複数のワード線ＷＬが同時に活性化された場合には、上述したようにビット線ＢＬ上でこれらのワード線ＷＬに接続された複数のメモリセルＭＬのキャパシタＣにおける蓄積電荷が結合され、出力される。そのため、蓄積電荷の結合後、これら複数のメモリセルＭＬの記憶データは意味のない値（破壊された状態）となる。

そのため、活性化されるワード線ＷＬに対応したメモリセルアレイ部２０ａ，２０ｂの複数のメモリセルＭＬに記憶されている各１ライン分の画素データは、ワード線ＷＬの活性化の前にキャッシュメモリ１２２ｃ，１２２ｄ（図６参照）に待避される。そして、上述したように、Ａ／Ｄコンバータ５３から１ライン分の差分絶対値が得られた後に、このキャッシュメモリ１２２ｃ，１２２ｄの記憶データを用いて、複数のメモリセルＭＬの意味のない記憶データが元に戻される。

また、メモリセルアレイ部２０ａまたはメモリセルアレイ部２０ｂに記憶されている画素データの記憶位置を水平方向（列方向）に移動することで、参照フレームの所定画素と、これと水平方向に所定画素数だけずれた位置の探索フレームの画素との間における画素データの差分絶対値を得ることができる。

ここで、メモリセルアレイ部２０ａまたはメモリセルアレイ部２０ｂに記憶されている画素データの記憶位置を水平方向（列方向）に移動する際には、上述したキャッシュメモリ１２２ｃ，１２２ｄが一時記憶メモリとして使用される。

メモリ部１２２は、上述したような構成により、参照フレームおよび探索フレームの画像信号を用い、参照フレームの各画素毎に、その画素データと探索フレームの複数の探索位置の画素データとの差分絶対値を生成する。

ここで、１フレームの画像サイズがＷ×Ｈ画素であるとする。また、探索範囲が、水平方向にｓｗ画素（ここでは、＋ｘａ〜−ｘｂ）であり、垂直方向にｓｈ画素（ここでは、＋ｙａ〜−ｙｂ）であるとする。この場合、図１３に示すように、参照フレームのＷ×Ｈ画素の各画素毎に、その画素データと探索フレームのｓｗ×ｓｈ個の探索位置の画素データとの差分絶対値が生成される。

図１３において、差分絶対値ａ_(x,y),(0,0)は、参照フレームの（ｘ，ｙ）の位置の画素と探索フレームの（ｘ，ｙ）の位置の画素との間の画素データの差分絶対値を示しており、同様に差分絶対値ａ_{(x,y),(+xa,+ya)}、ａ_{(x,y),(-xb,+ya)}、ａ_{(x,y),(+xa,-yb)}、ａ_{(x,y),(-xb,-yb)}は、参照フレームの（ｘ，ｙ）の位置の画素とそれぞれ探索フレームの（ｘ＋ｘａ，ｙ＋ｙａ）、（ｘ−ｘｂ，ｙ＋ｙａ）、（ｘ＋ｘａ，ｙ−ｙｂ）、（ｘ−ｘｂ，ｙ−ｙｂ）の位置の画素との間の画素データの差分絶対値を示している。

ここで、参照フレームの（ｘ，ｙ）の位置の画素と探索フレームの（ｘ＋ｘａ，ｙ）〜（ｘ−ｘｂ，ｙ）の位置の画素との間の画素データの差分絶対値は、図１４に示すように、例えばメモリセルアレイ部２０ｂに記憶されている探索フレームの（ｘ，ｙ）の位置の画素データの記憶位置を水平方向（列方向）に−ｘａ〜＋ｘｂだけ移動することによって得ることができる。

同様に、参照フレームの（ｘ，ｙ）の位置の画素と探索フレームの（ｘ，ｙ＋ｙａ）〜（ｘ，ｙ−ｙｂ）の位置の画素との間の画素データの差分絶対値は、図１５に示すように、メモリセルアレイ部２０ｂで活性化されるラインの位置をｙ＋ｙａ〜ｙ−ｙｂに変更することによって得ることができる。

図６に戻って、動きベクトル検出回路１１１は、メモリ部１２２で生成される差分絶対値を保持する差分絶対値保持部１２４を有している。この差分絶対値保持部１２４は、差分絶対値和生成手段を構成している。

この差分絶対値保持部１２４は、メモリ部１２２で生成された差分絶対値を用いて、参照フレームの各参照ブロック毎に、この参照ブロックとこの参照ブロックに対応した探索フレームの探索範囲内のｓｗ×ｓｈ個の候補ブロックのそれぞれとの間の差分絶対値和を生成するものである。

図１６は、差分絶対値保持部１２４を構成するメモリブロック６０の構成を示している。このメモリブロック６０は、メモリセルアレイ７０と、記憶データ入出力用ポート３０と、ロウアドレスデコーダ４０と、演算データ出力用ポート５０と、制御回路８０とを有している。

このメモリブロック６０は、メモリセルアレイ７０の部分を除いて、上述した参照フレームメモリ部１２２ａ，１２２ｂを構成するメモリブロック１０（図７参照）と同様に構成される。そのため、ここでは、メモリセルアレイ７０の部分を詳細に説明し、その他の部分の説明は適宜省略する。

メモリセルアレイ７０は、図１７に示すように、それぞれビット線ＢＬおよびワード線ＷＬに接続され、マトリクス状に配された複数のメモリセルＭＬからなっている。図１７においては、メモリセルＭＬを図示していないが、このメモリセルＭＬは、後述するように、ユニットＡを構成している。ここで、メモリセルアレイ７０は、メモリセルＭＬが例えばＤＲＡＭ構造のものであり、１つのビット線ＢＬ上で、活性化された複数のワード線ＷＬに接続された複数のメモリセルＭＬのキャパシタＣの蓄積電荷の結合が可能となっている。

メモリセルアレイ７０においては、それぞれのビット線ＢＬに接続される複数のメモリセルＭＬが８個毎のユニットＡに分割されており、各ユニットＡにそれぞれ１個の差分絶対値（ストレートバイナリ形式の８ビットデータ）が記憶される。ユニットＡは、上述したように、図９Ａに示す構成とされている。

メモリセルアレイ７０は、上述したように、１フレームの画像サイズがＷ×Ｈ画素であり、また探索範囲が、水平方向にｓｗ画素、垂直方向にｓｈ画素であるとき、少なくともカラム方向にｓｗ×ｓｈ個、ロウ方向にＷ×Ｈ個のユニットＡが配置された構造とされる。

上述したように、メモリ部１２２においては、参照フレームのＷ×Ｈ画素の各画素毎に、その画素データと探索フレームのｓｗ×ｓｈ個の探索位置の画素データとの差分絶対値が生成される。上述のメモリセルアレイ７０は、図１８に示すように、ロウ方向の各ユニットＡの位置が、参照フレームのＷ×Ｈ個の画素位置に対応したものとされ、カラム方向の各ユニットＡの位置が、探索フレームのｓｗ×ｓｈ個の探索位置に対応したものとされる。このメモリセルアレイ７０の各ユニットＡには、対応する差分絶対値が保持される。例えば、ロウ方向の（ｘ，ｙ）に対応したｓｗ×ｓｈ個のユニットＡの行には、参照フレームの（ｘ，ｙ）の位置の画素と探索フレームの水平方向ｘ＋ｘａ〜ｘ−ｘｂ、垂直方向ｙ＋ｙａ〜ｙ−ｙｂの範囲にあるｓｗ×ｓｈ個の探索位置の画素データとの差分絶対値が保持される。

次に、図１６に示すメモリブロック６０の動作を説明する。
このメモリブロック６０は、演算データ出力用ポート５０を除く部分のみで、メモリセルアレイ７０の所定のメモリセルＭＬに対する、記憶データの書き込み、読み出しが可能である。

すなわち、カラムアドレスデコーダ３１には、アドレスバッファ３２を介してカラムアドレスが入力される。カラムアドレスデコーダ３１は、このカラムアドレスに対応して、メモリセルアレイ７０のカラム方向の所定のメモリセルＭＬに接続されるビット線ＢＬとの接続を確保する。

また、ロウアドレスデコーダ４０には、アドレスバッファ４１を介してロウアドレスが入力される。ロウアドレスデコーダ４０は、このロウアドレスに対応して、メモリセルアレイ７０のロウ方向の所定のメモリセルＭＬに接続されるワード線ＷＬを活性化する。これにより、Ｉ／Ｏバッファ３３およびカラムアドレスデコーダ３１を通じて、カラム方向およびロウ方向の所定のメモリセルＭＬに対する、記憶データの書き込み、読み出しが行われる。

演算データ出力用ポート５０を使用した、差分絶対値和の出力動作について説明する。
ロウアドレスデコーダ４０には、アドレスバッファ４１を介してロウアドレスが入力される。ロウアドレスデコーダ４０は、このロウアドレスに対応して、メモリセルアレイ７０の、所定の参照ブロックのｂｗ×ｂｈ個の画素位置に対応したロウ方向のユニットＡに係る複数のワード線ＷＬを同時に活性化する（図１８参照）。ここで、ｂｗは参照ブロックの水平方向の画素数、ｂｈは参照ブロックの垂直方向の画素数を示している。これにより、各ビット線ＢＬ上で、それぞれ、活性化されたｂｗ×ｂｈ個のユニットＡに係る複数のワード線ＷＬに接続された複数のメモリセルＭＬのキャパシタＣの蓄積電荷が結合される。

この状態で、カラムアドレスデコーダ５１には、アドレスバッファ５２を介してカラムアドレスが入力される。カラムアドレスデコーダ５１は、このカラムアドレスに対応して、メモリセルアレイ７０のカラム方向の所定のメモリセルＭＬに接続される１つのビット線ＢＬとの接続を確保する。これにより、カラムアドレスデコーダ５１からは、接続が確保されたビット線ＢＬ上に得られた電荷総量に対応した値の電圧信号が出力される。そのため、Ａ／Ｄコンバータ５３からは、その接続が確保されたビット線ＢＬ上に得られた電荷総量に対応した値のデジタル信号が得られる。

上述したように、メモリセルアレイ７０の、所定の参照ブロックのｂｗ×ｂｈ個の画素位置に対応したロウ方向のユニットＡに係る複数のワード線ＷＬが同時に活性化される。そのため、各ビット線ＢＬ上に得られる電荷総量は、所定の参照ブロックとこの所定の参照ブロックに対応した探索フレームの探索範囲内の所定の候補ブロックとの間のｂｗ×ｂｈ個の差分絶対値の加算結果に対応したものとなる。したがって、Ａ／Ｄコンバータ５３からは、その加算結果を示す差分絶対値和（デジタル信号）が得られることとなる。

この場合、カラムアドレスデコーダ５１で接続を確保する１つのビット線ＢＬを順次変更することで、Ａ／Ｄコンバータ５３から、所定の参照ブロックとこの所定の参照ブロックに対応した探索フレームの探索範囲内のｓｗ×ｓｈ個の候補ブロックのそれぞれとの間の差分絶対値和が順次得られる。また、メモリセルアレイ７０の、活性化すべきｂｗ×ｂｈ個の画素位置に対応したロウ方向のユニットＡに係る複数のワード線ＷＬを、他の参照ブロックに対応したものとすることで、他の参照ブロックに係る差分絶対値和が得られる。

ここで、図１９を参照して、加算演算の具体例を説明する。この具体例は、説明を簡単にするため、２つの８ビットデータを加算する例である。

ユニットＡ１の部分には被加数データとしての８ビットのデータが記憶されている。この８ビットのデータは「０００１０１００」であって、１０進数表現では「２０」である。一方、ユニットＡ２の部分には加数データとしての８ビットのデータが記憶されている。この８ビットのデータは「１００００１０１」であって、１０進数表現では「１３３」である。

このようにユニットＡ１，Ａ２のそれぞれに被加数、加数のデータが記憶されることで、これらユニットＡ１，Ａ２のメモリセルＭＬのうち、ハッチングが施されていないキャパシタＣのみが電荷が蓄積された状態となる。この場合、ユニットＡ１の８個のメモリセルＭＬの全てのキャパシタＣに蓄積された電荷の総量は、ＬＳＢのメモリセルＭＬのキャパシタＣに蓄積される電荷をｑとすると、２０ｑとなる。同様に、ユニットＡ２の８個のメモリセルＭＬの全てのキャパシタＣに蓄積された電荷の総量は、１３３ｑとなる。

このような状態で、ユニットＡ１，Ａ２に係る複数のワード線ＷＬが同時に活性化されて各メモリセルＭＬのアクセストランジスタＴがオン状態になると、ビット線ＢＬ上で、それぞれのユニットＡ１，Ａ２における蓄積電荷が結合される。これにより、ビット線ＢＬ上で結合された電荷の総量は１０進数で「１５３」に相当するものとなる。

したがって、カラムアドレスデコーダ５１からはこの電荷総量「１５３」に対応した値の電圧信号が出力される。これにより、Ａ／Ｄコンバータ５３からは、ユニットＡ１，Ａ２に記憶されていたデータの加算結果に対応した加算データが得られる。

ユニットＡ１、ユニットＡ２は、８ビット出力であるため、この加算データは、９ビット分の値になる。そこで、９ビット出力のＡ／Ｄコンバータを用いると、加算データをユニットＡ１、ユニットＡ２に格納された値の精度で出力することができる。また、８ビット出力のＡ／Ｄコンバータを利用することもできる。その場合、出力は８ビット出力であるため、出力値の精度は低くなる。

図２０は、ビット線電荷総量と８ビット出力のＡ／Ｄコンバータ５３の出力値（加算データ）との関係例を示している。図２０の場合には、このような変換特性によって、５１２階調から２５６階調への階調変換も行える。図２０では５１２階調から２５６階調へと階調が変化しているため、この出力値の２倍の値が実際の加算結果となる。

なお、メモリセルアレイ７０の所定の参照ブロックのｂｗ×ｂｈ個の画素位置に対応したロウ方向のユニットＡに係る複数のワード線ＷＬが同時に活性化された場合には、上述したようにビット線ＢＬ上でこれらのワード線ＷＬに接続された複数のメモリセルＭＬのキャパシタＣにおける蓄積電荷が結合される。そのため、結合後、これら複数のメモリセルＭＬの記憶データが意味のない値となる。しかし、この複数のメモリセルＭＬの部分の記憶データは、この所定の参照ブロックとは画素位置が異なる他の参照ブロックに係る差分絶対値和を得る際には必要としないので、この複数のメモリセルＭＬの記憶データをワード線ＷＬを活性化する前に例えばキャッシュメモリに待避しておくことは不要である。

図６に戻って、また、動きベクトル検出回路１１１は、差分絶対値保持部１２４で生成された、参照ブロック毎のそれぞれ複数の差分絶対値和を保持する差分絶対値和保持部１２５を有している。

また、動きベクトル検出回路１１１は、差分絶対値和保持部１２５に保持された参照ブロック毎のそれぞれ複数の差分絶対値和に基づいて、参照ブロック毎に動きベクトルを検出する最小値判定部１２６と、この最小値判定部１２６で検出された動きベクトルを保持する動きベクトル保持部１２７と、この動きベクトル保持部１２７に保持された各参照ブロックの動きベクトルＭＶを順次出力する出力端子１２８とを有している。最小値判定部１２６では、最小の差分絶対値和を発生する候補ブロックの位置を、動きベクトルとして検出する。

図６に示す動きベクトル検出回路１１１の動作を説明する。
入力端子１２１に入力される画像信号Ｄｉはメモリ部１２２を構成する参照フレームメモリ部１２２ａに、参照フレームの画像信号として蓄積される。またこの際、参照フレームメモリ部１２２ｂに記憶されていた１フレーム前の画像信号は、読み出されて探索フレームメモリ部１２２ｂに、探索フレームの画像信号として蓄積される。この場合、参照フレームメモリ部１２２ａより読み出された８ビットのストレートバイナリ形式の画素データが、メモリ部１２２の外部に設けられた２の補数変換部１２３で２の補数形式の画素データに変換され、９ビットの画素データとして探索フレームメモリ部１２２ｂに書き込まれる。

参照フレームメモリ部１２２ａおよび探索フレームメモリ部１２２ｂはメモリブロック１０で構成されている（図７参照）。そして、そのメモリセルアレイ２０は、参照フレームメモリ部１２２ａに対応したメモリセルアレイ部２０ａと、探索フレームメモリ部１２２ｂに対応したメモリセルアレイ部２０ｂとからなっている（図８参照）。メモリセルアレイ部２０ａ，２０ｂは、ビット線ＢＬが延びる方向である行方向（ロウ方向）に連続して形成されている。

メモリセルアレイ部２０ａ，２０ｂの各１ラインの画素データに係る複数のワード線ＷＬが同時に活性化されることで、各ビット線ＢＬ上で、それぞれ、活性化された２つの画素データに係る複数のワード線ＷＬに接続された複数のメモリセルＭＬのキャパシタＣの蓄積電荷が結合される。

カラムアドレスデコーダ５１は、メモリセルアレイ２０のカラム方向の所定のメモリセルＭＬに接続される１つのビット線ＢＬとの接続を確保し、その接続を確保したビット線ＢＬ上に得られた電荷総量に対応した値の電圧信号を出力する。そして、Ａ／Ｄコンバータ５３からは、その電荷総量に対応した値のデジタル信号が得られる。

このデジタル信号は、メモリセルアレイ部２０ａの各ユニットＡには、それぞれ参照フレームの画像信号Ｄｉを構成する画素データがストレートバイナリの形式で記憶され、メモリセルアレイ部２０ｂの各ユニットＢには、それぞれ探索フレームの画像信号を構成する画素データが２の補数の形式で記憶されていると共に、Ａ／Ｄコンバータ５３は、アナログ信号からデジタル信号への変換と共に、絶対値変換も行うことから、参照フレームの画素データから探索フレームの画素データを差し引いて得られる差分データをさらに絶対値変換してなる差分絶対値となる。

カラムアドレスデコーダ５１で接続を確保する１つのビット線ＢＬを順次変更することで、Ａ／Ｄコンバータ５３から、各ビット線ＢＬの部分に対応した差分絶対値が順次得られる。つまり、参照フレームの所定ラインと探索フレームの所定ラインとの間の１ライン分の差分絶対値が順次得られる。

また、メモリセルアレイ部２０ａで活性化されるラインに対して、メモリセルアレイ部２０ｂで活性化されるラインの位置が変更され、参照フレームの所定ラインと、これと垂直方向（行方向）に所定ライン数だけずれた位置の探索フレームのラインとの間における画素データの差分絶対値が得られる。

また、メモリセルアレイ部２０ａまたはメモリセルアレイ部２０ｂに記憶されている画素データの記憶位置が水平方向（列方向）に移動され、参照フレームの所定画素と、これと水平方向に所定画素数だけずれた位置の探索フレームの画素との間における画素データの差分絶対値が得られる。

これにより、メモリ部１２２では、参照フレームの各画素毎に、その画素データと探索フレームの複数の探索位置の画素データとの差分絶対値が生成される。ここで、１フレームの画像サイズがＷ×Ｈ画素であり、また探索範囲が、水平方向にｓｗ画素（＋ｘａ〜−ｘｂ）、垂直方向にｓｈ画素（＋ｙａ〜−ｙｂ）であるとき、参照フレームのＷ×Ｈ画素の各画素毎に、その画素データと探索フレームのｓｗ×ｓｈ個の探索位置の画素データとの差分絶対値が生成される（図１３参照）。

なお、活性化されるワード線ＷＬに対応した複数のメモリセルアレイ部２０ａ，２０ｂのメモリセルＭＬに記憶されている各１ライン分の画素データは、ワード線ＷＬの活性化の前にキャッシュメモリ１２２ｃ，１２２ｄ（図６参照）に待避される。そして、上述したように、Ａ／Ｄコンバータ５３から１ライン分の差分絶対値が得られた後に、このキャッシュメモリ１２２ｃ，１２２ｄの記憶データを用いて、破壊された複数のメモリセルＭＬの記憶データが元に戻される。

メモリ部１２２で生成される差分絶対値は差分絶対値保持部に１２４に供給されて保持される。この差分絶対値保持部１２４は、メモリブロック６０で構成されている（図１６参照）。そして、そのメモリセルアレイ７０は、１フレームの画像サイズがＷ×Ｈ画素であり、また探索範囲が、水平方向にｓｗ画素、垂直方向にｓｈ画素であるとき、少なくともカラム方向にｓｗ×ｓｈ個、ロウ方向にＷ×Ｈ個のユニットＡが配置された構造とされる（図１７参照）。

このメモリセルアレイ７０は、図１８に示すように、ロウ方向の各ユニットＡの位置が、参照フレームのＷ×Ｈ個の画素位置に対応したものとされ、カラム方向の各ユニットＡの位置が、探索フレームのｓｗ×ｓｈ個の探索位置に対応したものとされる。このメモリセルアレイ２０の各ユニットＡには、対応する差分絶対値が保持される（図１８参照）。

メモリセルアレイ７０の、所定の参照ブロックのｂｗ×ｂｈ個の画素位置に対応したロウ方向のユニットＡに係る複数のワード線ＷＬが同時に活性化されることで、各ビット線ＢＬ上で、それぞれ、活性化されたｂｗ×ｂｈ個のユニットＡに係る複数のワード線ＷＬに接続された複数のメモリセルＭＬのキャパシタＣの蓄積電荷が結合される。

この状態で、カラムアドレスデコーダ５１には、アドレスバッファ５２を介してカラムアドレスが入力される。カラムアドレスデコーダ５１は、このカラムアドレスに対応して、メモリセルアレイ７０のカラム方向の所定のメモリセルＭＬに接続される１つのビット線ＢＬとの接続を確保する。これにより、カラムアドレスデコーダ５１からは、接続が確保されたビット線ＢＬ上に得られた電荷総量に対応した値の電圧信号が出力される。そのため、Ａ／Ｄコンバータ５３からは、その接続が確保されたビット線ＢＬ上に得られた電荷総量に対応した値のデジタル信号が得られる。

このデジタル信号は、各ビット線ＢＬ上に得られる電荷総量が、所定の参照ブロックとこの所定の参照ブロックに対応した探索フレームの探索範囲内の所定の候補ブロックとの間のｂｗ×ｂｈ個の差分絶対値の加算結果に対応したものとなることから、その加算結果を示す差分絶対値和となる。

この場合、カラムアドレスデコーダ５１で接続を確保する１つのビット線ＢＬを順次変更することで、Ａ／Ｄコンバータ５３から、所定の参照ブロックとこの所定の参照ブロックに対応した探索フレームの探索範囲内のｓｗ×ｓｈ個の候補ブロックのそれぞれとの間の差分絶対値和が順次得られる。また、メモリセルアレイ７０の、活性化すべきｂｗ×ｂｈ個の画素位置に対応したロウ方向のユニットＡに係る複数のワード線ＷＬを、他の参照ブロックに対応したものとすることで、他の参照ブロックに係る差分絶対値和が得られる。

これにより、差分絶対値和保持部１２４では、参照フレームの各参照ブロック毎に、この参照ブロックとこの参照ブロックに対応した探索フレームの探索範囲内のｓｗ×ｓｈ個の候補ブロックのそれぞれとの間の差分絶対値和が生成される。

この参照ブロック毎のそれぞれ複数の差分絶対値和は、差分絶対値和保持部１２５に供給されて保持される。そして、最小値判定部１２６は、参照ブロック毎に、このように差分絶対値和保持部１２５に保持された複数の差分絶対値和に基づき、最小の差分絶対値和を発生する候補ブロックの位置を動きベクトルとして検出する。このように検出される動きベクトルは動きベクトル保持部１２７に保持される。

そして、動きベクトル保持部１２７に保持された各参照ブロックに対応した動きベクトルは順次読み出される。そして、読み出された動きベクトルＭＶが出力端子１２８に出力される。このように出力される動きベクトルＭＶは、上述した動き補償回路１１０（図１参照）に供給され、動き補償処理に用いられる。

図２１のフローチャートは、上述した動きベクトル検出回路１１１における動きベクトルＭＶの検出処理の手順を示している。
まず、ステップＳＴ１で、処理を開始し、ステップＳＴ２で、メモリ部１２２の参照フレームメモリ部１２２ａに記憶されている画像信号Ｄｉを読み出し、２の補数変換部１２３によってストレートバイナリ形式のデータから２の補数形式のデータに変換し、その後に探索フレームの画像信号としてメモリ部１２２の探索フレームメモリ部１２２ｂに書き込む。また、ステップＳＴ３で、入力端子１２１から参照フレームの画像信号Ｄｉを入力し、この画像信号をメモリ部１２２の参照フレームメモリ１２２ａに書き込む。

次に、ステップＳＴ４で、フレームメモリ部１２２ａ，１２２ｂに対応したメモリセルアレイ部２０ａ，２０ｂの各１ラインの画素データに係る複数のワード線ＷＬを同時に活性化するために、その各１ラインの画素データ（参照ラインデータ、探索ラインデータ）をメモリセルアレイ部２０ａ，２０ｂから読み出し、キャッシュメモリ１２２ｃ，１２２ｄに待避する。

次に、メモリセルアレイ部２０ａ，２０ｂの各１ラインの画素データに係る複数のワード線ＷＬを同時に活性化し、参照ラインデータおよび探索ラインデータ）を同時に読み出し、１ライン分の差分絶対値を得て、差分絶対値保持部１２４に保持する。そして、ステップＳＴ６で、キャッシュメモリ１２２ｃに待避していた参照ラインデータを参照フレームメモリ部１２２ａに書き戻す。また、ステップＳＴ７で、キャッシュメモリ１２２ｄに待避していた探索ラインデータを、その記憶位置を水平方向（列方向）に移動して、探索フレームメモリ部１２２ｂに書き戻す。

そして、ステップＳＴ８で、対象となっている参照ラインデータと探索範囲に対応した全ての探索ラインデータとの差分絶対値を得る処理が終了したか否かを判定する。なお、１つの参照ラインデータに関しては、最終的にｓｗ×ｓｈライン分の差分絶対値を生成する必要がある（図１３参照）。処理を終了していないときは、ステップＳＴ４に戻って、対象となっている参照ラインデータと、次の探索ラインデータとの差分絶対値を得る処理に移る。

ステップＳＴ８で、処理を終了したときは、ステップＳＴ９に進む。ステップＳＴ９では、全ての参照ラインデータにおける差分絶対値を得る処理が終了したか否かを判定する。終了をしていないときは、ステップＳＴ４に戻って、次の参照ラインデータにおける差分絶対値を得る処理に移る。

ステップＳＴ９で、処理を終了したときは、ステップＳＴ１０に移る。このステップＳＴ１０では、差分絶対値保持部１２４から、対象となっている参照ブロックに関して、この参照ブロックとその探索範囲内の各候補ブロックのそれぞれとの間の差分絶対値和を順次得て、差分絶対値和保持部１２５に保持する。

次に、ステップＳＴ１１で、差分絶対値和保持部１２５に保持された、対象となっている参照ブロックに関する複数の差分絶対値和に基づき、最小の差分絶対値和を発生する候補ブロックの位置を動きベクトルとして検出する。そして、ステップＳＴ１２で、この検出された動きベクトルを動きベクトル保持部１２７に保持する。

次に、ステップＳＴ１３で、参照フレームの全参照ブロックでの上述した動きベクトルの検出処理が終了したか否かを判定する。終了していないときは、ステップＳＴ１０に戻って、次の参照ブロックに対応した動きベクトルを検出する処理に移る。一方、終了したときは、ステップＳＴ１４で、動きベクトル保持部１２７に保持された各参照ブロックに対応した動きベクトルＭＶを順次出力し、ステップＳＴ１５で処理を終了する。

このように、本実施の形態においては、メモリ部１２２で、参照フレームの各画素毎に、その画素データと探索フレームの複数の探索位置の画素データとの差分絶対値を生成する。このメモリ部１２２は、参照フレームの画素データをビット線ＢＬが延びる方向に並ぶ複数のメモリセルＭＬからなるユニットＡにストレートバイナリの形式で記憶し、探索フレームの画素データをビット線ＢＬが延びる方向に並ぶ複数のメモリセルＭＬからなるユニットＢに２の補数の形式で記憶しておき、これら参照フレーム、探索フレームの画素データに係るワード線ＷＬを同時に活性化し、この複数のワード線ＷＬに接続された複数のメモリセルＭＬのキャパシタＣの蓄積電荷を１つのビット線ＢＬ上で結合し、その電荷総量に対応した値のデジタル信号を差分絶対値として得るものである。

したがって、参照フレーム、探索フレームの画素データの差分絶対値を得る処理が画素データの読み出しと同時に行われるものであり、差分絶対値を高速に得ることができる。また、減算器、絶対値化回路を別個に必要とするものではなく、安価に構成することができる。

また、本実施の形態においては、差分絶対値保持部１２４で、参照フレームの各参照ブロック毎に、この参照ブロックとこの参照ブロックに対応した探索フレームの探索範囲内の複数の候補ブロックのそれぞれとの間の差分絶対値和を生成する。この差分絶対値保持部１２４は、ビット線ＢＬが延びる方向に並ぶ複数のメモリセルＭＬからなるユニットＡのそれぞれに差分絶対値を記憶しておき、複数の差分絶対値に係るワード線ＷＬを同時に活性化し、この複数のワード線ＷＬに接続された複数のメモリセルＭＬのキャパシタＣの蓄積電荷を１つのビット線ＢＬ上で結合し、その電荷総量に対応した値のデジタル信号を差分絶対値和として得るものである。したがって、複数の差分絶対値の加算が差分絶対値の読み出しと同時に行われるものであり、差分絶対値和を高速に得ることができる。また、加算器を別個に必要とするものではなく、安価に構成することができる。

また、本実施の形態においては、メモリ部１２２で、参照フレームの各画素毎に、その画素データと探索フレームの複数の探索位置の画素データとの差分絶対値を生成し、次に差分絶対値保持部１２４で、この生成された差分絶対値を用いて、参照フレームの各参照ブロック毎に、この参照ブロックとこの参照ブロックに対応した探索フレームの探索範囲内の複数の候補ブロックのそれぞれとの間の差分絶対値和を生成し、そして参照フレームの各参照ブロック毎に、生成された複数の差分絶対値和に基づいて、この参照ブロックに対応した動きベクトルを検出するものである。したがって、動きベクトルの検出を高速に、かつ安価に行い得るようになる。

なお、上述実施の形態においては、メモリセルアレイ２０，７０のメモリセルＭＬがＤＲＡＭ構造であるものを示したが、この発明はこれに限定されるものではない。要は、１つのビット線上で、活性化された複数のワード線に接続された複数のメモリセルのキャパシタの蓄積電荷を結合し得るものであればよい。

また、上述実施の形態においては、動きベクトル検出に適用したものであり、第１のフレームが参照フレーム、第２のフレームが探索フレームであるものを示したが、この発明はこれに限定されるものではない。

また、上述実施の形態においては、８個または９個のメモリセルＭＬで１つのデータを記憶するユニットＡあるいはユニットＢが構成されるものを示したが、ユニットＡあるいはユニットＢを構成するメモリセルＭＬの個数はこれに限定されるものではない。

上述実施の形態では、各ビットのデータを記憶するメモリセルＭＬのキャパシタＣの容量を、そのビットの重みに対応した大きさにすることで、８ビットのデータを記憶するユニットＡを８個のメモリセルＭＬのみで構成可能としている。しかし、メモリセルＭＬのキャパシタＣの容量が全て同じであるとした場合、２５６階調の電荷量の蓄積を可能とする必要があることから、２⁸−１個のメモリセルＭＬでユニットＡを構成できる。これは、ユニットＢにおいても、同様である。

また、例えば８ビットのデータを記憶するユニットＡは、８個のメモリセルＭＬではなく、これより少ないメモリセルＭＬで構成することもできる。例えばユニットＡを４個のメモリセルＭＬで構成することもできる。その場合、各メモリセルＭＬのキャパシタＣには、それぞれ２ビット分の電荷が蓄積される。

例えば、８ビットのデータが「１００００１０１」である場合、ＬＳＢ側から、１番目のメモリセルＭＬには「０１」、つまり１０進数で「１」に相当する電荷量の電荷を蓄積し、２番目のメモリセルＭＬには「０１００」、つまり１０進数で「４」に相当する電荷量の電荷を蓄積し、３番目のメモリセルＭＬには「００００００」、つまり１０進数で「０」に相当する電荷量の電荷を蓄積し、４番目のメモリセルＭＬには「１０００００００」、つまり１０進数で「１２８」に相当する電荷量の電荷を蓄積すればよい。この場合、４個のメモリセルＭＬのキャパシタＣの容量は、１番目のメモリセルＭＬのキャパシタＣの容量をｐとした場合、２番目は４ｐ、３番目は１６ｐ、４番目は６４ｐとすればよい。

また、上述実施の形態においては、各ユニットＡに２進データを記憶するものを示したが、各ユニットＡのメモリセルＭＬにｎ進の各桁のデータを記憶すれば、ｎ進の演算を行うこともできる。この場合、各ユニットＡのメモリセルＭＬのキャパシタＣに、該当する桁の値に応じた電荷量を蓄積することでデータの記憶が可能となる。

例えば、１０進数で「２３５」のデータを記憶する場合、１の桁を記憶するメモリセルＭＬのキャパシタＣには、「５」に相当する電荷量の電荷を蓄積し、１０の桁を記憶するメモリセルＭＬのキャパシタＣには、「３×１０」に相当する電荷量の電荷を蓄積し、１００の桁を記憶するメモリセルＭＬのキャパシタＣには、「２×１００」に相当する電荷量の電荷を蓄積すればよい。勿論、各桁に対応したメモリセルＭＬのキャパシタＣは、それぞれの桁の最大蓄積電荷量を蓄積できるだけの容量を持つことが必要となる。

この発明は、第１、第２のフレームの画素データの差分データを高速に、かつ安価に得ることができ、また複数のデータの加算データを高速に、かつ安価に得ることができるものであり、例えばブロックマッチング法によって動きベクトルを検出する用途に適用できる。

実施の形態としての動き補償予測符号化装置の構成を示すブロック図である。 ブロックマッチング法を説明するための図である。 ブロックマッチング法を説明するための図である。 ブロックマッチング法を説明するための図である。 ブロックマッチング法を説明するための図である。 動きベクトル検出回路の構成を示すブロック図である。 メモリブロックの構成例を示すブロック図である。 メモリセルアレイの構成を説明するための図である。 メモリセルアレイを構成するユニットの構成を示す図である。 減算演算の具体例を説明するための図である。 ビット線電荷総量と出力値との関係（減算の場合、絶対値変換あり）を示す図である。 ビット線電荷総量と出力値との関係（減算の場合、絶対値変換なし）を示す図である。 生成される差分絶対値を説明するための図である。 差分計算処理を説明するための図である。 差分計算処理を説明するための図である。 メモリブロックの構成例を示すブロック図である。 メモリセルアレイの構成を説明するための図である。 メモリセルアレイの構成を説明するための図である。 加算演算の具体例を説明するための図である。 ビット線電荷総量と出力値との関係（加算の場合）を示す図である。 動きベクトル検出の処理手順を示すフローチャートである。 従来の動きベクトル検出回路の構成を示すブロック図である。 従来の動きベクトル検出の処理手順を示すフローチャートである。

符号の説明

１０，６０・・・メモリブロック、２０，７０・・・メモリセルアレイ、２０ａ，２０ｂ・・・メモリセルアレイ部、３０・・・記憶データ入出力用ポート、４０・・・ロウアドレスデコーダ、５０・・・演算データ出力用ポート、８０・・・制御回路、１００・・・動き補償予測符号化装置、１０１・・・入力端子、１０２・・・減算器、１０３・・・ＤＣＴ回路、１０４・・・量子化回路、１０５・・・出力端子、１０６・・・逆量子化回路、１０８・・・加算器、１０９・・・フレームメモリ、１１０・・・動き補償回路、１１１・・・動きベクトル検出回路、１２１・・・入力端子、１２２・・・メモリ部、１２２ａ・・・参照フレームメモリ部、１２２ｂ・・・探索フレームメモリ部、１２２ｃ，１２２ｄ・・・キャッシュメモリ、１２３・・・２の補数変換部、１２４・・・差分絶対値保持部、１２５・・・差分絶対値和保持部、１２６・・・最小値判定部、１２７・・・動きベクトル保持部、１２８・・・出力端子

Claims (11)

1. それぞれビット線およびワード線に接続され、マトリクス状に配された複数のメモリセルからなり、第１のフレームの画像信号を記憶する第１のフレームメモリ部と、
   それぞれビット線およびワード線に接続され、マトリクス状に配された複数のメモリセルからなり、第２のフレームの画像信号を記憶する第２のフレームメモリ部とを備え、
   上記第１のフレームメモリ部および上記第２のフレームメモリ部は上記ビット線が延びる方向である行方向に連続して形成され、
   上記第１のフレームメモリ部および上記第２のフレームメモリ部では、１つのビット線上で、活性化された複数のワード線に接続された複数のメモリセルのキャパシタの蓄積電荷の結合が可能とされ、
   上記第１のフレームメモリ部および上記第２のフレームメモリ部は、それぞれのビット線に接続される複数のメモリセルが所定数のワード線に接続される所定数のメモリセル毎のユニットに分割され、該分割された各ユニットにそれぞれ１個の画素データが記憶され、
   上記第１のフレームメモリ部の上記各ユニットには、それぞれ上記第１のフレームの画像信号を構成する画素データがストレートバイナリの形式で記憶され、上記第２のフレームメモリ部の上記各ユニットには、それぞれ上記第２のフレームの画像信号を構成する画素データが２の補数の形式で記憶され、
   上記第１のフレームメモリ部の所定データに係る複数のワード線および上記第２のフレームメモリ部の所定データに係る複数のワード線を同時に活性化する活性化手段と、
   複数のビット線のうちいずれか１つのビット線を選択するビット線選択手段と、
   上記ビット線選択手段で選択されたビット線上に得られた電荷総量に対応した値のデジタル信号を出力する信号出力手段とをさらに備える
   ことを特徴とするメモリ装置。
2. 上記活性化手段で活性化されるワード線に対応して上記第１のフレームメモリ部および上記第２のフレームメモリ部にそれぞれ記憶されている１ライン分の画素データを待避しておく待避手段をさらに備える
   ことを特徴とする請求項１に記載のメモリ装置。
3. 上記第１のフレームメモリ部または上記第２のフレームメモリ部に記憶されている画素データの記憶位置を列方向に移動する記憶位置移動手段をさらに備える
   ことを特徴とする請求項１に記載のメモリ装置。
4. １つの画素データがＮビット（Ｎは正の整数）のデータであるとき、該１つの画素データに係るワード線はＮ本であり、上記Ｎ本のワード線に接続されたＮ個のメモリセルのキャパシタは、上記Ｎビットのデータの各ビットの重みに対応した容量を持つ
   ことを特徴とする請求項１に記載のメモリ装置。
5. それぞれビット線およびワード線に接続され、マトリクス状に配された複数のメモリセルからなるメモリ部を備え、
   上記メモリ部では、１つのビット線上で、活性化された複数のワード線に接続された複数のメモリセルのキャパシタの蓄積電荷の結合が可能とされ、
   上記メモリ部は、それぞれのビット線に接続される複数のメモリセルが、所定数のワード線に接続される所定数のメモリセル毎のユニットに分割され、該分割された各ユニットにそれぞれ１個のデータが記憶され、
   複数のデータに係るワード線を同時に活性化する活性化手段と、
   複数のビット線のうちいずれか１つのビット線を選択するビット線選択手段と、
   上記ビット線選択手段で選択されたビット線上に得られた電荷総量に対応した値のデジタル信号を出力する信号出力手段とをさらに備える
   ことを特徴とするメモリ装置。
6. １つのデータがＮビット（Ｎは正の整数）のデータであるとき、該１つのデータに係るワード線はＮ本であり、上記Ｎ本のワード線に接続されたＮ個のメモリセルのキャパシタは、上記Ｎビットのデータの各ビットの重みに対応した容量を持つ
   ことを特徴とする請求項５に記載のメモリ装置。
7. 上記メモリ部は、上記ビット線が延びる方向である行方向には１フレームの複数の画素位置に対応した個数のユニットを有し、上記ワード線が延びる方向である列方向には探索位置に対応した個数のユニットを有し、
   上記メモリ部の各行の複数のユニットには、それぞれ対応する参照フレームの画素位置の画素データと探索フレームの複数の探索位置の画素データとの差分絶対値のデータが記憶され、
   上記活性化手段は、上記参照フレームの参照ブロックを構成する各画素の画素位置に対応するユニットに係るワード線を同時に活性化する
   ことを特徴とする請求項５に記載のメモリ装置。
8. 参照フレームの画像信号および探索フレームの画像信号を用い、上記参照フレームの各画素毎に、その画素データと上記探索フレームの複数の探索位置の画素データとの差分絶対値を生成する差分絶対値生成手段と、
   上記差分絶対値生成手段で生成された差分絶対値を用いて、上記参照フレームの各参照ブロック毎に、該参照ブロックと該参照ブロックに対応した上記探索フレームの探索範囲内の複数の候補ブロックのそれぞれとの間の差分絶対値和を生成する差分絶対値和生成手段と、
   上記参照フレームの各参照ブロック毎に、上記差分絶対値和生成手段で生成された複数の差分絶対値和に基づいて、上記参照ブロックに対応した動きベクトルを検出する動きベクトル検出手段と
   を備えることを特徴とする動きベクトル検出装置。
9. 上記差分絶対値生成手段は、
   それぞれビット線およびワード線に接続され、マトリクス状に配された複数のメモリセルからなり、上記参照フレームの画像信号を記憶する第１のフレームメモリ部と、
   それぞれビット線およびワード線に接続され、マトリクス状に配された複数のメモリセルからなり、上記探索フレームの画像信号を記憶する第２のフレームメモリ部とを備え、
   上記第１のフレームメモリ部および上記第２のフレームメモリ部は上記ビット線が延びる方向である行方向に連続して形成され、
   上記第１のフレームメモリ部および上記第２のフレームメモリ部では、１つのビット線上で、活性化された複数のワード線に接続された複数のメモリセルのキャパシタの蓄積電荷の結合が可能とされ、
   上記第１のフレームメモリ部および上記第２のフレームメモリ部は、それぞれのビット線に接続される複数のメモリセルが、所定数のワード線に接続される所定数のメモリセル毎のユニットに分割され、該分割された各ユニットにそれぞれ１個の画素データが記憶され、
   上記第１のフレームメモリ部の上記各ユニットには、それぞれ上記参照フレームの画像信号を構成する画素データがストレートバイナリの形式で記憶され、上記第２のフレームメモリ部の上記各ユニットには、それぞれ上記探索フレームの画像信号を構成する画素データが２の補数の形式で記憶され、
   上記第１のフレームメモリ部の所定データに係る複数のワード線および上記第２のフレームメモリ部の所定データに係る上記複数のワード線を同時に活性化する活性化手段と、
   上記第１のフレームメモリ部または上記第２のフレームメモリ部に記憶されている画素データの記憶位置を列方向に移動する記憶位置移動手段と、
   複数のビット線のうちいずれか１つのビット線を選択するビット線選択手段と、
   上記ビット線選択手段で選択されたビット線上に得られた電荷総量に対応した値のデジタル信号を出力する信号出力手段とをさらに備える
   ことを特徴とする請求項８に記載の動きベクトル検出装置。
10. 差分絶対値和生成手段は、
    それぞれビット線およびワード線に接続され、マトリクス状に配された複数のメモリセルからなるメモリ部を備え、
    上記メモリ部では、１つのビット線上で、活性化された複数のワード線に接続された複数のメモリセルのキャパシタの蓄積電荷の結合が可能とされ、
    上記メモリ部は、それぞれのビット線に接続される複数のメモリセルが、所定数のワード線に接続される所定数のメモリセル毎のユニットに分割され、
    上記メモリ部は、上記ビット線が延びる方向である行方向には１フレームの複数の画素位置に対応した個数のユニットを有し、上記ワード線が延びる方向である列方向には探索位置に対応した個数のユニットを有し、
    上記メモリ部の各行の複数のユニットには、それぞれ対応する参照フレームの画素位置の画素データと探索フレームの複数の探索位置の画素データとの差分絶対値のデータが記憶され、
    上記参照フレームの参照ブロックを構成する各画素の画素位置に対応するユニットに係るワード線を同時に活性化する活性化手段と、
    複数のビット線のうちいずれか１つのビット線を選択するビット線選択手段と、
    上記ビット線選択手段で選択されたビット線上に得られた電荷総量に対応した値のデジタル信号を出力する信号出力手段とをさらに備える
    ことを特徴とする請求項８に記載の動きベクトル検出装置。
11. 参照フレームの画像信号および探索フレームの画像信号を用い、上記参照フレームの各画素毎に、その画素データと上記探索フレームの複数の探索位置の画素データとの差分絶対値を生成する工程と、
    上記生成された差分絶対値を用いて、上記参照フレームの各参照ブロック毎に、該参照ブロックと該参照ブロックに対応した上記探索フレームの探索範囲内の複数の候補ブロックのそれぞれとの間の差分絶対値和を生成する工程と、
    上記参照フレームの各参照ブロック毎に、上記生成された複数の差分絶対値和に基づいて、上記参照ブロックに対応した動きベクトルを検出する工程と
    を備えることを特徴とする動きベクトル検出方法。
    

Images