JP2005223631A - データ処理装置およびその方法と符号化装置および復号装置 - Google Patents
データ処理装置およびその方法と符号化装置および復号装置 Download PDFInfo
- Publication number
- JP2005223631A JP2005223631A JP2004029776A JP2004029776A JP2005223631A JP 2005223631 A JP2005223631 A JP 2005223631A JP 2004029776 A JP2004029776 A JP 2004029776A JP 2004029776 A JP2004029776 A JP 2004029776A JP 2005223631 A JP2005223631 A JP 2005223631A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- pixel region
- reference image
- effective pixel
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Abstract
【課題】 有効画素領域外を指し示す動きベクトルを用いる場合でも、予測画像データを短時間で生成できるデータ処理装置を提供する。
【解決手段】 動き補償回路３７は、復号を経てメモリ３５に記憶された有効画素領域内の参照画像データを基に、有効画素領域外の参照画像データを生成してメモリ３５に書き込む。動き補償回路３７は、動きベクトルＭＶが有効画素領域外を示す場合に、上記メモリ３５に記憶された有効画素領域外の参照画像データを基に予測画像データＰＩを生成する。
【選択図】 図２
【解決手段】 動き補償回路３７は、復号を経てメモリ３５に記憶された有効画素領域内の参照画像データを基に、有効画素領域外の参照画像データを生成してメモリ３５に書き込む。動き補償回路３７は、動きベクトルＭＶが有効画素領域外を示す場合に、上記メモリ３５に記憶された有効画素領域外の参照画像データを基に予測画像データＰＩを生成する。
【選択図】 図２
Description
本発明は、動画像データの動き補償を行うデータ処理装置およびその方法と符号化装置および復号装置に関する。
近年、画像データをデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ(Moving Picture Experts Group)などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及している。
ＭＰＥＧ方式に続いて、さらなる高圧縮率を実現するＪＶＴ(Joint Video Team)と呼ばれる符号化方式が提案されている。
ＭＰＥＧ方式およびＪＶＴ方式の符号化装置は、ＭＰＥＧの符号化装置と同様に、動き予測・補償処理を行って、所定の動き補償ブロックを単位として動きベクトル、並びに予測画像データを生成する。
ＭＰＥＧＰ方式およびＪＶＴ方式の符号化装置は、直交変換および量子化された後に逆量子化、逆直交変換および再構成の処理を経て生成された有効画素領域内の参照画像データをメモリに書き込み、既に得られた動きベクトルが指し示す参照画像データ内のブロックデータをメモリから読み出して予測画像データを生成する。
ところで、ＪＶＴ方式では、上記有効画素領域の外側を指し示す動きベクトルを生成することが許されている。
この場合に、符号化装置は、予測画像データを生成する際に、動きベクトルが指し示す参照画像データ内のブロックデータを構成する画素データが有効画素領域内にあるか否かを判断し、有効画素領域内にないと判断した場合に、有効画素領域内の画素データをコピーして当該有効画素領域外の画素データを生成し、これを予測画像データの生成に用いている。
ＭＰＥＧ方式に続いて、さらなる高圧縮率を実現するＪＶＴ(Joint Video Team)と呼ばれる符号化方式が提案されている。
ＭＰＥＧ方式およびＪＶＴ方式の符号化装置は、ＭＰＥＧの符号化装置と同様に、動き予測・補償処理を行って、所定の動き補償ブロックを単位として動きベクトル、並びに予測画像データを生成する。
ＭＰＥＧＰ方式およびＪＶＴ方式の符号化装置は、直交変換および量子化された後に逆量子化、逆直交変換および再構成の処理を経て生成された有効画素領域内の参照画像データをメモリに書き込み、既に得られた動きベクトルが指し示す参照画像データ内のブロックデータをメモリから読み出して予測画像データを生成する。
ところで、ＪＶＴ方式では、上記有効画素領域の外側を指し示す動きベクトルを生成することが許されている。
この場合に、符号化装置は、予測画像データを生成する際に、動きベクトルが指し示す参照画像データ内のブロックデータを構成する画素データが有効画素領域内にあるか否かを判断し、有効画素領域内にないと判断した場合に、有効画素領域内の画素データをコピーして当該有効画素領域外の画素データを生成し、これを予測画像データの生成に用いている。
しかしながら、上述した従来の符号化装置は、予測画像データを生成するためにメモリから画素データを読みだす度に、当該画素データが有効画素領域内のものであるか否かを判断するステップが必要となり、長い処理時間を要するという問題がある。
復号装置において、予測画像データを生成する場合にも、上述した符号化装置と同様の問題がある。
復号装置において、予測画像データを生成する場合にも、上述した符号化装置と同様の問題がある。
本発明は上述した従来技術に鑑みて成され、有効画素領域外を指し示す動きベクトルを用いる場合でも、予測画像データを短時間で生成できるデータ処理装置、その方法と符号化装置および復号装置を提供することを目的とする。
上述した従来技術の問題点を解決するために、第１の発明のデータ処理装置は、符号化対象または復号対象の画像データの予測画像データを、動きベクトルと有効画素領域の第１の参照画像データとを基に生成するデータ処理装置であって、前記第１の参照画像データを記憶するメモリと、前記予測画像データの生成に先立って、前記メモリに記憶された前記第１の参照画像データを基に、前記有効画素領域の周囲の所定の非有効画素領域の第２の参照画像データを生成して前記メモリに書き込む前処理手段と、前記動きベクトルが前記非有効画素領域を指し示す場合に、当該動きベクトルを基に、前記前処理手段が前記メモリに書き込んだ前記第２の参照画像データを読み出す読み出し手段と、前記読み出し手段が読み出した前記第２の参照画像データを基に前記予測画像データを生成する生成手段とを有する。
第１の発明の作用は以下のようになる。
先ず、前処理手段が、予測画像データの生成に先立って、前記メモリに記憶された前記第１の参照画像データを基に、前記有効画素領域の周囲の所定の非有効画素領域の第２の参照画像データを生成して前記メモリに書き込む。
次に、読み出し手段が、前記動きベクトルが前記非有効画素領域を指し示す場合に、当該動きベクトルを基に、前記前処理手段が前記メモリに書き込んだ前記第２の参照画像データを読み出す。
次に、生成手段が、前記読み出し手段が読み出した前記第２の参照画像データを基に前記予測画像データを生成する。
先ず、前処理手段が、予測画像データの生成に先立って、前記メモリに記憶された前記第１の参照画像データを基に、前記有効画素領域の周囲の所定の非有効画素領域の第２の参照画像データを生成して前記メモリに書き込む。
次に、読み出し手段が、前記動きベクトルが前記非有効画素領域を指し示す場合に、当該動きベクトルを基に、前記前処理手段が前記メモリに書き込んだ前記第２の参照画像データを読み出す。
次に、生成手段が、前記読み出し手段が読み出した前記第２の参照画像データを基に前記予測画像データを生成する。
第２の発明のデータ処理方法は、符号化対象または復号対象の画像データの予測画像データを、動きベクトルと有効画素領域の第１の参照画像データとを基に生成するデータ処理方法であって、メモリに記憶された前記第１の参照画像データを基に、前記有効画素領域の周囲の所定の非有効画素領域の第２の参照画像データを生成して前記メモリに書き込む第１の工程と、前記動きベクトルが前記非有効画素領域を指し示す場合に、当該動きベクトルを基に、前記第１の工程で前記メモリに書き込んだ前記第２の参照画像データを読み出す第２の工程と、前記第２の工程で前記メモリから読み出した前記第２の参照画像データを基に前記予測画像データを生成する第３の工程とを有する。
第２の発明のデータ処理方法の作用は以下のようになる。
先ず、第１の工程において、メモリに記憶された前記第１の参照画像データを基に、前記有効画素領域の周囲の所定の非有効画素領域の第２の参照画像データを生成して前記メモリに書き込む。
次に、第２の工程において、前記動きベクトルが前記非有効画素領域を指し示す場合に、当該動きベクトルを基に、前記第１の工程で前記メモリに書き込んだ前記第２の参照画像データを読み出す。
次に、第３の工程において、前記第２の工程で前記メモリから読み出した前記第２の参照画像データを基に前記予測画像データを生成する。
先ず、第１の工程において、メモリに記憶された前記第１の参照画像データを基に、前記有効画素領域の周囲の所定の非有効画素領域の第２の参照画像データを生成して前記メモリに書き込む。
次に、第２の工程において、前記動きベクトルが前記非有効画素領域を指し示す場合に、当該動きベクトルを基に、前記第１の工程で前記メモリに書き込んだ前記第２の参照画像データを読み出す。
次に、第３の工程において、前記第２の工程で前記メモリから読み出した前記第２の参照画像データを基に前記予測画像データを生成する。
第３の発明の符号化装置は、被符号化画像データと予測画像データとの差分を符号化する符号化手段と、有効画素領域の第１の参照画像データを記憶するメモリと、前記被符号化画像データの動きベクトルを生成する動き予測手段と、前記動き予測手段が生成した前記動きベクトルと、前記メモリに記憶された前記参照画像データとを基に、前記予測画像データを生成する動き補償手段とを有し、前記動き補償手段は、前記予測画像データの生成に先立って、前記メモリに記憶された前記第１の参照画像データを基に、前記有効画素領域の周囲の所定の非有効画素領域の第２の参照画像データを生成して前記メモリに書き込む前処理手段と、前記動き予測手段が生成した前記動きベクトルが前記非有効画素領域を指し示す場合に、当該動きベクトルを基に、前記前処理手段が前記メモリに書き込んだ前記第２の参照画像データを読み出す読み出し手段と、前記読み出し手段が読み出した前記第２の参照画像データを基に前記予測画像データを生成する生成手段とを有する。
第３の発明の符号化装置の作用は以下のようになる。
符号化手段が、被符号化画像データと予測画像データとの差分を符号化する。
動き予測手段が、前記被符号化画像データの動きベクトルを生成する。
次に、動き補償手段が、前記動き予測手段が生成した前記動きベクトルと、前記メモリに記憶された前記参照画像データとを基に、前記予測画像データを生成する。
動き補償手段の作用は、第１の発明のデータ処理装置と同じである。
符号化手段が、被符号化画像データと予測画像データとの差分を符号化する。
動き予測手段が、前記被符号化画像データの動きベクトルを生成する。
次に、動き補償手段が、前記動き予測手段が生成した前記動きベクトルと、前記メモリに記憶された前記参照画像データとを基に、前記予測画像データを生成する。
動き補償手段の作用は、第１の発明のデータ処理装置と同じである。
第４の発明の復号装置は、復号対象の画像データを復号する復号手段と、復号後の有効画素領域の第１の参照画像データを記憶するメモリと、前記復号対象の画像データに付加された動きベクトルと、前記メモリから読み出した前記第１の参照画像データとを基に、予測画像データを生成する動き補償手段と、前記動き補償手段が生成した前記予測画像データと、前記復号手段が復号して生成した画像データとを加算する演算手段とを有する復号装置であって、前記動き補償手段は、前記予測画像データの生成に先立って、前記メモリに記憶された前記第１の参照画像データを基に、前記有効画素領域の周囲の所定の非有効画素領域の第２の参照画像データを生成して前記メモリに書き込む前処理手段と、前記動き予測手段が生成した前記動きベクトルが前記非有効画素領域を指し示す場合に、当該動きベクトルを基に、前記前処理手段が前記メモリに書き込んだ前記第２の参照画像データを読み出す読み出し手段と、前記読み出し手段が読み出した前記第２の参照画像データを基に前記予測画像データを生成する生成手段とを有する。
第４の発明の復号装置の作用は以下のようになる。
復号手段が、復号対象の画像データを復号する。
動き補償手段が、復号対象の画像データに付加された動きベクトルと、前記メモリから読み出した前記第１の参照画像データとを基に、予測画像データを生成する。
次に、演算手段が、前記動き補償手段が生成した前記予測画像データと、前記復号手段が復号して生成した画像データとを加算する。
復号手段が、復号対象の画像データを復号する。
動き補償手段が、復号対象の画像データに付加された動きベクトルと、前記メモリから読み出した前記第１の参照画像データとを基に、予測画像データを生成する。
次に、演算手段が、前記動き補償手段が生成した前記予測画像データと、前記復号手段が復号して生成した画像データとを加算する。
本発明によれば、有効画素領域外を指し示す動きベクトルを用いる場合でも、予測画像データを短時間で生成できるデータ処理装置、その方法と符号化装置および復号装置を提供することができる。
以下、本発明の実施形態に係わるＪＶＴ方式の符号化装置について説明する。
第１実施形態
以下、第１実施形態の通信システムの符号化装置について詳細に説明する。
当該実施形態は、第１、第２および第３の発明に対応している。
本実施形態では、符号化対象となる画像データが、順次走査により取得されたデータである場合を例示する。
図１は、本実施形態の通信システム１の概念図である。
図１に示すように、通信システム１は、送信側に設けられた符号化装置２と、受信側に設けられた復号装置３とを有する。
通信システム１では、送信側の符号化装置２において、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮したフレーム画像データ（ビットストリーム）を生成し、当該フレーム画像データを変調した後に、衛星放送波、ケーブルＴＶ網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。
受信側では、受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。
図１に示す復号装置３は符号化装置２の符号化に対応した復号を行う。
復号装置３については、第３実施形態で詳細に説明する。
第１実施形態
以下、第１実施形態の通信システムの符号化装置について詳細に説明する。
当該実施形態は、第１、第２および第３の発明に対応している。
本実施形態では、符号化対象となる画像データが、順次走査により取得されたデータである場合を例示する。
図１は、本実施形態の通信システム１の概念図である。
図１に示すように、通信システム１は、送信側に設けられた符号化装置２と、受信側に設けられた復号装置３とを有する。
通信システム１では、送信側の符号化装置２において、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮したフレーム画像データ（ビットストリーム）を生成し、当該フレーム画像データを変調した後に、衛星放送波、ケーブルＴＶ網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。
受信側では、受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。
図１に示す復号装置３は符号化装置２の符号化に対応した復号を行う。
復号装置３については、第３実施形態で詳細に説明する。
以下、図１に示す符号化装置２について説明する。
図２は、図１に示す符号化装置２の全体構成図である。
図２に示すように、符号化装置２は、例えば、Ａ／Ｄ変換回路２２、画面並べ替え回路２３、演算回路２４、直交変換回路２５、量子化回路２６、可逆符号化回路２７、バッファ２８、逆量子化回路２９、逆直交変換回路３０、レート制御回路３２、再構成回路３３、デブロックフィルタ３４、メモリ３５、動き予測回路３６および動き補償回路３７を有する。
図２は、図１に示す符号化装置２の全体構成図である。
図２に示すように、符号化装置２は、例えば、Ａ／Ｄ変換回路２２、画面並べ替え回路２３、演算回路２４、直交変換回路２５、量子化回路２６、可逆符号化回路２７、バッファ２８、逆量子化回路２９、逆直交変換回路３０、レート制御回路３２、再構成回路３３、デブロックフィルタ３４、メモリ３５、動き予測回路３６および動き補償回路３７を有する。
本実施形態において、符号化装置２が第３の発明の符号化装置に対応している。
また、動き補償回路３７が第１の発明のデータ処理装置、並びに、第３の発明の動き補償手段に対応している。
また、動き補償回路３７が第１の発明のデータ処理装置、並びに、第３の発明の動き補償手段に対応している。
以下、符号化装置２の構成要素について説明する。
Ａ／Ｄ変換回路２２は、入力されたアナログの輝度信号Ｙ、色差信号Ｃｂ，Ｃｒから構成される原画像信号Ｓ１０をデジタルの画像データＳ２２に変換し、これを画面並べ替え回路２３に出力する。
画面並べ替え回路２３は、Ａ／Ｄ変換回路２２から入力した画像データＳ２２を、そのピクチャタイプＩ，Ｐ，ＢからなるＧＯＰ(Group Of Pictures) 構造に応じて、符号化する順番に並べ替えた画像データＳ２３を演算回路２４、レート制御回路３２および動き予測回路３６に出力する。
Ａ／Ｄ変換回路２２は、入力されたアナログの輝度信号Ｙ、色差信号Ｃｂ，Ｃｒから構成される原画像信号Ｓ１０をデジタルの画像データＳ２２に変換し、これを画面並べ替え回路２３に出力する。
画面並べ替え回路２３は、Ａ／Ｄ変換回路２２から入力した画像データＳ２２を、そのピクチャタイプＩ，Ｐ，ＢからなるＧＯＰ(Group Of Pictures) 構造に応じて、符号化する順番に並べ替えた画像データＳ２３を演算回路２４、レート制御回路３２および動き予測回路３６に出力する。
演算回路２４は、画像データＳ２３内の処理対象の動き補償ブロックＭＣＢと、それに対応して動き予測・補償回路３９から入力した予測画像データＰＩの動き補償ブロックＲＭＣＢ２との差分を示す画像データＳ２４を生成し、これを直交変換回路２５に出力する。
直交変換回路２５は、画像データＳ２４に離散コサイン変換やカルーネン・レーベ変換などの直交変換を施して画像データ（例えばＤＣＴ係数）Ｓ２５を生成し、これを量子化回路２６に出力する。
量子化回路２６は、レート制御回路３２から入力した量子化スケールで、画像データＳ２５を量子化して画像データＳ２６を生成し、これを可逆符号化回路２７および逆量子化回路２９に出力する。
直交変換回路２５は、画像データＳ２４に離散コサイン変換やカルーネン・レーベ変換などの直交変換を施して画像データ（例えばＤＣＴ係数）Ｓ２５を生成し、これを量子化回路２６に出力する。
量子化回路２６は、レート制御回路３２から入力した量子化スケールで、画像データＳ２５を量子化して画像データＳ２６を生成し、これを可逆符号化回路２７および逆量子化回路２９に出力する。
可逆符号化回路２７は、画像データＳ２６を可変長符号化あるいは算術符号化した画像データをバッファ２８に格納する。
このとき、可逆符号化回路２７は、インター予測符号化が行われた場合には、動き予測回路３６から入力した動きベクトルＭＶを符号化してヘッダデータに格納する。
このとき、可逆符号化回路２７は、インター予測符号化が行われた場合には、動き予測回路３６から入力した動きベクトルＭＶを符号化してヘッダデータに格納する。
バッファ２８に格納された画像データは、変調等された後に送信される。
逆量子化回路２９は、他の動き補償ブロックＭＣＢから参照される参照画像データの動き補償ブロックＭＣＢの画像データＳ２６を逆量子化した信号を生成し、これを逆直交変換回路３０に出力する。
逆直交変換回路３０は、逆量子化回路２９から入力した画像データＳ２６に、直交変換回路２５における直交変換の逆変換を施して再構成回路３３に出力する。
再構成回路３３は、動き補償回路３７から入力した予測画像データＰＩの対応する動き補償ブロックＲＭＣＢ２と、逆直交変換回路３０から入力した画像データＳ２６の動き補償ブロックＭＣＢとを加算して動き予測・補償処理で参照される参照動き補償ブロックＲＭＣＢを再構成し、これをデブロックフィルタ３４に出力する。
逆量子化回路２９は、他の動き補償ブロックＭＣＢから参照される参照画像データの動き補償ブロックＭＣＢの画像データＳ２６を逆量子化した信号を生成し、これを逆直交変換回路３０に出力する。
逆直交変換回路３０は、逆量子化回路２９から入力した画像データＳ２６に、直交変換回路２５における直交変換の逆変換を施して再構成回路３３に出力する。
再構成回路３３は、動き補償回路３７から入力した予測画像データＰＩの対応する動き補償ブロックＲＭＣＢ２と、逆直交変換回路３０から入力した画像データＳ２６の動き補償ブロックＭＣＢとを加算して動き予測・補償処理で参照される参照動き補償ブロックＲＭＣＢを再構成し、これをデブロックフィルタ３４に出力する。
デブロックフィルタ３４は、再構成回路３３から入力した再構成された参照動き補償ブロックＲＭＣＢからブロック歪みを除去してメモリ３５に書き込む。
デブロックフィルタ３４が、１ピクチャを構成する全ての参照動き補償ブロックＲＭＣＢをメモリ３５に書き込んだ時点で、図３に示すように、１ピクチャ分の参照画像データＲＥＦ＿Ｅがメモリ３５に記憶される。当該参照画像データＲＥＦ＿Ｅは、有効画素領域についての画像データであり、当該有効画素領域の周囲の所定の範囲の非有効画素領域についての画像データは含んでいない。
レート制御回路３２は、例えば、画面並べ替え回路２３から入力した画像データＳ２３を基に、画像中の複雑度が高い部分は細かく量子化し、画像中の複雑度が低い部分は粗く量子化するように量子化パラメータＱＰを生成する。
そして、レート制御回路３２は、上記生成した量子化パラメータＱＰ、並びに画面並べ替え回路２３から読み出した画像データを基に量子化スケールを生成し、これを量子化回路２６に出力する。
デブロックフィルタ３４が、１ピクチャを構成する全ての参照動き補償ブロックＲＭＣＢをメモリ３５に書き込んだ時点で、図３に示すように、１ピクチャ分の参照画像データＲＥＦ＿Ｅがメモリ３５に記憶される。当該参照画像データＲＥＦ＿Ｅは、有効画素領域についての画像データであり、当該有効画素領域の周囲の所定の範囲の非有効画素領域についての画像データは含んでいない。
レート制御回路３２は、例えば、画面並べ替え回路２３から入力した画像データＳ２３を基に、画像中の複雑度が高い部分は細かく量子化し、画像中の複雑度が低い部分は粗く量子化するように量子化パラメータＱＰを生成する。
そして、レート制御回路３２は、上記生成した量子化パラメータＱＰ、並びに画面並べ替え回路２３から読み出した画像データを基に量子化スケールを生成し、これを量子化回路２６に出力する。
動き予測回路３６は、画面並べ替え回路２３から入力した画像データＳ２３の動き補償ブロックＭＣＢを単位として、動きベクトルＭＶを生成する。
このとき、動き予測回路３６は、所定の予測アルゴリズムにより、メモリ３５に実際に記憶されている参照画像データＲＥＦ＿Ｅに対応する有効画素領域の外側を指し示す動きベクトルＭＶを生成可能である。
このとき、動き予測回路３６は、所定の予測アルゴリズムにより、メモリ３５に実際に記憶されている参照画像データＲＥＦ＿Ｅに対応する有効画素領域の外側を指し示す動きベクトルＭＶを生成可能である。
動き補償回路３７は、動き予測回路３６から入力した動きベクトルＭＶとメモリ３５に記憶されている参照画像データとを基に、画像データＳ２３の予測画像データＰＩを生成し、これを演算回路２４および再構成回路３３に出力する。
具体的には、動き補償回路３７は、画像データＳ２３を構成する動き補償ブロックＭＣＢの各々について、当該動き補償ブロックＭＣＢについて動き予測回路３６から入力した動きベクトルＭＶによって指し示される参照画像データ内の参照動き補償ブロックＲＭＣＢ１をメモリ３５から読み出し、当該読み出した参照動き補償ブロックＲＭＣＢ１を基に生成した参照動き補償ブロックＲＭＣＢ２を演算回路２４および再構成回路３３に出力する。
ここで、参照動き補償ブロックＲＭＣＢ１は、図４に示すように、動きベクトルＭＶによって指し示される参照動き補償ブロックＲＭＣＢに対して、垂直方向において走査順が前の側に２ピクセルと走査順が後の側に３ピクセル、水平方向において走査順が前の側に２ピクセルと走査順が後の側に３ピクセルの画素データを付加した画像データである。
このように、参照動き補償ブロックＲＭＣＢ１を構成するのは、予測画像データＰＩおよび再構成画像の生成アルゴリズムによる。
具体的には、動き補償回路３７は、画像データＳ２３を構成する動き補償ブロックＭＣＢの各々について、当該動き補償ブロックＭＣＢについて動き予測回路３６から入力した動きベクトルＭＶによって指し示される参照画像データ内の参照動き補償ブロックＲＭＣＢ１をメモリ３５から読み出し、当該読み出した参照動き補償ブロックＲＭＣＢ１を基に生成した参照動き補償ブロックＲＭＣＢ２を演算回路２４および再構成回路３３に出力する。
ここで、参照動き補償ブロックＲＭＣＢ１は、図４に示すように、動きベクトルＭＶによって指し示される参照動き補償ブロックＲＭＣＢに対して、垂直方向において走査順が前の側に２ピクセルと走査順が後の側に３ピクセル、水平方向において走査順が前の側に２ピクセルと走査順が後の側に３ピクセルの画素データを付加した画像データである。
このように、参照動き補償ブロックＲＭＣＢ１を構成するのは、予測画像データＰＩおよび再構成画像の生成アルゴリズムによる。
図５は、図１に示す動き補償回路３７の構成図である。
図５に示すように、動き補償回路３７は、例えば、非有効画素領域構成回路５１、ＭＶ変換回路５２、読み出し回路５３およびＰＩ生成回路５４を有する。
ここで、非有効画素領域構成回路５１およびＭＶ変換回路５２が第１および第３の発明の前処理手段に対応し、読み出し回路５３が第１および第３の発明の読み出し手段に対応し、ＰＩ生成回路５４が第１および第３の発明の生成手段に対応している。
また、図５に示す有効画素領域の参照画像データＲＥＦ＿Ｅが第１〜第３の発明の第１の参照画像データに対応し、非有効画素領域の参照画像データＲＥＦ＿Ｎが第１〜第３の発明の第２の参照画像データに対応している。
また、動き補償ブロックＭＣＢが本発明のブロックデータに対応している。
図５に示すように、動き補償回路３７は、例えば、非有効画素領域構成回路５１、ＭＶ変換回路５２、読み出し回路５３およびＰＩ生成回路５４を有する。
ここで、非有効画素領域構成回路５１およびＭＶ変換回路５２が第１および第３の発明の前処理手段に対応し、読み出し回路５３が第１および第３の発明の読み出し手段に対応し、ＰＩ生成回路５４が第１および第３の発明の生成手段に対応している。
また、図５に示す有効画素領域の参照画像データＲＥＦ＿Ｅが第１〜第３の発明の第１の参照画像データに対応し、非有効画素領域の参照画像データＲＥＦ＿Ｎが第１〜第３の発明の第２の参照画像データに対応している。
また、動き補償ブロックＭＣＢが本発明のブロックデータに対応している。
非有効画素領域構成回路５１は、メモリ３５から読み出した図３に示す有効画素領域の参照画像データＲＥＦ＿Ｅを基に、当該有効画素領域の周囲の非有効画素領域の参照画像データＲＥＦ＿Ｎを生成し、これをメモリ３５に書き込む。
参照画像データＲＥＦ＿Ｎは、図６に示すように、参照画像データＲＥＦ＿ＮＨ１，ＮＨ２，ＮＶ１，ＮＶ２によって構成される。
図６に示すように、参照画像データＲＥＦ＿ＮＨ１は、画面走査方向に直交する垂直方向Ｖに延びる第１の辺Ｌ１で有効画素領域に隣接した水平方向Ｈが１６ビット長の第１の非有効画素領域に関するデータである。
非有効画素領域構成回路５１は、図７に示すように、上記第１の非有効画素領域の画素位置の画素データを、垂直方向Ｖの位置が同じ上記第１の辺Ｌ１上の有効画素領域内の画素データを複製して生成することで、参照画像データＲＥＦ＿ＮＨ１を生成する。
また、参照画像データＲＥＦ＿ＮＨ２は、垂直方向Ｖに延びる上記第１の辺Ｌ１と対向する第２の辺Ｌ２で有効画素領域に隣接した水平方向Ｈが１６ビット長の第２の非有効画素領域に関するデータである。
非有効画素領域構成回路５１は、上記第２の非有効画素領域の画素位置の画素データを、垂直方向Ｖの位置が同じ上記第２の辺Ｌ２上の有効画素領域内の画素データを複製して生成することで、参照画像データＲＥＦ＿ＮＨ２を生成する。
また、参照画像データＲＥＦ＿ＮＶ１は、画面走査方向に平行する水平方向Ｈに延びる第３の辺Ｌ３で有効画素領域に隣接した垂直方向Ｖが３２ビット長の第３の非有効画素領域に関するデータである。
非有効画素領域構成回路５１は、図７に示すように、上記第３の非有効画素領域の画素位置の画素データを、水平方向Ｈの位置が同じ上記第３の辺Ｌ３上の有効画素領域内の画素データを複製して生成することで、参照画像データＲＥＦ＿ＮＶ１を生成する。
また、参照画像データＲＥＦ＿ＮＶ２は、水平方向Ｈに延びる上記第３の辺Ｌ３と対向する第４の辺Ｌ４で有効画素領域に隣接した垂直方向Ｖが３２ビット長の第４の非有効画素領域に関するデータである。
非有効画素領域構成回路５１は、上記第４の非有効画素領域の画素位置の画素データを、水平方向Ｈの位置が同じ上記第４の辺Ｌ４上の有効画素領域内の画素データを複製して生成することで、参照画像データＲＥＦ＿ＮＶ２を生成する。
ここで、上述したように、水平方向Ｈのビット長を１６にし、垂直方向Ｖのビット長を１６にしたのは、図８に示すように、動き補償ブロックＭＣＢの最大サイズが１６（Ｈ）ｘ１６（Ｖ）であること、並びに後述するマクロブロックペアのサイズが１６（Ｈ）ｘ３２（Ｖ）となることによる。
参照画像データＲＥＦ＿Ｎは、図６に示すように、参照画像データＲＥＦ＿ＮＨ１，ＮＨ２，ＮＶ１，ＮＶ２によって構成される。
図６に示すように、参照画像データＲＥＦ＿ＮＨ１は、画面走査方向に直交する垂直方向Ｖに延びる第１の辺Ｌ１で有効画素領域に隣接した水平方向Ｈが１６ビット長の第１の非有効画素領域に関するデータである。
非有効画素領域構成回路５１は、図７に示すように、上記第１の非有効画素領域の画素位置の画素データを、垂直方向Ｖの位置が同じ上記第１の辺Ｌ１上の有効画素領域内の画素データを複製して生成することで、参照画像データＲＥＦ＿ＮＨ１を生成する。
また、参照画像データＲＥＦ＿ＮＨ２は、垂直方向Ｖに延びる上記第１の辺Ｌ１と対向する第２の辺Ｌ２で有効画素領域に隣接した水平方向Ｈが１６ビット長の第２の非有効画素領域に関するデータである。
非有効画素領域構成回路５１は、上記第２の非有効画素領域の画素位置の画素データを、垂直方向Ｖの位置が同じ上記第２の辺Ｌ２上の有効画素領域内の画素データを複製して生成することで、参照画像データＲＥＦ＿ＮＨ２を生成する。
また、参照画像データＲＥＦ＿ＮＶ１は、画面走査方向に平行する水平方向Ｈに延びる第３の辺Ｌ３で有効画素領域に隣接した垂直方向Ｖが３２ビット長の第３の非有効画素領域に関するデータである。
非有効画素領域構成回路５１は、図７に示すように、上記第３の非有効画素領域の画素位置の画素データを、水平方向Ｈの位置が同じ上記第３の辺Ｌ３上の有効画素領域内の画素データを複製して生成することで、参照画像データＲＥＦ＿ＮＶ１を生成する。
また、参照画像データＲＥＦ＿ＮＶ２は、水平方向Ｈに延びる上記第３の辺Ｌ３と対向する第４の辺Ｌ４で有効画素領域に隣接した垂直方向Ｖが３２ビット長の第４の非有効画素領域に関するデータである。
非有効画素領域構成回路５１は、上記第４の非有効画素領域の画素位置の画素データを、水平方向Ｈの位置が同じ上記第４の辺Ｌ４上の有効画素領域内の画素データを複製して生成することで、参照画像データＲＥＦ＿ＮＶ２を生成する。
ここで、上述したように、水平方向Ｈのビット長を１６にし、垂直方向Ｖのビット長を１６にしたのは、図８に示すように、動き補償ブロックＭＣＢの最大サイズが１６（Ｈ）ｘ１６（Ｖ）であること、並びに後述するマクロブロックペアのサイズが１６（Ｈ）ｘ３２（Ｖ）となることによる。
ＭＶ変換回路５２は、動き予測回路３６から入力した動きベクトルＭＶが図３に示す有効画素領域、並びに第１〜第４の非有効画素領域の双方の外側を指し示す場合に、これを最も近い第１〜第４の非有効画素領域内を指し示すように変換して新たな動きベクトルＭＶ１を生成する。
具体的には、ＭＶ変換回路５２は、動きベクトルＭＶによって特定される参照画像データ内の参照動き補償ブロックＲＭＣＢ１の全部または一部が、有効画素領域および第１〜第４の非有効画素領域の双方の外側を指し示す場合に、当該参照動き補償ブロックＲＭＣＢ１の全部が第１〜第４の非有効画素領域内に収まるように、動きベクトルＭＶ１を生成する。
これにより、例えば、図９に示すように、有効画素領域および第１〜第４の非有効画素領域の双方の外側に位置する参照動き補償ブロックＲＭＣＢ１を、第３の非有効画素領域内に移動させる。
具体的には、ＭＶ変換回路５２は、動きベクトルＭＶによって特定される参照画像データ内の参照動き補償ブロックＲＭＣＢ１の全部または一部が、有効画素領域および第１〜第４の非有効画素領域の双方の外側を指し示す場合に、当該参照動き補償ブロックＲＭＣＢ１の全部が第１〜第４の非有効画素領域内に収まるように、動きベクトルＭＶ１を生成する。
これにより、例えば、図９に示すように、有効画素領域および第１〜第４の非有効画素領域の双方の外側に位置する参照動き補償ブロックＲＭＣＢ１を、第３の非有効画素領域内に移動させる。
また、ＭＶ変換回路５２は、動き予測回路３６から入力した動きベクトルＭＶによって指し示される参照画像データ内の参照動き補償ブロックＲＭＣＢ１が、移動しても、当該参照動き補償ブロックＲＭＣＢ１の全部が第１〜第４の非有効画素領域内に収まらない場合に、これを図８に示す何れかのサイズに分割して複数の動き補償ブロックＭＣＢを得て、これらに対応した参照動き補償ブロックＲＭＣＢ１が第１〜第４の非有効画素領域内に収まるように移動し、移動後の参照動き補償ブロックＲＭＣＢの各々に対応した動きベクトルＭＶ１を生成する。
このとき、画像データＳ２３内の処理対象となる動き補償ブロックＭＣＢについても、同様に、分割を行なう。
ＭＶ変換回路５２は、例えば、図１０（Ａ）に示す１６ｘ１６の動き補償ブロックＭＣＢに対応した２１ｘ２１の参照動き補償ブロックＲＭＣＢ１を、図１０（Ｂ）に示すように、８ｘ１６の２つの動き補償ブロックにそれぞれ対応した１３ｘ２１の２つの参照動き補償ブロックＢ１，Ｂ２に分割する。
そして、ＭＶ変換回路５２は、参照動き補償ブロックＢ２を、第１の非有効画素領域内に移動する。
このとき、ＭＶ変換回路５２は、処理対象の動き補償ブロックＭＣＢも、同様に、８ｘ１６の２つの動き補償ブロックに分割し、その各々について上記移動後の参照動き補償ブロックの位置に応じた動きベクトルＭＶ１を生成する。
このとき、画像データＳ２３内の処理対象となる動き補償ブロックＭＣＢについても、同様に、分割を行なう。
ＭＶ変換回路５２は、例えば、図１０（Ａ）に示す１６ｘ１６の動き補償ブロックＭＣＢに対応した２１ｘ２１の参照動き補償ブロックＲＭＣＢ１を、図１０（Ｂ）に示すように、８ｘ１６の２つの動き補償ブロックにそれぞれ対応した１３ｘ２１の２つの参照動き補償ブロックＢ１，Ｂ２に分割する。
そして、ＭＶ変換回路５２は、参照動き補償ブロックＢ２を、第１の非有効画素領域内に移動する。
このとき、ＭＶ変換回路５２は、処理対象の動き補償ブロックＭＣＢも、同様に、８ｘ１６の２つの動き補償ブロックに分割し、その各々について上記移動後の参照動き補償ブロックの位置に応じた動きベクトルＭＶ１を生成する。
読み出し回路５３は、ＭＶ変換回路５２から入力した動きベクトルＭＶ１によって指し示される参照動き補償ブロックＲＭＣＢ１を構成する画素データをメモリ３５から読み出し、これをＰＩ生成回路５４に出力する。
このとき、上述した非有効画素領域構成回路５１およびＭＶ変換回路５２の処理により、動きベクトルＭＶ１によって指し示される参照動き補償ブロックＲＭＣＢ１の画素データは全てメモリ３５内に記憶されている。そのため、読み出し回路５３は、メモリ３５から、参照動き補償ブロックＲＭＣＢ１の画素データを読み出す度に、当該画素データが有効画素領域内のものであるか否かを判定する必要がなく、従来に比べて処理負担を小さくできる。
このとき、上述した非有効画素領域構成回路５１およびＭＶ変換回路５２の処理により、動きベクトルＭＶ１によって指し示される参照動き補償ブロックＲＭＣＢ１の画素データは全てメモリ３５内に記憶されている。そのため、読み出し回路５３は、メモリ３５から、参照動き補償ブロックＲＭＣＢ１の画素データを読み出す度に、当該画素データが有効画素領域内のものであるか否かを判定する必要がなく、従来に比べて処理負担を小さくできる。
ＰＩ生成回路５４は、読み出し回路５３から入力した参照動き補償ブロックＲＭＣＢ１を構成する画素データを基に、予測画像データＰＩを構成する動き補償ブロックＭＣＢ２を生成し、これを演算回路２４および再構成回路３３に出力する。
以下、図５に示す動き予測回路３６および動き補償回路３７の動作例を説明する。
図１１は、図５に示す動き予測回路３６および動き補償回路３７の動作例を説明するためのフローチャートである。
ステップＳＴ１：
動き補償回路３７は、動きベクトルＭＶの生成対象（処理対象）となる画像データＳ２３内の動き補償ブロックＭＣＢによって参照される参照画像データの有効画素領域内の参照画像データＲＥＦ＿Ｅを構成する全ての画素データが、復号処理を経てメモリ３５内に書き込まれたか否かを判断し、書き込まれたと判断するとステップＳＴ２に進む。
ここで、上記復号処理は、図２に示す逆量子化回路２９、逆直交変換回路３０、再構成回路３３およびデブロックフィルタ３４の処理である。
図１１は、図５に示す動き予測回路３６および動き補償回路３７の動作例を説明するためのフローチャートである。
ステップＳＴ１：
動き補償回路３７は、動きベクトルＭＶの生成対象（処理対象）となる画像データＳ２３内の動き補償ブロックＭＣＢによって参照される参照画像データの有効画素領域内の参照画像データＲＥＦ＿Ｅを構成する全ての画素データが、復号処理を経てメモリ３５内に書き込まれたか否かを判断し、書き込まれたと判断するとステップＳＴ２に進む。
ここで、上記復号処理は、図２に示す逆量子化回路２９、逆直交変換回路３０、再構成回路３３およびデブロックフィルタ３４の処理である。
ステップＳＴ２：
動き予測回路３６は、画面並べ替え回路２３から入力した画像データＳ２３の動き補償ブロックＭＣＢを単位として、動きベクトルＭＶを生成する。
このとき、動き予測回路３６は、所定の予測アルゴリズムにより、メモリ３５に実際に記憶されている参照画像データＲＥＦ＿Ｅに対応する有効画素領域の外側を指し示す動きベクトルＭＶを生成可能である。
動き予測回路３６は、画面並べ替え回路２３から入力した画像データＳ２３の動き補償ブロックＭＣＢを単位として、動きベクトルＭＶを生成する。
このとき、動き予測回路３６は、所定の予測アルゴリズムにより、メモリ３５に実際に記憶されている参照画像データＲＥＦ＿Ｅに対応する有効画素領域の外側を指し示す動きベクトルＭＶを生成可能である。
ステップＳＴ３：
ＭＶ変換回路５２は、動き予測回路３６から入力した動きベクトルＭＶを、図３に示す有効画素領域、並びに第１〜第４の非有効画素領域内を指し示す新たな動きベクトルＭＶ１に変換し、これを読み出し回路５３に出力する。
ＭＶ変換回路５２の処理については、後にフローチャートを用いて詳細に説明する。
ＭＶ変換回路５２は、動き予測回路３６から入力した動きベクトルＭＶを、図３に示す有効画素領域、並びに第１〜第４の非有効画素領域内を指し示す新たな動きベクトルＭＶ１に変換し、これを読み出し回路５３に出力する。
ＭＶ変換回路５２の処理については、後にフローチャートを用いて詳細に説明する。
ステップＳＴ４：
非有効画素領域構成回路５１は、メモリ３５から読み出した図３に示す有効画素領域の参照画像データＲＥＦ＿Ｅを基に、当該有効画素領域の周囲の非有効画素領域の参照画像データＲＥＦ＿Ｎを生成し、これをメモリ３５に書き込む。
具体的には、非有効画素領域構成回路５１は、参照画像データＲＥＦ＿Ｎとして、図６に示す参照画像データＲＥＦ＿ＮＨ１，ＮＨ２，ＮＶ１，ＮＶ２を生成し、これをメモリ３５に書き込む。
非有効画素領域構成回路５１は、メモリ３５から読み出した図３に示す有効画素領域の参照画像データＲＥＦ＿Ｅを基に、当該有効画素領域の周囲の非有効画素領域の参照画像データＲＥＦ＿Ｎを生成し、これをメモリ３５に書き込む。
具体的には、非有効画素領域構成回路５１は、参照画像データＲＥＦ＿Ｎとして、図６に示す参照画像データＲＥＦ＿ＮＨ１，ＮＨ２，ＮＶ１，ＮＶ２を生成し、これをメモリ３５に書き込む。
ステップＳＴ５：
読み出し回路５３は、ＭＶ変換回路５２から入力した動きベクトルＭＶ１によって指し示される参照動き補償ブロックＲＭＣＢ１を構成する画素データをメモリ３５から読み出し、これをＰＩ生成回路５４に出力する。
そして、ＰＩ生成回路５４は、読み出し回路５３から入力した参照動き補償ブロックＲＭＣＢ１を構成する画素データを基に、予測画像データを構成する動き補償ブロックＭＣＢ２を生成し、これを演算回路２４および再構成回路３３に出力する。
読み出し回路５３は、ＭＶ変換回路５２から入力した動きベクトルＭＶ１によって指し示される参照動き補償ブロックＲＭＣＢ１を構成する画素データをメモリ３５から読み出し、これをＰＩ生成回路５４に出力する。
そして、ＰＩ生成回路５４は、読み出し回路５３から入力した参照動き補償ブロックＲＭＣＢ１を構成する画素データを基に、予測画像データを構成する動き補償ブロックＭＣＢ２を生成し、これを演算回路２４および再構成回路３３に出力する。
以下、図１１に示すステップＳＴ２の処理を詳細に説明する。
図１２は、図１１に示すステップＳＴ２の処理を説明するためのフローチャートである。
ステップＳＴ２１：
ＭＶ変換回路５２は、動き予測回路３６から入力した動きベクトルＭＶが図３に示す有効画素領域、並びに第１〜第４の非有効画素領域の双方の外側を指し示めしているか否かを判断し、そうであると判断した場合にステップＳＴ２２に進む。
ステップＳＴ２２：
ＭＶ変換回路５２は、上記動きベクトルＭＶを、当該動きベクトルＭＶが指し示す位置から最も近い第１〜第４の非有効画素領域内を指し示すように変換して新たな動きベクトルＭＶ１を生成する。
具体的には、ＭＶ変換回路５２は、動きベクトルＭＶが指し示す参照画像データ内の参照動き補償ブロックＲＭＣＢ１の全部または一部が、有効画素領域および第１〜第４の非有効画素領域の双方の外側に位置する場合に、当該参照動き補償ブロックＲＭＣＢ１の全部が第１〜第４の非有効画素領域内に位置するように、動きベクトルＭＶを変換して動きベクトルＭＶ１を生成する。
図１２は、図１１に示すステップＳＴ２の処理を説明するためのフローチャートである。
ステップＳＴ２１：
ＭＶ変換回路５２は、動き予測回路３６から入力した動きベクトルＭＶが図３に示す有効画素領域、並びに第１〜第４の非有効画素領域の双方の外側を指し示めしているか否かを判断し、そうであると判断した場合にステップＳＴ２２に進む。
ステップＳＴ２２：
ＭＶ変換回路５２は、上記動きベクトルＭＶを、当該動きベクトルＭＶが指し示す位置から最も近い第１〜第４の非有効画素領域内を指し示すように変換して新たな動きベクトルＭＶ１を生成する。
具体的には、ＭＶ変換回路５２は、動きベクトルＭＶが指し示す参照画像データ内の参照動き補償ブロックＲＭＣＢ１の全部または一部が、有効画素領域および第１〜第４の非有効画素領域の双方の外側に位置する場合に、当該参照動き補償ブロックＲＭＣＢ１の全部が第１〜第４の非有効画素領域内に位置するように、動きベクトルＭＶを変換して動きベクトルＭＶ１を生成する。
ステップＳＴ２３：
ＭＶ変換回路５２は、動き予測回路３６から入力した動きベクトルＭＶによって指し示される参照画像データ内の参照動き補償ブロックＲＭＣＢ１を移動後に、当該参照動き補償ブロックＲＭＣＢ１の全部が第１〜第４の非有効画素領域内に収まるか否かを判断し、収まらないと判断した場合にステップＳＴ２４に進む。
ステップＳＴ２４：
ＭＶ変換回路５２は、上記動き補償ブロックＭＣＢ１を図８に示す何れかのサイズに分割して複数の動き補償ブロックＭＣＢを得て、これらに対応した参照動き補償ブロックＲＭＣＢ１が第１〜第４の非有効画素領域内に収まるように、複数の動き補償ブロックＭＣＢの各々に対応した動きベクトルＭＶ１を生成する。
このとき、画像データＳ２３内の処理対象となる動き補償ブロックＭＣＢについても、同様に、分割を行なう。
ＭＶ変換回路５２は、動き予測回路３６から入力した動きベクトルＭＶによって指し示される参照画像データ内の参照動き補償ブロックＲＭＣＢ１を移動後に、当該参照動き補償ブロックＲＭＣＢ１の全部が第１〜第４の非有効画素領域内に収まるか否かを判断し、収まらないと判断した場合にステップＳＴ２４に進む。
ステップＳＴ２４：
ＭＶ変換回路５２は、上記動き補償ブロックＭＣＢ１を図８に示す何れかのサイズに分割して複数の動き補償ブロックＭＣＢを得て、これらに対応した参照動き補償ブロックＲＭＣＢ１が第１〜第４の非有効画素領域内に収まるように、複数の動き補償ブロックＭＣＢの各々に対応した動きベクトルＭＶ１を生成する。
このとき、画像データＳ２３内の処理対象となる動き補償ブロックＭＣＢについても、同様に、分割を行なう。
以下、図２に示す符号化装置２の全体動作を説明する。
原画像信号Ｓ１０が入力されると、原画像信号Ｓ１０がＡ／Ｄ変換回路２２においてデジタルの画像データに変換される。
次に、出力となる画像圧縮情報のＧＯＰ構造に応じ、画面並べ替え回路２３において画像データＳ２２内のピクチャの並べ替えが行われ、それによって得られた画像データＳ２３が演算回路２４、レート制御回路３２および動き予測回路３６に出力される。
次に、演算回路２４が、画面並べ替え回路２３からの画像データＳ２３を構成する動き補償ブロックＭＣＢと動き予測・補償回路３９からの予測動き補償ブロックＲＭＣＢ２（予測画像データＰＩ）との差分を検出し、その差分を示す画像データＳ２４を直交変換回路２５に出力する。
原画像信号Ｓ１０が入力されると、原画像信号Ｓ１０がＡ／Ｄ変換回路２２においてデジタルの画像データに変換される。
次に、出力となる画像圧縮情報のＧＯＰ構造に応じ、画面並べ替え回路２３において画像データＳ２２内のピクチャの並べ替えが行われ、それによって得られた画像データＳ２３が演算回路２４、レート制御回路３２および動き予測回路３６に出力される。
次に、演算回路２４が、画面並べ替え回路２３からの画像データＳ２３を構成する動き補償ブロックＭＣＢと動き予測・補償回路３９からの予測動き補償ブロックＲＭＣＢ２（予測画像データＰＩ）との差分を検出し、その差分を示す画像データＳ２４を直交変換回路２５に出力する。
次に、直交変換回路２５が、画像データＳ２４に離散コサイン変換やカルーネン・レーベ変換等の直交変換を施して画像データＳ２５を生成し、これを量子化回路２６に出力する。
次に、量子化回路２６が、画像データＳ２５を量子化し、量子化された変換係数を示す画像データＳ２６を可逆符号化回路２７および逆量子化回路２９に出力する。
次に、可逆符号化回路２７が、画像データＳ２６に可変長符号化あるいは算術符号化等の可逆符号化を施すと共に、動き予測回路３６から入力した動きベクトルＭＶをヘッダに付加して画像データを生成し、これをバッファ２８に蓄積する。
また、レート制御回路３２が、画像データＳ２３およびバッファ２８からの画像データを基に、量子化回路２６における量子化レートを制御する。
次に、量子化回路２６が、画像データＳ２５を量子化し、量子化された変換係数を示す画像データＳ２６を可逆符号化回路２７および逆量子化回路２９に出力する。
次に、可逆符号化回路２７が、画像データＳ２６に可変長符号化あるいは算術符号化等の可逆符号化を施すと共に、動き予測回路３６から入力した動きベクトルＭＶをヘッダに付加して画像データを生成し、これをバッファ２８に蓄積する。
また、レート制御回路３２が、画像データＳ２３およびバッファ２８からの画像データを基に、量子化回路２６における量子化レートを制御する。
また、逆直交変換回路３０が、量子化回路２６から入力した画像データＳ２６を逆量子化して再構成回路３３に出力する。
再構成回路３３は、動き補償回路３７からの予測画像データＰＩと、逆直交変換回路３０からの画像データＳ３０とを加算して再構成画像である参照画像データを生成し、これをデブロックフィルタ３４に出力する。
デブロックフィルタ３４は、再構成回路３３から入力した参照画像データのブロック歪みを除去してメモリ３５に書き込む。
再構成回路３３は、動き補償回路３７からの予測画像データＰＩと、逆直交変換回路３０からの画像データＳ３０とを加算して再構成画像である参照画像データを生成し、これをデブロックフィルタ３４に出力する。
デブロックフィルタ３４は、再構成回路３３から入力した参照画像データのブロック歪みを除去してメモリ３５に書き込む。
また、動き予測回路３６が、画面並べ替え回路２３からの画像データＳ２３を基に、処理対象の動き補償ブロックＭＣＢの動きベクトルＭＶを生成し、これを動き補償回路３７に出力する。
そして、動き補償回路３７が、図３〜図１２を用いて説明した処理を行なって予測画像データＰＩを生成し、これを演算回路２４および再構成回路３３に出力する。
そして、動き補償回路３７が、図３〜図１２を用いて説明した処理を行なって予測画像データＰＩを生成し、これを演算回路２４および再構成回路３３に出力する。
以上説明したように、符号化装置２では、動き補償回路３７において、予測画像データＰＩを生成する前に、動き補償回路３７が図６に示す有効画素領域の外側の第１〜第４の非有効画素領域の参照画像データＲＥＦ＿ＮＨ１，ＮＨ２，ＮＶ１，ＮＶ２を生成し、これをメモリ３５に書き込む。
そして、補償回路３７は、動き予測回路３６が生成した動きベクトルＭＶが指し示す参照動き補償ブロックＲＭＣＢの画素データを、当該画素データが有効画素領域内のものであるか否かを判断することなく、メモリ３５から読み出し、予測画像データＰＩの生成に用いる。
そのため、符号化装置２によれば、従来に比べて、予測画像データＰＩを短時間で生成できる。
そして、補償回路３７は、動き予測回路３６が生成した動きベクトルＭＶが指し示す参照動き補償ブロックＲＭＣＢの画素データを、当該画素データが有効画素領域内のものであるか否かを判断することなく、メモリ３５から読み出し、予測画像データＰＩの生成に用いる。
そのため、符号化装置２によれば、従来に比べて、予測画像データＰＩを短時間で生成できる。
また、符号化装置２では、図９および図１０を用いて説明したように、図５に示す補償回路３７のＭＶ変換回路５２により、動きベクトルＭＶが指し示す参照動き補償ブロックＲＭＣＢが第１〜第４の非有効画素領域内に収まるように、動きベクトルＭＶを変換して新たな動きベクトルＭＶ１を生成する。そして、読み出し回路５３において、動きベクトルＭＶ１が指し示す参照動き補償ブロックＲＭＣＢをメモリ３５から読み出す。
そのため、符号化装置２によれば、動きベクトルＭＶが有効画素領域および第１〜第４の非有効画素領域の双方の外側を示す場合でも、当該動きベクトルＭＶ１を基に、メモリ３５から参照動き補償ブロックＲＭＣＢを読み出すことが可能になる。
すなわち、予測画像データＰＩの生成に用いる参照動き補償ブロックＲＭＣＢをメモリ３５から読み出せないという事態を回避できる。
そのため、符号化装置２によれば、動きベクトルＭＶが有効画素領域および第１〜第４の非有効画素領域の双方の外側を示す場合でも、当該動きベクトルＭＶ１を基に、メモリ３５から参照動き補償ブロックＲＭＣＢを読み出すことが可能になる。
すなわち、予測画像データＰＩの生成に用いる参照動き補償ブロックＲＭＣＢをメモリ３５から読み出せないという事態を回避できる。
第２実施形態
当該実施形態も、第１実施形態と同様に、第１、第２および第３の発明に対応している。
本実施形態の符号化装置は、第１実施形態で説明した補償回路３７の非有効画素領域構成回路５１の処理を除いて、第１実施形態の符号化装置２と同じである。
但し、上述した第１実施形態では、画像データＳ２３は順次走査によって得られたものを例示したが、本実施形態では、画像データＳ２３は順次走査および飛び越し走査の何れかによって得られたものである。
当該実施形態も、第１実施形態と同様に、第１、第２および第３の発明に対応している。
本実施形態の符号化装置は、第１実施形態で説明した補償回路３７の非有効画素領域構成回路５１の処理を除いて、第１実施形態の符号化装置２と同じである。
但し、上述した第１実施形態では、画像データＳ２３は順次走査によって得られたものを例示したが、本実施形態では、画像データＳ２３は順次走査および飛び越し走査の何れかによって得られたものである。
本実施形態の非有効画素領域構成回路５１ａは、図１１に示すステップＳＴ４において、図１３に示すように、非有効画素領域構成回路５１ａは、有効画素領域の参照画像データＲＥＦ＿Ｅを基に、第１実施形態と同様に、第１の非有効画素領域の参照画像データＲＥＦ＿ＮＨ１および第２の非有効画素領域の参照画像データＲＥＦ＿ＮＨ２を生成し、これをメモリ３５に書き込む。
すなわち、非有効画素領域構成回路５１ａは、第３の非有効画素領域の参照画像データＲＥＦ＿ＶＨ１および第４の非有効画素領域の参照画像データＲＥＦ＿ＮＶ２の生成およびメモリ３５への書き込みを第１実施形態のように一括しては行なわない。
非有効画素領域構成回路５１ａは、動き予測回路３６から動きベクトルＭＶを基に特定される参照画像データ内の参照動き補償ブロックＲＭＣＢ１の各々について、これが有効画素領域および非有効画素領域の双方の外側に、あるいは外側に跨がって位置する場合に、有効画素領域内の参照画像データを基に、第３および第４の非有効画素領域に必要な画素データを複製する。
すなわち、非有効画素領域構成回路５１ａは、第３の非有効画素領域の参照画像データＲＥＦ＿ＶＨ１および第４の非有効画素領域の参照画像データＲＥＦ＿ＮＶ２の生成およびメモリ３５への書き込みを第１実施形態のように一括しては行なわない。
非有効画素領域構成回路５１ａは、動き予測回路３６から動きベクトルＭＶを基に特定される参照画像データ内の参照動き補償ブロックＲＭＣＢ１の各々について、これが有効画素領域および非有効画素領域の双方の外側に、あるいは外側に跨がって位置する場合に、有効画素領域内の参照画像データを基に、第３および第４の非有効画素領域に必要な画素データを複製する。
図１４は、非有効画素領域構成回路５１ａの処理を説明するための図である。
ステップＳＴ４１：
非有効画素領域構成回路５１ａは、有効画素領域の参照画像データＲＥＦ＿Ｅを基に、第１実施形態と同様に、第１の非有効画素領域の参照画像データＲＥＦ＿ＮＨ１および第２の非有効画素領域の参照画像データＲＥＦ＿ＮＨ２を生成し、これをメモリ３５に書き込む。
ステップＳＴ４２：
非有効画素領域構成回路５１ａは、ＭＶ変換回路５２からの動きベクトルＭＶ１によって特定される参照画像データ内の参照動き補償ブロックＲＭＣＢ１の最上端（垂直方向Ｖで最も図３中上側端）の画素データが、有効画素領域よりも図３中上側に位置するか否かを判断し、上側に位置すると判断するとステップＳＴ４３に進み、そうでない場合にステップＳＴ４４に進む。
ステップＳＴ４３：
非有効画素領域構成回路５１ａは、ステップＳＴ４２において有効画素領域の上側に位置すると判断した領域に、その領域と水平方向Ｈの位置が同じ上記第３の辺Ｌ３上の有効画素領域内の画素データを複製して、参照画像データＲＥＦ＿ＮＶ１の一部としてメモリ３５に書き込む。
ステップＳＴ４１：
非有効画素領域構成回路５１ａは、有効画素領域の参照画像データＲＥＦ＿Ｅを基に、第１実施形態と同様に、第１の非有効画素領域の参照画像データＲＥＦ＿ＮＨ１および第２の非有効画素領域の参照画像データＲＥＦ＿ＮＨ２を生成し、これをメモリ３５に書き込む。
ステップＳＴ４２：
非有効画素領域構成回路５１ａは、ＭＶ変換回路５２からの動きベクトルＭＶ１によって特定される参照画像データ内の参照動き補償ブロックＲＭＣＢ１の最上端（垂直方向Ｖで最も図３中上側端）の画素データが、有効画素領域よりも図３中上側に位置するか否かを判断し、上側に位置すると判断するとステップＳＴ４３に進み、そうでない場合にステップＳＴ４４に進む。
ステップＳＴ４３：
非有効画素領域構成回路５１ａは、ステップＳＴ４２において有効画素領域の上側に位置すると判断した領域に、その領域と水平方向Ｈの位置が同じ上記第３の辺Ｌ３上の有効画素領域内の画素データを複製して、参照画像データＲＥＦ＿ＮＶ１の一部としてメモリ３５に書き込む。
ステップＳＴ４４：
非有効画素領域構成回路５１ａは、ＭＶ変換回路５２からの動きベクトルＭＶ１によって特定される参照画像データ内の参照動き補償ブロックＲＭＣＢ１の最下端（垂直方向Ｖで最も図３中下側端）の画素データが、有効画素領域よりも図３中下側に位置するか否かを判断し、下側に位置すると判断するとステップＳＴ４５に進み、そうでない場合に処理を終了する。
ステップＳＴ４５：
非有効画素領域構成回路５１ａは、ステップＳＴ４４において有効画素領域の下側に位置すると判断した領域に、その領域と水平方向Ｈの位置が同じ上記第４の辺Ｌ４上の有効画素領域内の画素データを複製して、参照画像データＲＥＦ＿ＮＶ２の一部としてメモリ３５に書き込む。
非有効画素領域構成回路５１ａは、ＭＶ変換回路５２からの動きベクトルＭＶ１によって特定される参照画像データ内の参照動き補償ブロックＲＭＣＢ１の最下端（垂直方向Ｖで最も図３中下側端）の画素データが、有効画素領域よりも図３中下側に位置するか否かを判断し、下側に位置すると判断するとステップＳＴ４５に進み、そうでない場合に処理を終了する。
ステップＳＴ４５：
非有効画素領域構成回路５１ａは、ステップＳＴ４４において有効画素領域の下側に位置すると判断した領域に、その領域と水平方向Ｈの位置が同じ上記第４の辺Ｌ４上の有効画素領域内の画素データを複製して、参照画像データＲＥＦ＿ＮＶ２の一部としてメモリ３５に書き込む。
本実施形態では、このように順次走査と飛び越し走査とが混在する場合に、必要な領域についてのみ参照画像データＲＥＦ＿ＮＶ１，ＲＥＦ＿ＮＶ２を生成し、メモリ３５に書き込むことで、メモリ３５への書き込み回数を削減でき、処理効率を向上できる。
第３実施形態
本実施形態では、図１に示す復号装置３について説明する。
本実施形態は、第４の発明に対応している。
図１５は、図１に示す復号装置３の機能ブロック図である。
図１５に示すように、復号装置３は、例えば、蓄積バッファ７１、可逆復号化回路７２、逆量子化回路７３、逆直交変換回路７４、演算回路７５、画面並べ替え回路７６、Ｄ／Ａ変換回路７７、メモリ７８および動き予測・補償回路８１を有する。
可逆復号化回路７２が第４の発明の復号手段に対応し、メモリ７８が第４の発明のメモリに対応し、動き予測・補償回路８１が第４の発明の動き補償手段に対応し、演算回路７５が第４の発明の演算手段に対応している。
本実施形態では、図１に示す復号装置３について説明する。
本実施形態は、第４の発明に対応している。
図１５は、図１に示す復号装置３の機能ブロック図である。
図１５に示すように、復号装置３は、例えば、蓄積バッファ７１、可逆復号化回路７２、逆量子化回路７３、逆直交変換回路７４、演算回路７５、画面並べ替え回路７６、Ｄ／Ａ変換回路７７、メモリ７８および動き予測・補償回路８１を有する。
可逆復号化回路７２が第４の発明の復号手段に対応し、メモリ７８が第４の発明のメモリに対応し、動き予測・補償回路８１が第４の発明の動き補償手段に対応し、演算回路７５が第４の発明の演算手段に対応している。
蓄積バッファ７１は、図２に示す符号化装置２で符号化され、続いて変調されて送信された画像信号が受信され、当該画像信号が復調されると、当該復調によって得られた画像データを記憶する。
可逆復号化回路７２は、蓄積バッファ７１から入力した画像データＳ７１に対して、符号化処理に対応する復号処理を行い、それによって得られた画像データを逆量子化回路７３に出力し、当該復号処理の過程で得られた動きベクトルＭＶを動き予測・補償回路８１に出力する。
逆量子化回路７３は、可逆復号化回路７２から入力した画像データＳ７２を逆量子化して画像データを生成し、これを逆直交変換回路７４に出力する。
逆直交変換回路７４は、逆量子化回路７３から入力した画像データ、図２に示す直交変換回路２５の直交変換処理に対応する逆直交変換処理を施し、それによって得られた画像データＳ７４を演算回路７５に出力する。
可逆復号化回路７２は、蓄積バッファ７１から入力した画像データＳ７１に対して、符号化処理に対応する復号処理を行い、それによって得られた画像データを逆量子化回路７３に出力し、当該復号処理の過程で得られた動きベクトルＭＶを動き予測・補償回路８１に出力する。
逆量子化回路７３は、可逆復号化回路７２から入力した画像データＳ７２を逆量子化して画像データを生成し、これを逆直交変換回路７４に出力する。
逆直交変換回路７４は、逆量子化回路７３から入力した画像データ、図２に示す直交変換回路２５の直交変換処理に対応する逆直交変換処理を施し、それによって得られた画像データＳ７４を演算回路７５に出力する。
演算回路７５は、逆直交変換回路７４からの画像データＳ７４と、動き予測・補償回路８１からの予測画像データＰＩとを加算して画像データＳ７５を生成し、これを画面並べ替え回路７６に出力すると共に、メモリ７８に書き込む。
メモリ７８に書き込まれる画像データＳ７５は、図３に示す有効画素領域内の参照画像データＲＥＦ＿Ｅと同じである。
画面並べ替え回路７６は、画像データＳ７５が示すピクチャを表示順に並べ替えた画像信号を生成し、これをＤ／Ａ変換回路７７に出力する。
Ｄ／Ａ変換回路７７は、画面並べ替え回路７６から入力したデジタルの画像データをアナログの画像信号に変換して出力する。
メモリ７８に書き込まれる画像データＳ７５は、図３に示す有効画素領域内の参照画像データＲＥＦ＿Ｅと同じである。
画面並べ替え回路７６は、画像データＳ７５が示すピクチャを表示順に並べ替えた画像信号を生成し、これをＤ／Ａ変換回路７７に出力する。
Ｄ／Ａ変換回路７７は、画面並べ替え回路７６から入力したデジタルの画像データをアナログの画像信号に変換して出力する。
動き予測・補償回路８１は、可逆復号化回路７２から入力した動きベクトルＭＶと、メモリ７８から読み出した参照画像データとを基に、予測画像データＰＩを生成し、これを演算回路７５に出力する。
図１６は、図１５に示す動き予測・補償回路８１の構成図である。
図１６に示すように、動き予測・補償回路８１は、例えば、非有効画素領域構成回路９１、ＭＶ変換回路９２、読み出し回路９３およびＰＩ生成回路９４を有する。
ここで、非有効画素領域構成回路９１、ＭＶ変換回路９２、読み出し回路９３およびＰＩ生成回路９４は、それぞれ第１実施形態で図５を用いて説明した非有効画素領域構成回路５１、ＭＶ変換回路５２、読み出し回路５３およびＰＩ生成回路５４と同じである。
ここで、非有効画素領域構成回路９１が第４の発明の前処理手段に対応し、読み出し回路９３が第４の発明の読み出し手段に対応し、ＰＩ生成回路９４が第４の発明の生成手段に対応している。
図１６に示すように、動き予測・補償回路８１は、例えば、非有効画素領域構成回路９１、ＭＶ変換回路９２、読み出し回路９３およびＰＩ生成回路９４を有する。
ここで、非有効画素領域構成回路９１、ＭＶ変換回路９２、読み出し回路９３およびＰＩ生成回路９４は、それぞれ第１実施形態で図５を用いて説明した非有効画素領域構成回路５１、ＭＶ変換回路５２、読み出し回路５３およびＰＩ生成回路５４と同じである。
ここで、非有効画素領域構成回路９１が第４の発明の前処理手段に対応し、読み出し回路９３が第４の発明の読み出し手段に対応し、ＰＩ生成回路９４が第４の発明の生成手段に対応している。
但し、非有効画素領域構成回路９１および読み出し回路９３は、図１５に示すメモリ７８に対してアクセスを行う。
また、ＭＶ変換回路５２は、図１５に示す可逆復号化回路７２から動きベクトルＭＶを入力する。
また、ＰＩ生成回路９４は、図１５に示す演算回路７５に対して予測画像データＰＩを構成する動き補償ブロックＭＣＢを出力する。
また、ＭＶ変換回路５２は、図１５に示す可逆復号化回路７２から動きベクトルＭＶを入力する。
また、ＰＩ生成回路９４は、図１５に示す演算回路７５に対して予測画像データＰＩを構成する動き補償ブロックＭＣＢを出力する。
以下、復号装置３の全体動作例を説明する。
復号装置３では、入力となる画像データがバッファ７１に格納された後、可逆復号化回路７２に出力される。そして、可逆復号化回路７２において、定められた画像圧縮情報のフォーマットに基づき、可変長復号化、算術復号化等の処理が行われる。同時に、当該フレームがインター符号化されたものである場合には、可逆復号化回路７２において、前述した動作が行われ、画像信号のヘッダ部に格納された動きベクトルＶＤが復号されて動き予測・補償回路８１に出力される。
復号装置３では、入力となる画像データがバッファ７１に格納された後、可逆復号化回路７２に出力される。そして、可逆復号化回路７２において、定められた画像圧縮情報のフォーマットに基づき、可変長復号化、算術復号化等の処理が行われる。同時に、当該フレームがインター符号化されたものである場合には、可逆復号化回路７２において、前述した動作が行われ、画像信号のヘッダ部に格納された動きベクトルＶＤが復号されて動き予測・補償回路８１に出力される。
可逆復号化回路７２の出力となる、量子化された変換係数は、逆量子化回路７３に入力され、ここで変換係数が生成される。当該変換係数には、逆直交変換回路７４において、定められた画像圧縮情報のフォーマットに基づき、逆離散コサイン変換や逆カルーネン・レーベ変換等の逆直交変換が施される。当該フレームがイントラ符号化されたものである場合には、逆直交変換処理が施された画像情報は画面並べ替え回路７６に格納され、Ｄ／Ａ変換回路７７によるＤ／Ａ変換処理を経て出力される。
一方、当該フレームがインター符号化されたものである場合には、動き予測・補償回路８１において、動きベクトルＭＶ、及びメモリ７８に格納された参照画像データを基に予測画像データＰＩが生成され、この予測画像データＰＩと、逆直交変換回路７４から出力された画像データＳ７４とが、演算回路７５において加算される。
一方、当該フレームがインター符号化されたものである場合には、動き予測・補償回路８１において、動きベクトルＭＶ、及びメモリ７８に格納された参照画像データを基に予測画像データＰＩが生成され、この予測画像データＰＩと、逆直交変換回路７４から出力された画像データＳ７４とが、演算回路７５において加算される。
以上説明したように、復号装置３では、動き予測・補償回路８１において、予測画像データＰＩを生成する前に、図６に示す有効画素領域の外側の第１〜第４の非有効画素領域の参照画像データＲＥＦ＿ＮＨ１，ＮＨ２，ＮＶ１，ＮＶ２を生成し、これをメモリ３５に書き込む。
そして、動き予測・補償回路８１は、上記生成した動きベクトルＭＶが指し示す参照動き補償ブロックＲＭＣＢの画素データを、当該画素データが有効画素領域内のものであるか否かを判断することなく、メモリ３５から読み出し、予測画像データＰＩの生成に用いる。
そのため、復号装置３によれば、従来に比べて、予測画像データＰＩを短時間で生成できる。
そして、動き予測・補償回路８１は、上記生成した動きベクトルＭＶが指し示す参照動き補償ブロックＲＭＣＢの画素データを、当該画素データが有効画素領域内のものであるか否かを判断することなく、メモリ３５から読み出し、予測画像データＰＩの生成に用いる。
そのため、復号装置３によれば、従来に比べて、予測画像データＰＩを短時間で生成できる。
本発明は上述した実施形態には限定されない。
上述した実施形態では、本実施形態のブロックデータとして、図８に示す動き補償ブロックＭＣＢを例示したが、図１７に示すように、垂直方向に２つの動き補償ブロックＭＣＢを並べて構成されるマクロブロックペアに対応した参照動き補償ブロックＲＭＣＢ１を用いてもよい。
上述した実施形態では、本実施形態のブロックデータとして、図８に示す動き補償ブロックＭＣＢを例示したが、図１７に示すように、垂直方向に２つの動き補償ブロックＭＣＢを並べて構成されるマクロブロックペアに対応した参照動き補償ブロックＲＭＣＢ１を用いてもよい。
本発明は、画像データを符号化する符号化システム、並びに画像データを復号する復号システムに適用可能である。
１…通信システム、２…符号化装置、３…復号装置、２２…Ａ／Ｄ変換回路、２３…画面並べ替え回路、２４…演算回路、２５…直交変換回路、２６…量子化回路、２７…可逆符号化回路、２８…バッファ、２９…逆量子化回路、３０…逆直交変換回路、３３…再構成回路、３４…デブロックフィルタ、３５…メモリ、３６…動き予測回路、３７…動き補償回路、５１…非有効画素領域構成回路、５２…ＭＶ変換回路、５３…読み出し回路、５４…ＰＩ生成回路、７１…バッファ、７２…可逆復号化回路、７３…逆量子化回路、７４…逆直交変換回路、７５…演算回路、７６…画面並べ替え回路、７７…Ｄ／Ａ変換回路、７８…メモリ、８１…動き予測・補償回路、９１…非有効画素領域構成回路、９２…ＭＶ変換回路、９３…読み出し回路、９４…ＰＩ生成回路
Claims (9)
- 符号化対象または復号対象の画像データの予測画像データを、動きベクトルと有効画素領域の第１の参照画像データとを基に生成するデータ処理装置であって、
前記第１の参照画像データを記憶するメモリと、
前記予測画像データの生成に先立って、前記メモリに記憶された前記第１の参照画像データを基に、前記有効画素領域の周囲の所定の非有効画素領域の第２の参照画像データを生成して前記メモリに書き込む前処理手段と、
前記動きベクトルが前記非有効画素領域を指し示す場合に、当該動きベクトルを基に、前記前処理手段が前記メモリに書き込んだ前記第２の参照画像データを読み出す読み出し手段と、
前記読み出し手段が読み出した前記第２の参照画像データを基に前記予測画像データを生成する生成手段と
を有するデータ処理装置。 - 前記前処理手段は、前記動きベクトルが前記有効画素領域および前記非有効画素領域の双方の外側を指し示す場合に、前記非有効画素領域内を指し示すように当該動きベクトルを変換し、
前記読み出し手段は、前記前処理手段が変換して生成された前記動きベクトルを基に、前記メモリから前記第２の参照画像データを読み出す
請求項１に記載のデータ処理装置。 - 前記前処理手段は、前記画像データを構成する複数のブロックデータの各々について前記動きベクトルが規定され、当該動きベクトルが指し示す参照ブロックデータの全体あるいは一部が前記有効画素領域および前記非有効画素領域の外に位置する場合に、当該参照ブロックデータ全体が前記非有効画素領域内に収まるように前記動きベクトルを変換する
請求項１に記載のデータ処理装置。 - 前記前処理手段は、前記画像データを構成する複数のブロックデータの各々について前記動きベクトルが規定され、当該動きベクトルが指し示す参照ブロックデータが前記非有効画素領域内に収まらない場合に、前記参照ブロックデータを分割して得た分割参照ブロックデータの各々が前記非有効画素領域内に収まるように前記動きベクトルを変換する
請求項１に記載のデータ処理装置。 - 前記前処理手段は、
飛び越し走査および順次走査の何れか一方のみが前記予測画像データを生成する複数の前記画像データに適用されている場合に、矩形の前記有効画素領域を規定し画面走査方向に直交する垂直方向に延びる第１の辺で当該有効画素領域に隣接した第１の非有効画素領域と、前記第１の辺と対向し前記垂直方向に延びる第２で辺で当該有効画素領域に隣接した第２の非有効画素領域と、前記画面走査方向に平行する水平方向に延びる第３の辺で当該有効画素領域に隣接した第３の非有効画素領域と、前記第３の辺と対向し前記水平方向に延びる第４で辺で当該有効画素領域に隣接した第４の非有効画素領域とのそれぞれを規定し、
前記第１の参照画像データを基に、前記第１の非有効画素領域の画素位置の画素データが垂直方向の位置が同じ前記第１の辺上の前記有効画素領域内の画素データと同じで、前記第２の非有効画素領域の画素位置の画素データが垂直方向の位置が同じ前記第２の辺上の前記有効画素領域内の画素データと同じで、前記第３の非有効画素領域の画素位置の画素データが水平方向の位置が同じ前記第３の辺上の前記有効画素領域内の画素データと同じで、前記第４の非有効画素領域の画素位置の画素データが水平方向の位置が同じ前記第４の辺上の前記有効画素領域内の画素データと同じになるように、前記第２の参照画像データを生成して前記メモリに書き込む
請求項１に記載のデータ処理装置。 - 前記前処理手段は、前記予測画像データを生成する複数の前記画像データに、飛び越し走査が適用される前記画像データと、順次走査が適用される前記画像データとが混在している場合に、
矩形の前記有効画素領域を規定し画面走査方向に直交する垂直方向に延びる第１の辺で当該有効画素領域に隣接した第１の非有効画素領域と、前記第１の辺と対向し前記垂直方向に延びる第２で辺で当該有効画素領域に隣接した第２の非有効画素領域とのそれぞれを規定し、
前記第１の参照画像データを基に、前記第１の非有効画素領域の画素位置の画素データが垂直方向の位置が同じ前記第１の辺上の前記有効画素領域内の画素データと同じで、前記第２の非有効画素領域の画素位置の画素データが垂直方向の位置が同じ前記第２の辺上の前記有効画素領域内の画素データと同じになるように、前記第２の参照画像データを生成して前記メモリに書き込む
請求項１に記載のデータ処理装置。 - 符号化対象または復号対象の画像データの予測画像データを、動きベクトルと有効画素領域の第１の参照画像データとを基に生成するデータ処理方法であって、
メモリに記憶された前記第１の参照画像データを基に、前記有効画素領域の周囲の所定の非有効画素領域の第２の参照画像データを生成して前記メモリに書き込む第１の工程と、
前記動きベクトルが前記非有効画素領域を指し示す場合に、当該動きベクトルを基に、前記第１の工程で前記メモリに書き込んだ前記第２の参照画像データを読み出す第２の工程と、
前記第２の工程で前記メモリから読み出した前記第２の参照画像データを基に前記予測画像データを生成する第３の工程と
を有するデータ処理方法。 - 被符号化画像データと予測画像データとの差分を符号化する符号化手段と、
有効画素領域の第１の参照画像データを記憶するメモリと、
前記被符号化画像データの動きベクトルを生成する動き予測手段と、
前記動き予測手段が生成した前記動きベクトルと、前記メモリに記憶された前記参照画像データとを基に、前記予測画像データを生成する動き補償手段と
を有し、
前記動き補償手段は、
前記予測画像データの生成に先立って、前記メモリに記憶された前記第１の参照画像データを基に、前記有効画素領域の周囲の所定の非有効画素領域の第２の参照画像データを生成して前記メモリに書き込む前処理手段と、
前記動き予測手段が生成した前記動きベクトルが前記非有効画素領域を指し示す場合に、当該動きベクトルを基に、前記前処理手段が前記メモリに書き込んだ前記第２の参照画像データを読み出す読み出し手段と、
前記読み出し手段が読み出した前記第２の参照画像データを基に前記予測画像データを生成する生成手段と
を有する
符号化装置。 - 復号対象の画像データを復号する復号手段と、
復号後の有効画素領域の第１の参照画像データを記憶するメモリと、
前記復号対象の画像データに付加された動きベクトルと、前記メモリから読み出した前記第１の参照画像データとを基に、予測画像データを生成する動き補償手段と、
前記動き補償手段が生成した前記予測画像データと、前記復号手段が復号して生成した画像データとを加算する演算手段と
を有する復号装置であって、
前記動き補償手段は、
前記予測画像データの生成に先立って、前記メモリに記憶された前記第１の参照画像データを基に、前記有効画素領域の周囲の所定の非有効画素領域の第２の参照画像データを生成して前記メモリに書き込む前処理手段と、
前記動き予測手段が生成した前記動きベクトルが前記非有効画素領域を指し示す場合に、当該動きベクトルを基に、前記前処理手段が前記メモリに書き込んだ前記第２の参照画像データを読み出す読み出し手段と、
前記読み出し手段が読み出した前記第２の参照画像データを基に前記予測画像データを生成する生成手段と
を有する
復号装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004029776A JP2005223631A (ja) | 2004-02-05 | 2004-02-05 | データ処理装置およびその方法と符号化装置および復号装置 |
| US11/049,425 US20050175100A1 (en) | 2004-02-05 | 2005-02-02 | Data processing device and method of same, and encoding device and decoding device |
| CNB2005100542063A CN100355290C (zh) | 2004-02-05 | 2005-02-05 | 数据处理装置及其方法以及编码装置和解码装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004029776A JP2005223631A (ja) | 2004-02-05 | 2004-02-05 | データ処理装置およびその方法と符号化装置および復号装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005223631A true JP2005223631A (ja) | 2005-08-18 |
Family
ID=34824098
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004029776A Pending JP2005223631A (ja) | 2004-02-05 | 2004-02-05 | データ処理装置およびその方法と符号化装置および復号装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20050175100A1 (ja) |
| JP (1) | JP2005223631A (ja) |
| CN (1) | CN100355290C (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8155204B2 (en) | 2006-09-20 | 2012-04-10 | Kabushiki Kaisha Toshiba | Image decoding apparatus and image decoding method |
| CN102811333A (zh) * | 2011-05-30 | 2012-12-05 | Jvc建伍株式会社 | 视频处理装置以及插补帧生成方法 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4843482B2 (ja) * | 2006-12-27 | 2011-12-21 | 株式会社東芝 | 情報処理装置およびプログラム |
| US20110032993A1 (en) * | 2008-03-31 | 2011-02-10 | Motokazu Ozawa | Image decoding device, image decoding method, integrated circuit, and receiving device |
| FR2951345B1 (fr) * | 2009-10-13 | 2013-11-22 | Canon Kk | Procede et dispositif de traitement d'une sequence video |
| US8611007B2 (en) | 2010-09-21 | 2013-12-17 | Moxtek, Inc. | Fine pitch wire grid polarizer |
| ES2957772T3 (es) | 2011-01-07 | 2024-01-25 | Ntt Docomo Inc | Procedimiento de codificación predictiva, dispositivo de codificación predictiva y programa de codificación predictiva de un vector de movimiento, y procedimiento de descodificación predictiva, dispositivo de descodificación predictiva y programa de descodificación predictiva de un vector de movimiento |
| CN104704827B (zh) | 2012-11-13 | 2019-04-12 | 英特尔公司 | 用于下一代视频的内容自适应变换译码 |
| JP6163919B2 (ja) * | 2013-07-01 | 2017-07-19 | 富士通株式会社 | 画像処理装置、補正方法および補正プログラム |
| KR101789954B1 (ko) * | 2013-12-27 | 2017-10-25 | 인텔 코포레이션 | 차세대 비디오 코딩을 위한 콘텐츠 적응적 이득 보상된 예측 |
| CN107329402A (zh) * | 2017-07-03 | 2017-11-07 | 湖南工业大学 | 一种组合积分环节与预测pi控制算法结合的控制方法 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3468856B2 (ja) * | 1994-07-28 | 2003-11-17 | 株式会社東芝 | 動きベクトル検出方法及び装置 |
| US5680181A (en) * | 1995-10-20 | 1997-10-21 | Nippon Steel Corporation | Method and apparatus for efficient motion vector detection |
| JP4034380B2 (ja) * | 1996-10-31 | 2008-01-16 | 株式会社東芝 | 画像符号化／復号化方法及び装置 |
| US6212237B1 (en) * | 1997-06-17 | 2001-04-03 | Nippon Telegraph And Telephone Corporation | Motion vector search methods, motion vector search apparatus, and storage media storing a motion vector search program |
| US6690835B1 (en) * | 1998-03-03 | 2004-02-10 | Interuniversitair Micro-Elektronica Centrum (Imec Vzw) | System and method of encoding video frames |
| KR100325253B1 (ko) * | 1998-05-19 | 2002-03-04 | 미야즈 준이치롯 | 움직임벡터 검색방법 및 장치 |
| US6081209A (en) * | 1998-11-12 | 2000-06-27 | Hewlett-Packard Company | Search system for use in compression |
| WO2001058166A1 (en) * | 2000-02-01 | 2001-08-09 | Koninklijke Philips Electronics N.V. | Video encoding with a two step motion estimation for p-frames |
| ATE404019T1 (de) * | 2001-09-12 | 2008-08-15 | Nxp Bv | Bewegungsschätzung und/oder kompensation |
| WO2003039161A2 (en) * | 2001-10-29 | 2003-05-08 | Parthusceva Ltd. | Method and apparatus for motion estimation in a sequence of digital images |
| JP2003169327A (ja) * | 2001-11-30 | 2003-06-13 | Matsushita Electric Ind Co Ltd | ソフトウェアでのｍｐｅｇ−２ビデオ可変長復号化方法 |
| CN1606883A (zh) * | 2001-12-21 | 2005-04-13 | 皇家飞利浦电子股份有限公司 | 带块丢弃的图像编码 |
| JP4015934B2 (ja) * | 2002-04-18 | 2007-11-28 | 株式会社東芝 | 動画像符号化方法及び装置 |
| JP2003299040A (ja) * | 2002-04-03 | 2003-10-17 | Sony Corp | 動きベクトル検出装置及び方法 |
-
2004
- 2004-02-05 JP JP2004029776A patent/JP2005223631A/ja active Pending
-
2005
- 2005-02-02 US US11/049,425 patent/US20050175100A1/en not_active Abandoned
- 2005-02-05 CN CNB2005100542063A patent/CN100355290C/zh not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8155204B2 (en) | 2006-09-20 | 2012-04-10 | Kabushiki Kaisha Toshiba | Image decoding apparatus and image decoding method |
| CN102811333A (zh) * | 2011-05-30 | 2012-12-05 | Jvc建伍株式会社 | 视频处理装置以及插补帧生成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN100355290C (zh) | 2007-12-12 |
| CN1652608A (zh) | 2005-08-10 |
| US20050175100A1 (en) | 2005-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4849076B2 (ja) | 動画像の符号化方法および復号化方法 | |
| JP5090158B2 (ja) | 映像情報記録装置、映像情報記録方法、映像情報記録プログラム、及び映像情報記録プログラムを記録した記録媒体 | |
| JP2007036463A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| KR20060109290A (ko) | 화상 복호 장치 및 화상 복호 방법과 화상 복호 프로그램 | |
| JP2006148970A (ja) | 画像データの符号化方法およびそのためのプログラムを記録したコンピュータ読み取り可能媒体 | |
| JP2004140473A (ja) | 画像情報符号化装置、復号化装置並びに画像情報符号化方法、復号化方法 | |
| US20050175100A1 (en) | Data processing device and method of same, and encoding device and decoding device | |
| JP4470431B2 (ja) | データ処理装置およびその方法 | |
| JP2004304724A (ja) | 画像処理装置とその方法、並びに符号化装置 | |
| JP2011259205A (ja) | 画像復号化装置と画像符号化装置およびその方法とプログラム | |
| US20130216150A1 (en) | Image processing device, image processing method, and program | |
| JP4289126B2 (ja) | データ処理装置およびその方法と符号化装置 | |
| JP4360093B2 (ja) | 画像処理装置および符号化装置とそれらの方法 | |
| JP2005184233A (ja) | データ処理装置およびその方法と符号化装置 | |
| JP2007053554A (ja) | 符号化装置、符号化方法、復号装置、復号方法およびプログラム | |
| WO2007091588A1 (ja) | 動画像復号装置、復号画像記録装置、それらの方法及びプログラム | |
| JP4561508B2 (ja) | 画像処理装置、画像処理方法およびそのプログラム | |
| JP4747494B2 (ja) | データ処理装置およびその方法と符号化装置 | |
| JP5447239B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP4318019B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP2007067526A (ja) | 画像処理装置 | |
| JP2006025033A (ja) | 画像処理装置および画像処理方法 | |
| JP4655791B2 (ja) | 符号化装置、符号化方法およびそのプログラム | |
| JP2005167721A (ja) | データ処理装置およびその方法と符号化装置 | |
| JP4277793B2 (ja) | 画像処理装置、符号化装置およびそれらの方法 |