JP2006217445A

JP2006217445A - 動画像符号化装置、復号化装置、動画像記録装置および動画像再生装置

Info

Publication number: JP2006217445A
Application number: JP2005030033A
Authority: JP
Inventors: Hiroshi Nakamura; 浩中村
Original assignee: Pioneer Electronic Corp
Current assignee: Pioneer Corp
Priority date: 2005-02-07
Filing date: 2005-02-07
Publication date: 2006-08-17
Anticipated expiration: 2025-02-07
Also published as: JP4422629B2

Abstract

【課題】ＨＤ映像などの高解像度の動画像の圧縮効率を向上する。
【解決手段】動画像符号化装置1Aは、入力画像の画像信号をサンプリングすることにより複数の低解像度画像を生成するサンプリング部21と、低解像度画像を一の選択画像と当該選択画像以外の非選択画像とに分類し、選択画像のサンプリング点から非選択画像のサンプリング点へ向かう方向と入力画像の画素間隔よりも短いノルムとを持つ差分ベクトルMV1を生成するベクトル生成部11Aと、選択画像から差分ベクトルMV1で指定される領域の予測画像を生成する動き補償部16と、非選択画像と予測画像との間の差分画像を生成しこれを圧縮符号化する符号化部25,14A,13A,17Aとを備える。
【選択図】図３

Description

本発明は、動画像を圧縮符号化する技術に関する。

ＮＴＳＣ（National Television System Commitee）方式などの既存の伝送方式ではＳＤ（Standard Definition）フォーマットの映像（以下、ＳＤ映像と称する。）が採用されているが、衛星デジタル放送や地上波デジタル放送などの伝送方式では高精細のＨＤ（High Definition）フォーマットの映像（以下、ＨＤ映像と称する。）が採用されている。ＨＤ映像はＳＤ映像と比べて約２倍の垂直解像度を有しており、通常、ＨＤ映像のアスペクト比は１６：９であり、ＳＤ映像のアスペクト比は４：３である。

ＨＤ映像の録画時間は、ハードディスクドライブや光ディスクなどの記憶媒体の容量に依存するが、ＨＤ映像のデータ量はＳＤ映像のそれと比べると非常に大きいため、たとえＨＤ映像を圧縮符号化して記憶媒体に記録したとしても、その圧縮符号化データが記憶媒体の容量の大部分を占有してしまうという問題がある。一方、高解像度のＨＤ映像を低解像度のＳＤ映像にダウンコンバートして記憶媒体に格納すれば、記憶媒体の容量の大部分を占有せずに長時間録画が可能になるものの、再生映像の画質がＨＤ映像のそれと比べて明らかに劣るという問題がある。なお、ＨＤ映像を受信しこれを録画する技術は、たとえば、特許文献１（特開２００３−１６３８７１号公報）に開示されている。
特開２００３−１６３８７１号公報

上記に鑑みて本発明の目的は、ＨＤ映像などの高解像度の動画像の圧縮効率を大幅に向上し得る動画像符号化装置とこれを有する動画像記録装置とを提供することである。本発明の他の目的は、その動画像符号化装置で圧縮符号化された信号を復号化する復号化装置とこれを有する動画像再生装置とを提供することである。

上記目的を達成すべく、請求項１記載の発明は、動画像を構成する一連の入力画像を符号化する動画像符号化装置であって、前記入力画像の画像信号をサンプリングすることにより前記入力画像の各々から複数の低解像度画像を生成するサンプリング部と、前記低解像度画像を一の選択画像と当該選択画像以外の非選択画像とに分類するとともに、前記選択画像のサンプリング点から前記非選択画像のサンプリング点へ向かう方向と前記入力画像の画素間隔よりも短いノルムとを持つ差分ベクトルを生成するベクトル生成部と、前記選択画像を参照して当該選択画像から前記差分ベクトルで指定される領域の予測画像を生成する動き補償部と、前記選択画像を圧縮符号化するとともに、前記非選択画像と前記予測画像との間の差分画像を生成しこれを圧縮符号化する符号化部と、を備えることを特徴としている。

請求項１０記載の発明は、動画像を構成する一連の入力画像を符号化して記憶媒体に記録する動画像記録装置であって、前記動画像符号化装置と、前記動画像符号化装置によって生成された符号化信号を前記記憶媒体に記録する駆動部と、を備えることを特徴としている。

請求項１１記載の発明は、動画像を構成する一連の入力画像を圧縮符号化することで生成された圧縮符号化信号を復号化する復号化装置であって、前記圧縮符号化信号から所定の識別信号を分離するとともに前記圧縮符号化信号を復号化して参照画像と差分画像とを生成する復号化部と、前記識別信号に応じて所定の差分ベクトルを前記動き補償部に供給するベクトル供給部と、前記参照画像から前記差分ベクトルで指定される領域の予測画像を生成する動き補償部と、前記差分画像に前記予測画像を加算して低解像度画像を生成する加算部と、前記識別信号に応じて前記参照画像と低解像度画像とを合成して高解像度画像を再生する合成部と、を備え、前記参照画像と前記低解像度画像の各々は、前記高解像度画像の各々の画像信号をサンプリングすることにより生成されたものであり、前記差分ベクトルは、前記参照画像のサンプリング点から前記低解像度画像のサンプリング点へ向かう方向と前記高解像度画像の画素間隔よりも短いノルムとを有するものであることを特徴としている。

請求項１２記載の発明は、記憶媒体に記録された動画像を再生する動画像再生装置であって、前記記憶媒体から圧縮符号化信号を読み出す駆動部と、前記圧縮符号化信号から識別信号を分離するとともに前記圧縮符号化信号を復号化して参照画像と差分画像とを生成する復号化部と、前記識別信号に応じて所定の差分ベクトルを前記動き補償部に供給するベクトル供給部と、前記参照画像から前記差分ベクトルで指定される領域の予測画像を生成する動き補償部と、前記差分画像に前記予測画像を加算して低解像度画像を生成する加算部と、前記識別信号に応じて前記参照画像と低解像度画像とを合成して高解像度画像を再生する合成部と、を備え、前記参照画像と前記低解像度画像の各々は、前記高解像度画像の各々の画像信号をサンプリングすることにより生成されたものであり、前記差分ベクトルは、前記参照画像のサンプリング点から前記低解像度画像のサンプリング点へ向かう方向と前記高解像度画像の画素間隔よりも短いノルムとを有するものであることを特徴としている。

本発明の種々の実施例について以下に説明する。

図１は、本発明の実施例であるデコーダ／エンコーダ１を概略的に示すブロック図である。エンコーダ／デコーダ１は、動画像信号を圧縮符号化して符号化ストリームを生成する機能と、その符号化ストリームを復号化等して動画像信号を再生する機能とを有するものである。エンコーダ／デコーダ１は、システムコントローラ１１，入力インターフェース１２，量子化／逆量子化部（Ｑ／ＩＱ）１３，直交変換／逆直交変換部（ＯＴ／ＩＯＴ）１４，動き検出部（ＭＥ）１５，動き補償部（ＭＣ）１６，可変長符号化／可変長復号化部（ＶＬＣ／ＶＬＤ）１７，メモリインターフェース１８および出力インターフェース２０を有している。これら処理ブロック１１〜１８，２０は、データ信号を伝達するデータバス１０に接続されている。

システムコントローラ１１は、マイクロプロセッサ，ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory）および入出力インターフェースを内蔵した集積回路であって、複数の制御信号を制御バス（図示せず）を介してそれぞれ処理ブロック１１〜１８，２０に供給することにより、処理ブロック１１〜１８，２０の各々の動作を制御する機能を有する。また、システムコントローラ１１は、処理ブロック間のデータ転送を制御し得るデータ転送手段，たとえばＤＭＡコントローラを内蔵している。

メモリインターフェース１８は、動画像データを一時的に記憶する大容量の複数個のＳＤＲＡＭ（Synchronous DRAM）からなる画像メモリ１９と接続している。メモリインターフェース１８は、システムコントローラ１１の制御により、データバス１０を介して転送されたデータ信号を受信してこれを画像メモリ１９の指定アドレス領域に書き込む一方、画像メモリ１９の指定アドレス領域からデータ信号を読み出してこれを指定された転送先へデータバス１０を介して転送し得る。

直交変換／逆直交変換部（ＯＴ／ＩＯＴ）１４は、２次元の入力画像信号を垂直方向と水平方向とにそれぞれ直交変換してその空間周波数成分である変換係数を生成し得る。直交変換としては、ＤＣＴ（離散コサイン変換），ＤＳＴ（離散サイン変換），離散フーリエ変換，アダマール変換，ウェーブレット変換あるいは整数変換などが挙げられる。本実施例は、ＭＰＥＧ（Moving Picture Experts Group）方式で採用される直交変換を想定しているが、これに限定されるものではない。また、直交変換／逆直交変換部１４は、その変換係数を逆直交変換して画像信号を生成し得る。量子化／逆量子化部（Ｑ／ＩＱ）１３は、直交変換／逆直交変換部１４で生成された変換係数を所定の量子化値（quantization value）で除算することで量子化して量子化係数を生成し得る。逆に、量子化／逆量子化部（Ｑ／ＩＱ）１３は、量子化係数を逆量子化することで元の変換係数を生成し得る。

動き検出部（ＭＥ；Motion Estimator）１５および動き補償部（ＭＣ；Motion Compensator）１６は動き補償予測を実行するブロックである。動き補償予測については、後に詳述する。可変長符号化／可変長復号化部（ＶＬＣ／ＶＬＤ；Variable Length Coding/Decoding unit）１７は、たとえば、ハフマン符号化、ランレングス符号化および算術符号化のうちの一つまたは複数からなる可変長符号化並びにその復号化を実行し得る。ここで、可変長符号化またはその復号化された信号は、データバス１０を介して出力インターフェース２０へ転送され、外部に出力される。

図２は、図１に示されたデコーダ／エンコーダ１が組み込まれた動画像記録再生装置１００の一例を示す概略ブロック図である。動画像記録再生装置１００は、エンコーダ／デコーダ１，ディスク駆動部３，信号入力部５Ａ，信号出力部５Ｂおよびコントローラ４を有している。コントローラ４は、これら処理部３，１，５Ａ，５Ｂの動作を制御し得る。信号入力部５Ａは、外部から入力するビデオ信号およびオーディオ信号を取り込み、これら信号にノイズ除去，ゲイン調整，補間および間引きなどの信号処理を施してエンコーダ／デコーダ１に出力する。エンコーダ／デコーダ１は、図１に示した画像処理ブロックの他に、音声処理ブロック（図示せず）を有している。エンコーダ／デコーダ１は、信号入力部５Ａから入力するビデオ信号およびオーディオ信号をそれぞれ圧縮符号化してディスク駆動部３に供給する。ディスク駆動部３は、エンコーダ／デコーダ１から入力する圧縮符号化信号を光信号３ａに変換し、この光信号３ａを光ディスク２に照射して光ディスク２のトラック上に記録する。

一方、ディスク駆動部３は、光ディスク２のトラックに光を照射して記録信号を読み出し、この記録信号をＲＦ信号に変換してエンコーダ／デコーダ１に与え得る。このとき、エンコーダ／デコーダ１は、ディスク駆動部３から入力したＲＦ信号を復号化し、復号化された信号をオーディオ信号とビデオ信号とに分離し、これら信号を信号出力部５Ｂに供給する。信号出力部５Ｂは、ビデオ信号とオーディオ信号とに信号処理を施して外部に出力する。

図３は、本発明の一実施例であるエンコーダ１Ａを概略的に示すブロック図、図４は、本発明の一実施例であるデコーダ１Ｂを概略的に示すブロック図である。エンコーダ１Ａとデコーダ１Ｂの構成要素はすべてエンコーダ／デコーダ１（図１）に含まれる。図３中、直交変換部（ＯＴ）１４Ａと逆直交変換部（ＩＯＴ）１４Ｂは直交変換／逆直交変換部１４に、量子化部（Ｑ）１３Ａと逆量子化部（ＩＱ）１３Ｂは量子化／逆量子化部１３に、フレームメモリ１９ａは画像メモリ１９に、可変長符号化部（ＶＬＣ）１７Ａは可変長符号化／可変長復号化部１７に、多重化部（ＭＵＸ）２０Ａとレート制御部２２は出力インターフェース２０に、それぞれ含まれる。符号化制御部１１Ａ，サンプリング部２１，減算器２５，加算器２６，第１スイッチ２３および第２スイッチ２４の機能は、システムコントローラ１１によって実現され得る。

また、図４中、分離部（ＤＭＵＸ）２０Ｂは入力インターフェース１２に、可変長復号化部（ＶＬＤ）１７Ｂは可変長符号化／可変長復号化部１７に、逆量子化部（ＩＱ）１３Ｂは量子化／逆量子化部１３に、逆直交変換部（ＩＯＴ）１４Ｂは直交変換／逆直交変換部１４に、フレームメモリ１９ａは画像メモリ１９に、それぞれ含まれる。復号化制御部１１Ｂ，加算器２６およびスイッチ３０の機能は、システムコントローラ１１によって実現され得る。

先ず、上記構成を有するエンコーダ１Ａによる圧縮符号化処理を以下に説明する。エンコーダ１Ａは、ＭＰＥＧ方式によるノーマル符号化モードと、高能率圧縮符号化モードとの２種類の符号化処理モードを有しており、ノーマル符号化モードは、さらに、イントラ符号化モード、順方向予測符号化モードおよび双方向予測符号化モードを含む。後に詳述するように、エンコーダ１Ａは、動画像の変化が、たとえば１ＧＯＰ（Group Of Pictures）といった設定期間に亘って殆ど無い静止状態が続く場合は、かかる動画像の静止状態を検出し、処理モードをノーマル符号化モードから高能率圧縮符号化モードへ切り換える一方、動画像が静止状態から脱した場合は、処理モードを高能率圧縮符号化モードからノーマル符号化モードへ切り換える。

エンコーダ１Ａが圧縮符号化処理を実行するとき、図１に示される入力インターフェース１２には、高精細のＨＤフォーマットの動画像信号が入力する。入力インターフェース１２は、システムコントローラ１１の制御により、動画像信号をデータバス１０を介してメモリインターフェース１８に転送する。メモリインターフェース１８は、順次転送されたＨＤフォーマットの高解像度画像を画像メモリ１９に一時的に格納する。ここで、高解像度画像（high-resolution pictures）の各々は、自身が１枚の静止画像である１フレームでもよいし、あるいは、１フレームを２枚以上に分割して得られるフィールドでもよい。たとえば、１フレームを、当該フレームの偶数番目ラインからなる第１フィールドと、当該フレームの奇数番目ラインからなる第２フィールドとに分割することが可能である。

サンプリング部２１は、Ｌタップ（Ｌは２以上の整数）のＦＩＲフィルタを有しており、フィルタ処理によりサンプリングを実行し得る。図３を参照すると、エンコーダ１Ａがノーマル符号化モードで動作しているとき、サンプリング部２１は、符号化制御部１１Ａからの制御信号ＣＴＬ１に応じて、画像メモリ１９（図１）から転送された入力画像信号ＴＤをサンプリングすることにより画像信号ＭＤを生成し出力する。画像信号ＴＤのサンプリングは、マクロブロック単位またはサブブロック単位で行われる。たとえば４：２：０信号の場合、マクロブロックは、１６×１６画素の輝度信号（Ｙ信号）と、この輝度信号の空間的位置に対応する２種類の８×８画素の色差信号（Ｃｂ信号，Ｃｒ信号）とで構成される。サブブロックは、１６×１６画素の輝度信号がさらに４つの８×８画素の輝度信号に分割されたものである。

画像信号ＭＤがイントラ符号化（フレーム内符号化またはフィールド内符号化）される場合、画像信号ＭＤは、減算器２５を経由せずに、直交変換部１４Ａでサブブロック単位で直交変換され、量子化部１３Ａで量子化され、その後、可変長符号化部１７Ａで可変長符号化される。多重化部２０Ａは、可変長符号化された信号に、符号化情報を示す識別信号ＦＬＧを多重化すなわち付加し、その多重化信号をビットストリームＤＳとして出力する。レート制御部２２は、可変長符号化部１７Ａのバッファ（図示せず）に蓄積されている符号化データのバッファ占有量を監視し、バッファ占有量に応じた量子化ステップを決定する。量子化部１３Ａは、その量子化ステップに応じた精度で、直交変換部１４Ａからの変換係数を量子化する。一方、量子化部１３Ａで生成された量子化係数は、逆量子化部１３Ｂで逆量子化され、逆直交変換部１４Ｂで逆直交変換され、その後、加算器２６に入力する。加算器２６は、逆直交変換部１４Ｂから出力された再生画像データをそのままフレームメモリ１９ａに出力する。この結果、フレームメモリ１９ａには、再生画像が格納されることとなる。

画像信号ＭＤが予測動き補償を用いて差分符号化される場合、動き検出部１５は、フレーム間またはフィールド間の動画像内の画像の動きをマクロブロック単位またはサブブロック単位で検出し、その検出結果から動きベクトルＭＶ０を生成し得る。ノーマル符号化モードのとき、符号化制御部１１Ａは、論理値"０"の切換信号ＳＷ１を第１スイッチ２３および第２スイッチ２４（ベクトル選択部）に供給する。これに応じて、第１スイッチ２３は、動き検出部１５と接続する入力端子ａ２を選択し、第２スイッチ２４は、第１スイッチ２３と接続する入力端子ｂ２を選択する。この結果、動きベクトルＭＶ０は、第１スイッチ２３および第２スイッチ２４を介して動き補償部１６と可変長符号化部１７Ａに供給される。動き補償部１６は、フレームメモリ１９ａから再生画像（参照画像）を読み出し、この再生画像から動きベクトルＭＶ０で指定される領域の予測画像を生成し、その予測画像信号を減算器２５と加算器２６とに与える。

減算器２５は、動き補償部１６からの予測画像信号と画像信号ＭＤとの間の差分信号を生成しこの信号を直交変換部１４Ａに与える。差分信号は、直交変換部１４Ａでサブブロック単位で直交変換され、量子化部１３Ａで量子化され、その後、可変長符号化部１７Ａで可変長符号化される。多重化部２０Ａは、可変長符号化された信号に、符号化情報を示す識別信号ＦＬＧを多重化すなわち付加し、その多重化信号をビットストリームＤＳとして出力する。

図５を参照しつつ、ノーマル符号化モードにおける動き補償予測の一例を説明する。動き検出部１５は、現在処理対象の入力画像（以下、カレント画像と称する。）Ｉｃｒに対して時間的に前方または後方の画像Ｉｒｅｆを参照し、この参照画像Ｉｒｅｆから、カレント画像ＩｃｒのマクロブロックＭＢｃｒに最も類似するマクロブロックＭＢｒｅｆを探索する。次いで、動き検出部１５は、マクロブロックＭＢｃｒ，ＭＢｒｅｆ間の動きベクトルＭＶ０を算出する。動き補償部１６は、その動きベクトルＭＶ０で指定される領域の予測ブロックＰｂを算出し、この予測ブロックＰｂを減算器２５に与える。減算器２５は、予測ブロックＰｂと、現在処理対象のマクロブロックＭｂｃｒとの間の差分をとることで予測差分ブロックＤｂを算出する。この予測差分ブロックＤｂが、直交変換され、量子化されることとなる。ここで、図５の例では、一枚の参照画像のみから予測画像が生成されているが、この例の他にも、順方向予測符号化モードまたは双方向予測符号化モードにおいて、２枚以上の参照画像から、内挿補間または外挿補間により一の予測画像を生成することが可能である。

ここで、動き検出部１５は、１／２画素精度（ハーフペル精度）または１／４画素精度で動きベクトルＭＶ０を算出し得うるし、動き補償部１６は、１／２画素精度または１／４画素精度で予測ブロックを算出し得る。図６に示すように、整数精度で画素Ｄ₁，Ｄ₂，Ｄ₃，Ｄ₄が２次元配列している場合、１／２画素精度で演算を行う際には、２画素Ｄ₁，Ｄ₂から画素ｉ₁が、２画素Ｄ₂，Ｄ₃から画素ｉ₂が、２画素Ｄ₃，Ｄ₄から画素ｉ₃が、２画素Ｄ₁，Ｄ₄から画素ｉ₄が、それぞれ、内挿補間される。また、４画素Ｄ₁，Ｄ₂，Ｄ₃，Ｄ₄から中心画素ｉｃが内挿補間される。画素ｘの値をＰ（ｘ）で表現するとき、補間画素ｉ₁〜ｉ₄，ｉｃの値は、以下の式で与えられる。

１／２画素精度の補間画素が算出された後に、それら補間画素を用いてさらに１／４画素精度の画素を補間することも可能である。

上記ノーマル符号化モードの期間、符号化制御部１１Ａは、動き検出部１５から供給される動きベクトルＭＶ０に基づいて、たとえば１ＧＯＰ程度の設定期間に亘って動画像が静止状態にあるか否かを検出する機能（静止状態検出部）を有する。符号化制御部１１Ａは、たとえば、各マクロブロックについて動きベクトルＭＶ０のノルムを算出し、ノルムが設定期間に亘って許容値以下であれば、動画像が静止状態にあると判定することができる。

符号化制御部１１Ａは、動画像の設定期間に亘る静止状態を検出したときは、エンコーダ１Ａの動作モードをノーマル符号化モードから高能率圧縮符号化モードに切り換える。このとき、論理値"１"の切換信号ＳＷ１が、第１スイッチ２３および第２スイッチ２４に与えられる。また、高能率圧縮符号化モードでの動作を指示する制御信号ＣＴＬ１がサンプリング部２１に与えられ、高能率圧縮符号化モードの符号化情報を示す識別信号ＦＬＧが多重化部２０Ａに与えられる。符号化制御部１１Ａは、さらに、差分ベクトルＭＶ１を第１スイッチ２３に供給し、零ベクトル（null vector）ＭＶｎを第２スイッチ２４に供給する。

論理値"１"の切換信号ＳＷ１に応じて、第１スイッチ２３は符号化制御部１１Ａと接続する入力端子ａ１を選択する一方で第２スイッチ２４は入力端子ｂ１を選択する。この結果、動き補償部１６には差分ベクトルＭＶ１が供給され、可変長符号化部１７Ａには、動きベクトルＭＶ０の代わりに零ベクトルＭＶｎが供給される。

高能率圧縮符号化モードにおいては、サンプリング部２１は、水平方向にＮ画素おき且つ垂直方向にＭ画素おきのサンプリング点で（Ｍ，Ｎは共に１以上の整数）入力画像信号ＴＤをサンプリングすることにより、各入力画像を複数の低解像度画像に分解する。図７は、本実施例によるサンプリングフォーマットの一例を概略的に示す図である。図７中、"ａ"，"ｂ"，"ｃ"，"ｄ"は２次元配列した画素を表している。このサンプリングフォーマットでは、水平方向に１画素おき且つ垂直方向に１画素おきに画像信号ＴＤをサンプリングすることにより、１枚の高解像度画像から４枚の低解像度画像が生成される。すなわち、画素"ａ"のみのサンプリングにより生成される第１画像と、画素"ｂ"のみのサンプリングにより生成される第２画像と、画素"ｃ"のみのサンプリングにより生成される第３画像と、画素"ｄ"のみのサンプリングにより生成される第３画像とが生成されることとなる。サンプリング点は各画素の中央に位置する。一般に、静止画像内で隣接する画素は、互いに非常に強い相関を有している。したがって、特に図７に示すように、水平方向，垂直方向または斜め方向に互いに隣接する画素"ａ"，"ｂ"，"ｃ"，"ｄ"を各画像別にサンプリングすることで、互いに強い相関を有する第１画像，第２画像，第３画像および第４画像を得ることができる。

ここで、サンプリングされた画像信号ＭＤの解像度を所定の解像度に一致させたい場合、サンプリング部２１は、入力画像信号ＴＤの解像度変換を実行した後に、又は当該解像度変換と同時に、水平方向にＮ画素おき且つ垂直方向にＭ画素おきのサンプリング点で画像信号ＴＤをサンプリングすることができる。上述した通り、本実施例は、入力画像として、ＨＤフォーマットに準拠した１０８０×１９２０画素の高精細画像を想定している。たとえば、サンプリングされた画像信号ＭＤの解像度を、ＳＤフォーマットに準拠した４８０×７２０画素のそれに一致させたい場合は、サンプリング部２１は、入力画像信号ＴＤの解像度変換により９６０×１４４０画素の中間画像信号を生成し、その後、水平方向に１画素おき且つ垂直方向に１画素おきに中間画像信号をサンプリングすることにより、４８０×７２０画素の解像度を持つＳＤ画像信号ＭＤを生成すればよい。また、内挿補間処理または間引き処理で解像度変換を実行し得ることから、前述のサンプリング処理と解像度変換とが一つのフィルタで同時に実行されるようにフィルタ係数を決定することも可能である。

符号化制御部１１Ａは、複数の低解像度画像を一の選択画像と、当該選択画像以外の非選択画像とに分類する。符号化制御部１１Ａは、さらに、選択画像のサンプリング点から非選択画像のサンプリング点へ向かう方向と、高解像度画像における水平方向または垂直方向の画素間隔（サンプリング間隔）よりも短いノルムとを持つ差分ベクトルＭＶ１を生成する機能（ベクトル生成部）を有する。サンプリング部２１が水平方向にＮ画素おき且つ垂直方向にＭ画素おきのサンプリング点で入力画像信号ＴＤをサンプリングするとき、ノルム算出の容易さの観点からは、差分ベクトルＭＶ１のノルムは、ｐ／（Ｎ＋１）画素間隔の水平成分（ｐは１〜Ｎの整数）およびｑ／（Ｍ＋１）画素間隔の垂直成分（ｑは１〜Ｍの整数）を有することが望ましい。

図７の例では、画素"ａ"のみからなる第１画像が選択画像に設定されたとき、第２〜第４画像の非選択画像の各々について差分ベクトルＶ０，Ｖ１，Ｖ２が生成される。すなわち、図８に示されるように、差分ベクトルＶ０は、選択画像の画素"ａ"のサンプリング点から隣接画素"ｂ"のサンプリング点へ向かう水平方向と、２画素"ａ"，"ｂ"の間隔よりも短い１／２画素間隔の水平成分からなるノルムとを有しており、差分ベクトルＶ１は、画素"ａ"のサンプリング点から隣接画素"ｃ"のサンプリング点へ向かう垂直方向と、２画素"ａ"，"ｃ"の間隔よりも短い１／２画素間隔の垂直成分からなるノルムとを有しており、差分ベクトルＶ２は、画素"ａ"のサンプリング点から隣接画素"ｄ"のサンプリング点へ向かう方向と、１／２画素間隔の水平成分および１／２画素間隔の垂直成分からなるノルムとを有している。

図９および図１０（Ａ），（Ｂ），（Ｃ），（Ｄ）を参照しつつ、より具体的なサンプリング例を以下に示す。図９は、１６×１６画素のマクロブロックＭｂの一例を概略的に示す図である。説明の便宜上、このマクロブロックの画素には、それぞれ、"１"，"２"，"３"，"４"…の画素値が付されており、水平方向または垂直方向に隣接する画素間の値の差はすべて"１"である。図７に示すサンプリングフォーマットに従ってマクロブロックＭｂをサンプリングすることにより、図１０に示すように低解像度のサブブロックＳＢ１，ＳＢ２，ＳＢ３，ＳＢ４が生成され得る。いま、差分ベクトルの水平成分をＶｘ，その垂直成分をＶｙとし、水平方向と垂直方向の画素間隔を"１"とし、差分ベクトルを（Ｖｘ，Ｖｙ）で表すものとする。サブブロックＳＢ１が選択ブロックに設定されると、選択ブロックＳＢ１とサブブロックＳＢ２との間の差分ベクトル（１／２，０）、選択ブロックＳＢ１とサブブロックＳＢ３との間の差分ベクトル（０，１／２）、および、選択ブロックＳＢ１とサブブロックＳＢ４との間の差分ベクトル（１／２，１／２）が算出される。

図３を参照すると、サンプリング部２１は、先ず、選択画像（選択ブロック）の信号ＭＤを生成し出力する。このとき、この選択画像信号ＭＤは、減算器２５を経由せずに、直交変換部１４Ａでサブブロック単位で直交変換され、量子化部１３Ａで量子化され、その後、可変長符号化部１７Ａで可変長符号化される。この結果、選択画像はイントラ符号化される。ここで、可変長符号化部１７Ａは、量子化部１３Ａから入力する量子化係数に、第２スイッチ２４によって与えられる零ベクトルＭＶｎを多重化すなわち付加する。多重化部２０Ａは、可変長符号化された信号に、上記サンプリングフォーマットなどの符号化情報を示す識別信号ＦＬＧを多重化すなわち付加し、この信号をビットストリームＤＳとして出力する。

一方、量子化部１３Ａで生成された量子化係数は、逆量子化部１３Ｂで逆量子化され、逆直交変換部１４Ｂで逆直交変換され、その後、加算器２６を介してフレームメモリ１９ａに格納される。この結果、フレームメモリ１９ａには、再生された選択画像が格納されることとなる。

続けて、サンプリング部２１は、複数の非選択画像の信号ＭＤを順次生成し出力する。このとき、動き補償部１６は、フレームメモリ１９ａから選択画像を参照画像として読み出し、この選択画像から差分ベクトルＭＶ１で指定される領域の予測画像を１／２画素精度または１／４画素精度で生成し、その予測画像信号を減算器２５と加算器２６とに与える。

減算器２５は、動き補償部１６からの予測画像信号と非選択画像信号ＭＤとの間の差分信号を生成しこの信号を直交変換部１４Ａに出力する。差分信号は、直交変換部１４Ａでサブブロック単位で直交変換され、量子化部１３Ａで量子化され、その後、可変長符号化部１７Ａで可変長符号化される。多重化部２０Ａは、可変長符号化された信号に識別信号ＦＬＧを多重化すなわち付加し、その多重化信号をビットストリームＤＳとして出力する。

図７の例では、画素"ａ"のみからなる第１画像が選択画像に設定されているとき、動き補償部１６は、フレームメモリ１９ａから選択画像を読み出して動き補償を行う。具体的には、サンプリング部２１が画素"ｂ"のみからなる非選択画像を出力したとき、動き補償部１６には、符号化制御部１１Ａから第１スイッチ２３を介して差分ベクトルＶ０（＝ＭＶ１）が供給される。図１１に示されるように、動き補償部１６は、各画素について差分ベクトルＶ０で示される領域にある１／２画素精度の画素"ｂ’"を内挿補間することにより、これら補間画素"ｂ’"のみからなる予測画像を生成して予測画像信号を減算器２５に供給する。減算器２５は、その予測画像信号と、画素"ｂ"のみからなる非選択画像信号ＭＤとの差分信号を生成しこの信号を直交変換部１４Ａに与える。

次に、サンプリング部２１が画素"ｃ"のみからなる非選択画像を出力したとき、動き補償部１６には、符号化制御部１１Ａから第１スイッチ２３を介して差分ベクトルＶ１（＝ＭＶ１）が供給される。図１１に示されるように、動き補償部１６は、各画素について差分ベクトルＶ１で示される領域にある１／２画素精度の画素"ｃ’"を内挿補間することにより、これら補間画素"ｃ’"のみからなる予測画像を生成して予測画像信号を減算器２５に供給する。減算器２５は、その予測画像信号と、画素"ｃ"のみからなる非選択画像信号ＭＤとの差分信号を生成しこの信号を直交変換部１４Ａに与える。

次に、サンプリング部２１が画素"ｄ"のみからなる非選択画像を出力したとき、動き補償部１６には、符号化制御部１１Ａから第１スイッチ２３を介して差分ベクトルＶ２（＝ＭＶ１）が供給される。図１１に示されるように、動き補償部１６は、各画素について差分ベクトルＶ２で示される領域にある１／２画素精度の画素"ｄ’"を内挿補間することにより、これら補間画素"ｄ’"のみからなる予測画像を生成して予測画像信号を減算器２５に供給する。減算器２５は、その予測画像信号と、画素"ｄ"のみからなる非選択画像信号ＭＤとの差分信号を生成しこの信号を直交変換部１４Ａに与える。

したがって、選択画像はイントラ符号化された後に出力され、非選択画像は、選択画像を参照画像として用いた予測動き補償により差分符号化された後に出力される。上述の通り、選択画像と非選択画像との間の相関は強いため、予測画像信号と非選択画像信号との間の差は非常に小さく、これにより差分信号を極めて高い圧縮効率で符号化することができる。

図１０の例では、動き補償部１６が差分ベクトル（１／２，０）を用いて選択ブロックＳＢ１から予測ブロックを生成したとき、この予測ブロックの画素値は、非選択ブロックＳＢ２の画素値と全く同一になる。また、動き補償部１６が差分ベクトル（０，１／２）を用いて選択ブロックＳＢ１から予測ブロックを生成したとき、この予測ブロックの画素値は、非選択ブロックＳＢ３の画素値と同一であり、動き補償部１６が差分ベクトル（１／２，１／２）を用いて選択ブロックＳＢ１から予測ブロックを生成したときも、この予測ブロックの画素値は、非選択ブロックＳＢ４の画素値と同一となる。よって、予測ブロックと非選択ブロックとの間の画素値の差はすべて零になることが分かる。

以上より、本実施例のエンコーダ１Ａを搭載する動画像記録再生装置は、ＨＤ映像のような高精細の動画像を、媒体容量に限りのあるハードディスクドライブや光ディスクなどの記憶媒体に長時間録画することが可能である。また、後述するように、記憶媒体に記録されている選択画像と非選択画像を再生しこれら画像を合成することにより高精細動画像を再生できるため、画質を殆ど劣化させることのない、高精細動画像の長時間録画が可能である。

また、エンコーダ１Ａは、高解像度画像を選択画像と非選択画像とに分解し、これら画像の符号化データを時分割で出力することができるため、エンコーダ１Ａを搭載する通信装置は、コンピュータネットワークなどの伝送路の帯域を圧迫することなく、画像データを効率良く送信することができる。

次に、デコーダ１Ｂ（図４参照）による復号化処理を以下に説明する。デコーダ１Ｂは、ＭＰＥＧ方式によるノーマル復号化モードと合成復号化モードとの２種類の処理モードを有している。分離部２０Ｂは、ビットストリームＤＳから識別信号ＦＬＧを分離して復号化制御部１１Ｂに与える。復号化制御部１１Ｂは、識別信号ＦＬＧが上記高能率圧縮符号化モードの符号化情報を示す期間は、デコーダ１Ｂの動作モードをノーマル復号化モードから合成復号化モードに切り換え、論理値"１"の切換信号ＳＷ２をスイッチ３０に与える。この結果、スイッチ３０は、復号化制御部１１Ｂと接続する入力端子ｃ１を選択することとなる。一方、識別信号ＦＬＧが上記ノーマル符号化モードの符号化情報を示す期間は、復号化制御部１１Ｂは、動作モードをノーマル復号化モードに切り換え、論理値"０"の切換信号ＳＷ２をスイッチ３０に与える。この結果、スイッチ３０は、可変長復号化部１７Ｂと接続する入力端子ｃ２を選択することとなる。

先ず、デコーダ１Ｂがノーマル復号化モードで動作する場合を説明する。可変長復号化部１７Ｂは、分離部２０Ｂから入力するビットストリームを可変長復号化することにより量子化係数を生成する一方、ビットストリームから動きベクトルＭＶを分離しスイッチ３０に与える。ここで、動きベクトルＭＶは、上記動きベクトルＭＶ０または上記零ベクトルＭＶｎのいずれか一方である。前記量子化係数は、逆量子化部１３Ｂで逆量子化され、逆直交変換部１４Ｂで逆直交変換される。この結果、逆直交変換部１４Ｂは、画像信号または差分信号のいずれか一方の信号ＫＤを出力する。

ビットストリームＤＳがイントラ符号化された信号を含む場合、加算器２６は、逆直交変換部１４Ｂから入力した画像信号ＫＤをそのまま合成部３２とフレームメモリ１９ａとに供給する。合成部３２は、制御信号ＣＴＬ２に応じて合成処理をせずにその画像信号を出力する。また、フレームメモリ１９ａは、加算器２６からの画像信号を参照画像信号として格納する。

一方、ビットストリームＤＳが、予測動き補償を用いて差分符号化された信号を含む場合、動き検出部１５は、フレームメモリ１９ａから参照画像を読み出し、この参照画像から動きベクトルＭＶで指定される領域の予測画像を生成し、その予測画像信号を加算器２６に与える。加算器２６は、動き補償部１６からの予測画像信号に差分信号ＫＤを加算することで画像信号を生成し合成部３２に与える。次に、合成部３２は、制御信号ＣＴＬ２に応じて合成処理せずにその画像信号を出力する。

他方、ビットストリームＤＳが上記高能率圧縮符号化モードに基づく符号化信号を含むにも関わらず、識別信号ＦＬＧが高能率圧縮符号化モードを示さない場合がありうる。かかる場合、逆直交変換部１４Ｂが選択画像信号ＫＤを出力するとき、この選択画像信号ＫＤはそのままフレームメモリ１９ａに格納される。次に、逆直交変換部１４Ｂが差分信号ＫＤを出力するとき、動き補償部１６は、フレームメモリ１９ａから、上記した低解像度の選択画像を予測画像として読み出し、その予測画像信号を加算器２６に与える。よって、動きベクトルＭＶが零ベクトルであるため、デコーダ１Ｂは、動きベクトルＭＶに関係無く、高画質の低解像度画像を再生し出力することができる。

次に、デコーダ１Ｂが合成復号化モードで動作する場合を説明する。ビットストリームＤＳが、選択画像をイントラ符号化して得た信号を含むとき、逆直交変換部１４Ｂは、選択画像信号ＫＤを加算器２６に与え、加算器２６は、選択画像信号ＫＤをそのまま合成部３２とフレームメモリ１９ａとに供給する。合成部３２は、制御信号ＣＴＬ２に応じて合成処理のために選択画像を記憶する。続けて、差分信号を含むビットストリームＤＳがデコーダ１Ｂに入力すると、動き補償部１６は、フレームメモリ１９ａから選択画像を参照画像として読み出し、復号化制御部１１Ｂからスイッチ３０を介して与えられた差分ベクトルＭＶ１で指定される領域の予測画像を１／２画素精度または１／４画素精度で生成する。加算器２６は、その予測画像信号に差分信号ＫＤを加算することにより上記非選択画像を再生する。合成部３２は、合成処理のために、加算器２６から入力した非選択画像信号を記憶する。

合成部３２は、記憶している選択画像および非選択画像を合成することにより高解像度画像を再生する。たとえば、エンコーダ１Ａ（図３）が、図９に示されるマクロブロックＭｂをサンプリングすることで、図１０（Ａ）〜（Ｄ）に示される選択ブロックＳＢ１と非選択ブロックＳＢ２〜ＳＢ４を生成した場合、合成部３２は、再生された選択ブロックＳＢ１と再生された非選択ブロックＳＢ２〜ＳＢ４とを合成することで元のマクロブロックＭｂを再生することとなる。合成部３２による合成処理の手順を示す情報は、復号化制御部１１Ｂから合成部３２に与えられる。かかる情報は、識別信号ＦＬＧに含められてもよいし、あるいは、復号化制御部１１Ｂに予め記憶されていてもよい。

なお、合成部３２は、再生した高解像度画像を解像度変換するために、内挿補間，外挿補間または間引きを実行し得る手段，たとえば，Ｋタップ（Ｋは２以上の整数）のＦＩＲフィルタを有していてもよい。

本発明の実施例であるデコーダ／エンコーダを概略的に示すブロック図である。図１に示されたデコーダ／エンコーダが組み込まれた動画像記録再生装置の一例を示す概略ブロック図である。本発明の一実施例であるエンコーダを概略的に示すブロック図である。本発明の一実施例であるデコーダを概略的に示すブロック図である。動き補償予測を説明するための概略図である。１／２画素精度の内挿補間を説明するための図である。サンプリングフォーマットの一例を概略的に示す図である。差分ベクトルの例を示す図である。１６×１６画素のマクロブロックの一例を概略的に示す図である。８×８画素のサブブロックの例を概略的に示す図である。予測画像の生成法の一例を説明するための概略図である。

符号の説明

１エンコーダ／デコーダ
１Ａエンコーダ（動画像符号化装置）
１Ｂデコーダ（復号化装置）
２光ディスク
３ディスク駆動部
４コントローラ
１３量子化／逆量子化部（Ｑ／ＩＱ）
１３Ａ量子化部（Ｑ）
１３Ｂ逆量子化部（ＩＱ）
１４直交変換／逆直交変換部（ＯＴ／ＩＯＴ）
１４Ａ直交変換部（ＯＴ）
１４Ｂ逆直交変換部（ＩＯＴ）
１５動き検出部（ＭＥ）
１６動き補償部（ＭＣ）
１７可変長符号化／可変長復号化部（ＶＬＣ／ＶＬＤ）
１７Ａ可変長符号化部（ＶＬＣ）
１７Ｂ可変長復号化部（ＶＬＤ）
１９ａフレームメモリ
２０Ａ多重化部（ＭＵＸ）
２０Ｂ分離部（ＤＭＵＸ）
２１サンプリング部
３２合成部
１００動画像記録再生装置

Claims

動画像を構成する一連の入力画像を符号化する動画像符号化装置であって、
前記入力画像の画像信号をサンプリングすることにより前記入力画像の各々から複数の低解像度画像を生成するサンプリング部と、
前記低解像度画像を一の選択画像と当該選択画像以外の非選択画像とに分類するとともに、前記選択画像のサンプリング点から前記非選択画像のサンプリング点へ向かう方向と前記入力画像の画素間隔よりも短いノルムとを持つ差分ベクトルを生成するベクトル生成部と、
前記選択画像を参照して当該選択画像から前記差分ベクトルで指定される領域の予測画像を生成する動き補償部と、
前記選択画像を圧縮符号化するとともに、前記非選択画像と前記予測画像との間の差分画像を生成しこれを圧縮符号化する符号化部と、
を備えることを特徴とする動画像符号化装置。
請求項１記載の動画像符号化装置であって、前記非選択画像のサンプリング点は、前記選択画像のサンプリング点から、隣接画素間隔以内に位置することを特徴とする動画像符号化装置。
請求項１または２記載の動画像符号化装置であって、
前記サンプリング部は、水平方向にＮ画素おき且つ垂直方向にＭ画素おきのサンプリング点で（Ｎ，Ｍは共に１以上の整数）前記画像信号をサンプリングし、
前記ベクトル生成部は、ｐ／（Ｎ＋１）画素間隔の水平成分（ｐは１〜Ｎの整数）およびｑ／（Ｍ＋１）画素間隔の垂直成分（ｑは１〜Ｍの整数）からなるノルムを持つベクトルを前記差分ベクトルとして生成することを特徴とする動画像符号化装置。
請求項３記載の動画像符号化装置であって、
前記動き補償部は、１／２画素精度で前記予測画像を生成する機能を有し、
前記サンプリング部は、１画素おきのサンプリング点で前記画像信号をサンプリングすることを特徴とする動画像符号化装置。
請求項３または４記載の動画像符号化装置であって、
前記動き補償部は、１／４画素精度で前記予測画像を生成する機能を有し、
前記サンプリング部は、２画素おきのサンプリング点で前記画像信号をサンプリングすることを特徴とする動画像符号化装置。
請求項１から５のうちのいずれか１項に記載の動画像符号化装置であって、
現在処理対象の入力画像と、前記現在処理対象の入力画像に対して時間的に前方または後方の参照画像との間での動きベクトルを生成する動き検出部と、
前記動きベクトルまたは前記差分ベクトルのいずれか一方を選択し、選択されたベクトルを前記動き補償部に供給するベクトル選択部と、をさらに備え、
前記ベクトル選択部が前記動きベクトルを選択したとき、前記動き補償部は、参照画像から前記動きベクトルで指定される領域の予測画像を生成し、前記符号化部は、前記現在処理対象の入力画像と前記予測画像との間の差分画像を生成しこれを圧縮符号化することを特徴とする動画像符号化装置。
請求項６記載の動画像符号化装置であって、
前記動きベクトルに基づいて前記動画像が所定期間に亘って静止状態にあることを検出する静止状態検出部をさらに備え、
前記ベクトル選択部は、前記静止状態検出部が前記動画像の所定期間に亘る静止状態を検出したときは前記差分ベクトルを選択する一方、前記静止状態検出部が前記動画像の所定期間に亘る静止状態を検出しないときは前記動きベクトルを選択することを特徴とする動画像符号化装置。
請求項６または７記載の動画像符号化装置であって、前記ベクトル選択部が前記動きベクトルを選択したときは、前記符号化部で圧縮符号化された信号に前記動きベクトルのデータを付加する一方、前記ベクトル選択部が前記差分ベクトルを選択したときは、前記動きベクトルの代わりに零ベクトルのデータを、前記符号化部で圧縮符号化された信号に付加する手段を有することを特徴とする動画像符号化装置。
請求項６から８のうちのいずれか１項に記載の動画像符号化装置であって、前記ベクトル選択部が前記差分ベクトルを選択したときは、その選択を示す識別信号を、前記符号化部で圧縮符号化された信号に付加する手段を有することを特徴とする動画像符号化装置。
動画像を構成する一連の入力画像を符号化して記憶媒体に記録する動画像記録装置であって、
請求項１から９のうちのいずれか１項に記載の動画像符号化装置と、
前記動画像符号化装置によって生成された符号化信号を前記記憶媒体に記録する駆動部と、
を備えることを特徴とする動画像記録装置。
動画像を構成する一連の入力画像を圧縮符号化することで生成された圧縮符号化信号を復号化する復号化装置であって、
前記圧縮符号化信号から所定の識別信号を分離するとともに前記圧縮符号化信号を復号化して参照画像と差分画像とを生成する復号化部と、
前記識別信号に応じて所定の差分ベクトルを前記動き補償部に供給するベクトル供給部と、
前記参照画像から前記差分ベクトルで指定される領域の予測画像を生成する動き補償部と、
前記差分画像に前記予測画像を加算して低解像度画像を生成する加算部と、
前記識別信号に応じて前記参照画像と低解像度画像とを合成して高解像度画像を再生する合成部と、を備え、
前記参照画像と前記低解像度画像の各々は、前記高解像度画像の各々の画像信号をサンプリングすることにより生成されたものであり、前記差分ベクトルは、前記参照画像のサンプリング点から前記低解像度画像のサンプリング点へ向かう方向と前記高解像度画像の画素間隔よりも短いノルムとを有するものであることを特徴とする復号化装置。
記憶媒体に記録された動画像を再生する動画像再生装置であって、
前記記憶媒体から圧縮符号化信号を読み出す駆動部と、
前記圧縮符号化信号から識別信号を分離するとともに前記圧縮符号化信号を復号化して参照画像と差分画像とを生成する復号化部と、
前記識別信号に応じて所定の差分ベクトルを前記動き補償部に供給するベクトル供給部と、
前記参照画像から前記差分ベクトルで指定される領域の予測画像を生成する動き補償部と、
前記差分画像に前記予測画像を加算して低解像度画像を生成する加算部と、
前記識別信号に応じて前記参照画像と低解像度画像とを合成して高解像度画像を再生する合成部と、を備え、
前記参照画像と前記低解像度画像の各々は、前記高解像度画像の各々の画像信号をサンプリングすることにより生成されたものであり、前記差分ベクトルは、前記参照画像のサンプリング点から前記低解像度画像のサンプリング点へ向かう方向と前記高解像度画像の画素間隔よりも短いノルムとを有するものであることを特徴とする動画像再生装置。