JP2004120138A - 動画像符号化方法および動画像復号化方法 - Google Patents

Abstract

【目的】同じピクチャを参照した場合であっても、重み付け予測で異なる重み係数を用いることができるとともに、圧縮率を損なうことなく動きベクトルの予測処理を行うことができる動画像符号化方法および動画像復号化方法等を提供する。
【解決手段】動画像符号化装置１の可変長符号化ユニットＶＬＣは、符号化対象ブロックの動きベクトルＭＶｔを、動きベクトルＭＶａ、ＭＶｂ、ＭＶｃの中で動きベクトルＭＶｔと相対インデックスが同じ、すなわち符号化対象ブロックと同じピクチャ番号で、かつ同じ重み係数である画像を参照している動きベクトルから予測を行うＭＶ予測部１０８を備える。
【選択図】　図２

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の復号化画像を参照して動画像信号を符号化もしくは復号化する動画像符号化方法、動画像符号化装置、動画像復号化方法、動画像復号化装置、並びにそれをソフトウェアで実施するためのプログラムを格納した記録媒体に関する。
【０００２】
【従来の技術】
近年、音声、画像、およびその他の画素値等の情報を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式として表すことが必須条件となる。
【０００３】
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４ｋｂｉｔｓ　（電話品質）、更に動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は６４ｋｂｐｓ〜１．５Ｍｂｐｓ　の伝送速度を持つサービス総合ディジタル通信網（ＩＳＤＮ：Ｉｎｔｅｇｒａｔｅｄ　Ｓｅｒｖｉｃｅｓ　Ｄｉｇｉｔａｌ　Ｎｅｔｗｏｒｋ　）によって既に実用化されているが、テレビカメラにより撮影された映像の情報をそのままＩＳＤＮで送ることは不可能である。
【０００４】
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ―Ｔ（国際電気通信連合　電気通信標準化部門）で国際標準化されたＨ．２６１　やＨ．２６３　規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
【０００５】
ここで、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）とは、動画像信号のディジタル圧縮の国際規格であり、ＭＰＥＧ−１は、動画像信号を１．５Ｍｂｐｓ　まで、つまりテレビ信号の情報を約　１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格を対象とする伝送速度が主として約１．５Ｍｂｐｓ　に制限されていることから、更なる高画質化の要求を満たすべく規格化されたＭＰＥＧ−２では、動画像信号が２〜１５Ｍｂｐｓに圧縮される。
【０００６】
更に現状では、ＭＰＥＧ−１、ＭＰＥＧ−２と標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣ　ＪＴＣ１／ＳＣ２９／ＷＧ１１）によって、より圧縮率が高いＭＰＥＧ−４が規格化された。ＭＰＥＧ−４では、低ビットレートで効率の高い符号化が可能になるだけでなく、伝送路誤りが発生しても主観的な画質劣化を小さくできる強力な誤り耐性技術も導入されている。また、ＩＴＵ―Ｔでは次世代画像符号化方式として、Ｈ．２６Ｌ　の標準化活動が進んでいる。
【０００７】
一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。
【０００８】
図１３はピクチャの種類とその参照関係を説明するための図である。各ピクチャは、左が表示時刻が古く右が新しい順序で並んでいる。
ピクチャＩ１のように参照画像を持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。また、ピクチャＰ１０のように１枚のピクチャのみを参照し画面間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化を行うことのできるものをＢピクチャと呼ぶ。ＢピクチャはピクチャＢ６、Ｂ１２、Ｂ１８のように表示時間が前方もしくは後方から任意の組み合わせとして２枚のピクチャを参照することが可能である。参照画像（参照ピクチャ）は符号化および復号化の単位であるブロックごとに指定することができるが、符号化を行ったビットストリーム中に先に記述される方の参照ピクチャを第１参照ピクチャ、後に記述される方を第２参照ピクチャとして区別する。
ただし、これらのピクチャを符号化および復号化する場合の条件として、参照するピクチャが既に符号化および復号化されている必要がある。
図１４はＢピクチャを符号化および復号化する場合の順番の例である。図１４（ａ）はピクチャが表示される順番で、左が表示時刻が古く、図１４（ｂ）は（ａ）のピクチャを符号化および復号化する順番に並び替えたものであり左のピクチャがビットストリームで先頭に配置され先に符号化および復号化される。ピクチャＢ３、Ｂ６によって参照されるピクチャはピクチャＢ３、Ｂ６よりも先に符号化および復号化されるようにビットストリーム中で並び替えられることが分かる。
【０００９】
以下、フレーム単位で処理される場合と、１つのフレームが２つのフィールドから構成され、フィールド単位で処理される場合とに分けて、予測画像の作成方法について図１５、図１６を用いて詳しく説明する。なお、復号化の場合の予測画像の作成方法についても全く同様である。
【００１０】
図１５は、フレーム単位で重み付け予測処理を説明するための模式図である。
図１５（ａ）　に示す１つのフレームを参照する場合、現在の符号化対象ブロックに対応する予測画像の画素値Ｑは、参照するフレームｉにおける参照対象ブロックの画素値Ｐ０より、式（Ａ）に示すような重み付け予測式によって算出することができる。また、図１５（ｂ）　に示す２つのフレームを参照する場合、予測画像の画素値Ｑは、参照するフレームｉ、ｊにおける参照対象ブロックの画素値Ｐ０、Ｐ１より、式（Ｂ）に示すような重み付け予測式によって算出することができる。
【００１１】
Ｑ＝（Ｐ０×Ｗ０＋Ｄ）／Ｗ２　……（Ａ）
【００１２】
Ｑ＝（Ｐ０×Ｗ０＋Ｐ１×Ｗ１＋Ｄ）／Ｗ２　……（Ｂ）
【００１３】
図１６は、フィールド単位で重み付け予測処理を説明するための模式図である。
図１６（ａ）　に示す１つのフレームを参照する場合、現在の符号化対象ブロックに対応する予測画像の画素値Ｑａ、Ｑｂは、参照するフレームｉを構成するフィールド２×ｉ＋１、２×ｉそれぞれにおける参照対象ブロックの画素値Ｐ０ａ、Ｐ０ｂより、式（Ｃ）（Ｄ）に示すような重み付け予測式によって算出することができる。また、図１６（ｂ）　に示す２つのフレームを参照する場合、予測画像の画素値Ｑは、参照するフレームｉ、ｊを構成するフィールド２×ｉ＋１、２×ｉ、２×ｊ＋１、２×ｊそれぞれにおける参照対象ブロックの画素値Ｐ０ａ、Ｐ０ｂ、Ｐ１ａ、Ｐ１ｂより、式（Ｅ）（Ｆ）に示すような重み付け予測式によって算出することができる。
【００１４】
Ｑａ＝（Ｐ０ａ×Ｗ０ａ＋Ｄａ）／Ｗ２ａ　……（Ｃ）
【００１５】
Ｑｂ＝（Ｐ０ｂ×Ｗ０ｂ＋Ｄｂ）／Ｗ２ｂ　……（Ｄ）
【００１６】
Ｑａ＝（Ｐ０ａ×Ｗ０ａ＋Ｐ１ａ×Ｗ１ａ＋Ｄａ）／Ｗ２ａ　……（Ｅ）
【００１７】
Ｑｂ＝（Ｐ０ｂ×Ｗ０ｂ＋Ｐ１ｂ×Ｗ１ｂ＋Ｄｂ）／Ｗ２ｂ　……（Ｆ）
【００１８】
ここで、Ｗ０、Ｗ１、Ｗ２、Ｄは、重み付け予測を行うための係数である。これらの重み係数は、各ブロックが参照するピクチャを指定する相対インデックスＲｉｎｄｅｘによって決定されるものである。
【００１９】
次に、参照ピクチャおよび重み係数を指定するための相対インデックスについて図１７を用いて説明する。各ピクチャには復号化画像の中で参照画像となるピクチャ特定するため、メモリに蓄積されている復号化画像にピクチャ番号という値が割り振られている。このピクチャ番号は前記メモリに蓄積されるごとに１ずつ増加する。しかし、実際に参照画像を指定するのはこのピクチャ番号ではなく、別に定義された相対インデックスという値を使用する。表示時刻が近いピクチャほど相関が強いが、Ｂピクチャのように表示順序と符号化・復号化順序が一致しない場合はピクチャ番号は必ずしも画面間の相関の大きさの順序にならない。
そこで、画面間の相関の大きさの順序に番号を割り当てた相対インデックスを使用することで、相対インデックスが画面間相関の強い順番になり、直接ピクチャ番号で扱うよりも圧縮が容易になる。Ｂピクチャは２つのピクチャを参照するので、第１参照ピクチャを示すものを第１相対インデックス、第２参照ピクチャを示すものを第２相対インデックスと呼ぶ。
【００２０】
図１７は相対インデックスＲｉｎｄｅｘとピクチャ番号Ｉｎｄｅｘ　および重み係数との関係の例を示すための説明図であり、相対インデックスＲｉｎｄｅｘが（ａ）　フレーム単位での第１相対インデックス、（ｂ）　フレーム単位での第２相対インデックス、（ｃ）　フィールド単位での第１相対インデックス、（ｄ）　フィールド単位での第２相対インデックスの場合を示している。ここで、Ｗ２＝２はすべてにおいて共通するとしている。
【００２１】
各ピクチャ番号には、重み係数、第１相対インデックスおよび第２相対インデックスがそれぞれ独立に割り当てられており、それぞれの相対インデックスだけをみると１つのピクチャ番号に対して１つの相対インデックスが割り当てられることになる。例えば第１相対インデックスが０で、第２相対インデックスが１のフレームである場合、第１参照ピクチャはｆｒａｍｅ０、第２参照ピクチャはｆｒａｍｅ１であり、重み係数はＷ０＝１、Ｗ１＝１、Ｗ２＝２、Ｄ＝０という４つの値を使用する。
【００２２】
図１８はストリームのデータ構造の例を示した説明図である。図１８に示すようにストリームは、ヘッダ等の共通情報領域および複数のＧＯＰ（Ｇｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅ）　領域から構成されている。ＧＯＰ領域は、ヘッダ等の共通情報領域および複数のピクチャ領域から構成されている。ピクチャ領域は、ヘッダ等の共通情報領域および複数のスライスデータ領域から構成される。スライスデータ領域は、ヘッダ等の共通情報領域および複数のマクロブロックデータ領域から構成される。スライスデータ領域は、ヘッダ等の共通情報領域および複数のマクロブロックデータ領域から構成される。さらに、マクロブロックデータ領域は、第１相対インデックスおよび第２相対インデックス等の共通情報領域および複数のブロックデータ領域から構成される。また、ピクチャ共通情報領域には上記重み付け予測を行うための重み係数が参照ピクチャに応じてそれぞれ記述される。
【００２３】
また、ストリームが連続したビットストリームでなく、細切れのデータの単位であるパケット等で伝送する場合はヘッダ部とヘッダ以外のデータ部を分離して別に伝送してもよい。その場合は、図１８のようにヘッダ部とデータ部が１つのビットストリームとなることはない。しかしながら、パケットの場合は、ヘッダ部とデータ部の伝送する順序が連続しなくても、対応するデータ部に対応するヘッダ部が別のパケットで伝送されるだけであり、１つのビットストリームとなっていなくても、概念は図１８で説明したビットストリームの場合と同じである。
【００２４】
次に、動きベクトルの予測処理について図１９、図２０を用いて詳しく説明する。図１９は、ブロック単位で動きベクトルの予測処理を説明するための模式図であり、図２０は、動きベクトルの予測処理の動作を示すフロー図である。ここで、動きベクトルＭＶａ、ＭＶｂ、ＭＶｃ、ＭＶｄは符号化済みの動きベクトル、動きベクトルＭＶｔは符号化対象ブロックの予測動きベクトルである。
【００２５】
符号化対象ブロックの動きベクトルＭＶｔを、動きベクトルＭＶａ、ＭＶｂ、ＭＶｃの中で動きベクトルＭＶｔと同じピクチャ番号の画像を参照する動きベクトルから予測する。まず、動きベクトルＭＶｔの参照ピクチャのピクチャ番号を取得する（ステップＳ１１）。次に、動きベクトルＭＶａ、ＭＶｂ、ＭＶｃの参照ピクチャのピクチャ番号を取得する（ステップＳ１２）。そして、動きベクトルＭＶａ、ＭＶｂ、ＭＶｃの参照ピクチャのピクチャ番号の中で、動きベクトルＭＶｔの参照ピクチャのピクチャ番号と同じであるものを検出し、同じである個数が１であるか否かの判断を行う（ステップＳ１３）。この判断の結果同じである個数が１である場合、動きベクトルＭＶｔの参照ピクチャのピクチャ番号と同じピクチャ番号であった動きベクトルを、予測動きベクトルとする（ステップＳ１４）。
【００２６】
一方、上記判断の結果同じである個数が１でない場合、動きベクトルＭＶｔの参照ピクチャのピクチャ番号と同じピクチャ番号であった動きベクトルの中央値を、予測動きベクトルとする（ステップＳ１５）。すなわち、同じピクチャ番号であった動きベクトルが０、２、３つのいずれかであれば、３つの動きベクトルＭＶａ、ＭＶｂ、ＭＶｃの中央値を、予測動きベクトルとする。
【００２７】
図２１は従来の動画像符号化装置の可変長符号化ユニットの構成を示すブロック図である。
【００２８】
可変長符号化ユニットＶＬＣは、Ｒｉｎｄｅｘ符号化部１０１、量子化値符号化部１０２、ＭＶ符号化部１０３、ＭＶ予測部１０４、多重化部１０５、およびメモリ１０６、１０７を備えている。
【００２９】
Ｒｉｎｄｅｘ符号化部１０１は、ピクチャ番号Ｉｎｄｅｘ　および重み係数Ｗｅｉｇｈｔより例えば図１７に示すテーブル等に基づいて相対インデックスＲｉｎｄｅｘを特定し、符号化する。量子化値符号化部１０２は、量子化値Ｑｃｏｅｆを符号化する。ＭＶ予測部１０４は、上記のように動きベクトルＭＶの予測を行う。ＭＶ予測部１０４では、ＭＶａ、ＭＶｂ、ＭＶｃに相当する動きベクトルとその参照するピクチャ番号が必要なため、メモリ１０６に記憶した動きベクトルをＭＶａ、ＭＶｂ、ＭＶｃとして参照し、メモリ１０７に記憶したピクチャ番号からＭＶａ、ＭＶｂ、ＭＶｃに対応するピクチャ番号を参照する。ＭＶ符号化部１０３は、ＭＶ予測部１０４で求められた予測動きベクトルと符号化対象ブロックの動きベクトルとの差分を算出し、この差分ベクトルを符号化する。多重化部１０５は、Ｒｉｎｄｅｘ符号化部１０１、量子化値符号化部１０２、およびＭＶ符号化部１０３より出力された符号化信号を多重化し、画像符号化信号Ｓｔｒ　　を出力する。
【００３０】
図２２は従来の動画像復号化装置の可変長復号化ユニットの構成を示すブロック図である。
【００３１】
可変長復号化ユニットＶＬＤは、分離部２０１、Ｒｉｎｄｅｘ復号化部２０２、量子化値復号化部２０３、ＭＶ復号化部２０４、ＭＶ予測部２０５、およびメモリ２０６、２０７を備えている。
【００３２】
画像符号化信号Ｓｔｒ　は、可変長復号化ユニットＶＬＤに入力される。可変長復号化ユニットＶＬＤでは、分離部２０１が、入力された画像符号化信号Ｓｔｒ　を分離し、符号化されている相対インデックスＲｉｎｄｅｘをＲｉｎｄｅｘ復号化部２０２へ、符号化されている量子化値を量子化値復号化部２０３へ、符号化されている差分ベクトルをＭＶ復号化部２０４へ出力する。Ｒｉｎｄｅｘ復号化部２０２は、相対インデックスより例えば図１７に示すテーブル等に基づいて、ピクチャ番号Ｉｎｄｅｘ　および重み係数Ｗｅｉｇｈｔを特定し、ＭＶ予測部２０５、およびメモリ２０６へ出力する。量子化値復号化部２０３は、符号化されている量子化値を復号化し、量子化値Ｑｃｏｅｆを出力する。
【００３３】
ＭＶ予測部２０５は、上記のように動きベクトルＭＶの予測を行う。ＭＶ復号化部２０４は、符号化されている差分ベクトルを復号化し、この差分ベクトルとＭＶ予測部２０５で求められた予測動きベクトルとを加算して復号化対象ブロックの動きベクトルＭＶを算出し、この動きベクトルＭＶを出力する。
【００３４】
【非特許文献１】
ＩＳＯ／ＩＥＣ　１３８１８−２　「ＩＮＴＥＲＮＡＴＩＯＮＡＬ　ＳＴＡＮＤＡＲＤ　Ｉｎｆｏｒｍａｔｉｏｎ　ｔｅｃｈｎｏｌｏｇｙ　？　Ｇｅｎｅｒｉｃ　ｃｏｄｉｎｇ　ｏｆ　ｍｏｖｉｎｇ　ｐｉｃｔｕｒｅｓ　ａｎｄ　ａｓｓｏｃｉａｔｅｄ　ａｕｄｉｏ　ｉｎｆｏｒｍａｔｉｏｎ　：　Ｖｉｄｅｏ」２０００年１２月１５日、ｐ．７、Ｉｎｔｒｏ．４．１．１
【００３５】
【発明が解決しようとする課題】
このように従来の技術で説明した予測画像作成方法では、１つの参照ピクチャに対して１つの相対インデックスのみが割り当てられていたため、符号化対象のピクチャに属する複数のブロックのそれぞれが同じピクチャを参照した場合、重み付け予測に使用される重み係数は全く同じ値のものとなる。
【００３６】
ところで、画像内には多くのオブジェクトが含まれており、画像の部分（例えば上下や左右）によって明るさの変化の度合いが変わる。このため、画像の部分によって明るさの変化の度合い、すなわち重みを変えることによって、予測効率を向上させることが可能である。そこで、重み付け予測において同じ復号化済みピクチャを参照しながら、異なる重みを扱えるようにすることが考えられる。
【００３７】
しかしながら、重みが違うということは本来異なるオブジェクトを参照しているということであるので、同じ復号化済みピクチャを参照していたとしても、動きベクトルの予測処理において、異なる重みのピクチャを参照するブロックの動きベクトルを、動きベクトルの予測に使用することは圧縮率の観点から考えると問題となる。
【００３８】
そこで、本発明は上記の事情に鑑みてなされたものであり、同じピクチャを参照した場合であっても、重み付け予測で異なる重み係数を用いることができるとともに、圧縮率を損なうことなく動きベクトルの予測処理を行うことができる動画像符号化方法および動画像復号化方法等を提供することを目的とする。
【００３９】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る動画像符号化方法は、復号化画像を参照して入力画像を符号化する動画像符号化方法であって、復号化画像を参照して所定の重み係数で重み付け予測式を用いて予測画像を生成する予測画像生成ステップと、前記入力画像と前記予測画像との動き量である動きベクトルを検出する動きベクトル検出ステップと、前記入力画像と前記予測画像との差分画像を符号化して第１の符号化信号を生成する第１の符号化ステップと、前記第１の符号化信号を復号化して前記予測画像と加算して復号化画像を生成する復号化ステップと、前記動きベクトルを近傍の符号化済み動きベクトルで符号化対象と同じ重み付けで予測した場合の動きベクトルのみから予測動きベクトルを生成する予測動きベクトル生成ステップと、前記予測動きベクトルと前記符号化対象の動きベクトルとの差分ベクトルを符号化して第２の符号化信号を生成する第２の符号化ステップとを含むことを特徴とする。
【００４０】
また、本発明に係る動画像復号化方法は、復号化画像を参照して入力画像を符号化した符号化信号を復号化する画像復号化方法であって、動きベクトルを近傍の復号化済動きベクトルで復号化対象と同じ復号化画像を参照し、且つ近傍の復号化済動きベクトルで復号化対象と同じ重み付けで予測した場合の動きベクトルのみから予測動きベクトルを生成する予測動きベクトル生成ステップと、前記符号化信号を復号化して差分ベクトルを取得し、前記予測動きベクトルと前記差分ベクトルを加算して復号動きベクトルを取得する動きベクトル取得ステップと、前記復号化画像を参照して前記復号動きベクトルを利用して重み係数で重みをつけた予測式を用いて予測画像を生成する予測画像生成ステップと、前記符号化信号を復号化して差分画像を生成し、前記予測画像と前記差分画像を加算して復号化画像を生成する復号化画像生成ステップとを含むことを特徴とする。
【００４１】
また、本発明に係る動画像符号化装置は、復号化画像を参照して入力画像を符号化する動画像符号化装置であって、復号化画像を参照して所定の重み係数で重み付け予測式を用いて予測画像を生成する予測画像生成手段と、前記入力画像と前記予測画像との動き量である動きベクトルを検出する動きベクトル検出手段と、前記入力画像と前記予測画像との差分画像を符号化して第１の符号化信号を生成する第１の符号化手段と、前記第１の符号化信号を復号化して前記予測画像と加算して復号化画像を生成する復号化手段と、前記動きベクトルを近傍の符号化済み動きベクトルで符号化対象と同じ重み付けで予測した場合の動きベクトルのみから予測動きベクトルを生成する予測動きベクトル生成手段と、前記予測動きベクトルと前記符号化対象の動きベクトルとの差分ベクトルを符号化して第２の符号化信号を生成する第２の符号化手段とを備えることを特徴とする。
【００４２】
また、本発明に係る動画像復号化装置は、復号化画像を参照して入力画像を符号化した符号化信号を復号化する画像復号化装置であって、動きベクトルを近傍の復号化済動きベクトルで復号化対象と同じ復号化画像を参照し、且つ近傍の復号化済動きベクトルで復号化対象と同じ重み付けで予測した場合の動きベクトルのみから予測動きベクトルを生成する予測動きベクトル生成手段と、前記符号化信号を復号化して差分ベクトルを取得し、前記予測動きベクトルと前記差分ベクトルを加算して復号動きベクトルを取得する動きベクトル取得手段と、前記復号化画像を参照して前記復号動きベクトルを利用して重み係数で重みをつけた予測式を用いて予測画像を生成する予測画像生成手段と、前記符号化信号を復号化して差分画像を生成し、前記予測画像と前記差分画像を加算して復号化画像を生成する復号化画像生成手段とを含むことを特徴とする。
【００４３】
さらに、本発明は、前記動画像符号化方法および動画像復号化方法におけるステップをコンピュータに実行させるプログラムとして、また前記動画像符号化方法により符号化したストリームデータとして実現し、ＣＤ−ＲＯＭや通信ネットワーク等の記録媒体や伝送媒体を介して流通させたりすることもできる。
【００４４】
【発明の実施の形態】
以下、本発明の実施の形態について、図１から図１２を用いて説明する。
【００４５】
（実施の形態１）
図１は本発明に係る動画像符号化装置の一実施の形態の構成を示すブロック図である。
【００４６】
動画像符号化装置１は、入力される画像信号Ｖｉｎ　を圧縮符号化して可変長符号化等のビットストリームに変換した画像符号化信号Ｓｔｒ　を出力する装置であり、動き検出ユニットＭＥ、動き補償ユニットＭＣ、減算ユニットＳｕｂ、直交変換ユニットＴ、量子化ユニットＱ、逆量子化ユニットＩＱ、逆直交変換ユニットＩＴ、加算ユニットＡｄｄ、ピクチャメモリＰｉｃＭｅｍ、スイッチＳＷ、および可変長符号化ユニットＶＬＣを備えている。
【００４７】
画像信号Ｖｉｎ　は、減算ユニットＳｕｂおよび動き検出ユニットＭＥに入力される。減算ユニットＳｕｂは、入力された画像信号Ｖｉｎ　と予測画像の差分値を計算し、直交変換ユニットＴに出力する。直交変換ユニットＴは、差分値を周波数係数に変換し、量子化ユニットＱに出力する。量子化ユニットＱは、入力された周波数係数を量子化し、量子化値Ｑｃｏｅｆを可変長符号化ユニットに出力する。
【００４８】
逆量子化ユニットＩＱは、量子化値Ｑｃｏｅｆを逆量子化して周波数係数に復元し、逆直交変換ユニットＩＴに出力する。逆直交変換ユニットＩＴは、周波数係数から画素差分値に逆周波数変換し、加算ユニットＡｄｄに出力する。加算ユニットＡｄｄは、画素差分値と動き補償ユニットＭＣから出力される予測画像とを加算して復号化画像とする。スイッチＳＷは、当該復号化画像の保存が指示された場合にＯＮになり、復号化画像はピクチャメモリＰｉｃＭｅｍに保存される。
【００４９】
一方、画像信号Ｖｉｎ　がマクロブロック単位で入力された動き検出ユニットＭＥは、ピクチャメモリＰｉｃＭｅｍに格納されている復号化画像を探索対象とし、最も入力画像信号に近い画像領域を検出することによってその位置を指し示す動きベクトルＭＶを決定する。動きベクトル検出はマクロブロックをさらに分割したブロック単位で行われる。このとき、複数のピクチャを参照ピクチャとして使用することができるため、参照するピクチャを指定するための識別番号（ピクチャ番号Ｉｎｄｅｘ）がブロックごとに必要となる。ピクチャ番号Ｉｎｄｅｘによって、ピクチャメモリＰｉｃＭｅｍ中の各ピクチャが有するピクチャ番号との対応を取ることにより参照ピクチャを指定することが可能となる。
【００５０】
動き補償ユニットＭＣでは、上記処理によって検出された動きベクトルおよび相対インデックスを用いて、ピクチャメモリＰｉｃＭｅｍに格納されている復号化画像から予測画像に最適な画像領域を取り出す。得られた画像領域の画素値に対して、相対インデックスに関連付けされた重み係数を用いて重み付け予測による補間処理等の画素値変換処理を施すことによって最終的な予測画像とする。
【００５１】
図２は本実施の形態における可変長符号化ユニットＶＬＣの構成を示すブロック図である。なお、図２１に示す従来の動画像符号化装置の可変長符号化ユニットの各部と同じ動作をする機器は同じ記号を付す。
【００５２】
可変長符号化ユニットＶＬＣは、Ｒｉｎｄｅｘ符号化部１０１、量子化値符号化部１０２、ＭＶ符号化部１０３、ＭＶ予測部１０８、多重化部１０５、およびメモリ１０６、１０７を備えている。
【００５３】
Ｒｉｎｄｅｘ符号化部１０１は、ピクチャ番号Ｉｎｄｅｘ　および重み係数Ｗｅｉｇｈｔより例えば図３に示すテーブル等に基づいて相対インデックスＲｉｎｄｅｘを特定し、符号化する。量子化値符号化部１０２は、量子化値Ｑｃｏｅｆを符号化する。ＭＶ予測部１０８は、動きベクトルＭＶの予測を後述するように行う。メモリ１０６は復号化した動きベクトルを記憶するメモリであり、動きベクトルＭＶａ、ＭＶｂ、ＭＶｃがＭＶ予測部１０８に出力される。メモリ１０７は相対インデックスを記憶するメモリであり、動きベクトルＭＶａ、ＭＶｂ、ＭＶｃに対応する相対インデックスがＭＶ予測部１０８に出力される。ＭＶ符号化部１０３は、ＭＶ予測部１０８で求められた予測動きベクトルと符号化対象ブロックの動きベクトルとの差分を算出し、この差分ベクトルを符号化する。多重化部１０５は、Ｒｉｎｄｅｘ符号化部１０１、量子化値符号化部１０２、およびＭＶ符号化部１０３より出力された符号化信号を多重化し、画像符号化信号Ｓｔｒを出力する。
【００５４】
図３は相対インデックスＲｉｎｄｅｘに対するピクチャ番号Ｉｎｄｅｘ　および重み係数の関係の例を示すための説明図であり、相対インデックスＲｉｎｄｅｘが（ａ）　フレーム単位での第１相対インデックス、（ｂ）　フレーム単位での第２相対インデックス、（ｃ）　フィールド単位での第１相対インデックス、（ｄ）　フィールド単位での第２相対インデックスの場合を示している。ここで、Ｗ２＝２はすべてにおいて共通するとしている。
【００５５】
１つピクチャ番号には、複数の重み係数が割り当てられており、その組み合わせに対応して第１相対インデックスおよび第２相対インデックスがそれぞれ独立に割り当てられている。それぞれの相対インデックスだけをみると、１つのピクチャ番号に対して複数の相対インデックスが割り当てられることになる。例えば図３（ａ）　において第１相対インデックスが０と２の場合、第１参照ピクチャはｆｒａｍｅ０と同じになるが、重み係数はＷ０＝１、Ｄ＝０とＷ０＝２、Ｄ＝１というように異なることになる。また、例えば図３（ａ）　において第１相対インデックスが０で、図３（ｂ）において第２相対インデックスが１である場合、第１参照ピクチャはｆｒａｍｅ０、第２参照ピクチャはｆｒａｍｅ１となり、重み係数はＷ０＝１、Ｗ１＝１、Ｗ２＝２、Ｄ＝０という４つの値を使用する。なお、このとき第１相対インデックスおよび第２相対インデックスでそれぞれ特定されるＤが異なる場合は、例えば２つの値の平均値を使用することができる。
【００５６】
動き補償ユニットＭＣでは、従来法と全く同様の重み付け予測により予測画像を生成しているが、上記のように同じピクチャに対して複数の重み係数を割り当てることで、重み係数を選択する際の自由度が高くなっている。
【００５７】
次に、ＭＶ予測部１０８での動きベクトルの予測処理について図４、図５を用いて詳しく説明する。図４は、ブロック単位で動きベクトルの予測処理を説明するための模式図であり、図５は、動きベクトルの予測処理の動作を示すフロー図である。ここで、動きベクトルＭＶａ、ＭＶｂ、ＭＶｃ、ＭＶｄは符号化済みの動きベクトル、動きベクトルＭＶｔは符号化対象ブロックの予測動きベクトルである。
【００５８】
符号化対象ブロックの動きベクトルＭＶｔを、動きベクトルＭＶａ、ＭＶｂ、ＭＶｃの中で動きベクトルＭＶｔと相対インデックスが同じである動きベクトルから予測する。相対インデックスが同じであるので、同じピクチャ番号で、かつ同じ重み係数である画像を参照していることになる。すなわち、動きベクトルＭＶｔは、符号化対象ブロックと同じピクチャ番号で、かつ同じ重み係数である画像を参照している動きベクトルから予測される。
【００５９】
次に、この予測動きベクトルを求める動作について図５を用いて説明する。まず、動きベクトルＭＶｔの相対インデックスを取得する（ステップＳ１）。次に、動きベクトルＭＶａ、ＭＶｂ、ＭＶｃの相対インデックスを取得する（ステップＳ２）。そして、動きベクトルＭＶａ、ＭＶｂ、ＭＶｃの相対インデックスの中で、動きベクトルＭＶｔの相対インデックスと同じであるものを検出し、同じである個数が１であるか否かの判断を行う（ステップＳ３）。この判断の結果同じである個数が１である場合、動きベクトルＭＶｔの相対インデックスと同じ相対インデックスであった動きベクトルを、予測動きベクトルとする（ステップＳ４）。
【００６０】
一方、上記判断の結果同じである個数が１でない場合、動きベクトルＭＶｔの相対インデックスと同じ相対インデックスであった動きベクトルの中央値を、予測動きベクトルとする（ステップＳ５）。すなわち、同じ相対インデックスであった動きベクトルが０、２、３つのいずれかであれば、３つの動きベクトルＭＶａ、ＭＶｂ、ＭＶｃの中央値を予測動きベクトルとする。なお、同じ相対インデックスであった動きベクトルが２つの場合に、２つの動きベクトル（ＭＶａ、ＭＶｂ、ＭＶｃの中で該当するもの）の一方（例えば大きさの小さいほう）もしくは平均値を、予測動きベクトルとしてもよい。
【００６１】
以上のように、１つのピクチャ番号に対して、重み付け予測で用いる重み係数を複数割り当てていても、動きベクトルの予測処理において符号化対象ブロックと同じピクチャ番号で、かつ同じ重み係数である画像を参照している動きベクトルから予測を行っているので、ベクトルの予測処理圧縮率を損なうことなく動きベクトルの予測処理を行うことができる。
【００６２】
図６は本発明に係る動画像復号化装置の一実施の形態の構成を示すブロック図であり、図７は可変長復号化ユニットＶＬＤの構成を示すブロック図である。なお、図２２に示す従来の動画像復号化装置の可変長復号化ユニットの各部と同じ動作をする機器は同じ記号を付す。
【００６３】
動画像復号化装置２は、上記動画像符号化装置１が符号化した画像符号化信号Ｓｔｒ　を復号化することができる装置であり、可変長復号化ユニットＶＬＤ、動き補償ユニットＭＣ、加算ユニットＡｄｄ、ピクチャメモリＰｉｃＭｅｍ、逆量子化ユニットＩＱ、および逆直交変換ユニットＩＴを備えている。
【００６４】
また、可変長復号化ユニットＶＬＤは、分離部２０１、Ｒｉｎｄｅｘ復号化部２０２、量子化値復号化部２０３、ＭＶ復号化部２０４、ＭＶ予測部２０８、およびメモリ２０６、２０７を備えている。
【００６５】
画像符号化信号Ｓｔｒ　は、可変長復号化ユニットＶＬＤに入力される。可変長復号化ユニットＶＬＤでは、分離部２０１が、入力された画像符号化信号Ｓｔｒ　を分離し、符号化されている相対インデックスをＲｉｎｄｅｘ復号化部２０２、ＭＶ予測部２０８、およびメモリ２０６へ、符号化されている量子化値を量子化値復号化部２０３へ、符号化されている差分ベクトルをＭＶ復号化部２０４へ出力する。Ｒｉｎｄｅｘ復号化部２０２は、相対インデックスＲｉｎｄｅｘより例えば図３に示すテーブル等に基づいて、ピクチャ番号Ｉｎｄｅｘ　および重み係数Ｗｅｉｇｈｔを特定し、動き補償ユニットＭＣへ出力する。量子化値復号化部２０３は、符号化されている量子化値を復号化し、量子化値Ｑｃｏｅｆを逆量子化ユニットＩＱへ出力する。
【００６６】
ＭＶ予測部２０８は、動きベクトルＭＶの予測を後述するように行う。ＭＶ復号化部２０４は、符号化されている差分ベクトルを復号化し、この差分ベクトルとＭＶ予測部２０８で求められた予測動きベクトルとを加算して復号化対象ブロックの動きベクトルＭＶを算出し、この動きベクトルＭＶを動き補償ユニットＭＣへ出力する。
【００６７】
逆量子化ユニットＩＱは、量子化値を逆量子化して周波数係数に復元し、逆直交変換ユニットＩＴに出力する。逆直交変換ユニットＩＴは、周波数係数から画素差分値に逆周波数変換し、加算ユニットＡｄｄに出力する。加算ユニットＡｄｄは、画素差分値と動き補償ユニットＭＣから出力される予測画像とを加算して復号化画像とする。この復号化画像は、以降の画面間予測での参照に使用する場合ピクチャメモリＰｉｃＭｅｍに格納される。また、この復号化画像は復号化画像信号Ｖｏｕｔとして外部に出力される。
【００６８】
動き補償ユニットＭＣでは、可変長復号化ユニットＶＬＤのＭＶ復号化部２０４から入力される動きベクトル、およびＲｉｎｄｅｘ復号化部２０２から入力されるピクチャ番号Ｉｎｄｅｘを用いて、ピクチャメモリＰｉｃＭｅｍに格納されている復号化画像から予測画像に最適な画像領域を取り出す。この得られた画像領域の画素値に対して、Ｒｉｎｄｅｘ復号化部２０２から入力される重み係数Ｗｅｉｇｈｔを用いて、重み付け予測による補間処理等の画素値変換処理を施すことによって最終的な予測画像を作成する。
【００６９】
次に、ＭＶ予測部２０８での動きベクトルの予測処理について、動画像符号化装置１の説明で用いた図４を用いて説明する。なお、動きベクトルＭＶａ、ＭＶｂ、ＭＶｃ、ＭＶｄは復号化済みの動きベクトル、動きベクトルＭＶｔは復号化対象ブロックの予測動きベクトルであるとする。
【００７０】
復号化対象ブロックの動きベクトルＭＶｔを、既に復号化されている動きベクトルＭＶａ、ＭＶｂ、ＭＶｃの中で動きベクトルＭＶｔと相対インデックスＲｉｎｄｅｘが同じである動きベクトルから予測する。メモリ２０７は復号化した動きベクトルを記憶するメモリであり、動きベクトルＭＶａ、ＭＶｂ、ＭＶｃがＭＶ予測部２０８に出力される。メモリ２０６は相対インデックスを記憶するメモリであり、動きベクトルＭＶａ、ＭＶｂ、ＭＶｃに対応する相対インデックスがＭＶ予測部２０８に出力される。相対インデックスＲｉｎｄｅｘが同じであるので、同じピクチャ番号Ｉｎｄｅｘで、かつ同じ重み係数である画像を参照していることになる。すなわち、動きベクトルＭＶｔは、復号化対象ブロックと同じピクチャ番号で、かつ同じ重み係数である画像を参照している動きベクトルから予測される。この予測動きベクトルを求める動作については、動画像符号化装置１での動きベクトルの予測処理と同様であるので説明を省略する。
【００７１】
以上のように、１つのピクチャ番号に対して複数の重み係数を用いて重み付け予測を行って符号化されていても、復号化時における動きベクトルの予測処理において復号化対象ブロックと同じピクチャ番号で、かつ同じ重み係数である画像を参照している動きベクトルから予測を行っているので、ベクトルの予測処理圧縮率を損なうことなく動きベクトルの予測処理を行うことができる。
【００７２】
（実施の形態２）
更に、上記実施の形態で示した動画像符号化方法または動画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【００７３】
図８は、上記実施の形態の動画像符号化方法または動画像復号化方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。
【００７４】
図８（ｂ）　は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図８（ａ）　は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての動画像符号化方法および動画像復号化方法が記録されている。
【００７５】
また、図８（ｃ）　は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての動画像符号化方法または動画像復号化方法をフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスク内のプログラムにより上記動画像符号化方法および動画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブＦＤＤによりプログラムをフレキシブルディスクＦＤから読み出し、コンピュータシステムに転送する。
【００７６】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【００７７】
（実施の形態３）
さらにここで、上記実施の形態で示した動画像符号化方法や動画像復号化方法の応用例とそれを用いたシステムを説明する。
【００７８】
図９は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
【００７９】
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌｄｉｇｉｔａｌ　ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
しかし、コンテンツ供給システムｅｘ１００は図９のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
【００８０】
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ　Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ　Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ　Ｓｙｓｔｅｍ　ｆｏｒ　Ｍｏｂｉｌｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ　Ｈａｎｄｙｐｈｏｎｅ　Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【００８１】
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
【００８２】
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【００８３】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
【００８４】
図１０は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　ａｎｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
【００８５】
さらに、携帯電話ｅｘ１１５について図１１を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。
【００８６】
電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
【００８７】
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【００８８】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
【００８９】
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
【００９０】
画像符号化部ｅｘ３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。
【００９１】
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
【００９２】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
【００９３】
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。
【００９４】
次に、画像復号化部ｅｘ３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１２に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。
【００９５】
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
【００９６】
なお、カーナビゲーションｅｘ４１３の構成は例えば図１１に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。
【００９７】
また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【００９８】
このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【００９９】
【発明の効果】
以上の説明から明らかなように、本発明に係る動画像符号化方法は、復号化画像を参照して入力画像を符号化する動画像符号化方法であって、復号化画像を参照して所定の重み係数で重み付け予測式を用いて予測画像を生成する予測画像生成ステップと、前記入力画像と前記予測画像との動き量である動きベクトルを検出する動きベクトル検出ステップと、前記入力画像と前記予測画像との差分画像を符号化して第１の符号化信号を生成する第１の符号化ステップと、前記第１の符号化信号を復号化して前記予測画像と加算して復号化画像を生成する復号化ステップと、前記動きベクトルを近傍の符号化済み動きベクトルで符号化対象と同じ重み付けで予測した場合の動きベクトルのみから予測動きベクトルを生成する予測動きベクトル生成ステップと、前記予測動きベクトルと前記符号化対象の動きベクトルとの差分ベクトルを符号化して第２の符号化信号を生成する第２の符号化ステップとを含むことを特徴とする。
【０１００】
これによって、１つのピクチャ番号に対して、重み付け予測で用いる重み係数を複数割り当てていても、動きベクトルの予測処理において符号化対象ブロックと同じピクチャ番号で、かつ同じ重み係数である画像を参照している動きベクトルから予測を行っているので、ベクトルの予測処理圧縮率を損なうことなく動きベクトルの予測処理を行うことができる。
【０１０１】
また、本発明に係る動画像復号化方法は、復号化画像を参照して入力画像を符号化した符号化信号を復号化する画像復号化方法であって、動きベクトルを近傍の復号化済動きベクトルで復号化対象と同じ復号化画像を参照し、且つ近傍の復号化済動きベクトルで復号化対象と同じ重み付けで予測した場合の動きベクトルのみから予測動きベクトルを生成する予測動きベクトル生成ステップと、前記符号化信号を復号化して差分ベクトルを取得し、前記予測動きベクトルと前記差分ベクトルを加算して復号動きベクトルを取得する動きベクトル取得ステップと、前記復号化画像を参照して前記復号動きベクトルを利用して重み係数で重みをつけた予測式を用いて予測画像を生成する予測画像生成ステップと、前記符号化信号を復号化して差分画像を生成し、前記予測画像と前記差分画像を加算して復号化画像を生成する復号化画像生成ステップとを含むことを特徴とする。
【０１０２】
これによって、１つのピクチャ番号に対して複数の重み係数を用いて重み付け予測を行って符号化されていても、復号化時における動きベクトルの予測処理において復号化対象ブロックと同じピクチャ番号で、かつ同じ重み係数である画像を参照している動きベクトルから予測を行っているので、ベクトルの予測処理圧縮率を損なうことなく動きベクトルの予測処理を行うことができる。
【図面の簡単な説明】
【図１】本発明に係る動画像符号化装置の一実施の形態の構成を示すブロック図である。
【図２】上記動画像符号化装置の可変長符号化ユニットＶＬＣの構成を示すブロック図である。
【図３】上記実施の形態での相対インデックスＲｉｎｄｅｘに対するピクチャ番号Ｉｎｄｅｘ　および重み係数の関係の例を示すための説明図である。
【図４】上記実施の形態でのブロック単位で動きベクトルの予測処理を説明するための模式図である。
【図５】上記実施の形態での動きベクトルの予測処理の動作を示すフロー図である。
【図６】本発明に係る動画像復号化装置の一実施の形態の構成を示すブロック図である。
【図７】上記動画像復号化装置の可変長復号化ユニットＶＬＤの構成を示すブロック図である。
【図８】上記実施の形態１および実施の形態２の動画像符号化方法および動画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図であり、（ａ）　記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示した説明図、（ｂ）　フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示した説明図、（ｃ）　フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示した説明図である。
【図９】コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。
【図１０】携帯電話の一例を示す図である。
【図１１】携帯電話の内部構成を示すブロック図である。
【図１２】ディジタル放送用システムの全体構成を示すブロック図である。
【図１３】従来例のピクチャの参照関係を説明するための模式図である。
【図１４】ピクチャの並び替えを説明するための模式図である。
【図１５】フレーム単位で重み付け予測処理を説明するための模式図であり、（ａ）　１つのフレームを参照する場合、２つのフレームを参照する場合である。
【図１６】フィールド単位で重み付け予測処理を説明するための模式図であり、（ａ）　１つのフレームを参照する場合、２つのフレームを参照する場合である。
【図１７】従来での相対インデックスＲｉｎｄｅｘに対するピクチャ番号Ｉｎｄｅｘ　および重み係数の関係の例を示すための説明図である。
【図１８】ストリームのデータ構造の例を示した説明図である。
【図１９】従来でのブロック単位で動きベクトルの予測処理を説明するための模式図である。
【図２０】従来での動きベクトルの予測処理の動作を示すフロー図である。
【図２１】従来の動画像符号化装置の可変長符号化ユニットＶＬＣの構成を示すブロック図である。
【図２２】従来の動画像復号化装置の可変長復号化ユニットＶＬＤの構成を示すブロック図である。
【符号の説明】
１　　　動画像符号化装置
２　　　動画像復号化装置
ＭＥ　　動き検出ユニット
ＭＣ　　動き補償ユニット
Ｓｕｂ　減算ユニット
Ｔ　　　直交変換ユニット
Ｑ　　　量子化ユニット
ＩＱ　　逆量子化ユニット
ＩＴ　　逆直交変換ユニット
Ａｄｄ　加算ユニット
ＰｉｃＭｅｍ　ピクチャメモリ
ＳＷ　　スイッチ
ＶＬＣ　可変長符号化ユニット
ＶＬＤ　可変長復号化ユニット
１０１　Ｒｉｎｄｅｘ符号化部
１０２　量子化値符号化部
１０３　ＭＶ符号化部
１０４、１０８　２０５、２０８　ＭＶ予測部
１０５　多重化部
１０６、１０７、２０６、２０７　メモリ
２０１　分離部
２０２　Ｒｉｎｄｅｘ復号化部
２０３　量子化値復号化部
２０４　ＭＶ復号化部
Ｃｓ　　コンピュータシステム
ＦＤ　　フレキシブルディスク
ＦＤＤ　フレキシブルディスクドライブ

Claims (9)

1. 復号化画像を参照して入力画像を符号化する動画像符号化方法であって、
   復号化画像を参照して所定の重み係数で重み付け予測式を用いて予測画像を生成する予測画像生成ステップと、
   前記入力画像と前記予測画像との動き量である動きベクトルを検出する動きベクトル検出ステップと、
   前記入力画像と前記予測画像との差分画像を符号化して第１の符号化信号を生成する第１の符号化ステップと、
   前記第１の符号化信号を復号化して前記予測画像と加算して復号化画像を生成する復号化ステップと、
   前記動きベクトルを近傍の符号化済み動きベクトルで符号化対象と同じ重み付けで予測した場合の動きベクトルのみから予測動きベクトルを生成する予測動きベクトル生成ステップと、
   前記予測動きベクトルと前記符号化対象の動きベクトルとの差分ベクトルを符号化して第２の符号化信号を生成する第２の符号化ステップと
   を含むことを特徴とする動画像符号化方法。
2. 前記予測動きベクトル生成ステップでは、参照する復号化画像と重み係数との組み合わせを示すインデックスを用い、前記近傍の符号化済み動きベクトルに対応するインデックスが符号化対象のインデックスと同じである場合に、前記動きベクトルを近傍の符号化済み動きベクトルで符号化対象と同じ復号化画像を参照し、かつ近傍の符号化済み動きベクトルで符号化対象と同じ重み付けであるとする
   ことを特徴とする請求項１記載の動画像符号化方法。
3. 復号化画像を参照して入力画像を符号化した符号化信号を復号化する画像復号化方法であって、
   動きベクトルを近傍の復号化済動きベクトルで復号化対象と同じ復号化画像を参照し、且つ近傍の復号化済動きベクトルで復号化対象と同じ重み付けで予測した場合の動きベクトルのみから予測動きベクトルを生成する予測動きベクトル生成ステップと、
   前記符号化信号を復号化して差分ベクトルを取得し、前記予測動きベクトルと前記差分ベクトルを加算して復号動きベクトルを取得する動きベクトル取得ステップと、
   前記復号化画像を参照して前記復号動きベクトルを利用して重み係数で重みをつけた予測式を用いて予測画像を生成する予測画像生成ステップと、
   前記符号化信号を復号化して差分画像を生成し、前記予測画像と前記差分画像を加算して復号化画像を生成する復号化画像生成ステップと、
   を含むことを特徴とする動画像復号化方法。
4. 前記予測動きベクトル生成ステップでは、参照する復号化画像と重み付けの組み合わせを示すインデックスを用い、前記近傍の復号化済動きベクトルに対応するインデックスが復号化対象のインデックスと同じである場合に、前記動きベクトルを近傍の復号化済動きベクトルで復号化対象と同じ復号化画像を参照し、且つ近傍の復号化済動きベクトルで符号化対象と同じ重み付けであるとする
   ことを特徴とする請求項３記載の動画像復号化方法。
5. 復号化画像を参照して入力画像を符号化するためのプログラムであって、
   請求項１又は２記載の動画像符号化方法に含まれるステップをコンピュータに実行させる
   ことを特徴とするプログラム。
6. 復号化画像を参照して入力画像を符号化した符号化信号を復号化するためのプログラムであって、
   請求項３又は４記載の動画像復号化方法に含まれるステップをコンピュータに実行させる
   ことを特徴とするプログラム。
7. 動画像が符号化された符号化信号が記録されたコンピュータ読み取り可能な記録媒体であって、
   前記符号化信号には、請求項２記載のインデックスが含まれる
   ことを特徴とする記録媒体。
8. 復号化画像を参照して入力画像を符号化する動画像符号化装置であって、
   復号化画像を参照して所定の重み係数で重み付け予測式を用いて予測画像を生成する予測画像生成手段と、
   前記入力画像と前記予測画像との動き量である動きベクトルを検出する動きベクトル検出手段と、
   前記入力画像と前記予測画像との差分画像を符号化して第１の符号化信号を生成する第１の符号化手段と、
   前記第１の符号化信号を復号化して前記予測画像と加算して復号化画像を生成する復号化手段と、
   前記動きベクトルを近傍の符号化済み動きベクトルで符号化対象と同じ重み付けで予測した場合の動きベクトルのみから予測動きベクトルを生成する予測動きベクトル生成手段と、
   前記予測動きベクトルと前記符号化対象の動きベクトルとの差分ベクトルを符号化して第２の符号化信号を生成する第２の符号化手段と
   を備えることを特徴とする動画像符号化装置。
9. 復号化画像を参照して入力画像を符号化した符号化信号を復号化する画像復号化装置であって、
   動きベクトルを近傍の復号化済動きベクトルで復号化対象と同じ復号化画像を参照し、且つ近傍の復号化済動きベクトルで復号化対象と同じ重み付けで予測した場合の動きベクトルのみから予測動きベクトルを生成する予測動きベクトル生成手段と、
   前記符号化信号を復号化して差分ベクトルを取得し、前記予測動きベクトルと前記差分ベクトルを加算して復号動きベクトルを取得する動きベクトル取得手段と、
   前記復号化画像を参照して前記復号動きベクトルを利用して重み係数で重みをつけた予測式を用いて予測画像を生成する予測画像生成手段と、
   前記符号化信号を復号化して差分画像を生成し、前記予測画像と前記差分画像を加算して復号化画像を生成する復号化画像生成手段と、
   を含むことを特徴とする動画像復号化装置。

Images