JP2005124001A - 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム - Google Patents

動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム Download PDF

Info

Publication number
JP2005124001A
JP2005124001A JP2003358449A JP2003358449A JP2005124001A JP 2005124001 A JP2005124001 A JP 2005124001A JP 2003358449 A JP2003358449 A JP 2003358449A JP 2003358449 A JP2003358449 A JP 2003358449A JP 2005124001 A JP2005124001 A JP 2005124001A
Authority
JP
Japan
Prior art keywords
motion vector
region
encoding
block
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003358449A
Other languages
English (en)
Inventor
Fulvio Moschetti
モスケッティ フルビオ
Kazuo Sugimoto
和夫 杉本
Chunsen Bun
チュンセン ブン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2003358449A priority Critical patent/JP2005124001A/ja
Publication of JP2005124001A publication Critical patent/JP2005124001A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】 動きベクトルの符号化効率を向上可能な動画像符号化装置を提供する。
【解決手段】 動画像符号化装置１は、動き補償予測部２と、統合処理部１８と、第３符号化部２０と、第４符号化部２２とを備える。動き補償予測部２は、符号化対象フレーム分割した複数のブロック各々について動きベクトルを抽出する。統合処理部１８は、互いに隣接しており、且つ、類似する動きベクトルをもつブロックを統合することによって、領域を生成する。第３符号化部２０は、面積が最大の第１の領域に含まれる符号化済みの動きベクトルを予測動きベクトルとし、第１の領域の符号化対象のブロックの動きベクトルと予測動きベクトルとの差分ベクトルを符号化する。第４符号化部２２は、領域に含まれるブロックを特定するための領域情報を符号化する。
【選択図】 図１

Description

本発明は、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラムに関するものである。
動画像符号化装置では、符号化対象フレームの予測画像が参照画像に基づいて生成される。具体的に、符号化対象フレームが所定サイズの複数のブロックに分割される。複数のブロック各々について、参照画像に対するブロックマッチングが行われることによって、参照画像を用いた予測画像が生成される。また、複数のブロック各々の参照画像への動きベクトルが生成される。
このようにして生成された動きベクトルの符号化に関し、種々の方法を採用した動画像符号化装置が提案されている。その一つとして、複数のブロック各々の動きベクトルをラスタスキャン順に符号化する方法がある。この方法では、直前に符号化された隣接する左のブロックの動きベクトルが予測動きベクトルとされ、符号化対象の動きベクトルと予測動きベクトルとの差分ベクトルが符号化される。
また、他の一つとして、複数のブロック各々の動きベクトルを、異なる複数のスキャン順に符号化することによって、最も符号化効率の良い符号化データを採用する方法もある。この方法では、直前に符号化されたブロックの動きベクトルが、予測動きベクトルとして用いられる（例えば、特許文献１）。
特開平１０−２７６４３６号公報
しかしながら、スキャンの順が連続する二つのブロックの動きベクトルが大きく異なる部分において、差分ベクトルの値が大きくなるので、動きベクトルの符号化に関する符号化効率の向上には限界があった。
そこで、本発明は、動きベクトルの符号化効率を向上可能な動画像符号化装置、動画像符号化方法、及び動画像符号化プログラムを提供し、本発明の動画像符号化装置によって符号化された動きベクトルを復元可能な動画像復号装置、動画像復号方法、及び動画像復号プログラムを提供することを目的としている。
上記目的を達成するため、本発明の動画像符号化装置は、（１）動画像の符号化対象フレームを所定サイズの複数のブロックに分割し、分割した複数のブロック各々について参照画像に対する動きベクトルを抽出する動きベクトル抽出手段と、（２）複数のブロック各々の動きベクトルの類似性に基づいて、複数のブロック各々を複数の領域に関連付ける割当手段と、（３）割当手段によって各領域に関連付けられた複数のブロック各々の動きベクトルを、符号化処理してなる動きベクトル圧縮データを生成する動きベクトル符号化手段と、（４）割当手段の関連付けに関する情報を符号化してなる領域情報圧縮データを生成する領域情報符号化手段と、を備え、（５）動きベクトル符号化手段は、動きベクトル各々を符号化する際に、当該符号化する動きベクトルが関連付けられている領域に関連付けられている符号化済みの他のブロックの動きベクトルを予測動きベクトルとし、領域に関連付けられている符号化対象の動きベクトルと該予測ベクトルとの差分ベクトルを符号化してなる動きベクトル圧縮データを生成することによって、該領域に関連付けられている動きベクトルを符号化する。
また、上記目的を達成するため、本発明の動画像符号化方法は、（１）動きベクトル抽出手段が、動画像の符号化対象フレームを所定サイズの複数のブロックに分割し、分割した複数のブロック各々について参照画像に対する動きベクトルを抽出する動きベクトル抽出ステップと、（２）割当手段が、複数のブロック各々の動きベクトルの類似性に基づいて、複数のブロック各々を複数の領域に関連付ける割当ステップと、（３）動きベクトル符号化手段が、割当手段によって各領域に関連付けられた複数のブロック各々の動きベクトルを、符号化処理してなる動きベクトル圧縮データを生成する動きベクトル符号化ステップと、（４）領域情報符号化手段が、割当手段の関連付けに関する情報を符号化してなる領域情報圧縮データを生成する領域情報符号化ステップと、を含み、（５）動きベクトル符号化ステップにおいて、動きベクトル符号化手段は、動きベクトル各々を符号化する際に、当該符号化する動きベクトルが関連付けられている領域に関連付けられている符号化済みの他のブロックの動きベクトルを予測動きベクトルとし、領域に関連付けられている符号化対象の動きベクトルと該予測ベクトルとの差分ベクトルを符号化してなる動きベクトル圧縮データを生成することによって、該領域に関連付けられている動きベクトルを符号化する。
また、上記目的を達成するため、本発明の動画像符号化プログラムは、コンピュータを、（１）動画像の符号化対象フレームを所定サイズの複数のブロックに分割し、分割した複数のブロック各々について参照画像に対する動きベクトルを抽出する動きベクトル抽出手段と、（２）複数のブロック各々の動きベクトルの類似性に基づいて、複数のブロック各々を複数の領域に関連付ける割当手段と、（３）割当手段によって各領域に関連付けられた複数のブロック各々の動きベクトルを、符号化処理してなる動きベクトル圧縮データを生成する動きベクトル符号化手段と、（４）割当手段の関連付けに関する情報を符号化してなる領域情報圧縮データを生成する領域情報符号化手段と、して機能させ、（５）動きベクトル符号化手段は、動きベクトル各々を符号化する際に、当該符号化する動きベクトルが関連付けられている領域に関連付けられている符号化済みの他のブロックの動きベクトルを予測動きベクトルとし、領域に関連付けられている符号化対象の動きベクトルと該予測ベクトルとの差分ベクトルを符号化してなる動きベクトル圧縮データを生成することによって、該領域に関連付けられている動きベクトルを符号化する。
これらの発明によれば、動きベクトルの類似性に基づいてブロックが領域に関連付けられる。すなわち動きベクトルが類似するブロックが領域に関連付けられる。符号化対象のブロックの動きベクトルに関する予測ベクトルとして同じ領域に関連付けられている符号化済みの他のブロックの動きベクトルが用いられる。すなわち、符号化対象のブロックの動きベクトルに類似する動きベクトルが予測動きベクトルに用いられるので、差分ベクトルの値が小さくなる。その結果、符号化すべき情報量が削減されるので、動きベクトルの符号化効率が向上される。したがって、動きベクトルの符号化効率を向上可能な動画像符号化装置、動画像符号化方法、及び動画像符号化プログラムが提供される。
上記目的を達成するため、本発明の動画像符号化装置は、（ａ）動画像の符号化対象フレームを所定サイズの複数のブロックに分割し、分割した複数のブロック各々について参照画像に対する動きベクトルを抽出する動きベクトル抽出手段と、（ｂ）互いに隣接しており、且つ、各々の動きベクトルの距離差が閾値以下のブロック又は既に複数のブロックが統合された領域を統合して、１以上の領域を生成する統合手段と、（ｃ）上記統合手段によって統合された領域に分けて、上記各領域に含まれる複数のブロック各々の動きベクトルを、符号化処理してなる動きベクトル圧縮データを生成する動きベクトル符号化手段と、（ｄ）上記１以上の領域各々に関し、該領域に含まれるブロックを特定するための領域情報を符号化してなる領域情報圧縮データを生成する領域情報符号化手段と、を備え、前記１以上の領域各々に関し、該領域に含まれるブロックを特定するための領域情報を符号化してなる領域情報圧縮データを生成する領域情報符号化手段と、を備え、（ｅ）上記動きベクトル符号化手段は、上記１以上の領域のうち、該領域の面積が最大の第１の領域に含まれる符号化済みの他のブロックの動きベクトルを予測動きベクトルとし、上記第１の領域に含まれる符号化対象のブロックの動きベクトルと該予測動きベクトルとの差分ベクトルを符号化してなる動きベクトル圧縮データを生成することによって、該第１の領域の上記符号化処理を行う。
また、上記目的を達成するため、本発明の動画像符号化方法は、（ａ）動きベクトル抽出手段が、動画像の符号化対象フレームを所定サイズの複数のブロックに分割し、分割した複数のブロック各々について参照画像に対する動きベクトルを抽出する動きベクトル抽出ステップと、（ｂ）統合手段が、互いに隣接しており、且つ、各々の動きベクトルの距離差が閾値以下のブロック又は既に複数のブロックが統合された領域を統合して、複数の領域を生成する統合ステップと、（ｃ）動きベクトル符号化手段が、上記各領域に含まれる複数のブロック各々の上記動きベクトルを、上記統合手段によって生成された上記複数の領域に分けて符号化処理してなる動きベクトル圧縮データを生成する動きベクトル符号化ステップと、（ｄ）領域情報符号化手段が、上記複数の領域各々に関し、該領域に含まれるブロックを特定するための領域情報を符号化してなる領域情報圧縮データを生成する領域情報符号化ステップと、を含み、（ｅ）上記動きベクトル符号化ステップにおいて、上記動きベクトル符号化手段は、上記１以上の領域のうち、該領域の面積が最大の第１の領域に含まれる符号化済みの他のブロックの動きベクトルを予測動きベクトルとし、該第１の領域に含まれる符号化対象のブロックの動きベクトルと該予測動きベクトルとの差分ベクトルを符号化してなる動きベクトル圧縮データを生成することによって、該第１の領域の上記符号化処理を行う。
また、上記目的を達成するため、本発明の動画像符号化プログラムは、コンピュータを、（ａ）動画像の符号化対象フレームを所定サイズの複数のブロックに分割し、分割した複数のブロック各々について参照画像に対する動きベクトルを抽出する動きベクトル抽出手段と、（ｂ）互いに隣接しており、且つ、各々の動きベクトルの距離差が閾値以下のブロック又は既に複数のブロックが統合された領域を統合して、複数の領域を生成する統合手段と、（ｃ）上記各領域に含まれる複数のブロック各々の上記動きベクトルを、上記統合手段によって生成された上記複数の領域に分けて符号化処理してなる動きベクトル圧縮データを生成する動きベクトル符号化手段と、（ｄ）上記複数の領域各々に関し、該領域に含まれるブロックを特定するための領域情報を符号化してなる領域情報圧縮データを生成する領域情報符号化手段と、として機能させ、（ｅ）上記動きベクトル符号化手段は、上記１以上の領域のうち、該領域の面積が最大の第１の領域に含まれる符号化済みの他のブロックの動きベクトルを予測動きベクトルとし、該第１の領域に含まれる符号化対象のブロックの動きベクトルと該予測動きベクトルとの差分ベクトルを符号化してなる動きベクトル圧縮データを生成することによって、該第１の領域の上記符号化処理を行う。
これらの発明によれば、隣接しており、かつ、動きベクトルの距離差が閾値以下のブロック又は既に複数のブロックが統合された領域が統合されて、１以上の領域とされる。すなわち、動きベクトルが類似する複数のブロックが統合された１以上の領域が生成される。１以上の領域のうち面積が最大の第１の領域では、符号化対象のブロックの動きベクトルに関する予測動きベクトルとして、第１の領域に含まれる符号化済みの他のブロック動きベクトルが用いられる。すなわち、符号化対象のブロックの動きベクトルに類似する動きベクトルが予測動きベクトルに用いられるので、差分ベクトルの値が小さくなる。その結果、符号化すべき情報量が削減されるので、動きベクトルの符号化効率を向上される。したがって、動きベクトルの符号化効率を向上可能な動画像符号化装置、動画像符号化方法、及び動画像符号化プログラムが提供される。
また、上述した本発明において、動きベクトル符号化手段は、第１の領域に含まれる符号化対象のブロックの左に隣接するブロックが該第１の領域に含まれる場合には、該左に隣接するブロックの動きベクトルを予測動きベクトルとして、該符号化対象のブロックの動きベクトルと該予測動きベクトルとの差分ベクトルを符号化してなる動きベクトル圧縮データを生成し、該符号化対象のブロックの左に隣接するブロックが該第１の領域に含まれない場合には、前記第１の領域における直前に符号化された動きベクトルを予測動きベクトルとして、該符号化対象のブロックの動きベクトルと該予測動きベクトルとの差分ベクトルを符号化してなる動きベクトル圧縮データを生成することができる。
また、上述した本発明において、動きベクトル符号化手段は、第１の領域に含まれる符号化対象のブロックの左及び上に隣接するブロックが該第１の領域に含まれる場合には、該左及び上に隣接するブロックの動きベクトルのうち該符号化対象のブロックの動きベクトルとの距離差が小さい動きベクトルを予測動きベクトルとして、該符号化対象のブロックの動きベクトルと該予測動きベクトルとの差分ベクトルを符号化してなる動きベクトル圧縮データを生成し、更に該予測動きベクトルとして用いられた動きベクトルをもつブロックを特定するためのブロック情報を符号化して成るブロック情報圧縮データを生成し、該符号化対象のブロックの左及び上に隣接するブロックのうち一方が該第１の領域に含まれる場合には、該隣接するブロックの動きベクトルを予測動きベクトルとし、該符号化対象のブロックの動きベクトルと該予測動きベクトルとの差分ベクトルを符号化し、該符号化対象のブロックの左及び上に隣接するブロックが該第１の領域に含まれない場合には、前記第１の領域における直前に符号化された動きベクトルを予測動きベクトルとし、該符号化対象のブロックの動きベクトルと該予測動きベクトルとの差分ベクトルを符号化することができる。
また、上記目的を達成するため、本発明の動画像復号装置は、（６）復号対象フレームが分割された１以上の領域各々に関し、該領域に関連付けられた所定サイズのブロックを特定するための領域情報が符号化されてなる領域情報圧縮データを復号し、１以上の領域各々に関する１以上の領域情報を出力する領域情報復号手段と、（７）領域情報復号手段によって出力された１以上の領域情報を参照して、１以上の領域に分けて、該領域に含まれるブロックの動きベクトルが符号化処理されてなる動きベクトル圧縮データを復号処理し、復号対象フレームに含まれる複数のブロック各々の動きベクトルを出力する動きベクトル復号手段と、を備え、（８）１以上の領域のうち、いずれかの領域に含まれる符号化済みの他のブロックの動きベクトルが予測動きベクトルとされ、領域に関連付けられている復号済みの動きベクトルと該予測ベクトルとの差分ベクトルが符号化されることによって符号化処理が行われており、（９）動きベクトル復号手段は、該領域に関連付けられた復号対象のブロックの差分ベクトルを復号し、該領域に関連付けられた復号済みの他のブロックの動きベクトルを予測動きベクトルとし、該差分ベクトルと該予測動きベクトルとを加算してなる動きベクトルを生成することによって、該領域の復号処理を行う。
また、上記目的を達成するため、本発明の動画像復号方法は、（６）領域情報復号手段が、復号対象フレームが分割された１以上の領域各々に関し、該領域に関連付けられた所定サイズのブロックを特定するための領域情報が符号化されてなる領域情報圧縮データを復号し、１以上の領域各々に関する１以上の領域情報を出力する領域情報復号ステップと、（７）動きベクトル復号手段が、領域情報復号手段によって出力された１以上の領域情報を参照して、１以上の領域に分けて、該領域に含まれるブロックの動きベクトルが符号化処理されてなる動きベクトル圧縮データを復号処理し、復号対象フレームに含まれる複数のブロック各々の動きベクトルを出力する動きベクトル復号ステップと、を含み、（８）１以上の領域のうち、いずれかの領域に含まれる符号化済みの他のブロックの動きベクトルが予測動きベクトルとされ、前記領域に関連付けられている復号済みの動きベクトルと該予測ベクトルとの差分ベクトルが符号化されることによって符号化処理が行われており、（９）動きベクトル復号手段は、該領域に関連付けられた復号対象のブロックの差分ベクトルを復号し、該領域に関連付けられた復号済みの他のブロックの動きベクトルを予測動きベクトルとし、該差分ベクトルと該予測動きベクトルとを加算してなる動きベクトルを生成することによって、該領域の復号処理を行う。
また、上記目的を達成するため、本発明の動画像復号プログラムは、コンピュータを、（６）復号対象フレームが分割された１以上の領域各々に関し、該領域に関連付けられた所定サイズのブロックを特定するための領域情報が符号化されてなる領域情報圧縮データを復号し、１以上の領域各々に関する１以上の領域情報を出力する領域情報復号手段と、（７）領域情報復号手段によって出力された１以上の領域情報を参照して、１以上の領域に分けて、該領域に含まれるブロックの動きベクトルが符号化処理されてなる動きベクトル圧縮データを復号処理し、復号対象フレームに含まれる複数のブロック各々の動きベクトルを出力する動きベクトル復号手段と、して機能させ、（８）１以上の領域のうち、いずれかの領域に含まれる符号化済みの他のブロックの動きベクトルが予測動きベクトルとされ、領域に関連付けられている復号済みの動きベクトルと該予測ベクトルとの差分ベクトルが符号化されることによって符号化処理が行われており、（９）動きベクトル復号手段は、該領域に関連付けられた復号対象のブロックの差分ベクトルを復号し、該領域に関連付けられた復号済みの他のブロックの動きベクトルを予測動きベクトルとし、該差分ベクトルと該予測動きベクトルとを加算してなる動きベクトルを生成することによって、該領域の復号処理を行う。
これらの発明によれば、領域情報圧縮データが復号されてなる領域情報が参照されつつ、動きベクトル圧縮データが復号処理される。領域に関する復号処理では、復号対象のブロックの差分ベクトルが復号される。同一領域内の復号済みの他のブロックの動きベクトルが予測動きベクトルとされ、この差分ベクトルと予測動きベクトルとが加算されることによって動きベクトルが生成される。したがって、上述した本発明の動画像符号化装置によって符号化された動きベクトルを復号可能な動画像復号装置、動画像復号方法、及び動画像復号プログラムが提供される。
また、上記目的を達成するため、本発明の動画像復号装置は、（ｆ）復号対象フレームが分割された１以上の領域各々に関し、該領域に含まれる所定サイズのブロックを特定するための領域情報が符号化されてなる領域情報圧縮データを復号し、上記１以上の領域各々に関する１以上の領域情報を出力する領域情報復号手段と、（ｇ）上記領域情報復号手段によって出力された１以上の領域情報を参照して、上記１以上の領域に分けて、該領域に含まれるブロックの動きベクトルが符号化処理されてなる動きベクトル圧縮データを復号処理し、復号対象フレームに含まれる複数のブロック各々の動きベクトルを出力する動きベクトル復号手段と、を備え、（ｈ）上記１以上の領域のうち、該領域の面積が最大の第１の領域では、該第１の領域に含まれる符号化済みの他のブロックの動きベクトルが予測動きベクトルとされ、該第１の領域に含まれる符号化対象のブロックの動きベクトルと該予測動きベクトルとの差分ベクトルが符号化されることによって上記符号化処理が行われており、（ｉ）上記動きベクトル復号手段は、該第１の領域に含まれる復号対象のブロックの差分ベクトルを復号し、該第１の領域に含まれる復号済みの他のブロックの動きベクトルを予測動きベクトルとし、該差分ベクトルと該予測動きベクトルとを加算してなる動きベクトルを生成することによって、該第１の領域の上記復号処理を行う。
また、上記目的を達成するため、本発明の動画像復号方法は、（ｆ）領域情報復号手段が、復号対象フレームが分割された１以上の領域各々に関し、該領域に含まれる所定サイズのブロックを特定するための領域情報が符号化されてなる領域情報圧縮データを復号し、上記１以上の領域各々に関する１以上の領域情報を出力する領域情報復号ステップと、（ｇ）動きベクトル復号手段が、上記領域情報復号手段によって出力された１以上の領域情報を参照して、上記１以上の領域に分けて、該領域に含まれるブロックの動きベクトルが符号化処理されてなる動きベクトル圧縮データを復号処理し、復号対象フレームに含まれる複数のブロック各々の動きベクトルを出力する動きベクトル復号ステップと、を含み、（ｈ）上記１以上の領域のうち、該領域の面積が最大の第１の領域では、該第１の領域に含まれる符号化済みの他のブロックの動きベクトルが予測動きベクトルとされ、該第１の領域に含まれる符号化対象のブロックの動きベクトルと該予測動きベクトルとの差分ベクトルが符号化されることによって上記符号化処理が行われており、（ｉ）上記動きベクトル復号ステップにおいて、上記動きベクトル復号手段は、該第１の領域に含まれる復号対象のブロックの差分ベクトルを復号し、該第１の領域に含まれる復号済みの他のブロックの動きベクトルを予測動きベクトルとし、該差分ベクトルと該予測動きベクトルとを加算してなる動きベクトルを生成することによって、該第１の領域の上記復号処理を行う。
また、上記目的を達成するため、本発明の動画像復号プログラムは、コンピュータを、（ｆ）復号対象フレームが分割された１以上の領域各々に関し、該領域に含まれる所定サイズのブロックを特定するための領域情報が符号化されてなる領域情報圧縮データを復号し、上記１以上の領域各々に関する１以上の領域情報を出力する領域情報復号手段と、（ｇ）上記領域情報復号手段によって出力された１以上の領域情報を参照して、上記１以上の領域に分けて、該領域に含まれるブロックの動きベクトルが符号化処理されてなる動きベクトル圧縮データを復号処理し、復号対象フレームに含まれる複数のブロック各々の動きベクトルを出力する動きベクトル復号手段と、として機能させ、（ｈ）上記１以上の領域のうち、該領域の面積が最大の第１の領域では、該第１の領域に含まれる符号化済みの他のブロックの動きベクトルが予測動きベクトルとされ、該第１の領域に含まれる符号化対象のブロックの動きベクトルと該予測動きベクトルとの差分ベクトルが符号化されることによって上記符号化処理が行われており、（ｉ）上記動きベクトル復号手段は、該第１の領域に含まれる復号対象のブロックの差分ベクトルを復号し、該第１の領域に含まれる復号済みの他のブロックの動きベクトルを予測動きベクトルとし、該差分ベクトルと該予測動きベクトルとを加算してなる動きベクトルを生成することによって、該第１の領域の上記復号処理を行う。
これらの発明によれば、領域情報圧縮データが復号されてなる領域情報が参照されつつ、動きベクトル圧縮データが復号処理される。領域情報によって特定される面積が最大の第１の領域に関する復号処理では、復号対象のブロックの差分ベクトルが復号される。第１の領域内の復号済みの他のブロックの動きベクトルが予測動きベクトルとされ、この差分ベクトルと予測動きベクトルとが加算されることによって動きベクトルが生成される。したがって、上述した本発明の動画像符号化装置によって符号化された動きベクトルを復号可能な動画像復号装置、動画像復号方法、及び動画像復号プログラムが提供される。
以上説明したように、本発明によれば、動きベクトルに関して符号化すべき情報量が削減されるので、動きベクトルの符号化効率を向上可能な動画像符号化装置、動画像符号化方法、及び動画像符号化プログラムが提供される。
また、上述した本発明の動画像符号化装置によって符号化された動きベクトルを復号可能な動画像復号装置、動画像復号方法、及び動画像復号プログラムが提供される。
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、各図面において同一又は相当の部分に対しては同一の符号を附すこととする。
［第１実施形態］
本発明の第１実施形態にかかる動画像符号化装置１について説明する。図１は、動画像符号化装置１の構成を示す図である。動画像符号化装置１は、物理的に、ＣＰＵ（中央処理装置）、メモリといった記憶装置、ディスプレイといった表示装置、通信装置等を備えるコンピュータであることができる。また、動画像符号化装置１は、携帯電話といった移動通信端末であってもよい。すなわち、動画像符号化装置１には、情報処理可能な装置が広く適用され得る
図１に示されるように、動画像符号化装置１は、機能的に、動き補償予測部（動きベクトル抽出手段）２と、減算部４と、量子化変換部６と、第１符号化部８と、逆量子化変換部１０と、加算部１２と、参照画像記憶部１４と、第２符号化部１６と、統合処理部（統合手段、割当手段）１８と、第３符号化部（動きベクトル符号化手段）２０と、第４符号化部（領域情報符号化手段）２２と、選択処理部２４と、を備える。
動き補償予測部２は、動画像の符号化対象フレームのための動き補償予測を行う。動き補償予測部２は、符号化対象フレームを所定サイズの複数のブロックに分割する。所定サイズとしては、８×８ピクセル、１６×１６ピクセルといったサイズが例示される。
動き補償予測部２は、複数のブロック各々について、参照画像記憶部１４に記憶されている参照画像に対するブロックマッチングを行う。ブロックマッチングの結果、動き補償予測部２は、ブロックの画像に最も近い参照画像中の部分画像を特定する。動き補償予測部２は、その部分画像への動きベクトルを求める。動き補償予測部２は、複数のブロック各々について求めた部分画像を用いて、符号化対象フレームの予測画像を生成する。
減算部４は、符号化対象フレームと予測画像との差演算を実行する。減算部４は、この差演算によって得られる予測残差画像を、量子化変換部６に出力する。
量子化変換部６は、減算部４によって出力された予測残差画像を変換係数の集合に分解する変換処理を実行する。この変換処理には、例えば、直交変換処理が用いられる。直交変換処理としては、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、あるいはＤＷＴ（Ｄｉｓｃｒｅｔｅ Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ）を用いることができる。
量子化変換部６は、予測残差画像を分解することによって、変換係数を生成する。量子化変換部６は、変換係数を量子化することによって、量子化変換係数を生成する。
第１符号化部８は、量子化変換係数を符号化することによって、圧縮符号を生成する。この符号化には、例えば、算術符号化が用いられる。第１符号化部８は、生成した圧縮符号をビットストリームの一部として出力する。
逆量子化変換部１０は、量子化変換部６によって生成された量子化変換係数を、逆量子化し、変換係数を復元する。逆量子化変換部１０は、復元した変換係数に、上記した変換処理の逆変換処理を施すことによって、予測残差画像を復元した復元予測残差画像を生成する。
加算部１２は、復元予測残差画像と、動き補償予測部２によって生成された予測画像とを加算することによって、符号化対象フレームの復元画像を生成する。
参照画像記憶部１４は、加算部１２によって生成された復元画像を参照画像として記憶する。参照画像記憶部１４は、記憶した参照画像を、次の符号化対象フレームの動き補償予測に提供する。
第２符号化部１６は、複数のブロック各々の動きベクトルを符号化する。この符号化のために、第２符号化部１６は、符号化対象ブロックの左に隣接するブロックの動きベクトルを予測動きベクトルとし、符号化対象ブロックの動きベクトルと予測動きベクトルとの差からなる差分ベクトルを生成する。第２符号化部１６は、ラスタスキャン順に複数のブロック各々の差分ベクトルを求め、その差分ベクトルを符号化することによって、圧縮符号を生成する。第２符号化部１６は、この圧縮符号を選択処理部２４に出力する。
統合処理部１８は、類似する動きベクトルを有し、かつ、隣接しているブロックを統合することによって、複数のブロックを１以上の領域に分割する。そのために、統合処理部１８は、２段階に分けてブロックの統合を行う。図２、統合処理部１８によってブロックが統合される様子を例示的に示す図であり、１段階目の統合処理を経た状態を示す。
統合処理部１８は、１段階目の統合処理として、隣接しており、かつ、同一の動きベクトルをもつブロックを統合する。図２には、統合処理部１８による１段階目の統合処理を経ることによって生成された複数の領域が、点線によって各々囲まれている。統合処理部１８は、複数の領域各々について代表動きベクトルを求める。１段階目の統合処理では、同一の動きベクトルをもつブロックが統合された領域が生成されているので、その領域に含まれるブロックの動きベクトルが代表動きベクトルとされる。
統合処理部１８は、１段階目の統合処理を経て生成された複数の領域を更に統合する２段階目の統合処理を実行する。そのために、統合処理部１８は、まず、複数の領域各々の代表動きベクトルと他の領域の代表動きベクトルとのユークリッド距離を求める。統合処理部１８は、求めたユークリッド距離のうち最大のユークリッド距離を用いて、閾値を求める。本実施形態では、閾値は、最大のユークリッド距離の３．５％の値が用いられる。
統合処理部１８は、隣接する二つの領域の代表動きベクトルのユークリッド距離が閾値以下の場合に、二つの領域を統合して新たな領域とする。統合処理部１８は、新たな領域の代表ベクトルを、下式（１）によって求める。式（１）において、ＭＶＲは、新たな領域の代表ベクトルである。Ｎ１は統合される二つの領域のうち一方の領域に含まれるブロックの数である。ＭＶ１は、その一方の領域の代表動きベクトルである。Ｎ２は統合される二つの領域のうち他方の領域に含まれるブロックの数である。ＭＶ２は、その他方の領域の代表動きベクトルである。
Figure 2005124001
統合処理部１８は、複数の領域全てに対して、以上の２段階目の統合処理を行った後、新たに生成された領域の代表動きベクトルを用い、上述した閾値を上記と同様の計算によって更新する。統合処理部１８は、閾値を更新した後、２段階目の統合処理を繰り返す。統合処理部１８は、新たに統合される領域が無い場合に、２段階目の統合処理を終了する。
図３は、統合処理部１８によってブロックが統合される様子を例示的に示す図であり、２段階目の統合処理を経た状態を示す。２段階目の統合処理を経て統合されたブロックは、図３において、点線で囲まれている。２段階目の統合処理を経て統合された領域は、図２に示される一段階目の統合処理を経た複数の領域のうち、隣接しており、かつ、類似する代表動きベクトルをもつ領域が、２段階目の統合処理を経ることによって、図３に示されるように統合される。尚、この実施形態では統合処理部１８が各ブロックを統合する例について説明しているが、各ブロックの動くベクトルの類似性に基づいて各ブロックを領域に関連付けるようにしてもよい。
第３符号化部２０は、複数の領域にわけて、その領域に含まれるブロックの動きベクトルを符号化する。第３符号化部２０は、統合処理部１８によって生成された複数の領域のうち、面積が最大の領域を第１の領域とする。第３符号化部２０は、第１の領域とその他の領域とで、異なる符号化処理を行う。
第３符号化部２０は、第１の領域に含まれる複数のブロック各々について、符号化対象のブロックの左に隣接するブロックがある場合には、その隣接するブロックの動きベクトルを予測動きベクトルとする。一方、符号化対象のブロックの左に隣接するブロックが無い場合には、第３符号化部２０は、第１の領域に含まれるブロックの動きベクトルのうち、直前に符号化された動きベクトルを予測動きベクトルとする。第３符号化部２０は、符号化対象のブロックの動きベクトルと予測動きベクトルとの差から成る差分ベクトルを符号化する。この符号化にも、算術符号化を用いることができる。
第３符号化部２０は、第１の領域以外の他の領域に含まれるブロックの動きベクトルについては、予測動きベクトルを用いずに、そのままの値を符号化する。尚、予測動きベクトルを用いて符号化してもよい。この符号化にも、算術符号化を用いることができる。
第４符号化部２２は、複数の領域各々に含まれるブロックを特定するための領域情報を符号化する。この領域情報とは、複数のブロック各々が含まれるか否かを「１」と「０」の二値で表したものである。したがって、領域情報を二値画像と同様に扱って符号化することができる。
第４符号化部２２は、領域情報をＪＢＩＧと同様の処理によって符号化する。但し、領域情報の符号化に用いられるコンテキストは、ＪＢＩＧのコンテキストと異なる。図４（Ａ）は、第４符号化部２２が、領域情報の符号化に用いるコンテキストを表す図であり、符号化対象フレームの１フレーム前のフレームを複数のブロックに分割した状態を示している。図４（Ｂ）は、第４符号化部２２が、領域情報の符号化に用いるコンテキストを表す図であり、符号化対象フレームを複数のブロックに分割した状態を示している。図４（Ｂ）において、円が描かれているブロックが領域情報を符号化する対象のブロックである。図４（Ａ）及び図４（Ｂ）において、斜線のハッチングが施されているブロックがコンテキストとして符号化の際に参照されるブロックである。
第４符号化部２２は、領域情報を符号化する対象のブロックに関し、１フレーム前の同一位置のブロック、左及び上に隣接するブロック、それぞれの値をからなるニ値の数列をコンテキストとし、符号化する対象のブロックの値を算術符号化する。
第４符号化部２２は、全ての領域について領域情報を符号化してなる圧縮符号を生成し、生成した圧縮符号を選択処理部２４に出力する。
選択処理部２４は、第３符号化部２０によって生成された圧縮符号のデータ量と第４符号化部２２によって生成された圧縮符号のデータ量との合計値と、第２符号化部１６によって生成された圧縮符号のデータ量とを比較する。選択処理部２４は、比較の結果、第２符号化部１６によって生成された圧縮符号のデータ量の方が小さい場合には、第２符号化部１６によって生成された圧縮符号をビットストリームの一部として出力する。
一方、第３符号化部２０によって生成された圧縮符号のデータ量と第４符号化部２２によって生成された圧縮符号のデータ量との合計値の方が小さい場合には、選択処理部２４は、第３符号化部２０によって生成された圧縮符号と、第４符号化部２２によって生成された圧縮符号とを、ビットストリームの一部として出力する。
すなわち、ラスタスキャン順に動きベクトルが符号化された動きベクトル圧縮データのデータ量がより小さければ、選択処理部２４は、この動きベクトル圧縮データを採用して、ビットストリームの一部とする。
一方、領域にわけて動きベクトルが符号化された動きベクトル圧縮データと領域情報が符号化された領域情報圧縮データとのデータ量がより小さければ、選択処理部２４は、この動きベクトル圧縮データと領域情報圧縮データとを採用して、ビットストリームの一部とする。
以下、本実施形態にかかる動画像符号化装置１の動作について説明する。併せて、本実施形態にかかる動画像符号化方法について説明する。図５は、この動画像符号化方法のフローチャートである。この動画像符号化方法では、動き補償予測部２が、動き補償予測を行う（ステップＳ０１）。すなわち、符号化対象フレームを分割した所定サイズの複数のブロック各々について、参照画像記憶部１４に記憶された参照画像に対する動きベクトルと、符号化対象フレームの予測画像とが生成される。
次いで、減算部４が、符号化対象フレームと予測画像との差からなる予測残差画像を生成する（ステップＳ０２）。そして、量子化変換部６が、予測残差画像を変換係数に分解する変換処理を実行し、分解した変換係数を量子化してなる量子化変換係数を生成する（ステップＳ０３）。
次いで、第１符号化部８が、量子化変換係数を符号化した圧縮符号を生成し、この圧縮符号をビットストリームの一部として出力する（ステップＳ０４）。
次いで、逆量子化変換部１０が、量子化変換係数を逆量子化することによって変換係数を復元する。逆量子化変換部１０は、復元した変換係数に上記の変換処理の逆変換処理を施すことによって、予測残差画像を復元する（ステップＳ０５）。
次いで、加算部１２が、復元された予測残差画像と、動き補償予測部２によって生成された予測画像とを加算することによって、符号化対象フレームを復元した復元画像を生成する（ステップＳ０６）。この復元画像は、参照画像記憶部１４に、参照画像として記憶され、次のフレームの動き補償予測のために提供される。
次いで、第２符号化部１６は、複数のブロック各々の動きベクトルを上述したようにラスタスキャン順に符号化することによって圧縮符号を生成する（ステップＳ０７）。
次いで、統合処理部１８が、上述した２段階の統合処理を実行する（ステップＳ０８）。図６は、統合処理部１８による統合処理のフローチャートである。統合処理部１８は、まず、一段目の統合処理として、統合処理部１８は、隣接し、且つ、同一の動きベクトルをもつブロックを統合することによって複数の領域を生成する（ステップＳ８−１）。
二段目の処理として、まず、統合処理部１８は、複数の領域各々の代表ベクトルと他のブロックの代表ベクトルとのユークリッド距離を求める。統合処理部１８は、最大のユークリッド距離の３．５％の値を閾値とする（ステップＳ８−２）。
次いで、統合処理部１８は、隣接し、かつ、代表動きベクトルの距離差が閾値以下の二つの領域を統合することによって新たな領域を生成する（ステップＳ８−３）。統合処理部１８は、新たな領域の代表動きベクトルを上述した式（１）によって更新する（ステップＳ８−４）。
統合処理部１８は、全ての領域について、ステップＳ８−２〜ステップＳ８−３の処理を行った後、統合された領域があるか否かを判断し（ステップＳ８−５）、統合された領域がある場合には、ステップＳ８−２に戻り、閾値を更新する。一方、統合された領域が無い場合には、２段目の統合処理を終了する。
次いで、第３符号化部２０が、統合処理部１８によって統合された領域ごとに動きベクトルを符号化する（ステップＳ０９）。図７は、領域ごとに動きベクトルを符号化する処理のフローチャートである。
図７に示されるように、第３符号化部２０は、第１の領域のブロックを選択し（ステップＳ９−１）、選択したブロックの左に隣接するブロックが第１の領域に含まれるか否かを判断する（ステップＳ９−２）。左に隣接するブロックが第１の領域に含まれる場合に、第３符号化部２０は、左に隣接するブロックの動きベクトルを予測動きベクトルとする。第３符号化部２０は、選択したブロックの動きベクトルと、予測動きベクトルとの差分からなる差分ベクトルを生成する（ステップＳ９−３）。
一方、左に隣接するブロックが第１の領域に含まれない場合に、第３符号化部２０は、第１の領域において直前に符号化された動きベクトルを予測動きベクトルとする。第３符号化部２０は、選択したブロックの動きベクトルと、予測動きベクトルとの差分からなる差分ベクトルを生成する（ステップＳ９−４）。
第３符号化部２０は、生成した差分ベクトルに算術符号化を施すことによって圧縮符号を生成する（ステップＳ９−５）。第３符号化部２０は、第１の領域の全てのブロックについて、ステップＳ９−１〜ステップＳ９−５の処理が行われたか否かを判断し（ステップＳ９−６）、行われていない場合には、ステップＳ９−１に戻って、符号化が行われていないブロックを選択する。一方、第１の領域の全ブロックについて、ステップＳ９−１〜ステップＳ９−５の処理が行われている場合に、第３符号化部２０は、他の領域の動きベクトルを符号化する（ステップＳ９−７）。他の領域の動きベクトルの符号化においても、第３符号化部２０は、領域に分けて、その領域に含まれる動きベクトルを符号化する。但し、他の領域については、予測動きベクトルを用いずに、動きベクトルが符号化される。尚、予測動きベクトルを用いて符号化してもよい。第３符号化部２０は、以上の処理を経て生成された動きベクトルの圧縮符号を選択処理部２４に出力する。
図５に戻り、次に、第４符号化部２２が、上述したように、複数の領域各々について、その領域に含まれるブロックを特定するための領域情報を符号化する。第４符号化部２２が、この符号化によって生成した圧縮符号を選択処理部２４に出力する（ステップＳ１０）。
次いで、選択処理部２４が、第３符号化部２０と第４符号化部２２によって出力された各々の圧縮符号のデータ量の合計値と、第２符号化部１６によって生成された圧縮符号のデータ量とを比較する。第２符号化部１６によって生成された圧縮符号のデータ量が小さい場合に、選択処理部２４は、第２符号化部１６によって生成された圧縮符号をビットストリームの一部として出力する。一方、第３符号化部２０と第４符号化部２２によって出力された各々の圧縮符号のデータ量の合計値の方が小さい場合に、選択処理部２４は、第３符号化部２０と第４符号化部２２によって出力された各々の圧縮符号をビットストリームの一部として出力する（ステップＳ１１）。
以下、コンピュータを動画像符号化装置１として動作させるための動画像符号化プログラム３０について説明する。図８は、動画像符号化プログラム３０の構成を示す図である。動画像符号化プログラム３０は、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体あるいは半導体メモリによって提供される。また、動画像符号化プログラム３０は、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されるものであってもよい。
動画像符号化プログラム３０は、処理を統括するメインモジュール３１と、動き補償予測モジュール３２と、減算モジュール３４と、量子化変換モジュール３６と、第１符号化モジュール３８と、逆量子化変換モジュール４０と、加算モジュール４２と、参照画像記憶モジュール４４と、第２符号化モジュール４６と、統合処理モジュール４８と、第３符号化モジュール５０と、第４符号化モジュール５２と、選択処理モジュール５４と、を備える。
動き補償予測モジュール３２、減算モジュール３４、量子化変換モジュール３６、第１符号化モジュール３８、逆量子化変換モジュール４０、加算モジュール４２、参照画像記憶モジュール４４、第２符号化モジュール４６、統合処理モジュール４８、第３符号化モジュール５０、第４符号化モジュール５２、選択処理モジュール５４がコンピュータに実行させる機能は、上述した動き補償予測部２、減算部４、量子化変換部６、第１符号化部８、逆量子化変換部１０、加算部１２、参照画像記憶部１４、第２符号化部１６、統合処理部１８、第３符号化部２０、第４符号化部２２、選択処理部２４とそれぞれ同様である。
以下、本実施形態にかかる動画像符号化装置１の作用及び効果を説明する。動画像符号化装置１では、上述したように、統合処理部１８によって、類似する動きベクトルを有し、かつ隣接するブロックが統合されて、複数の領域が生成される。
動画像符号化装置１では、統合処理部１８によって生成された複数の領域にわけて、動きベクトルが符号化される。複数の領域のうち面積が最大の第１の領域では、符号化対象のブロックの動きベクトルに関する予測動きベクトルとして、第１の領域に含まれる符号化済みの他のブロック動きベクトルが用いられる。すなわち、符号化対象のブロックの動きベクトルに類似する動きベクトルが予測動きベクトルに用いられるので、差分ベクトルの値が小さくなる。その結果、第３符号化部２０が符号化すべき情報量が削減されるので、動きベクトルの符号化効率を向上される。
［第２実施形態］
本発明の第２実施形態の動画像符号化装置１について説明する。第２実施形態の動画像符号化装置１は、第１実施形態の動画像符号化装置と同様の構成を有する。第２実施形態の動画像符号化装置１では、第３符号化部２０が第１実施形態と異なる処理を行う。
以下、第２実施形態の第３符号化部２０の動作を説明する。併せて、第３符号化部２０による動きベクトルの符号化処理を説明する。なお、第３符号化部２０による動きベクトルの符号化処理を、図５に示される動画像符号化方法のフローチャートにおけるステップＳ０９の処理に置き換えて用いることができる。
図９及び図１０は、第２実施形態の第３符号化部２０による動きベクトルの符号化処理のフローチャートである。図９に示されるように、第３符号化部２０は、まず、複数の領域のうち、第１の領域のブロックを符号化対象のブロックとして選択する（ステップＳ９−１１）。
次いで、第３符号化部２０は、選択したブロックの左及び上に隣接するブロックが第１の領域に含まれるか否かを判断する（ステップＳ９−１２）。左及び上に隣接するブロックがある場合、第３符号化部２０は、選択したブロックの動きベクトルと距離差が少ない動きベクトルをもつブロックを選択する（ステップＳ９−１３）。第３符号化部２０は、左及び上に隣接するブロックのうち、選択したブロックの動きベクトルと符号化対象のブロックの動きベクトルとの差分からなる差分ベクトルを生成する（ステップＳ９−１４）。
第３符号化部２０は、左及び上に隣接するブロックのうち、選択したブロックを特定するためのブロック情報を符号化することによって圧縮符号を生成する（ステップＳ９−１５）。この圧縮符号は、ビットストリームの一部とされる。ブロック情報は、例えば、左を「１」、上を「０」とするなど、二値の情報として扱うことができる。
ステップＳ９−１２で条件が満たされないと判断した場合に、第３符号化部２０は、第１の領域において、符号化対象のブロックの左及び上の一方に隣接するブロックがあるか否かを判断する（ステップＳ９−１６）。
左及び上の一方に隣接するブロックが第１の領域にある場合に、第３符号化部２０は、その隣接するブロックの動きベクトルを予測動きベクトルとする。そして、第３符号化部２０は、符号化対象のブロックの動きベクトルと予測動きベクトルとの差分ベクトルを生成する（ステップＳ９−１７）。
一方、符号化対象のブロックの左及び上に隣接するブロックが第１の領域に無い場合に、第３符号化部２０は、第１の領域において直前に符号化されたブロックの動きベクトルを予測動きベクトルとする。第３符号化部２０は、符号化対象のブロックの動きベクトルと予測動きベクトルとの差分ベクトルを生成する（ステップＳ９−１８）。
次いで、第３符号化部２０は、差分ベクトルを符号化することによって圧縮符号を生成する（ステップＳ９−１９）。第３符号化部２０は、第１の領域の全ブロックについて、動きベクトルの符号化処理が行われたか否かを判断し（ステップＳ９−２０）、行われていない場合には、ステップＳ９−１１からの処理を繰り返す。
一方、第１の領域の全ブロックについて、動きベクトルの符号化処理が行われている場合に、第３符号化部２０は、第１の領域以外の他の領域の動きベクトルの符号化を行う。
第３符号化部２０は、第ｍ領域（ｍは１以上の整数であり、その最大値は全領域数である。）のブロックを符号化対象のブロックとして選択する（ステップＳ９−２１）。
第３符号化部２０は、符号化対象のブロックの左及び上に隣接するブロックが第ｍ領域にあるか否かを判断する（ステップＳ９−２２）。左及び上に隣接するブロックが第ｍ領域にある場合に、第３符号化部２０は、左及び上に隣接するブロックのうち、符号化対象のブロックの動きベクトルと距離差が少ない動きベクトルをもつブロックを選択する（ステップＳ９−２３）。
第３符号化部２０は、左及び上に隣接するブロックのうち、選択したブロックの動きベクトルと符号化対象のブロックの動きベクトルとの差分からなる差分ベクトルを生成する（ステップＳ９−２４）。第３符号化部２０は、左及び上に隣接するブロックのうち、選択したブロックを特定するためのブロック情報を符号化することによって圧縮符号を生成する（ステップＳ９−２５）。この圧縮符号は、ビットストリームの一部とされる。
ステップＳ９−２２で条件が満たされない場合に、第３符号化部２０は、第ｍ領域において、符号化対象のブロックの左及び上の一方に隣接するブロックがあるか否かを判断する（ステップＳ９−２６）。
左及び上の一方に隣接するブロックが第ｍ領域にある場合に、第３符号化部２０は、その隣接するブロックの動きベクトルを予測動きベクトルとする。そして、第３符号化部２０は、符号化対象のブロックの動きベクトルと予測動きベクトルとの差分ベクトルを生成する（ステップＳ９−２７）。
一方、符号化対象のブロックの左及び上に隣接するブロックが第ｍ領域に無い場合に、第３符号化部２０は、第１の領域から第ｍ−１領域のブロックであって、符号化対象のブロックの左及び上に隣接するブロックのうち、符号化対象の動きベクトルとの距離差が少ない動きベクトルをもつブロックを選択する（ステップＳ９−２８）。
第３符号化部２０は、選択したブロックの動きベクトルを予測動きベクトルとし、符号化対象のブロックの動きベクトルと予測動きベクトルとの差分ベクトルを生成する（ステップＳ９−２９）。
第３符号化部２０は、ステップＳ９−２８において選択したブロックを特定するためのブロック情報を符号化することによって圧縮符号を生成する（ステップＳ９−３０）。この圧縮符号は、ビットストリームの一部とされる。
次いで、第３符号化部２０は、差分ベクトルを符号化することによって圧縮符号を生成する（ステップＳ９−３１）。第３符号化部２０は、第ｍ領域の全ブロックについて、動きベクトルの符号化が行われたか否かを判断し（ステップＳ９−３２）、行われていない場合には、ステップＳ９−２１からの処理を繰り返す。一方、第ｍ領域の全ブロックについて、動きベクトルの符号化が行われている場合に、第３符号化部２０は、全領域の動きベクトルが符号化されているか否かを判断する（ステップＳ９−３３）。全領域の動きベクトルが符号化されていない場合には、第３符号化部２０は、ｍを１増加し、Ｓ９−２１からの処理を繰り返す。一方、全領域の動きベクトルが符号化されている場合には、第３符号化部２０による処理が終了される。
以下、コンピュータを第２実施形態の動画像符号化装置１として動作させるための第２実施形態の動画像符号化プログラム３０について説明する。第２実施形態の動画像符号化プログラム３０についても、第１実施形態の動画像符号化プログラム３０と同様の構成を有している。但し、第２実施形態の第３符号化モジュール５０は、第２実施形態の第３符号化部２０の機能をコンピュータに実現させる。
［第３実施形態］
本発明の第３実施形態にかかる動画像復号装置６０について説明する。図１１は、動画像復号装置６０の構成を示す図である。動画像復号装置６０は、第１実施形態の動画像符号化装置によって出力されたビットストリームから動画像を復元する装置である。
動画像復号装置６０は、物理的に、ＣＰＵ（中央処理装置）、メモリといった記憶装置、ディスプレイといった表示装置、通信装置等を備えるコンピュータであることができる。また、動画像復号装置６０は、携帯電話といった移動通信端末であってもよい。すなわち、動画像復号装置６０には、情報処理可能な装置が広く適用され得る。
図１に示されるように、動画像復号装置６０は、第１復号部６２と、逆量子化変換部６４と、第２復号部（領域情報復号手段）６６と、第３復号部（動きベクトル復号手段）６８と、動き補償予測部７０と、加算部７２と、参照画像記憶部７４とを備える。
第１復号部６２は、上記のビットストリームから、量子化変換係数が符号化されて成る圧縮符号を抽出し、この圧縮符号から量子化変換係数を復号する。
逆量子化変換部６４は、第１復号部６２によって復号された量子化変換係数に逆量子化を施すことによって、変換係数を復元する。逆量子化変換部６４は、復元した変換係数に逆変換処理を施すことによって、予測残差画像を復元する。逆量子化変換部６４は、復元した予測残差画像を加算部７２に出力する。
第２復号部６６は、領域情報が符号化されてなる圧縮符号が上記のビットストリームに含まれる場合に、この圧縮符号を抽出する。第２復号部６６は、抽出した圧縮符号を復号することによって、複数の領域情報を復元する。この復元のための処理は、ＪＢＩＧの復元処理とほぼ同様である。但し、算術符号化に利用されるコンテキストは、図４に示されるように、ＪＢＩＧに利用されているコンテキストと異なる。第２復号部６６は、復元した複数の領域情報を第３復号部６８に出力する。
第３復号部６８は、ビットストリームに含まれている動きベクトルの圧縮符号を復号することによって、動きベクトルを復元する。領域情報が符号化されてなる圧縮符号が上記のビットストリーム含まれていない場合、すなわち、第２復号部６６から領域情報が出力されない場合に、第３復号部６８は、圧縮符号の復号をラスタスキャン順に行う。すなわち、第３復号部６８は、復号対象のブロックの左に隣接するブロックの動きベクトルを予測動きベクトルとする。第３復号部６８は、圧縮符号を復号することによって得られる復号対象のブロックの差分ベクトルに、予測動きベクトルを加算することによって、復号対象のブロックの動きベクトルを復元する。
一方、第２復号部６６から領域情報が出力された場合に、第３復号部６８は、領域情報を参照することによって、領域にわけて動きベクトルの復元を行う。具体的に、第１の領域の動きベクトルの復元は以下のように行われる。第１の領域の復号対象のブロックの左に隣接するブロックが第１の領域に含まれる場合に、第３復号部６８は、その隣接するブロックの動きベクトルを予測動きベクトルとする。第３復号部６８は、復号対象のブロックの差分ベクトルを復号し、この差分ベクトルと予測動きベクトルとを加算することによって、復号対象のブロックの動きベクトルを復元する。
一方、第１の領域の復号対象のブロックの左に隣接するブロックが第１の領域に含まれない場合に、第３復号部６８は、第１の領域において直前に復号されたブロックの動きベクトルを予測動きベクトルとする。第３復号部６８は、復号対象のブロックの差分ベクトルを復号し、この差分ベクトルと予測動きベクトルとを加算することによって、復号対象のブロックの動きベクトルを復元する。
動き補償予測部７０は、復号対象フレームの参照画像に対する予測画像を生成する。この予測画像は、参照画像記憶部７４に記憶されている。具体的に、動き補償予測部７０は、第３復号部６８によって復号された動きベクトルから、参照画像中の部分画像を特定する。動き補償予測部７０は、復号対象フレームを分割する複数のブロック全てについて部分画像を求めることによって、予測画像を生成する。
加算部７２は、動き補償予測部７０によって生成された予測画像と、逆量子化変換部６４によって復元された予測残差画像とを加算することによって、復号対象フレームの復元画像を生成する。
参照画像記憶部７４は、加算部７２によって生成された復元画像を参照画像として記憶する。参照画像記憶部７４は、記憶している参照画像を、次の復号対象フレームに関する動き補償予測のために提供する。
以下、動画像復号装置６０の動作について説明する。併せて、本発明の実施形態にかかる動画像復号方法について説明する。図１２は、本発明の第３実施形態にかかる動画像復号方法のフローチャートである。
図３に示されるように、この動画像復号方法では、まず、第１復号部６２が、圧縮符号を復号することによって、量子化変換係数を生成する（ステップＳ２１）。
次いで、逆量子化変換部６４が、量子化変換係数を逆量子化することによって、変換係数を復元する。逆量子化変換部６４は、復元した変換係数に逆変換処理を施すことによって、予測残差画像を復元する（ステップＳ２２）。
次いで、領域情報が符号化されてなる圧縮符号、すあわち、領域情報圧縮データがビットストリームに含まれるか否かが判断される（ステップＳ２３）。領域情報圧縮データがビットストリームに含まれる場合に、第２復号部６６が、領域情報圧縮データから領域情報を復号することによって領域情報を復元する（ステップＳ２４）。第２復号部６６は、領域情報を第３復号部６８に出力する。
次いで、第２復号部６６によって領域情報が出力された場合に、第３復号部６８が、領域情報を参照して、動きベクトルを復元する（ステップＳ２５）。図１３は、この動きベクトルを復元する処理のフローチャートである。
図１３に示されるように、まず、第３復号部６８は、第１の領域に含まれる複数のブロック各々の差分ベクトルを復号する（ステップＳ２５−１）。
次いで、第３復号部６８は、領域情報を参照し、第１の領域の復号対象ブロックの左に隣接するブロックが、第１の領域内のブロックか否かを判断する（ステップＳ２５−２）。
左に隣接するブロックが第１の領域内のブロックである場合に、第３復号部６８は、左に隣接するブロックの動きベクトルを予測動きベクトルとする。第３復号部６８は、予測動きベクトルと復号対象ブロックの差分ベクトルを加算することによって、復号対象ブロックの動きベクトルを復元する（ステップＳ２５−３）。
一方、左に隣接するブロックが第１の領域内のブロック出ない場合に、第３復号部６８は、第１の領域において直前に復号された動きベクトルを予測動きベクトルとする。第３復号部６８は、復号対象ブロックの差分ベクトルと予測動きベクトルとを加算することによって、復号対象ブロックの動きベクトルを復元する（ステップＳ２５−４）。
第３復号部６８は、第１の領域の全てのブロックについて動きベクトルの復元が完了したか否かを判断する（ステップＳ２５−５）。第１の領域の全てのブロックの動きベクトルの復元が完了していない場合には、ステップＳ２５−２からの処理が繰り返される。
一方、第１の領域の全てのブロックについて動きベクトルの復元が完了している場合に、第３復号部６８は、他の領域の動きベクトルを復号する（ステップＳ２５−６）。第１の領域以外の他の領域については、動きベクトルがそのまま符号化されているので、第３復号部６８は、復号したベクトルをそのまま動きベクトルとして採用する。尚、予測符号化してもよい。
以下、コンピュータを動画像復号装置６０として動作させるための動画像復号プログラム８０について説明する。図１４は、動画像復号プログラム８０の構成を示す図である。動画像復号プログラム８０は、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体あるいは半導体メモリによって提供される。また、動画像復号プログラム８０は、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されるものであってもよい。
動画像復号プログラム８０は、処理を統括するメインモジュール８１、第１復号モジュール８２、逆量子化変換モジュール８４、第２復号モジュール８６、第３復号モジュール８８、動き補償予測モジュール９０、加算モジュール９２、及び参照画像記憶モジュール９４を備える。
第１復号モジュール８２、逆量子化変換モジュール８４、第２復号モジュール８６、第３復号モジュール８８、動き補償予測モジュール９０、加算モジュール９２、参照画像記憶モジュール９４がコンピュータに実現させる機能は、上述した第１復号部６２、逆量子化変換部６４、第２復号部６６、第３復号部６８、動き補償予測部７０、加算部７２、参照画像記憶部７４の機能とそれぞれ同様である。
以上のように、動画像復号装置６０は、第１実施形態の動画像符号化装置１によって符号化された動画像を復元することができる。
［第４実施形態］
本発明の第４実施形態の動画像復号装置６０について説明する。第４実施形態の動画像復号装置６０は、第３実施形態の動画像符号化装置と同様の構成を有する。第４実施形態の動画像復号装置６０では、第３復号部６８が第１実施形態と異なる処理を行う。
以下、第４実施形態の第３復号部６８の動作を説明する。併せて、第３復号部６８による動きベクトルの復元処理を説明する。なお、第３復号部６８による動きベクトルの復元処理を、図１２に示される動画像復号方法のフローチャートにおけるステップＳ２５の処理に置き換えて用いることができる。
図１５及び図１６は、第４実施形態の第３復号部６８による動きベクトルの復元について説明する図である。第２復号部６６によって領域情報が出力された場合に、第３復号部６８は、まず、圧縮符号を復号することによって第１の領域に含まれるブロックの差分ベクトルを復元する（ステップＳ２５−１１）。
次いで、第３復号部６８は、第１の領域の復号対象ブロックの左及び上に隣接するブロックが第１の領域に含まれるか否かを判断する（ステップＳ２５−１２）。
左及び上に隣接するブロックが第１の領域に含まれる場合に、第３復号部６８は、ビットストリームに含まれる圧縮符号を復号するこによって、左及び上に隣接するブロックの一方を特定するためのブロック情報を復元する（ステップＳ２５−１３）。第３復号部６８は、ブロック情報から特定されるブロックの動きベクトルを予測動きベクトルとして取得する（ステップＳ２５−１４）。第３復号部６８は、復号対象ブロックの差分ベクトルと、予測動きベクトルとを加算することによって、復号対象ブロックの動きベクトルを復元する（ステップＳ２５−１５）。
一方、ステップＳ２５−１２で条件が満たされないと判断された場合に、第３復号部６８は、第１の領域の復号対象ブロックの左及び上に隣接するブロックの一方が第１の領域に含まれるか否かを判断する（ステップＳ２５−１６）。
左及び上に隣接するブロックの一方が第１の領域に含まれ場合に、第３復号部６８は、第１の領域に含まれる一方のブロックの動きベクトルを予測動きベクトルとする。第３復号部６８は、復号対象ブロックの差分ベクトルに予測動きベクトルを加算することによって、復号対象ブロックの動きベクトルを復元する（ステップＳ２５−１７）。
一方、ステップＳ２５−１６で条件がみたされないと判断された場合に、第３復号部６８は、直前に復元された第１の領域の動きベクトルを予測動きベクトルとする。第３復号部６８は、復号対象ブロックの差分ベクトルに予測動きベクトルを加算することによって、復号対象ブロックの動きベクトルを復元する（ステップＳ２５−１８）。
第３復号部６８は、第１の領域の全ブロックについて動きベクトルが復元されたか否かを判断し（ステップＳ２５−１９）、全ブロックについて動きベクトルが復元されていない場合に、ステップＳ２５−１２〜ステップＳ２５−１８の処理を繰り返す。一方、第１の領域の全ブロックについて動きベクトルが復元されている場合に、第３復号部６８は、第１の領域以外の他の領域の動きベクトルを復元する。
図１６に示されるように、第３復号部６８は、第ｍ領域（ｍは１以上の整数であり、その最大値は全領域数である。）のブロックを復号対象のブロックとして選択する（ステップＳ２５−２０）。
第３復号部６８は、復号対象ブロックの左及び上に隣接するブロックが第ｍ領域に含まれるか否かを判断する（ステップＳ２５−２１）。左及び上に隣接するブロックが第ｍ領域に含まれる場合に、第３復号部６８は、ビットストリームに含まれる圧縮符号を復号するこによって、左及び上に隣接するブロックの一方を特定するためのブロック情報を復元する（ステップＳ２５−２２）。第３復号部６８は、ブロック情報から特定されるブロックの動きベクトルを予測動きベクトルとして取得する（ステップＳ２５−２３）。第３復号部６８は、復号対象ブロックの差分ベクトルと、予測動きベクトルとを加算することによって、復号対象ブロックの動きベクトルを復元する（ステップＳ２５−２４）。
一方、ステップＳ２５−２１で条件が満たされないと判断された場合に、第３復号部６８は、第ｍ領域の復号対象ブロックの左及び上に隣接するブロックの一方が第ｍ領域に含まれるか否かを判断する（ステップＳ２５−２５）。
左及び上に隣接するブロックの一方が第ｍ領域に含まれ場合に、第３復号部６８は、第ｍ領域に含まれる一方のブロックの動きベクトルを予測動きベクトルとする。第３復号部６８は、復号対象ブロックの差分ベクトルに予測動きベクトルを加算することによって、復号対象ブロックの動きベクトルを復元する（ステップＳ２５−２６）。
一方、ステップＳ２５−２５で条件がみたされないと判断された場合に、第３復号部６８は、ビットストリームに含まれる圧縮符号を復号するこによって、第１の領域から第ｍ−１領域までのいずれかの領域に含まれるブロックであって、左及び上に隣接するブロックの一方を特定するためのブロック情報を復元する（ステップＳ２５−２７）。第３復号部６８は、ブロック情報から特定されるブロックの動きベクトルを予測動きベクトルとして取得する（ステップＳ２５−２８）。第３復号部６８は、復号対象ブロックの差分ベクトルと、予測動きベクトルとを加算することによって、復号対象ブロックの動きベクトルを復元する（ステップＳ２５−２９）。
第３復号部６８は、第ｍ領域の全ブロックについて、動きベクトルの復元が行われたか否かを判断し（ステップＳ２５−３０）、行われていない場合には、ステップＳ２５−２０からの処理を繰り返す。一方、第ｍ領域の全ブロックの動きベクトルの復元が行われている場合に、第３復号部６８は、全領域の動きベクトルが復元されているか否かを判断する（ステップＳ２５−３１）。全領域の動きベクトルが復元されていない場合に、第３復号部６８は、ｍを１増加し、Ｓ２５−２０からの処理を繰り返す。一方、全領域の動きベクトルが復元されている場合に、第３復号部６８による処理が終了される。
以下、コンピュータを第４実施形態の動画像復号装置６０として動作させるための第４実施形態の動画像復号プログラム８０について説明する。第４実施形態の動画像復号プログラム８０についても、第３実施形態の動画像復号プログラム８０と同様の構成を有している。但し、第４実施形態の第３復号モジュール８８は、第４実施形態の第３復号部６８の機能をコンピュータに実現させる。
図１は、本発明の第１実施形態にかかる動画像符号化装置の構成を示す図である。 図２は、統合処理部によってブロックが統合される様子を例示的に示す図であり、１段階目の統合処理を経た状態を示す。 図３は、統合処理部によってブロックが統合される様子を例示的に示す図であり、２段階目の統合処理を経た状態を示す。 図４（Ａ）は、第４符号化部が、領域情報の符号化に用いるコンテキストを表す図である。 図４（Ｂ）は、第４符号化部が、領域情報の符号化に用いるコンテキストを表す図である。 図５は、本発明の第１実施形態にかかる動画像符号化方法のフローチャートである。 図６は、統合処理部による統合処理のフローチャートである。 図７は、領域ごとに動きベクトルを符号化する処理のフローチャートである。 図８は、実施形態にかかる動画像符号化プログラムの構成を示す図である。 図９は、第２実施形態の第３符号化部による動きベクトルの符号化処理のフローチャートである。 図１０は、第２実施形態の第３符号化部による動きベクトルの符号化処理のフローチャートである。 図１１は、本発明の第３実施形態の動画像復号装置の構成を示す図である。 図１２は、本発明の第３実施形態にかかる動画像復号方法のフローチャートである。 図１３は、動きベクトルを復元する処理のフローチャートである。 図１４は、実施形態にかかる動画像復号プログラムの構成を示す図である。 図１５は、第４実施形態の第３復号部による動きベクトルの復元処理のフローチャートである。 図１６は、第４実施形態の第３復号部による動きベクトルの復元処理のフローチャートである。
符号の説明
１…動画像符号化装置、２…動き補償予測部、４…減算部、６…量子化変換部、８…第１符号化部、１０…逆量子化変換部、１２…加算部、１４…参照画像記憶部、１６…第２符号化部、１８…統合処理部、２０…第３符号化部、２２…第４符号化部、２４…選択処理部、６０…動画像復号装置、６２…第１復号部、６４…逆量子化変換部、６６…第２復号部、６８…第３復号部、７０…動き補償予測部、７２…加算部、７４…参照画像記憶部。

Claims (16)

  1. 動画像の符号化対象フレームを所定サイズの複数のブロックに分割し、分割した複数のブロック各々について参照画像に対する動きベクトルを抽出する動きベクトル抽出手段と、
    前記複数のブロック各々の動きベクトルの類似性に基づいて、前記複数のブロック各々を複数の領域に関連付ける割当手段と、
    前記割当手段によって各領域に関連付けられた複数のブロック各々の動きベクトルを、符号化処理してなる動きベクトル圧縮データを生成する動きベクトル符号化手段と、
    前記割当手段の関連付けに関する情報を符号化してなる領域情報圧縮データを生成する領域情報符号化手段と、
    を備え、
    前記動きベクトル符号化手段は、前記動きベクトル各々を符号化する際に、当該符号化する動きベクトルが関連付けられている領域に関連付けられている符号化済みの他のブロックの動きベクトルを予測動きベクトルとし、前記領域に関連付けられている符号化対象の動きベクトルと該予測ベクトルとの差分ベクトルを符号化してなる動きベクトル圧縮データを生成することによって、該領域に関連付けられている動きベクトルを符号化する、
    動画像符号化装置。
  2. 動画像の符号化対象フレームを所定サイズの複数のブロックに分割し、分割した複数のブロック各々について参照画像に対する動きベクトルを抽出する動きベクトル抽出手段と、
    互いに隣接しており、且つ、各々の動きベクトルの距離差が閾値以下のブロック又は既に複数のブロックが統合された領域を統合して、１以上の領域を生成する統合手段と、
    前記統合手段によって統合された領域に分けて、前記各領域に含まれる複数のブロック各々の動きベクトルを、符号化処理してなる動きベクトル圧縮データを生成する動きベクトル符号化手段と、
    前記１以上の領域各々に関し、該領域に含まれるブロックを特定するための領域情報を符号化してなる領域情報圧縮データを生成する領域情報符号化手段と、
    を備え、
    前記動きベクトル符号化手段は、前記１以上の領域のうち、該領域の面積が最大の第１の領域に含まれる符号化済みの他のブロックの動きベクトルを予測動きベクトルとし、前記第１の領域に含まれる符号化対象のブロックの動きベクトルと該予測動きベクトルとの差分ベクトルを符号化してなる動きベクトル圧縮データを生成することによって、該第１の領域の前記符号化処理を行う、
    動画像符号化装置。
  3. 前記動きベクトル符号化手段は、
    前記第１の領域に含まれる符号化対象のブロックの左に隣接するブロックが該第１の領域に含まれる場合には、該左に隣接するブロックの動きベクトルを予測動きベクトルとして、該符号化対象のブロックの動きベクトルと該予測動きベクトルとの差分ベクトルを符号化してなる動きベクトル圧縮データを生成し、
    該符号化対象のブロックの左に隣接するブロックが該第１の領域に含まれない場合には、前記第１の領域における直前に符号化された動きベクトルを予測動きベクトルとして、該符号化対象のブロックの動きベクトルと該予測動きベクトルとの差分ベクトルを符号化してなる動きベクトル圧縮データを生成する、請求項２に記載の動画像符号化装置。
  4. 前記動きベクトル符号化手段は、
    前記第１の領域に含まれる符号化対象のブロックの左及び上に隣接するブロックが該第１の領域に含まれる場合には、該左及び上に隣接するブロックの動きベクトルのうち該符号化対象のブロックの動きベクトルとの距離差が小さい動きベクトルを予測動きベクトルとして、該符号化対象のブロックの動きベクトルと該予測動きベクトルとの差分ベクトルを符号化してなる動きベクトル圧縮データを生成し、更に該予測動きベクトルとして用いられた動きベクトルをもつブロックを特定するためのブロック情報を符号化して成るブロック情報圧縮データを生成し、
    該符号化対象のブロックの左及び上に隣接するブロックのうち一方が該第１の領域に含まれる場合には、該隣接するブロックの動きベクトルを予測動きベクトルとし、該符号化対象のブロックの動きベクトルと該予測動きベクトルとの差分ベクトルを符号化し、
    該符号化対象のブロックの左及び上に隣接するブロックが該第１の領域に含まれない場合には、前記第１の領域における直前に符号化された動きベクトルを予測動きベクトルとし、該符号化対象のブロックの動きベクトルと該予測動きベクトルとの差分ベクトルを符号化する、請求項２に記載の動画像符号化装置。
  5. 動きベクトル抽出手段が、動画像の符号化対象フレームを所定サイズの複数のブロックに分割し、分割した複数のブロック各々について参照画像に対する動きベクトルを抽出する動きベクトル抽出ステップと、
    割当手段が、前記複数のブロック各々の動きベクトルの類似性に基づいて、前記複数のブロック各々を複数の領域に関連付ける割当ステップと、
    動きベクトル符号化手段が、前記割当手段によって各領域に関連付けられた複数のブロック各々の動きベクトルを、符号化処理してなる動きベクトル圧縮データを生成する動きベクトル符号化ステップと、
    領域情報符号化手段が、前記割当手段の関連付けに関する情報を符号化してなる領域情報圧縮データを生成する領域情報符号化ステップと、を含み、
    前記動きベクトル符号化ステップにおいて、前記動きベクトル符号化手段は、前記動きベクトル各々を符号化する際に、当該符号化する動きベクトルが関連付けられている領域に関連付けられている符号化済みの他のブロックの動きベクトルを予測動きベクトルとし、前記領域に関連付けられている符号化対象の動きベクトルと該予測ベクトルとの差分ベクトルを符号化してなる動きベクトル圧縮データを生成することによって、該領域に関連付けられている動きベクトルを符号化する、
    動画像符号化方法。
  6. 動きベクトル抽出手段が、動画像の符号化対象フレームを所定サイズの複数のブロックに分割し、分割した複数のブロック各々について参照画像に対する動きベクトルを抽出する動きベクトル抽出ステップと、
    統合手段が、互いに隣接しており、且つ、各々の動きベクトルの距離差が閾値以下のブロック又は既に複数のブロックが統合された領域を統合して、複数の領域を生成する統合ステップと、
    動きベクトル符号化手段が、前記各領域に含まれる複数のブロック各々の前記動きベクトルを、前記統合手段によって生成された前記複数の領域に分けて符号化処理してなる動きベクトル圧縮データを生成する動きベクトル符号化ステップと、
    領域情報符号化手段が、前記複数の領域各々に関し、該領域に含まれるブロックを特定するための領域情報を符号化してなる領域情報圧縮データを生成する領域情報符号化ステップと、を含み、
    前記動きベクトル符号化ステップにおいて、前記動きベクトル符号化手段は、前記１以上の領域のうち、該領域の面積が最大の第１の領域に含まれる符号化済みの他のブロックの動きベクトルを予測動きベクトルとし、該第１の領域に含まれる符号化対象のブロックの動きベクトルと該予測動きベクトルとの差分ベクトルを符号化してなる動きベクトル圧縮データを生成することによって、該第１の領域の前記符号化処理を行う、
    動画像符号化方法。
  7. コンピュータを、
    動画像の符号化対象フレームを所定サイズの複数のブロックに分割し、分割した複数のブロック各々について参照画像に対する動きベクトルを抽出する動きベクトル抽出手段と、
    前記複数のブロック各々の動きベクトルの類似性に基づいて、前記複数のブロック各々を複数の領域に関連付ける割当手段と、
    前記割当手段によって各領域に関連付けられた複数のブロック各々の動きベクトルを、符号化処理してなる動きベクトル圧縮データを生成する動きベクトル符号化手段と、
    前記割当手段の関連付けに関する情報を符号化してなる領域情報圧縮データを生成する領域情報符号化手段と、
    して機能させ、
    前記動きベクトル符号化手段は、前記動きベクトル各々を符号化する際に、当該符号化する動きベクトルが関連付けられている領域に関連付けられている符号化済みの他のブロックの動きベクトルを予測動きベクトルとし、前記領域に関連付けられている符号化対象の動きベクトルと該予測ベクトルとの差分ベクトルを符号化してなる動きベクトル圧縮データを生成することによって、該領域に関連付けられている動きベクトルを符号化する、
    動画像符号化プログラム。
  8. コンピュータを、
    動画像の符号化対象フレームを所定サイズの複数のブロックに分割し、分割した複数のブロック各々について参照画像に対する動きベクトルを抽出する動きベクトル抽出手段と、
    互いに隣接しており、且つ、各々の動きベクトルの距離差が閾値以下のブロック又は既に複数のブロックが統合された領域を統合して、複数の領域を生成する統合手段と、
    前記符号化対象フレームに含まれる複数のブロック各々の前記動きベクトルを、前記統合手段によって生成された前記複数の領域に分けて符号化処理してなる動きベクトル圧縮データを生成する動きベクトル符号化手段と、
    前記複数の領域各々に関し、該領域に含まれるブロックを特定するための領域情報を符号化してなる領域情報圧縮データを生成する領域情報符号化手段と、
    として機能させ、
    前記動きベクトル符号化手段は、前記１以上の領域のうち、該領域の面積が最大の第１の領域に含まれる符号化済みの他のブロックの動きベクトルを予測動きベクトルとし、該第１の領域に含まれる符号化対象のブロックの動きベクトルと該予測動きベクトルとの差分ベクトルを符号化してなる動きベクトル圧縮データを生成することによって、該第１の領域の前記符号化処理を行う、
    動画像符号化プログラム。
  9. 復号対象フレームが分割された１以上の領域各々に関し、該領域に関連付けられた所定サイズのブロックを特定するための領域情報が符号化されてなる領域情報圧縮データを復号し、前記１以上の領域各々に関する１以上の領域情報を出力する領域情報復号手段と、
    前記領域情報復号手段によって出力された１以上の領域情報を参照して、前記１以上の領域に分けて、該領域に含まれるブロックの動きベクトルが符号化処理されてなる動きベクトル圧縮データを復号処理し、復号対象フレームに含まれる複数のブロック各々の動きベクトルを出力する動きベクトル復号手段と、
    を備え、
    前記１以上の領域のうち、いずれかの領域に含まれる符号化済みの他のブロックの動きベクトルが予測動きベクトルとされ、前記領域に関連付けられている復号済みの動きベクトルと該予測ベクトルとの差分ベクトルが符号化されることによって前記符号化処理が行われており、
    前記動きベクトル復号手段は、該領域に関連付けられた復号対象のブロックの差分ベクトルを復号し、該領域に関連付けられた復号済みの他のブロックの動きベクトルを予測動きベクトルとし、該差分ベクトルと該予測動きベクトルとを加算してなる動きベクトルを生成することによって、該領域の前記復号処理を行う、動画像復号装置。
  10. 復号対象フレームが分割された１以上の領域各々に関し、該領域に含まれる所定サイズのブロックを特定するための領域情報が符号化されてなる領域情報圧縮データを復号し、前記１以上の領域各々に関する１以上の領域情報を出力する領域情報復号手段と、
    前記領域情報復号手段によって出力された１以上の領域情報を参照して、前記１以上の領域に分けて、該領域に含まれるブロックの動きベクトルが符号化処理されてなる動きベクトル圧縮データを復号処理し、復号対象フレームに含まれる複数のブロック各々の動きベクトルを出力する動きベクトル復号手段と、
    を備え、
    前記１以上の領域のうち、該領域の面積が最大の第１の領域では、該第１の領域に含まれる符号化済みの他のブロックの動きベクトルが予測動きベクトルとされ、該第１の領域に含まれる符号化対象のブロックの動きベクトルと該予測動きベクトルとの差分ベクトルが符号化されることによって前記符号化処理が行われており、
    前記動きベクトル復号手段は、該第１の領域に含まれる復号対象のブロックの差分ベクトルを復号し、該第１の領域に含まれる復号済みの他のブロックの動きベクトルを予測動きベクトルとし、該差分ベクトルと該予測動きベクトルとを加算してなる動きベクトルを生成することによって、該第１の領域の前記復号処理を行う、動画像復号装置。
  11. 前記動きベクトル復号手段は、
    前記第１の領域に含まれる復号対象のブロックの左に隣接するブロックが該第１の領域に含まれる場合には、該左に隣接するブロックの動きベクトルを予測動きベクトルとして、該復号対象のブロックの差分ベクトルと該予測動きベクトルとを加算してなる動きベクトルを生成し、
    該復号対象のブロックの左に隣接するブロックが該第１の領域に含まれない場合には、前記第１の領域における直前に復号された動きベクトルを予測動きベクトルとして、該復号対象のブロックの差分ベクトルと該予測動きベクトルとを加算してなる動きベクトルを生成する、請求項１０に記載の動画像復号装置。
  12. 前記動きベクトル復号手段は、前記第１の領域に含まれる復号対象のブロックの左及び上に隣接するブロックが該第１の領域に含まれる場合には、該左及び上に隣接するブロックの一方を特定するためのブロック情報が符号化されてなるブロック情報圧縮データを復号することによって該ブロック情報を復元し、該ブロック情報によって特定されるブロックの動きベクトルを予測動きベクトルとし、該復号対象のブロックの差分ベクトルと該予測動きベクトルとを加算してなる動きベクトルを生成し、
    該復号対象のブロックの左及び上に隣接するブロックのうち一方が該第１の領域に含まれる場合には、該隣接するブロックの動きベクトルを予測動きベクトルとし、該復号対象のブロックの差分ベクトルと該予測動きベクトルとを加算してなる動きベクトルを生成し、
    該復号対象のブロックの左及び上に隣接するブロックが該第１の領域に含まれない場合には、前記第１の領域における直前に復号された動きベクトルを予測動きベクトルとし、該復号対象のブロックの差分ベクトルと該予測動きベクトルとを加算してなる動きベクトルを生成する、請求項１０に記載の動画像復号装置。
  13. 領域情報復号手段が、復号対象フレームが分割された１以上の領域各々に関し、該領域に関連付けられた所定サイズのブロックを特定するための領域情報が符号化されてなる領域情報圧縮データを復号し、前記１以上の領域各々に関する１以上の領域情報を出力する領域情報復号ステップと、
    動きベクトル復号手段が、前記領域情報復号手段によって出力された１以上の領域情報を参照して、前記１以上の領域に分けて、該領域に含まれるブロックの動きベクトルが符号化処理されてなる動きベクトル圧縮データを復号処理し、復号対象フレームに含まれる複数のブロック各々の動きベクトルを出力する動きベクトル復号ステップと、
    を含み、
    前記１以上の領域のうち、いずれかの領域に含まれる符号化済みの他のブロックの動きベクトルが予測動きベクトルとされ、前記領域に関連付けられている復号済みの動きベクトルと該予測ベクトルとの差分ベクトルが符号化されることによって前記符号化処理が行われており、
    前記動きベクトル復号手段は、該領域に関連付けられた復号対象のブロックの差分ベクトルを復号し、該領域に関連付けられた復号済みの他のブロックの動きベクトルを予測動きベクトルとし、該差分ベクトルと該予測動きベクトルとを加算してなる動きベクトルを生成することによって、該領域の前記復号処理を行う、
    動画像復号方法。
  14. 領域情報復号手段が、復号対象フレームが分割された１以上の領域各々に関し、該領域に含まれる所定サイズのブロックを特定するための領域情報が符号化されてなる領域情報圧縮データを復号し、前記１以上の領域各々に関する１以上の領域情報を出力する領域情報復号ステップと、
    動きベクトル復号手段が、前記領域情報復号手段によって出力された１以上の領域情報を参照して、前記１以上の領域に分けて、該領域に含まれるブロックの動きベクトルが符号化処理されてなる動きベクトル圧縮データを復号処理し、復号対象フレームに含まれる複数のブロック各々の動きベクトルを出力する動きベクトル復号ステップと、
    を含み、
    前記１以上の領域のうち、該領域の面積が最大の第１の領域では、該第１の領域に含まれる符号化済みの他のブロックの動きベクトルが予測動きベクトルとされ、該第１の領域に含まれる符号化対象のブロックの動きベクトルと該予測動きベクトルとの差分ベクトルが符号化されることによって前記符号化処理が行われており、
    前記動きベクトル復号ステップにおいて、前記動きベクトル復号手段は、該第１の領域に含まれる復号対象のブロックの差分ベクトルを復号し、該第１の領域に含まれる復号済みの他のブロックの動きベクトルを予測動きベクトルとし、該差分ベクトルと該予測動きベクトルとを加算してなる動きベクトルを生成することによって、該第１の領域の前記復号処理を行う、
    動画像復号方法。
  15. コンピュータを、
    復号対象フレームが分割された１以上の領域各々に関し、該領域に関連付けられた所定サイズのブロックを特定するための領域情報が符号化されてなる領域情報圧縮データを復号し、前記１以上の領域各々に関する１以上の領域情報を出力する領域情報復号手段と、
    前記領域情報復号手段によって出力された１以上の領域情報を参照して、前記１以上の領域に分けて、該領域に含まれるブロックの動きベクトルが符号化処理されてなる動きベクトル圧縮データを復号処理し、復号対象フレームに含まれる複数のブロック各々の動きベクトルを出力する動きベクトル復号手段と、
    して機能させ、
    前記１以上の領域のうち、いずれかの領域に含まれる符号化済みの他のブロックの動きベクトルが予測動きベクトルとされ、前記領域に関連付けられている復号済みの動きベクトルと該予測ベクトルとの差分ベクトルが符号化されることによって前記符号化処理が行われており、
    前記動きベクトル復号手段は、該領域に関連付けられた復号対象のブロックの差分ベクトルを復号し、該領域に関連付けられた復号済みの他のブロックの動きベクトルを予測動きベクトルとし、該差分ベクトルと該予測動きベクトルとを加算してなる動きベクトルを生成することによって、該領域の前記復号処理を行う、動画像復号プログラム。
  16. コンピュータを、
    復号対象フレームが分割された１以上の領域各々に関し、該領域に含まれる所定サイズのブロックを特定するための領域情報が符号化されてなる領域情報圧縮データを復号し、前記１以上の領域各々に関する１以上の領域情報を出力する領域情報復号手段と、
    前記領域情報復号手段によって出力された１以上の領域情報を参照して、前記１以上の領域に分けて、該領域に含まれるブロックの動きベクトルが符号化処理されてなる動きベクトル圧縮データを復号処理し、復号対象フレームに含まれる複数のブロック各々の動きベクトルを出力する動きベクトル復号手段と、
    として機能させ、
    前記１以上の領域のうち、該領域の面積が最大の第１の領域では、該第１の領域に含まれる符号化済みの他のブロックの動きベクトルが予測動きベクトルとされ、該第１の領域に含まれる符号化対象のブロックの動きベクトルと該予測動きベクトルとの差分ベクトルが符号化されることによって前記符号化処理が行われており、
    前記動きベクトル復号手段は、該第１の領域に含まれる復号対象のブロックの差分ベクトルを復号し、該第１の領域に含まれる復号済みの他のブロックの動きベクトルを予測動きベクトルとし、該差分ベクトルと該予測動きベクトルとを加算してなる動きベクトルを生成することによって、該第１の領域の前記復号処理を行う、動画像復号プログラム。
JP2003358449A 2003-10-17 2003-10-17 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム Pending JP2005124001A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003358449A JP2005124001A (ja) 2003-10-17 2003-10-17 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003358449A JP2005124001A (ja) 2003-10-17 2003-10-17 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム

Publications (1)

Publication Number Publication Date
JP2005124001A true JP2005124001A (ja) 2005-05-12

Family

ID=34615008

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003358449A Pending JP2005124001A (ja) 2003-10-17 2003-10-17 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム

Country Status (1)

Country Link
JP (1) JP2005124001A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008278091A (ja) * 2007-04-27 2008-11-13 Hitachi Ltd 動画像記録方法及びその装置
JP2010103683A (ja) * 2008-10-22 2010-05-06 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置，映像符号化プログラム，映像復号プログラムおよびそれらの記録媒体
WO2010064396A1 (ja) * 2008-12-03 2010-06-10 株式会社日立製作所 動画像復号化方法および動画像符号化方法
WO2011077524A1 (ja) * 2009-12-24 2011-06-30 株式会社 東芝 動画像符号化装置及び動画像復号装置
WO2012102088A1 (ja) * 2011-01-24 2012-08-02 ソニー株式会社 画像復号装置と画像符号化装置およびその方法
JP2012165278A (ja) * 2011-02-08 2012-08-30 Jvc Kenwood Corp 画像符号化装置、画像符号化方法および画像符号化プログラム
JP2012165279A (ja) * 2011-02-08 2012-08-30 Jvc Kenwood Corp 画像復号装置、画像復号方法および画像復号プログラム
US9538181B2 (en) 2010-04-08 2017-01-03 Kabushiki Kaisha Toshiba Image encoding method and image decoding method

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711936B2 (en) 2007-04-27 2014-04-29 Hitachi Consumer Electronics Co., Ltd. Method of and apparatus for recording motion picture, which generate encoded data with higher compression efficiency using a motion vector similarity
JP2008278091A (ja) * 2007-04-27 2008-11-13 Hitachi Ltd 動画像記録方法及びその装置
JP2010103683A (ja) * 2008-10-22 2010-05-06 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置，映像符号化プログラム，映像復号プログラムおよびそれらの記録媒体
US9906808B2 (en) 2008-12-03 2018-02-27 Hitachi Maxell, Ltd. Moving picture decoding method and moving picture encoding method
US10764599B2 (en) 2008-12-03 2020-09-01 Maxell, Ltd. Moving picture decoding method and moving picture encoding method
US11546627B2 (en) 2008-12-03 2023-01-03 Maxell, Ltd. Moving picture decoding method and moving picture encoding method
US11134263B2 (en) 2008-12-03 2021-09-28 Maxell, Ltd. Moving picture decoding method and moving picture encoding method
JP5277257B2 (ja) * 2008-12-03 2013-08-28 株式会社日立製作所 動画像復号化方法および動画像符号化方法
US10382775B2 (en) 2008-12-03 2019-08-13 Maxell, Ltd. Moving picture decoding method and moving picture encoding method
WO2010064396A1 (ja) * 2008-12-03 2010-06-10 株式会社日立製作所 動画像復号化方法および動画像符号化方法
US9560368B2 (en) 2008-12-03 2017-01-31 Hitachi Maxell, Ltd. Moving picture decoding method and moving picture encoding method
WO2011077524A1 (ja) * 2009-12-24 2011-06-30 株式会社 東芝 動画像符号化装置及び動画像復号装置
US10542281B2 (en) 2010-04-08 2020-01-21 Kabushiki Kaisha Toshiba Image encoding method and image decoding method
US10091525B2 (en) 2010-04-08 2018-10-02 Kabushiki Kaisha Toshiba Image encoding method and image decoding method
US10560717B2 (en) 2010-04-08 2020-02-11 Kabushiki Kaisha Toshiba Image encoding method and image decoding method
US10009623B2 (en) 2010-04-08 2018-06-26 Kabushiki Kaisha Toshiba Image encoding method and image decoding method
US10715828B2 (en) 2010-04-08 2020-07-14 Kabushiki Kaisha Toshiba Image encoding method and image decoding method
US9794587B2 (en) 2010-04-08 2017-10-17 Kabushiki Kaisha Toshiba Image encoding method and image decoding method
US11889107B2 (en) 2010-04-08 2024-01-30 Kabushiki Kaisha Toshiba Image encoding method and image decoding method
US11265574B2 (en) 2010-04-08 2022-03-01 Kabushiki Kaisha Toshiba Image encoding method and image decoding method
US9538181B2 (en) 2010-04-08 2017-01-03 Kabushiki Kaisha Toshiba Image encoding method and image decoding method
US9906812B2 (en) 2010-04-08 2018-02-27 Kabushiki Kaisha Toshiba Image encoding method and image decoding method
US10999597B2 (en) 2010-04-08 2021-05-04 Kabushiki Kaisha Toshiba Image encoding method and image decoding method
US10779001B2 (en) 2010-04-08 2020-09-15 Kabushiki Kaisha Toshiba Image encoding method and image decoding method
US9560348B2 (en) 2011-01-24 2017-01-31 Sony Corporation Image decoding device, image encoding device, and method thereof using a prediction quantization parameter
WO2012102088A1 (ja) * 2011-01-24 2012-08-02 ソニー株式会社 画像復号装置と画像符号化装置およびその方法
US10419761B2 (en) 2011-01-24 2019-09-17 Sony Corporation Image decoding device, image encoding device, and method thereof
JP2012165279A (ja) * 2011-02-08 2012-08-30 Jvc Kenwood Corp 画像復号装置、画像復号方法および画像復号プログラム
JP2012165278A (ja) * 2011-02-08 2012-08-30 Jvc Kenwood Corp 画像符号化装置、画像符号化方法および画像符号化プログラム

Similar Documents

Publication Publication Date Title
JP3997171B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
JP5957561B2 (ja) 大きいサイズの変換単位を用いた映像符号化、復号化方法及び装置
JP3959039B2 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム
JP5686499B2 (ja) 画像予測符号化装置、方法及びプログラム、画像予測復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法
JP5461419B2 (ja) 画素予測値生成手順自動生成方法、画像符号化方法、画像復号方法、それらの装置、それらのプログラム、およびこれらのプログラムを記録した記録媒体
EP1445955A1 (en) Image encoding method, image decoding method, image encoder, image decode, program, computer data signal, and image transmission system
US10812790B2 (en) Data processing apparatus and data processing method
JP4804342B2 (ja) オーバーコンプリート基底変換ベースの、動き残差フレーム符号化方法およびビデオ圧縮用装置
US20140112589A1 (en) Encoder, decoder and method
JP2005124001A (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
EP1453004A2 (en) Image encoding apparatus and method
WO2020145143A1 (ja) 情報処理装置および方法
CN113473139A (zh) 一种图像处理方法和图像处理装置
JP4315980B2 (ja) 画像圧縮装置、画像圧縮方法、および画像圧縮プログラム製品
US8463057B2 (en) Image encoding apparatus and control method therefor
JP4016662B2 (ja) 符号化処理装置、復号処理装置、および方法、並びにコンピュータ・プログラム
JP2939869B2 (ja) 画像符号化装置および画像復号装置
JP2013520058A (ja) 画像シーケンスのブロックの符号化および復元の方法
JP2004312693A (ja) 画像符号化装置及び画像符号化方法
JP4344184B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
JPH10327418A (ja) 画像符号化装置
Jabeen et al. Predictive Coding Based Lossless Image Compression Model
Galan-Hernandez et al. Advances in image and video compression using wavelet transforms and fovea centralis
Venkatesan et al. 2-DSIGNAL PROCESSING FOR IMAGE COMPRESSION
JP2004297492A (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム