JP2011091498A - 動画像符号化装置、動画像復号化装置、動画像符号化方法、及び動画像復号化方法 - Google Patents

動画像符号化装置、動画像復号化装置、動画像符号化方法、及び動画像復号化方法 Download PDF

Info

Publication number
JP2011091498A
JP2011091498A JP2009241494A JP2009241494A JP2011091498A JP 2011091498 A JP2011091498 A JP 2011091498A JP 2009241494 A JP2009241494 A JP 2009241494A JP 2009241494 A JP2009241494 A JP 2009241494A JP 2011091498 A JP2011091498 A JP 2011091498A
Authority
JP
Japan
Prior art keywords
prediction
motion vector
vector
information
switching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009241494A
Other languages
English (en)
Inventor
Motoharu Ueda
基晴 上田
Masaki Goto
正樹 後藤
Hiroyuki Kurashige
宏之 倉重
Hideki Takehara
英樹 竹原
Hiroya Nakamura
博哉 中村
Kazumi Arakage
和美 荒蔭
Satoshi Sakazume
智 坂爪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2009241494A priority Critical patent/JP2011091498A/ja
Publication of JP2011091498A publication Critical patent/JP2011091498A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】従来、動き補償予測に用いられる動きベクトル情報を効率良く符号化することができない。
【解決手段】動画像符号化装置は、符号化対象のブロックと、ブロック単位で既に符号化された結果である局部復号画像との間での動きベクトルを検出するME部113と、検出された動きベクトルと、符号化対象のブロックに隣接する、既に符号化されたブロックにおいて検出された動きベクトルとを使用して、符号化対象のブロックの動きベクトルの予測値を、予測値生成方法を切替えながら算出する予測ベクトル選択部116と、予測値生成方法を切替えた位置情報を符号化すると共に、切替位置のブロック位置差分情報を符号化するベクトル予測手段切替情報符号化部119と、符号化された位置情報及びブロック位置差分情報を、動画像信号が符号化された符号化ストリームに多重化する多重化部120とを有する。
【選択図】図1

Description

本発明は、動画像信号の符号化及び復号化に関する。
近年、デジタル化された画像及び音のコンテンツを、衛星や地上波等の放送波やネットワークを介して配信するサービスが実用化されており、膨大な情報量を持つコンテンツを効率的に記録及び伝送するための高能率符号化技術が必要となっている。動画像の高能率符号化としては、MPEG2やMPEG4−AVC(Advanced Video Coding)に代表される、動画像信号の同一フレーム内で空間的に隣接する画素間の相関と、時間的に隣接するフレーム間やフィールド間の相関とを利用して情報を圧縮する方法が用いられる。
MPEG4−AVC(ISO/IEC 14496−10 Advanced Video Coding)では、現在符号化対象フレームである対象画像に対して、既に符号化済みのフレームの局部復号画像を参照画像として用い、所定の大きさの2次元ブロック(以降、「対象ブロック」と記す)単位で、参照画像のブロックを変えながら比較することにより、対象画像と参照画像との間での動き量(以降、「動きベクトル」と記す)を検出し、対象ブロックと動きベクトルに基づいた予測画像との差分情報を符号化し、それにより情報量の削減を実現している。
復号側では、差分情報と一緒に符号化された動きベクトルを元に、復号済の参照画像より予測画像を生成し、予測画像に復号した差分情報を加算し、それにより対象ブロックの復号画像を得る。符号化側ではこの動きベクトルを効率的に符号化するために、対象ブロックの復号済みの隣接ブロックにおける動きベクトル値を元に、動きベクトルの予測値(以降、「予測ベクトル」と記す)を生成する。
MPEG−4AVCの予測ベクトルの算出に用いられる隣接ブロックを図15に示す。隣接ブロックとしては、対象ブロックXに対して、左隣であるブロックA、上隣であるブロックB、右上であるブロックCの3ブロックが選択される。なお、画像端であるようなブロックCが無効である場合、ブロックCの代わりに対象ブロックXの左上であるブロックDが用いられる。選択された3ブロックの動きベクトルの水平方向成分をMVAx、MVBx、MVCx、垂直方向成分をMVAy、MVBy、MVCyとすると、予測ベクトル値PMVx、PMVyとして、下記の式1に示すように水平方向成分、垂直方向成分それぞれに3値の中間値が選択される。
(式1)
PMVx=Median(MVAx、MVBx、MVCx)
PMVy=Median(MVAy、MVBy、MVCy)
この手法では、2つ以上の隣接ブロックの動きベクトルと対象ブロックの動きベクトルの相関が高い場合には中間値と実際の動きベクトルの値との相関が高くなるため、対象ブロックの動きベクトルと予測ベクトルとの差分ベクトルは小さくなり、符号量を削減することが可能となるが、相関が低い場合には動きベクトルと予測ベクトルとの差分値が大きくなる場合があり、その場合には符号量が増加する。
また、予測ベクトルを算出する他の方法として、特許文献1には、互いに隣接し且つ各々の動きベクトルの距離差が閾値以下のブロックを統合した領域を生成し、領域内の動きベクトルに対して領域内の符号化済みブロックの動きベクトルを予測ベクトルとして差分ベクトルを符号化すると共に、統合した領域の情報を符号化し、合わせて伝送し、それにより差分ベクトルの符号量を削減する方法が開示されている。
特開2005−124001号公報
MPEG4−AVCにおいて用いられている予測ベクトル算出手法においては、常に対象ブロックの上に存在している隣接ブロック2ブロックと左に存在している隣接ブロック1ブロックの3ブロックの中央値を、予測ベクトルとして算出しているため、背景の動きに対して物体の動きが異なる場合等、物体の境界を含む対象ブロックで予測ベクトルが外れて符号量が増加する課題がある。
また、特許文献1に記載の動画像符号化装置において用いられる予測ベクトル算出方法においては、領域内に既に符号化済みベクトルが存在している場合の予測ベクトルに関しては、符号量は少なくなるが、領域の最初に符号化を行う動きベクトルに関しては、領域外の動きベクトル値を予測ベクトルとすることにより、確実に閾値以上の差分ベクトルを生成することになり、符号量が増加する。また、領域を伝送するために多くの情報を必要とするために、領域の情報を構成した際に、動きベクトルに関する情報の符号量を多く削減することができなないと、全体として十分な符号量の削減が望めない課題がある。
本発明は、少ない追加情報の伝送で予測ベクトルの外れを削減して動きベクトルの符号化効率を向上させる動画像符号化装置及び動画像符号化方法を提供することを目的とする。また、本発明は、本発明の動画像符号化装置及び動画像符号化方法によって符号化された動画像信号を復号化する動画像復号化装置及び動画像復号化方法を提供することを目的とする。
上記課題を解決し上記目的を達成するために、本発明の動画像符号化装置は、符号化対象のブロックと、ブロック単位で既に符号化された結果である局部復号画像との間での動きベクトルを検出する動きベクトル検出部と、前記動きベクトル検出部によって検出された動きベクトルと、前記符号化対象のブロックに隣接する、既に符号化されたブロックにおいて検出された動きベクトルとを使用して、前記符号化対象のブロックの動きベクトルの予測値を、予測値生成方法を切替えながら算出する予測ベクトル選択部と、予測値生成方法を切替えた位置情報を符号化すると共に、切替位置のブロック位置差分情報を符号化するベクトル予測手段切替情報符号化部と、符号化された位置情報及びブロック位置差分情報を、動画像信号が符号化された符号化ストリームに多重化する多重化部とを有する。
また、本発明の動画像符号化装置は、符号化対象のブロックと、ブロック単位で既に符号化された結果である局部復号画像との間での動きベクトルを検出する動きベクトル検出部と、前記動きベクトル検出部によって検出された動きベクトルと、前記符号化対象のブロックに隣接する、既に符号化されたブロックにおいて検出された動きベクトルとを使用して、前記符号化対象のブロックの動きベクトルの予測値を、予測値生成方法を切替えながら算出する予測ベクトル選択部と、予測値生成方法を切替えた位置情報を符号化すると共に、切替位置を示す情報を、前記符号化対象のブロックに対する予測モード情報を符号化する際に割り当てられない符号列を用いて、前記予測モード情報と共に符号化するベクトル予測手段切替情報符号化部と、符号化された位置情報、切替位置を示す情報、及び予測モード情報を、動画像信号が符号化された符号化ストリームに多重化する多重化部とを有する。
また、本発明の動画像符号化装置において、前記予測ベクトル選択部は、切替前の符号化対象ブロックにおける動きベクトルの予測値の算出方法と、切替位置の符号化対象ブロックにおける動きベクトルの予測値の算出方法と、切替後の符号化対象ブロックにおける動きベクトルの予測値の算出方法とを交互に切替えてもよい。例えば、前記切替前の符号化対象ブロックにおける動きベクトルの予測値の算出方法は、3つの隣接するブロックの動きベクトル値の中間値を取得することにより算出する方法であり、前記切替位置の符号化対象ブロックにおける動きベクトルの予測値の算出方法は、ゼロベクトル又はゼロベクトルと3つの隣接するブロックの動きベクトル値の中間値より選択された値を予測値とすることにより算出する方法であり、前記切替後の符号化対象ブロックにおける動きベクトルの予測値の算出方法は、左に隣接するブロックの動きベクトル値を用いる方法である。
また、本発明の動画像符号化装置において、前記予測ベクトル選択部は、対象ブロックにおいて、切替情報より示される、切替前の予測動きベクトル値と切替後の予測動きベクトル値の2つの予測動きベクトルに対して、それぞれ符号化対象であるブロックの動きベクトルとの差分ベクトルを符号化した際の符号量を算出すると共に、切替情報を符号化するために必要な符号量を算出し、切替後の符号量が少ない場合に切替処理を行ってもよい。
また、本発明の動画像符号化装置において、前記予測ベクトル選択部は、連続するNブロックの(Nは1より大きな整数)符号化対象ブロックに対する動きベクトル情報、及び隣接するブロックの動きベクトル情報を取得し、Nブロック後までの予測動きベクトルを生成し、必要となる符号量を算出し、現在の対象ブロックの予測動きベクトル算出方法を切替るか否かを判断してもよい。
また、本発明の動画像符号化装置において、前記動きベクトル検出部は、予測動きベクトル値算出方法を切替ない場合の予測動きベクトル値と、切替た場合の予測動きベクトル値と、切替た場合に必要となる切替情報の符号量とを算出し、符号化対象ブロックに対する動きベクトル及び予測動きベクトル算出方法を切替るか否かを指示する情報を生成してもよい。
また、本発明の動画像復号化装置は、動画像信号が符号化された符号化ビットストリームを、動画像信号についての符号化ストリームと、ベクトル予測手段切替情報とに分離する分離部と、符号化された切替位置のブロック位置差分情報を復号して切替位置を認識し、復号対象ブロックが切替位置に相当する場合に切替情報を出力するベクトル予測手段切替情報復号化部と、切替情報を取得し、復号化対象ブロックの動きベクトル値に対する予測動きベクトル値を生成する予測ベクトル算出部と、前記予測動きベクトル値と、復号された差分ベクトル値より、復号化対象ブロックの動きベクトル値を復号する予測モード復号化部と、前記復号化対象ブロックの動きベクトル値に基づき、復号済みの参照画像より動き補償予測ブロックを得る動き補償予測部とを有する。
また、本発明の動画像復号化装置において、前記予測ベクトル算出部は、切替情報と現在の予測ベクトル算出方法の状態を保持するステータス制御部と、切替情報が存在する復号対象ブロックに対しては、ゼロベクトルによる予測と隣接ブロックの動きベクトルの中央値予測との間で切替を行い、切替情報が存在しない復号対象ブロックに対しては、左に隣接するブロックの動きベクトル値と、隣接ブロックの動きベクトルの中央値予測との間で切替を行う中間値/ゼロ予測/左隣接予測生成部とを含んでもよい。
また、本発明の動画像符号化方法は、符号化対象のブロックと、ブロック単位で既に符号化された結果である局部復号画像との間での動きベクトルを検出するステップと、検出した動きベクトルと、前記符号化対象のブロックに隣接する、既に符号化されたブロックにおいて検出された動きベクトルとを使用して、前記符号化対象のブロックの動きベクトルの予測値を、予測値生成方法を切替えながら算出するステップと、予測値生成方法を切替えた位置情報を符号化すると共に、切替位置のブロック位置差分情報を符号化するステップと、符号化した位置情報及びブロック位置差分情報を、動画像信号が符号化された符号化ストリームに多重化するステップとを含む。
また、本発明の動画像符号化方法は、符号化対象のブロックと、ブロック単位で既に符号化された結果である局部復号画像との間での動きベクトルを検出するステップと、検出した動きベクトルと、前記符号化対象のブロックに隣接する、既に符号化されたブロックにおいて検出された動きベクトルとを使用して、前記符号化対象のブロックの動きベクトルの予測値を、予測値生成方法を切替えながら算出するステップと、予測値生成方法を切替えた位置情報を符号化すると共に、切替位置を示す情報を、前記符号化対象のブロックに対する予測モード情報を符号化する際に割り当てられない符号列を用いて、前記予測モード情報と共に符号化するステップと、符号化した位置情報、切替位置を示す情報、及び予測モード情報を、動画像信号が符号化された符号化ストリームに多重化するステップとを含む。
更に、本発明の動画像復号化方法は、動画像信号が符号化された符号化ビットストリームを、動画像信号についての符号化ストリームと、ベクトル予測手段切替情報とに分離するステップと、符号化された切替位置のブロック位置差分情報を復号して切替位置を認識し、復号対象ブロックが切替位置に相当する場合に切替情報を出力するステップと、切替情報を取得し、復号化対象ブロックの動きベクトル値に対する予測動きベクトル値を生成するステップと、前記予測動きベクトル値と、復号された差分ベクトル値より、復号化対象ブロックの動きベクトル値を復号するステップと、前記復号化対象ブロックの動きベクトル値に基づき、復号済みの参照画像より動き補償予測ブロックを得るステップとを含む。
本発明は、少ない追加情報の伝送で予測ベクトルの外れを削減して動きベクトルの符号化効率を向上させる動画像符号化装置及び動画像符号化方法を提供することができる。また、本発明は、本発明の動画像符号化装置及び動画像符号化方法によって符号化された動画像信号を復号化する動画像復号化装置及び動画像復号化方法を提供することができる。
すなわち、本発明の動画像符号化装置及び動画像符号化方法は、背景の動きと物体の動きが異なるような条件で、物体と背景の上部境界に即した対象ブロックで上部の動きベクトルと対象ブロックの動きベクトルが異なり、上2つの隣接ブロックが、優位性を示す中央値予測の予測ベクトルが大きな差分ベクトルを発生する場合、実際に生成される差分ベクトルの符号量に即して、中央値予測とゼロ予測を切替えると共に、以降の動きベクトル予測が左隣接ブロックで行われるように制御し、実際に生成される差分ベクトルの符号量に即して、中央値予測に戻す。これにより、中央値予測だけで予測ベクトルを構成する場合よりも符号量を削減することができる。
加えて、本発明の動画像符号化装置及び動画像符号化方法は、央値予測は縦方向の物体境界に対しては、適切な予測値を算出することができる場合が多いことを考慮して、水平方向での符号化対象ブロック右端で、中央値予測に戻す処理を行う。これにより、ブロック毎の選択情報や、領域指定の為の大きな付加情報を用いずに、少ない追加情報で予測ベクトルの外れを削減して動きベクトルの符号化効率を向上させることができる。
実施の形態1の動画像符号化装置の構成図である。 実施の形態1の動画像符号化装置における予測ベクトル選択部の構成図である。 実施の形態1の動画像符号化装置における予測ベクトル選択部の動作を説明するための第1のフローチャートである。 実施の形態1の動画像符号化装置における予測ベクトル選択部の動作を説明するための第2のフローチャートである。 実施の形態1の動画像符号化装置におけるベクトル予測手段切替情報符号化部の動作を説明するためのフローチャートである。 実施の形態1の動画像符号化装置における予測ベクトル選択部により予測方法が切替られた結果を示す図である。 実施の形態1の動画像復号化装置の構成図である。 実施の形態1の動画像復号化装置における予測ベクトル算出部の構成図である。 実施の形態2の動画像符号化装置の構成図である。 実施の形態2の動画像符号化装置における予測ベクトル切替部の構成図である。 実施の形態3の動画像符号化装置の構成図である。 実施の形態4の動画像符号化装置における予測ベクトル選択部の動作を説明するための第1のフローチャートである。 実施の形態4の動画像符号化装置における予測ベクトル選択部の動作を説明するための第2のフローチャートである。 実施の形態4の動画像符号化装置におけるベクトル予測手段切替情報符号化部の動作を説明するためのフローチャートである。 MPEG4−AVCにおける対象ブロックと予測動きベクトル算出に用いる隣接ブロックの関係図である。
以下に、発明を実施するための形態について図面を参照して説明する。
(実施の形態1)
まず、実施の形態1の動画像符号化装置を説明する。図1は、実施の形態1の動画像符号化装置の構成図である。図1に示すように、実施の形態1の動画像符号化装置は、入力端子100、入力画像メモリ101、予測モード判定部102、減算器103、直交変換部104、量子化部105、逆量子化部106、逆直交変換部107、加算器108、面内参照メモリ109、イントラ予測部110、デブロックフィルタ部111、参照画像メモリ112、ME(動き推定)部113、MC(動き補償)部114、ベクトル参照メモリ115、予測ベクトル選択部116、エントロピー符号化部117、符号化テーブル118、ベクトル予測手段切替情報符号化部119、多重化部120、ストリームバッファ121、出力端子122、及び符号量制御部123から構成される。
動画像符号化装置が予測ベクトル選択部116及びベクトル予測手段切替情報符号化部119を有する点が、実施の形態1の特徴であり、他の処理ブロックに関しては従来の動画像符号化装置を構成する処理ブロックと同じである。
入力端子100より入力されたデジタル画像信号は、入力画像メモリ101に供給されて記憶され、符号化シンタックスに従って符号化される順番に並べ替えを行うため遅延される。入力画像メモリ101に記憶されたデジタル画像信号は16×16画素で構成される2次元マクロブロック単位で符号化対象ブロックとして切り出され、減算器103、イントラ予測部110、ME部113、及びMC部114に供給される。減算器103は、入力画像メモリ101から供給された符号化対象ブロックから、予測モード判定部102より供給される予測画像ブロックを減じ、結果を差分ブロックとして直交変換部104に供給する。
直交変換部104は、差分ブロックに対して水平8画素×垂直8画素単位でDCT変換を行って、直交変換された周波数成分信号に相当するDCT係数を生成する。直交変換部104は、生成したDCT係数を2次元マクロブロック単位で纏めて量子化部105に出力する。量子化部105は、DCT係数を周波数成分毎に異なった値で除算する量子化処理を実行する。量子化部105は、量子化処理されたDCT係数を、逆量子化部106及びエントロピー符号化部117に供給する。
逆量子化部106は、量子化部105より供給された量子化処理されたDCT係数に対して、量子化時に除算に用いられた値を乗算する逆量子化を実行し、逆量子化された結果を復号されたDCT係数として、逆直交変換部107に出力する。逆直交変換部107は、逆DCT処理を行い、復号された差分ブロックを生成する。逆直交変換部107は、復号された差分ブロックを加算器108に供給する。加算器108は、予測モード判定部102より供給される予測画像ブロックと、逆直交変換部107より供給される、復号された差分ブロックとを加算し、局部復号ブロックを生成する。加算器108によって生成された局部復号ブロックは、面内参照メモリ109及びデブロックフィルタ部111に供給され、続く符号化対象ブロックの予測信号の生成に用いられる。
イントラ予測部110は、入力画像メモリ101より供給される符号化対象ブロックと、面内参照メモリ109に格納された、符号化対象ブロックに隣接する符号化済みの復号ブロック画像とより、複数の面内予測モードそれぞれの予測誤差を算出し、複数の面内予測モードより、予測誤差が最も少ないモードを選択し、面内予測モード情報、面内予測ブロック、及び予測誤差値を予測モード判定部102に出力する。
デブロックフィルタ部111は、符号化処理単位である対象ブロックの境界に対して、符号化処理で発生する歪を除去するための低域通過フィルタによりフィルタリングを施し、結果を参照画像として、参照画像メモリ112に格納する。参照画像メモリ112に格納された参照画像は、時間相関を用いた動き補償予測ブロックを生成する為に用いられる。
ME部113は、入力画像メモリ101から切り出された符号化対象ブロックと参照画像メモリ112に格納されている参照画像との間で、動き推定処理を行う。動き推定処理は、例えば、画面内の同一位置より所定の移動量だけ移動させた位置の参照画像を切り出し、その画像を予測ブロックとした際の予測誤差が最も少なくなる移動量を動きベクトル値とするブロックマッチング処理である。ME部113によって求められた動きベクトル値は、MC部114及び予測ベクトル選択部116に供給される。
MC部114は、ME部113より供給された動きベクトル値と、入力画像メモリ101より供給された符号化対象ブロックとを元に、複数の参照画像や大きさの異なる単位で求められた予測ブロックに対して、予測誤差が最も少なくなる予測手法と予測ブロックを選択し、動き補償予測モード情報及び動き補償予測ブロックと、選択された手法による動きベクトル値及び予測誤差値とを予測モード判定部102に供給する。
予測ベクトル選択部116は、ME部113より供給される対象ブロックの動きベクトル値と、ベクトル参照メモリ115に蓄積された隣接ブロックに対する動きベクトル値と、予測モード判定部102より供給される予測ベクトル算出方法切替情報とを元に、符号化対象ブロックに対する予測ベクトル値及び暫定予測ベクトル算出方法切替情報を生成し、予測モード判定部102に出力する。予測ベクトル選択部116の動作の詳細に関しては後述する。
予測モード判定部102には、イントラ予測部110より面内予測モード情報、面内予測ブロック、及び予測誤差値が供給され、MC部114より動き補償予測モード情報、動き補償予測ブロック、及び予測誤差値が供給され、予測ベクトル選択部116より予測ベクトル値及び暫定予測ベクトル算出方法切替情報が供給される。予測モード判定部102は、符号化対象ブロックに対する予測ブロックを決定する処理を行う。
すなわち、予測モード判定部102は、復号装置において最初の参照画像を得るために行われる画面内のみで予測が行われる基準フレームについては、イントラ予測部110より供給された面内予測ブロック値を減算器103及び加算器108に供給し、面内予測モード情報をエントロピー符号化部117に供給する。
他方、参照画像確定後に用いることが可能な予測フレームについては、予測モード判定部102は、イントラ予測部110より供給された予測誤差値と、MC部114より供給された予測誤差値とを比較して、より予測誤差の少ない予測手法を予測モード情報として選択し、選択した動き補償予測又は面内予測のブロック値を減算器103及び加算器108に供給し、選択した予測手法(動き補償予測又は面内予測)に対する予測モード情報をエントロピー符号化部117に供給する。
また、予測モード判定部102は、選択した予測モードが動き補償予測であった場合、MC部114より供給された動きベクトル値をエントロピー符号化部117及びベクトル参照メモリ115に供給し、予測ベクトル選択部116より供給された予測ベクトル値をエントロピー符号化部117に供給する。他方、選択した予測モードが動き補償予測であった場合、予測モード判定部102は、予測ベクトル選択部116より供給された暫定予測ベクトル算出方法切替情報を、予測ベクトル算出方法切替信号として予測ベクトル選択部116及びベクトル予測手段切替情報符号化部119に供給する。
エントロピー符号化部117は、量子化部105より供給された量子化されたDCT係数を可変長符号化する。また、エントロピー符号化部117は、予測モード判定部102より供給された、予測モード情報と、動き補償予測が選択された場合の動きベクトル値及び予測ベクトル値とに対して、符号化テーブル118を参照して可変長符号化を実行する。符号化テーブル118は、予測モード情報と動きベクトル値及び予測ベクトル値の差分ベクトル値とに対して可変長符号化を行う際に用いられるテーブルである。エントロピー符号化部117は、可変長符号化を行うことによって得た情報をフレーム単位等の所定単位で束ねて多重化部120に供給する。
ベクトル予測手段切替情報符号化部119は、予測モード判定部102より供給される予測ベクトル切替情報を、フレーム単位等の所定単位で符号化し、符号化した情報を多重化部120に供給する。ベクトル予測手段切替情報符号化部119の動作の詳細に関しては後述する。
多重化部120は、所定単位で束ねられた、エントロピー符号化部117とベクトル予測手段切替情報符号化部119より供給される符号化情報を、ベクトル予測手段切替情報符号化部119より供給された符号化情報を先行させて符号化ストリームとして交互にストリームバッファ121に出力する。なお、多重化部120は、ベクトル予測手段切替情報符号化部119より符号化情報が供給されない場合、エントロピー符号化部117より供給された符号化情報のみを所定単位の符号化ストリームとしてストリームバッファ121に出力する。
ストリームバッファ121に蓄えられた符号化ストリームは、出力端子122を介して、記録媒体又は伝送路に出力される。符号量制御部123は、ストリームバッファ121に蓄えられているビットストリームの符号量を取得し、目標とする符号量と比較し、ストリームバッファ121に蓄えられているビットストリームの符号量を目標符号量に近づけるために量子化部105が行う量子化の細かさ(量子化スケール)を制御する。このようにして、符号量制御部123は、符号化ストリームの符号量を制御する。
続いて、実施の形態1の目的である予測ベクトルの外れを削減して動きベクトルの符号化効率向上を実現するための予測ベクトル選択部116及びベクトル予測手段切替情報符号化部119の動作を説明する。
図2は、実施の形態1の動画像符号化装置における予測ベクトル選択部116の構成図であり、図3及び図4は、予測ベクトル選択部116の動作を示すフローチャートである。予測ベクトル選択部116は、図2に示すように、ステータス保持部200、中間値予測生成部201、ゼロ予測/左隣接予測生成部202、差分ベクトル符号量算出部203、差分ベクトル符号量算出部204、及び予測ベクトル生成手段選択部205より構成される。
まず、予測フレーム処理の最初の符号化対象ブロックを設定し(S300)、符号化対象ブロックが左端のブロックである場合(S301:YES)、ステータス保持部200に格納される、予測ベクトル算出方法を示すステータス情報SMVpredに0を、符号量差分SumMVbitsに0を、ブロック基準位置MBXsに−1を、予測ベクトル生成手段選択部205に格納するブロック対象位置MBXcに0を、それぞれセットする(S302)。
符号化対象ブロックがフレーム単位の上端に存在する場合(S303:YES)、中間値予測における隣接対象ブロックが左端の場合にはブロック位置情報MBXcを0にし、それ以外の場合には左隣接ブロックであるブロックAとなるため、算出方法の切替は行わずに、常に中間値予測の結果が用いられ、ブロック位置情報MBXcを次のブロック位置MBXc+1に更新して(S304)、ブロック処理の先頭のステップS301に戻る。
符号化対象ブロックがフレーム単位の上端以外のブロックである場合(S303:NO)、ベクトル参照メモリ115より隣接ブロックの動きベクトルを取得して、中間値予測生成部201において予測ベクトル値PMVx、PMVyを式1を用いて生成する(S305)。
(式1)
PMVx=Median(MVAx、MVBx、MVCx)
PMVy=Median(MVAy、MVBy、MVCy)
続いて、ゼロ予測/左隣接予測生成部202において、ステータス保持部200に保持されているステータス情報SMVpredが0の場合(S306:YES)、予測ベクトル値P2MVx、P2MVyに0を代入する(S307)。SMVpredが0でない場合(S306:NO)、予測ベクトル値として左隣接ブロックのベクトル値を用いる(S308)。
P2MVx=MVAx
P2MVy=MVAy
中間値予測生成部201より出力された予測ベクトル値PMVx、PMVyと、ME部113より入力された対象ブロックの動きベクトル値MVx、MVyが、差分ベクトル符号量算出部203に入力され、差分ベクトルDMVx、DMVyが生成される(S309)。
DMVx=MVx−PMVx
DMVy=MVy−PMVy
差分ベクトル符号量算出部203では、差分ベクトルDMVx、DMVyを符号化した際に必要となる符号量DMVbitsを式2に基づいて算出する(S310)。
(式2)
DMVbits=se(DMVx)+se(DMVy)
但し、se(k)は、k=0の場合1、その他の場合2|log2|k|+1|+1、である。
続いて、ゼロ予測/左隣接予測生成部202より出力された予測ベクトル値P2MVx、P2MVyと、ME部113より入力された対象ブロックの動きベクトル値MVx、MVyが、差分ベクトル符号量算出部204に入力され、差分ベクトルD2MVx、D2MVyが生成される(S311)。
D2MVx=MVx−P2MVx
D2MVy=MVy−P2MVy
差分ベクトル符号量算出部204では、差分ベクトルDMVx、DMVyを符号化した際に必要となる符号量D2MVbitsを式2に基づいて算出する(S312)。
D2MVbits=se(D2MVx)+se(D2MVy)
予測ベクトル生成手段選択部205には、差分ベクトル符号量算出部203、204より出力された予測ベクトル値DMVx、DMVy、D2MVx、D2MVyと、差分ベクトル符号量DMVbits、D2MVbitsと、ステータス保持部200より出力されたステータス情報SMVpred、符号量差分SumMVbits、ブロック基準位置MBXsが入力され、以降の手順で予測ベクトルの生成手段が選択される。
ステータス情報SMVpredが0の場合(S313:YES)、直前の対象ブロックの予測ベクトル生成手段が中間値予測であったことを示すため、差分ベクトル符号量D2MVbitsと予測モード切替情報を符号化した際に必要となる符号量Bを併せた符号量が、差分ベクトル符号量DMVbitsよりも小さくなる場合に、予測モードの切替を行う。具体的には、Bは、切替タイミングを対象ブロックの位置差分情報として「ISO/IEC 14496−10 Advanced Video Coding」において説明されているSEI(補足的な付加情報)のような別情報で伝送することを想定し、その符号量を以下の式で算出する(S314)。
B=ue(MBXc−MBXs)+ue(1)
但し、ue(k)は、k=0の場合1、その他の場合2であり、|log2(k+1)|+1ue(1)は、次の対象ブロックで切替が生じた際に必要となる符号量を意味する。
ここで、DMVbits>D2MVbits+Bの場合(S315:YES)、予測モードの切替を行うために、ステータス情報SMVpredに1を、仮符号量差分PSumMVbitsにDMVbits−D2MVbits−B+ue(1)を、ブロック基準位置MBXsにMBXcを、暫定予測ベクトル算出方法切替情報Cに1を、予測ベクトル値PsMVx、PsMVyにP2MVx、P2MVyを、それぞれセットする(S316)。
DMVbits>D2MVbits+Bでない場合(S315:NO)、予測モードは切替ず、暫定予測ベクトル算出方法切替情報Cに0を、予測ベクトル値PsMVx、PsMVyにPMVx、PMVyを、それぞれセットする(S317)。
ステータス情報SMVpredが1の場合(S313:NO)、直前の対象ブロックの予測ベクトル生成手段がゼロ予測/左隣接予測であったことを示すため、差分ベクトル符号量D2MVbitsと予測モード切替情報の終了位置を符号化した際に必要となる符号量Bを併せた符号量が閾値αよりも大きい場合、予測モードを切り替える。
閾値αは、符号量差分SumMVbitsよりも十分小さい値に設定され、例えばα=SumMVbits>>4であり、予測モード切替情報の終了位置を符号化した際に必要となる符号量BをB=ue(MBXc−MBXs)と算出する(S318)。
ここで、DMVbits+α>D2MVbits+Bの場合(S319:YES)、予測モードを切り替えるために、ステータス情報SMVpredに0を、仮符号量差分PSumMVbitsに0を、ブロック基準位置MBXsにMBXcを、暫定予測ベクトル算出方法切替情報Cに1を、予測ベクトル値PsMVx、PsMVyにPMVx、PMVyを、それぞれセットする(S320)。
DMVbits+α>D2MVbits+Bでない場合(S319:NO)、予測モードは切替ず、仮符号量差分PSumMVbitsにSumMVbits+DMVbits−D2MVbitsを、暫定予測ベクトル算出方法切替情報Cに0を、予測ベクトル値PsMVx、PsMVyにP2MVx、P2MVyを、それぞれセットする(S321)。
図4に移行し、生成された暫定予測ベクトル算出方法切替情報Cと、選択された動きベクトルPsMVx、PsMVyを予測モード判定部102に出力する(S322)。
予測モード判定部102は、イントラ予測や各動き補償予測モードより、符号化対象ブロックの予測モードとして、動き補償予測が使用された場合、入力された暫定予測ベクトル算出方法切替情報Cをそのまま予測ベクトル選択部116及びベクトル予測手段切替情報符号化部119に出力し、動き補償予測が使用されなかった場合、暫定予測ベクトル算出方法切替情報Cを0にリセットして出力する。
予測モード判定部102より入力された、予測ベクトル算出方法切替情報をC´とすると、C=1の場合(S323:YES)、C´=1のときには(S324:YES)、仮符号量差分PSumMVbitsを符号量差分SumMVbitsに代入する(S325)。C=1でC´=1でない場合(S324:NO)、ステータス情報SMVpredを元に戻すために以下の処理を行う。
SMVpred=(SMVpred+1)&1 (S326)。
C=0の場合(S323:NO)、ステータス情報SMVpredが1のとき(S327:YES)、仮符号量差分PSumMVbitsを符号量差分SumMVbitsに代入する(S328)。
符号化対象ブロックに対する処理が終了したら、それがフレーム内の最終符号化対象ブロックである場合(S329:YES)、処理を終了し、そうでない場合(S329:NO)、次の符号化対象ブロックに移行するために位置情報MBXcをMBXc+1に更新して(S330)、ブロック処理の先頭のステップS301に戻る。
続いて、ベクトル予測手段切替情報符号化部119の動作を説明する。図5は、ベクトル予測手段切替情報符号化部119の動作を示すフローチャートである。
まず、予測フレーム処理の最初の符号化対象ブロックを設定し(S400)、14バイトで構成されるSEI(補足的な付加情報)ヘッダ情報を生成すると共に、フレーム内で切替情報が生成されたことを示すフラグFを0にリセットする(S401)。符号化対象ブロックが左端のブロックである場合(S402:YES)、ブロック基準位置MBXsに−1を、ブロック対象位置MBXcに0を、それぞれセットする(S403)。
符号化対象ブロック毎に予測モード判定部102より入力される予測ベクトル算出方法切替情報C´が1の場合(S404:YES)、ブロック基準位置MBXsからブロック対象位置MBXcの情報をue(MBXc−MBXs)ビットで生成される指数ゴロム符号で符号化し、フラグFに1をセットして、MBXsにMBXcをセットする(S405)。
符号化対象ブロックに対する上記判断の後、符号化対象ブロックが右端ブロックであって、且つ予測ベクトル算出方法切替情報C´が0の場合(S406:YES)、符号化対象ブロックが右端であることを示す情報としてue(0)ビットで生成される指数ゴロム符号を符号化する(S407)。
続いて、符号化対象ブロックが予測フレームの最後のブロックであった場合(S408:YES)、フラグFが1のとき(S409:YES)、符号化したSEI情報を多重化部120に出力し(S410)、対象となる予測フレームに対するベクトル予測手段切替情報の符号化処理を終了する。この場合、対象となる予測フレーム内で、ベクトル予測手段の切替が行われなかったとき、付加情報は発生しない。符号化対象ブロックが最後のブロックでない場合(S408:NO)、MBXcをMBXc+1に更新し(S411)、続く符号化対象ブロックの処理(S402)に進む。
実施の形態1における予測ベクトル選択による結果として、動きベクトルの符号化効率が向上する部分に関して、図6を用いて説明する。車等の物体が画面内で大きな領域を占めて移動している場合、背景の動きと物体の動きが異なる。そのような場合、物体と背景の上部境界に即した対象ブロックで上部の動きベクトルと対象ブロックの動きベクトルが異なり、上2つの隣接ブロックが優位性を示す中央値予測の予測ベクトルが大きな差分ベクトルを発生する。
そのような場合、物体の水平方向の長さに即した形で、大きな差分ベクトルが連続する可能性がある。このような場合、図6に示すように水平方向の動きベクトルに関しては相関性を保っているため、左隣接ブロックからの動きベクトル予測に切替ることにより、差分ベクトルを小さくすることができる。実施の形態1の予測ベクトル選択においては、実際に生成される差分ベクトルの符号量に即して、中央値予測とゼロ予測を切替えると共に、以降の動きベクトル予測が左隣接ブロックで行われるように制御し、実際に生成される差分ベクトルの符号量に即して、中央値予測に戻す切替を制御する。これにより、中央値予測だけで予測ベクトルを構成する場合よりも符号量を削減することが可能な動きベクトル予測方法を実現することができる。
また、中央値予測が縦方向の物体境界に対しては適切な予測値を算出することができる場合が多いことを考慮して、水平方向での符号化対象ブロック右端で、中央値予測に戻す処理を行う。これにより、ブロック毎の選択情報や、領域指定の為の大きな付加情報を用いずに、少ない切替情報で有効な動きベクトル予測方法の制御が可能となる。
次に、上述した動きベクトル予測方法を用いることにより生成された符号化ビットストリームを復号する、実施の形態1の動画像復号化装置について説明する。
図7は、実施の形態1の動画像復号化装置の構成図である。実施の形態1の動画像復号化装置は、図6に示すように、入力端子600、ストリームバッファ601、多重分離部602、符号化テーブル603、エントロピー復号化部604、ベクトル予測手段切替情報復号化部605、予測モード復号化部606、ベクトル参照メモリ607、予測ベクトル算出部608、MC(動き補償)部609、参照画像メモリ610、イントラ予測部611、面内参照メモリ612、予測信号生成部613、逆量子化部614、逆直交変換部615、加算器616、デブロックフィルタ部617、出力画像メモリ618、及び出力端子619から構成される。
動画像復号化装置がベクトル予測手段切替情報復号化部605及び予測ベクトル算出部608を有する点が、実施の形態1の特徴であり、他の処理ブロックに関しては従来の動画像復号化装置を構成する処理ブロックと同じである。
入力端子600より入力された符号化ビットストリームは、ストリームバッファ601に格納され、フレーム単位のビットストリームが多重分離部602に出力される。多重分離部602は、入力されたビットストリームよりベクトル予測手段切替情報とそれ以外のビットストリームとに分離し、ベクトル予測手段切替情報をベクトル予測手段切替情報復号化部605に出力し、それ以外のビットストリームをエントロピー復号化部604に出力する。
エントロピー復号化部604は、入力されたビットストリームより、符号化された予測モード情報及び差分動きベクトル情報と量子化されたDCT係数とを符号化テーブル603を参照して復号し、量子化されたDCT係数を逆量子化部614に出力し、予測モード情報と差分動きベクトル情報とを予測モード復号化部606に出力する。逆量子化部614、逆直交変換部615、加算器616、デブロックフィルタ部617、面内参照メモリ612、及び参照画像メモリ610は、実施の形態1の動画像符号化装置の局部復号処理と同様の処理を行う。
ベクトル予測手段切替情報復号化部605は、多重分離部602より入力されたベクトル予測手段切替情報を保持し、切替情報が該当する符号化対象ブロックの情報である場合、予測ベクトル算出部608に対して、ベクトル予測手段切替フラグを出力する。予測ベクトル算出部608は、ベクトル予測手段切替情報復号化部605より入力されるベクトル予測手段切替フラグと、ベクトル参照メモリ607より入力される隣接ブロックの動きベクトル値より、予測動きベクトル値を算出し、予測モード復号化部606に出力する。予測ベクトル算出部608の動作の詳細に関しては後述する。
予測モード復号化部606は、予測ベクトル算出部608より入力された予測動きベクトル値と、エントロピー復号化部604より入力された予測モード情報及び差分動きベクトル情報とから、対象ブロックの動きベクトル値と予測モードを復号する。予測モード復号化部606は、予測モードがイントラ予測を示している場合、イントラ予測部611に対して予測モード情報を出力する。予測モード復号化部606は、予測モードが動き補償予測を示している場合、MC部609に対して、予測モード情報と動きベクトル値を出力すると共に、ベクトル参照メモリ607に動きベクトル値を格納する。また、予測モード復号化部606は、予測信号生成部613に対して、イントラ予測で復号されるか動き補償予測で復号されるかを示すモード情報を出力する。
イントラ予測部611は、予測モード復号化部606より入力された予測モード情報に従って、面内参照メモリ612から隣接する符号化済みの復号ブロック画像を取得し、面内予測ブロックを生成し、予測信号生成部613に出力する。MC部609は、予測モード復号化部606より入力された予測モード情報と動きベクトル値に従って、参照画像メモリ610より動き補償予測ブロックを取得し、予測信号生成部613に出力する。予測信号生成部613は、予測モード復号化部606より入力されたモード信号に従って、イントラ予測部611又はMC部609より入力された予測ブロック信号を、加算器616に出力する。
続いて、予測ベクトル算出部608の動作を図8を用いて説明する。図8は実施の形態1の動画像復号化装置における予測ベクトル算出部608の構成図である。予測ベクトル算出部608は、図8に示すように、ステータス制御部700、予測ベクトル生成手段選択部701及び、中間値/ゼロ予測/左隣接予測生成部702から構成される。
ステータス制御部700においては、復号対象ブロックが画面左端ブロックである場合、ステータス情報SMVpredが0にリセットされ、ベクトル予測手段切替情報復号化部605より入力されるベクトル予測手段切替フラグが切り替えを示している場合、ステータスが以下のように更新される。
SMVpred=(SMVpred+1)&1
ステータス制御部700は、ベクトル予測手段切替フラグと更新されたSMVpredを予測ベクトル生成手段選択部701に出力する。予測ベクトル生成手段選択部701は、入力されたベクトル予測手段切替フラグが切り替えを示している場合、入力されたSMVpredが1のときにはゼロベクトル予測を選択し、SMVpredが0のときには中央値予測を選択し、選択した予測動きベクトル算出方法を、中間値/ゼロ予測/左隣接予測生成部702に出力する。ステータス制御部700は、ベクトル予測手段切替フラグが切り替えを示していない場合、SMVpredが1のときには左隣接ブロック予測を選択し、SMVpredが0のときには中央値予測を選択し、選択した予測動きベクトル算出方法を、中間値/ゼロ予測/左隣接予測生成部702に出力する。
中間値/ゼロ予測/左隣接予測生成部702は、入力された予測動きベクトル算出方法に従って、ベクトル参照メモリ607より隣接する復号済みブロックの動きベクトル値を取得し、予測動きベクトル値を生成して予測モード復号化部606に出力する。
このように、実施の形態1の動画像復号化装置は、動きベクトルの予測モード切替を示す情報のみを選択情報として受信することで、切替後の予測モードの移行を特定することができる。すなわち、実施の形態1の動画像復号化装置は、少ない付加情報を用いることにより、適切に選択された動きベクトルの予測モードを用いて復号化処理を実行することが可能となる。
(実施の形態2)
続いて、実施の形態2の動画像符号化装置を説明する。実施の形態2の動画像符号化装置は、予測ブロックに対する差分情報に対して直交変換及び量子化を行った結果をNブロック分蓄積してNブロック分の動きベクトル及び予測ベクトルの関連性を評価し、予測ベクトル算出手法の切替をより適切に行う。
図9に実施の形態2の動画像符号化装置の構成を示す。実施の形態2の動画像符号化装置は、図1の実施の形態1の動画像符号化装置における予測ベクトル選択部116及びベクトル予測手段切替情報符号化部119に替えて、予測ベクトル切替部816、ベクトル予測手段切替情報符号化部819、及びNブロック符号化バッファ824を具備する。
Nブロック符号化バッファ824には、予測モード判定部102より出力された予測モード情報及び動きベクトル情報と、量子化部105より出力された量子化されたDCT係数とが入力される。Nブロック符号化バッファ824は、Nブロック分の遅延を施した符号化対象ブロックの予測モード情報と、量子化データと、Nブロック分の動きベクトル値とを予測ベクトル切替部816に出力する。
予測ベクトル切替部816は、Nブロック符号化バッファ824より、予測モード情報と、量子化データと、Nブロック分の動きベクトル値とを取得し、ベクトル参照メモリ115よりNブロック分についての隣接ブロックの動きベクトル値を取得する。そして、予測ベクトル切替部816は、Nブロック遅延された符号化対象ブロックに対する予測ベクトル算出方法切替情報をベクトル予測手段切替情報符号化部819に出力すると共に、エントロピー符号化部117にNブロック遅延された符号化対象ブロックに対する予測モード情報と、量子化されたDCT係数と、差分ベクトル値とを出力する。
続いて、予測ベクトル切替部816の動作を図10を用いて説明する。図10は、実施の形態2の動画像符号化装置における予測ベクトル切替部816の構成図である。予測ベクトル切替部816は、ステータス保持部900、中間値予測Nブロック生成部901、ゼロ予測/左隣接予測Nブロック生成部902、Nブロック差分ベクトル符号量算出部903、Nブロック差分ベクトル符号量算出部904、及びNブロック前ベクトル予測モード判定部905より構成される。
ステータス保持部900は、Nブロック前の予測ベクトル算出方法を示すステータス情報SMVpredを管理する。中間値予測Nブロック生成部901は、Nブロック前の符号化対象ブロックよりNブロックにおける中間値予測で予測される予測動きベクトルを生成する。ゼロ予測/左隣接予測Nブロック生成部902は、ステータス情報SMVpredが0の場合(現在中央値予測が用いられている場合)、Nブロック前からNブロックにおけるゼロ予測で予測される予測動きベクトルと、N−1ブロック前からN−1ブロックにおける左隣接予測で予測される予測動きベクトルとを生成する。
Nブロック差分ベクトル符号量算出部903、904は、中間値予測Nブロック生成部901及びゼロ予測/左隣接予測Nブロック生成部902によって生成された予測動きベクトルとその対象となるブロックの動きベクトル値との差分動きベクトルDMV(k)、D2MV(k)を算出し(kは、対象ブロックのNブロック前からの移動量を示す)、その符号量DMVbits(k)、DMVbits(k)を算出する。
Nブロック前ベクトル予測モード判定部905は、Nブロック前からkブロック目に予測モードが切替った場合の、Nブロックの差分動きベクトルの総符号量を、Nブロック差分ベクトル符号量算出部903、904より算出された、差分動きベクトル符号量DMVbits(k)、DMVbits(k)より計算し、最も符号量が少なくなるkを求める。予測モードが切替った際の対象ブロックの位置差分情報は、実施の形態1において説明したSEIで伝送することを想定した符号量Bを用いることにより算出される。
Nブロック前ベクトル予測モード判定部905は、現在予測モードを確定しようとしているブロックのNブロック前において、動ベクトルの予測方法を切替た場合(k=0)、最も符号量が少なくなるときには、Nブロック前の予測ベクトル算出方法切替情報Cに1をセットし、ベクトル予測手段切替情報符号化部819に出力し、それ以外のときにはCに0をセットしベクトル予測手段切替情報符号化部819に出力する。
Nブロック前ベクトル予測モード判定部905は、セットされたCに応じて切替られた又は切替られない予測ベクトル生成方法により生成されたNブロック前の差分ベクトル値と、予測モード情報と、量子化されたDCT係数とをエントロピー符号化部117に出力する。エントロピー符号化部117は、Nブロック前の符号化ストリームを生成する。
このように、実施の形態2の動画像符号化装置は、続くNブロックにおける動きベクトルの推移と、予測ベクトル算出方法による差分ベクトル符号量とを比較し、Nブロック間での予測ベクトル算出手法の適切な切替タイミングを検出する。これにより、実施の形態2の動画像符号化装置は、より少ない符号量で連続する符号化対象ブロックに対する動きベクトルの予測差分ベクトルを符号化することができる。
尚、実施の形態2の動画像復号化装置は、実施の形態1の動画像復号化装置と同じ構成で実現することができ、実施の形態1と同様に少ない付加情報を用いることにより、適切に選択された動きベクトルの予測モードを用いて復号化処理を実行することが可能となる。
(実施の形態3)
続いて、実施の形態3の動画像符号化装置を説明する。実施の形態3の動画像符号化装置は、複数の予測ベクトル算出方法を用いた場合の動きベクトルの差分ベクトルに要する符号量を、ME部で加味しながら最適な動きベクトルを検出する。
図11に実施の形態3の動画像符号化装置の構成を示す。実施の形態3における動画像符号化装置は、図1の実施の形態1の動画像符号化装置における予測ベクトル選択部116及びME部113に替えて、予測ベクトル指示部1016、予測ベクトル適応ME部1013を具備する。
予測ベクトル指示部1016は、実施の形態1の動画像符号化装置における予測ベクトル選択部116と同様にステータス情報SMVpredを管理する。SMVpredが0の場合、動きベクトルの予測方法として中央値予測とゼロ予測が適応可能であるため、予測ベクトル指示部1016は、ベクトル参照メモリ115より、隣接ブロックの動きベクトル値を取得し、2種類の予測ベクトル値と、予測ベクトル算出方法を切替る際に必要な付加情報量Bを、予測ベクトル適応ME部1013に供給する。他方、SMVpredが1の場合、動きベクトルの予測方式として中央値予測と左隣接予測が適応可能であり、予測ベクトル指示部1016は、2種類の予測ベクトル値と付加情報量Bを生成して、予測ベクトル適応ME部1013に供給する。
予測ベクトル適応ME部1013は、動きベクトルをパターンマッチング等の手法で検索する際の誤差評価値に、2種類の予測ベクトル値との差分ベクトル符号量DMVbits、D2MVbitsと付加情報量Bを加えて最適な動きベクトルを検出する。これにより、予測ベクトル算出方法の切替を加味した形での動きベクトルに要する符号量と、動きベクトルを用いた動き補償予測差分情報に要する符号量とを合わせて、適切な動きベクトルと予測ベクトル算出方法の切替処理が可能となり、動画像符号化装置の符号化効率が向上する。
尚、実施の形態3の動画像復号化装置も、実施の形態1の動画像復号化装置と同じ構成で実現することができ、実施の形態1と同様に少ない付加情報を用いることにより、適切に選択された動きベクトルの予測モードを用いて復号化処理を実行することが可能となる。
(実施の形態4)
続いて、実施の形態4の動画像符号化装置を説明する。実施の形態4の動画像符号化装置は、切替情報をマクロブロックの予測モード情報と共に出力する。実施の形態4の動画像符号化装置は実施の形態1と同じ構成を取ることが可能であり、実施の形態1とは、予測ベクトル選択部116及びベクトル予測手段切替情報符号化部119の動作が異なる。
図12及び図13は、予測ベクトル選択部116の動作を示すフローチャートであり、これを用いて実施の形態4におけるベクトル予測手段の切替動作を説明する。フローチャートにおいて図3及び図4と同じステップを示すS300からS312及びS322からS330においては、実施の形態1と同じ処理が実行される。実施の形態4においては、実施の形態1におけるS313からS321の動作が、S1113からS1121の動作に置き換えられる。
実施の形態4においては、切替情報をマクロブロックの予測モード情報を拡張して伝送する。具体的には、「ISO/IEC 14496−10 Advanced Video Coding」において説明されているmb_typeを拡張して付加情報フラグを追加する。「ISO/IEC 14496−10 Advanced Video Coding」において定義されているmb_typeは「0」から「22」までであるが、「23」を付加情報フラグとして割り当てる。mb_type=23は、golomb符号で送られた場合に7ビットを有する。mb_type=23の場合は付加情報フラグがオンになり、続いて本来のmb_typeが伝送される。
マクロブロックの予測モード情報を伝送するシンタックス構造は、例えば以下のような構成である。
macroblock_layer(){
mb_type
if(mb_type == ADDITIONAL_INFO_PRESENT){
mb_type
additonal_info()

・・・

additonal_info()では、切替位置における付加情報を伝送することが可能となる。付加情報は、例えば、切替位置における複数の予測フレームに対する切替の有無を示す情報、切替位置に対する予測ベクトル生成手法を定義する情報、又は、予め領域を確定させる場合の領域の大きさを示す情報等である。
以下では、additonal_info()における付加情報を伝送しない場合の動作を説明する。該当ブロックにおける切替情報に要する符号量をBとして、B=7と設定する(S1113)。
ステータス情報SMVpredが0の場合(S1114:YES)、直前の対象ブロックの予測ベクトル生成手段が中間値予測であったことを示すため、差分ベクトル符号量D2MVbitsと予測モード切替情報を符号化した際に必要となる符号量Bを併せた符号量が、差分ベクトル符号量DMVbitsよりも小さくなる場合、予測モードを切り替える。
ここで、DMVbits>D2MVbits+Bの場合(S1115:YES)、予測モードを切り替えるために、ステータス情報SMVpredに1を、仮符号量差分PSumMVbitsにDMVbits−D2MVbits−Bを、ブロック基準位置MBXsにMBXcを、暫定予測ベクトル算出方法切替情報Cに1を、予測ベクトル値PsMVx、PsMVyにP2MVx、P2MVyを、それぞれセットする(S1116)。
DMVbits>D2MVbits+Bでない場合(S1115:NO)、予測モードは切替ず、暫定予測ベクトル算出方法切替情報Cに0を、予測ベクトル値PsMVx、PsMVyにPMVx、PMVyを、それぞれセットする(S1117)。
ステータス情報SMVpredが1の場合(S1114:NO)、直前の対象ブロックの予測ベクトル生成手段がゼロ予測/左隣接予測であったことを示すため、差分ベクトル符号量D2MVbitsと予測モード切替情報の終了位置を符号化した際に必要となる符号量Bを併せた符号量が閾値αよりも大きいときに、予測モードを切り替える。
閾値αは、符号量差分SumMVbitsよりも十分小さい値であり、例えばα=SumMVbits>>4である(S1118)。
ここで、DMVbits+α>D2MVbits+Bの場合(S1119:YES)、予測モードを切り替えるために、ステータス情報SMVpredに0を、仮符号量差分PSumMVbitsに0を、ブロック基準位置MBXsにMBXcを、暫定予測ベクトル算出方法切替情報Cに1を、予測ベクトル値PsMVx、PsMVyにPMVx、PMVyを、それぞれセットする(S1120)。
DMVbits+α>D2MVbits+Bでない場合(S1119:NO)、予測モードは切替ず、仮符号量差分PSumMVbitsにSumMVbits+DMVbits―D2MVbitsを、暫定予測ベクトル算出方法切替情報Cに0を、選択された予測ベクトル値PsMVx、PsMVyにP2MVx、P2MVyを、それぞれセットする(S1121)。
続いて、実施の形態4におけるベクトル予測手段切替情報符号化部119の動作を説明する。図14は、ベクトル予測手段切替情報符号化部119の動作を示すフローチャートである。
実施の形態4においては、切替情報をマクロブロックのモード情報に追加して伝送するため、ベクトル予測手段切替情報符号化部119はマクロブロック毎に動作する。
最初に符号化対象となるマクロブロックの予測モードmb_typeを取得する(S1200)。続いて、予測モード判定部102より入力される、予測ベクトル算出方法切替情報C´が1の場合(S1201:YES)、切替を示す情報として「23」をゴロム符号化する(S1202)。予測ベクトル算出方法切替情報C´が0の場合(S1201:NO)、何も実行せず、続いてmb_typeをゴロム符号化する(S1203)。
符号化された結果を多重化部120に出力し(S1204)、これにより、マクロブロック単位の処理が終了する。切替対象位置において、マクロブロック情報に合わせて少ない情報で切替を示す情報を出力するため、切替による符号量削減効果がより大きく発揮される。
実施の形態4においては、実施の形態1の構成による動作を説明したが、実施の形態2及び実施の形態3の構成により同様の動作を行うことも可能であり、同様の効果が発揮される。
尚、実施の形態1から実施の形態4の各動画像符号化装置及び動画像復号化装置は、物理的にはCPU(中央処理装置)、メモリなどの記録装置、ディスプレイ等の表示装置、及び伝送路への通信手段を具備したコンピュータにより実現することが可能であり、提示した各々の機能を、コンピュータのプログラムを用いることにより実現することができる。
100 入力端子、 101 入力画像メモリ、 102 予測モード判定部、 103 減算器、 104 直交変換部、 105 量子化部、 106 逆量子化部、 107 逆直交変換部、 108 加算器、 109 面内参照メモリ、 110 イントラ予測部、 111 デブロックフィルタ部、 112 参照画像メモリ、 113 ME部、 114 MC部、 115 ベクトル参照メモリ、 116 予測ベクトル選択部、 117 エントロピー符号化部、 118 符号化テーブル、 119 ベクトル予測手段切替情報符号化部、 120 多重化部、 121 ストリームバッファ、 122 出力端子、 123 符号量制御部、 200 ステータス保持部、 201 中間値予測生成部、 202 ゼロ予測/左隣接予測生成部、 203 差分ベクトル符号量算出部、 204 差分ベクトル符号量算出部、 205 予測ベクトル生成手段選択部、 600 入力端子、 601 ストリームバッファ、 602 多重分離部、 603 符号化テーブル、 604 エントロピー復号化部、 605 ベクトル予測手段切替情報復号化部、 606 予測モード復号化部、 607 ベクトル参照メモリ、 608 予測ベクトル算出部、 609 MC部、 610 参照画像メモリ、 611 イントラ予測部、 612 面内参照メモリ、 613 予測信号生成部、 614 逆量子化部、 615 逆直交変換部、 616 加算器、 617 デブロックフィルタ部、 618 出力画像メモリ、 619 出力端子、 700 ステータス制御部、 701 予測ベクトル生成手段選択部、 702 中間値/ゼロ予測/左隣接予測生成部、 816 予測ベクトル切替部、 819 ベクトル予測手段切替情報符号化部、 824 Nブロック符号化バッファ、 900 ステータス保持部、 901 中間値予測Nブロック生成部、 902 ゼロ予測/左隣接予測Nブロック生成部、 903 Nブロック差分ベクトル符号量算出部、 904 Nブロック差分ベクトル符号量算出部、 905 Nブロック前ベクトル予測モード判定部、 1013 予測ベクトル適応ME部、 1016 予測ベクトル指示部。

Claims (12)

  1. 符号化対象のブロックと、ブロック単位で既に符号化された結果である局部復号画像との間での動きベクトルを検出する動きベクトル検出部と、
    前記動きベクトル検出部によって検出された動きベクトルと、前記符号化対象のブロックに隣接する、既に符号化されたブロックにおいて検出された動きベクトルとを使用して、前記符号化対象のブロックの動きベクトルの予測値を、予測値生成方法を切替えながら算出する予測ベクトル選択部と、
    予測値生成方法を切替えた位置情報を符号化すると共に、切替位置のブロック位置差分情報を符号化するベクトル予測手段切替情報符号化部と、
    符号化された位置情報及びブロック位置差分情報を、動画像信号が符号化された符号化ストリームに多重化する多重化部と
    を有する動画像符号化装置。
  2. 符号化対象のブロックと、ブロック単位で既に符号化された結果である局部復号画像との間での動きベクトルを検出する動きベクトル検出部と、
    前記動きベクトル検出部によって検出された動きベクトルと、前記符号化対象のブロックに隣接する、既に符号化されたブロックにおいて検出された動きベクトルとを使用して、前記符号化対象のブロックの動きベクトルの予測値を、予測値生成方法を切替えながら算出する予測ベクトル選択部と、
    予測値生成方法を切替えた位置情報を符号化すると共に、切替位置を示す情報を、前記符号化対象のブロックに対する予測モード情報を符号化する際に割り当てられない符号列を用いて、前記予測モード情報と共に符号化するベクトル予測手段切替情報符号化部と、
    符号化された位置情報、切替位置を示す情報、及び予測モード情報を、動画像信号が符号化された符号化ストリームに多重化する多重化部と
    を有する動画像符号化装置。
  3. 前記予測ベクトル選択部は、切替前の符号化対象ブロックにおける動きベクトルの予測値の算出方法と、切替位置の符号化対象ブロックにおける動きベクトルの予測値の算出方法と、切替後の符号化対象ブロックにおける動きベクトルの予測値の算出方法とを交互に切替える請求項1又は2に記載の動画像符号化装置。
  4. 前記切替前の符号化対象ブロックにおける動きベクトルの予測値の算出方法は、3つの隣接するブロックの動きベクトル値の中間値を取得することにより算出する方法であり、
    前記切替位置の符号化対象ブロックにおける動きベクトルの予測値の算出方法は、ゼロベクトル又はゼロベクトルと3つの隣接するブロックの動きベクトル値の中間値より選択された値を予測値とすることにより算出する方法であり、
    前記切替後の符号化対象ブロックにおける動きベクトルの予測値の算出方法は、左に隣接するブロックの動きベクトル値を用いる方法である
    請求項3に記載の動画像符号化装置。
  5. 前記予測ベクトル選択部は、対象ブロックにおいて、切替情報より示される、切替前の予測動きベクトル値と切替後の予測動きベクトル値の2つの予測動きベクトルに対して、それぞれ符号化対象であるブロックの動きベクトルとの差分ベクトルを符号化した際の符号量を算出すると共に、切替情報を符号化するために必要な符号量を算出し、切替後の符号量が少ない場合に切替処理を行う請求項1又は2に記載の動画像符号化装置。
  6. 前記予測ベクトル選択部は、連続するNブロックの(Nは1より大きな整数)符号化対象ブロックに対する動きベクトル情報、及び隣接するブロックの動きベクトル情報を取得し、Nブロック後までの予測動きベクトルを生成し、必要となる符号量を算出し、現在の対象ブロックの予測動きベクトル算出方法を切替るか否かを判断する請求項1又は2に記載の動画像符号化装置。
  7. 前記動きベクトル検出部は、予測動きベクトル値算出方法を切替ない場合の予測動きベクトル値と、切替た場合の予測動きベクトル値と、切替た場合に必要となる切替情報の符号量とを算出し、符号化対象ブロックに対する動きベクトル及び予測動きベクトル算出方法を切替るか否かを指示する情報を生成する請求項1又は2に記載の動画像符号化装置。
  8. 動画像信号が符号化された符号化ビットストリームを、動画像信号についての符号化ストリームと、ベクトル予測手段切替情報とに分離する分離部と、
    符号化された切替位置のブロック位置差分情報を復号して切替位置を認識し、復号対象ブロックが切替位置に相当する場合に切替情報を出力するベクトル予測手段切替情報復号化部と、
    切替情報を取得し、復号化対象ブロックの動きベクトル値に対する予測動きベクトル値を生成する予測ベクトル算出部と、
    前記予測動きベクトル値と、復号された差分ベクトル値より、復号化対象ブロックの動きベクトル値を復号する予測モード復号化部と、
    前記復号化対象ブロックの動きベクトル値に基づき、復号済みの参照画像より動き補償予測ブロックを得る動き補償予測部と
    を有する動画像復号化装置。
  9. 前記予測ベクトル算出部は、
    切替情報と現在の予測ベクトル算出方法の状態を保持するステータス制御部と、
    切替情報が存在する復号対象ブロックに対しては、ゼロベクトルによる予測と隣接ブロックの動きベクトルの中央値予測との間で切替を行い、切替情報が存在しない復号対象ブロックに対しては、左に隣接するブロックの動きベクトル値と、隣接ブロックの動きベクトルの中央値予測との間で切替を行う中間値/ゼロ予測/左隣接予測生成部とを含む
    請求項8に記載の動画像復号化装置。
  10. 符号化対象のブロックと、ブロック単位で既に符号化された結果である局部復号画像との間での動きベクトルを検出するステップと、
    検出した動きベクトルと、前記符号化対象のブロックに隣接する、既に符号化されたブロックにおいて検出された動きベクトルとを使用して、前記符号化対象のブロックの動きベクトルの予測値を、予測値生成方法を切替えながら算出するステップと、
    予測値生成方法を切替えた位置情報を符号化すると共に、切替位置のブロック位置差分情報を符号化するステップと、
    符号化した位置情報及びブロック位置差分情報を、動画像信号が符号化された符号化ストリームに多重化するステップと
    を含む動画像符号化方法。
  11. 符号化対象のブロックと、ブロック単位で既に符号化された結果である局部復号画像との間での動きベクトルを検出するステップと、
    検出した動きベクトルと、前記符号化対象のブロックに隣接する、既に符号化されたブロックにおいて検出された動きベクトルとを使用して、前記符号化対象のブロックの動きベクトルの予測値を、予測値生成方法を切替えながら算出するステップと、
    予測値生成方法を切替えた位置情報を符号化すると共に、切替位置を示す情報を、前記符号化対象のブロックに対する予測モード情報を符号化する際に割り当てられない符号列を用いて、前記予測モード情報と共に符号化するステップと、
    符号化した位置情報、切替位置を示す情報、及び予測モード情報を、動画像信号が符号化された符号化ストリームに多重化するステップと
    を含む動画像符号化方法。
  12. 動画像信号が符号化された符号化ビットストリームを、動画像信号についての符号化ストリームと、ベクトル予測手段切替情報とに分離するステップと、
    符号化された切替位置のブロック位置差分情報を復号して切替位置を認識し、復号対象ブロックが切替位置に相当する場合に切替情報を出力するステップと、
    切替情報を取得し、復号化対象ブロックの動きベクトル値に対する予測動きベクトル値を生成するステップと、
    前記予測動きベクトル値と、復号された差分ベクトル値より、復号化対象ブロックの動きベクトル値を復号するステップと、
    前記復号化対象ブロックの動きベクトル値に基づき、復号済みの参照画像より動き補償予測ブロックを得るステップと
    を含む動画像復号化方法。
JP2009241494A 2009-10-20 2009-10-20 動画像符号化装置、動画像復号化装置、動画像符号化方法、及び動画像復号化方法 Pending JP2011091498A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009241494A JP2011091498A (ja) 2009-10-20 2009-10-20 動画像符号化装置、動画像復号化装置、動画像符号化方法、及び動画像復号化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009241494A JP2011091498A (ja) 2009-10-20 2009-10-20 動画像符号化装置、動画像復号化装置、動画像符号化方法、及び動画像復号化方法

Publications (1)

Publication Number Publication Date
JP2011091498A true JP2011091498A (ja) 2011-05-06

Family

ID=44109372

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009241494A Pending JP2011091498A (ja) 2009-10-20 2009-10-20 動画像符号化装置、動画像復号化装置、動画像符号化方法、及び動画像復号化方法

Country Status (1)

Country Link
JP (1) JP2011091498A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014096679A (ja) * 2012-11-08 2014-05-22 Nippon Hoso Kyokai <Nhk> 画像符号化装置及び画像符号化プログラム
CN113573051A (zh) * 2015-01-13 2021-10-29 英迪股份有限公司 视频编解码设备、方法和计算机可读记录介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014096679A (ja) * 2012-11-08 2014-05-22 Nippon Hoso Kyokai <Nhk> 画像符号化装置及び画像符号化プログラム
CN113573051A (zh) * 2015-01-13 2021-10-29 英迪股份有限公司 视频编解码设备、方法和计算机可读记录介质
CN113573051B (zh) * 2015-01-13 2024-03-01 杜比实验室特许公司 视频编解码设备、方法和计算机可读记录介质

Similar Documents

Publication Publication Date Title
CN110809887B (zh) 用于多参考预测的运动矢量修正的方法和装置
KR101595419B1 (ko) 영상 부호화/복호화 방법 및 장치
TWI543591B (zh) 寫碼視訊資料之方法、用於寫碼視訊資料之裝置及電腦可讀儲存媒體
JP5368631B2 (ja) 画像符号化方法、装置、及びプログラム
JP2019115061A (ja) 符号化装置、符号化方法、復号装置、復号方法、及びプログラム
KR101854003B1 (ko) 복수의 레이어를 포함하는 영상의 부호화 및 복호화 방법
KR102124961B1 (ko) 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법 및 동화상 예측 복호 프로그램
JP2007180981A (ja) 画像符号化装置、画像符号化方法、及び画像符号化プログラム
KR20110008653A (ko) 움직임 벡터 예측 방법과 이를 이용한 영상 부호화/복호화 장치 및 방법
TWI621351B (zh) 影像預測解碼裝置、影像預測解碼方法及影像預測解碼程式
KR20130030181A (ko) 움직임 벡터 예측기를 이용한 움직임 벡터 부호화/복호화 방법 및 장치
WO2012098845A1 (ja) 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
JP2009027759A (ja) 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
JP2007180982A (ja) 画像復号装置、画像復号方法、及び画像復号プログラム
JP2013115583A (ja) 動画像符号化装置及びその制御方法並びにプログラム
JP2011091498A (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、及び動画像復号化方法
WO2015008339A1 (ja) 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
JP5479648B1 (ja) 画像符号化方法及び画像復号化方法
WO2012090425A1 (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
JP5442039B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2014017853A (ja) 画像符号化方法及び画像復号化方法
JP2012186762A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
KR100774297B1 (ko) 움직임 벡터 복호화 방법 및 그 장치
JP2012138838A (ja) 動画像復号装置、動画像復号方法、及び動画像復号プログラム
JP5946980B1 (ja) 画像復号化方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20111012