JP2001224036A

JP2001224036A - 動画像符号化装置

Info

Publication number: JP2001224036A
Application number: JP2001036314A
Authority: JP
Inventors: Nobuyuki Ema; 信行江間; Keiichi Hibi; 慶一日比
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1995-10-18
Filing date: 2001-02-14
Publication date: 2001-08-17

Abstract

(57)【要約】【課題】画像フレームの周辺のコントロールグリッド
点における動きベクトルをより高精度に探索することが
可能な動画像符号化装置を提供する。【解決手段】動き補償フレーム間予測を行うことによ
り得た予測画像フレームと入力画像フレームとの差を予
測誤差情報として符号化する動画像符号化装置におい
て、動きベクトルを探索する位置に応じて、入力画像フ
レーム及び参照画像フレームの画面内に存在する画素間
の差分を求めることにより、動きベクトルの探索を行う
動きベクトル探索部３２と、前記動きベクトルを用いて
予測画像フレームを生成する予測フレーム生成部３３
と、前記動きベクトルをサイド情報として符号化するサ
イド情報符号化部３５とを備えたものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動き補償フレーム
間予測方式を用いた動画像符号化装置に関するものであ
る。

【０００２】

【従来の技術】従来から、ＩＳＤＮ（Integrated Servi
ces Digital Network）網などの高速ディジタル網にお
いて、テレビ電話やテレビ会議システムなどの動画像通
信が実現されている。また、近年、ＰＨＳ（Personal H
andyphone System）に代表される無線伝送網の進展、お
よび、ＰＳＴＮ（Public Switched Telephone Networ
k）網におけるデータ変調・復調技術の進展、さらに、
画像圧縮技術の進展に伴い、より低ビットレート網にお
ける動画像通信への要求が高まっている。

【０００３】一般に、テレビ電話やテレビ会議システム
のように、動画像情報を伝送する場合においては、動画
像の情報量が膨大なのに対して、伝送に用いる回線の回
線速度やコストの点から、伝送する動画像の情報量を圧
縮符号化し、情報量を少くして伝送することが必要とな
ってくる。

【０００４】動画像情報を圧縮する符号化方式として
は、Ｈ.２６１，ＭＰＥＧ−１（Moving Picture Coding
Expert Group）、ＭＰＥＧ−２などが、すでに国際標
準化されている。さらに、６４kbps以下の超低ビットレ
ートでの符号化方式として、ＭＰＥＧ−４の標準化活動
が進められている。現在、標準化されている動画像映像
符号化方式では、フレーム間予測符号化およびフレーム
内符号化を組み合わせて行うハイブリッド映像符号化方
式を採用している。

【０００５】フレーム間予測符号化は、動画像を符号化
する際に、参照画像フレームから予測画像フレームを生
成し、現画像フレームとの差分を符号化することで符号
量を減少させ伝送することで、伝送路の効率的な利用を
図るものである。フレーム間予測符号化方式には、ブロ
ックマッチング，アフィン変換，ワープ予測などが知ら
れている。以下に、アフィン変換を用いた従来の動画像
符号化装置および動画像復号化装置の説明を行う。

【０００６】まず始めに、従来の動画像符号化装置の全
体の動作を説明する。図３は、従来の動画像符号化装置
の全体の構成例を示すものである。ここで、動き補償フ
レーム間予測符号化を行っている場合の定常状態とし
て、フレームメモリ部１６に、予測画像フレームを生成
する際に使用される参照画像フレームが記憶されている
とする。入力画像フレームがこの動画像符号化装置にお
ける減算部１１および動き補償フレーム間予測部１７に
入力される。

【０００７】動き補償フレーム間予測部１７では、フレ
ームメモリ部１６に記憶された参照画像フレームと入力
画像フレームから動き予測を行い、減算部１１に対して
予測画像フレームを出力する。減算部１１は、入力画像
フレームから動き補償フレーム間予測部１７より入力さ
れる予測画像フレームを減算し、減算した結果の予測誤
差情報を画像符号化部１２に出力する。

【０００８】画像符号化部１２は、入力された予測誤差
情報をＤＣＴ（Discrete Cosine Transform）変換など
の空間変換およびその量子化を行い、符号化画像情報と
して出力する。同時に、画像符号化部１２から出力され
た符号化画像情報は、画像復号部１４によりローカルに
復号され、加算部１５に出力される。加算部１５では、
動き補償フレーム間予測部１７から出力された予測画像
フレームと画像復号化部１４より出力された予測誤差情
報を加算し、新たな参照画像フレームを生成し、フレー
ムメモリ部１６へ出力する。

【０００９】フレームメモリ部１６は、加算部１５より
出力された新たな参照画像フレームを記憶し、次の入力
画像フレームの符号化の際に前記動き補償フレーム間予
測部１７に出力される。以上、説明したような動きを繰
り返すことにより、動画像符号化装置では、連続した符
号化画像情報（予測誤差情報）および符号化サイド情報
の出力を行う。

【００１０】次に、従来の動画像復号化装置の全体の動
作を説明する。図４は、従来の動画像復号化装置の全体
の構成例を示すものである。ここで、動き補償フレーム
間予測符号化を行っている場合の定常状態として、フレ
ームメモリ部２４に、予測画像フレームを生成する際に
使用される参照画像フレームが記憶されているとする。

【００１１】動画像復号化装置に入力された符号化画像
情報は、画像復号化部２１に入力される。この画像復号
化部２１では、画像符号化装置における画像復号化部１
４と同一の処理がなされて符号化画像情報を復号し、得
られた誤差画像フレームを加算部２２に出力する。

【００１２】一方、動画像復号化装置に入力された符号
化サイド情報は、動き補償フレーム間予測部２３に入力
される。動き補償フレーム間予測部２３は、入力された
符号化サイド情報を復号化し、動きベクトルを得る。さ
らに得た動きベクトルとフレームメモリ部２４から入力
される参照画像フレームより予測画像フレームを生成
し、加算部２２に出力する。加算部２２は、画像復号化
部２１より出力された誤差画像フレームと動き補償フレ
ーム間予測部２３より出力された予測画像フレームの加
算を行い、出力画像フレームを得る。

【００１３】この出力画像フレームは、出力画像として
動画像復号化装置から出力され、同時にフレームメモリ
部２４に対しても出力される。フレームメモリ部２４
は、加算部２２より出力された新たな参照画像フレーム
を記憶し、次の画像フレームの復号化の際に動き補償フ
レーム間予測部２３に出力される。以上、説明したよう
な動作を繰り返すことにより、動画像復号化装置では、
連続した出力画像フレームの出力を行う。

【００１４】次に、動画像符号化装置および動画像復号
化装置における動き補償フレーム間予測部の動作および
各部で用いられる従来の方式について説明する。まず、
動画像符号化装置における動き補償フレーム間予測部１
７の構成例および動作を説明する。図１１は、動画像符
号化装置の動き補償フレーム間予測部の従来例を示すも
のである。図１１に示すように、動き補償フレーム間予
測部１７は、動きベクトル探索部４１，固定領域サイズ
予測フレーム生成部４２，動きベクトル符号化部４３か
ら構成されている。

【００１５】動きベクトル探索部４１は、入力された入
力画像フレームと、フレームメモリ部１６から入力され
た参照画像フレームより動きベクトルを探索し、固定領
域サイズ予測フレーム生成部４２に出力する。動きベク
トル探索部４１は、動きベクトルを探索する際に、処理
領域の中央の画素に重み付けを行うことにより、コント
ロールグリッド点の動きベクトルを求め、固定領域サイ
ズ予測フレーム生成部４２に各コントロールグリッド点
の動きベクトルを出力する。

【００１６】従来方式では、処理領域は固定のサイズを
用いているため、コントロールグリッド点は１６画素や
８画素毎に設定されている。図１４は、１６画素毎で設
定されているコントロールグリッド，コントロールグリ
ッド点および動きベクトルの例を示すものである。固定
領域サイズ予測フレーム生成部４２は、動きベクトル探
索部４１から入力された動きベクトルとフレームメモリ
部１６から入力された前画像フレームより固定サイズ
（一般的には、１６×１６画素の矩形ブロックが使用さ
れる）を処理領域としたフレーム間予測を行う。

【００１７】フレーム間予測処理は、対象となる三角形
領域の３点の位置および動きベクトルよりアフィンパラ
メータを求め、求められたアフィンパラメータを使用し
て三角形領域内全ての画素についてアフィン変換を行
う。この処理を処理対象となる全ての三角形領域で行
い、予測画像フレームを生成する。生成された予測画像
フレームは、前述した減算部１１および加算部１５に出
力される。また、動きベクトルは、動きベクトル符号化
部４３に出力される。

【００１８】動きベクトル符号化部４３は、固定領域サ
イズ予測フレーム生成部４２より入力された動きベクト
ルを符号化し、符号化サイド情報として出力する。動き
ベクトル符号化部４３での、動きベクトルの符号化方法
について説明する。動きベクトルの符号化においては、
動きベクトル値自体を直接符号化するのではなく、予測
符号化する事が一般的である。即ち、符号化対象動きベ
クトルに対する予測値を求めて、該予測値と当該動きベ
クトル値との差分を符号化することによる符号化効率の
改善、情報量の削減が行われる。

【００１９】前記予測値の求め方の最も簡単な方法は、
直前に符号化された動きベクトル値を、次の動きベクト
ルの予測値とする方法である。この方法では、隣接する
動きベクトル値の差分が順次符号化されていくこととな
る。従って、動きベクトル間の相関が高く、隣接する動
きベクトルが、ほぼ同じ値を持つ場合に、効率的な符号
化が可能である。ＩＴＵ−Ｔ勧告Ｈ．２６１で規定され
た動画像符号化方式では、動きベクトルの符号化方式と
して、この予測符号化方式を採用している。

【００２０】また、別の方法として、直前の動きベクト
ルだけではなく、複数の動きベクトルから予測値を求め
る方法がある。この場合、符号化対象動きベクトルの、
左側方、上方、右斜め上方の各直近に位置する動きベク
トル、計３本の動きベクトル値を使って予測値を求める
事が行われる。前述の３本の動きベクトル値から予測値
を求める方法としては、これらの平均値を予測値とする
方法、あるいは、これらのメディアン値（中央値）を予
測値とする方法等が考えられる。

【００２１】この方法では、前述の直前の動きベクトル
だけから予測する方法と比較して、更に広い範囲の動き
ベクトルとの相関、即ち高次の相関が利用できるため、
符号化効率の改善が可能である。特に、メディアン値を
予測値とすることが効果的であることが知られており、
ＩＴＵ−Ｔ勧告案Ｈ．２６３で規定された動画像符号化
方式では、前記３本の動きベクトルのメディアン値によ
って、動きベクトルを予測符号化する方式を採用してい
る。

【００２２】次に、動画像復号化装置における動き補償
フレーム間予測部２３の構成および動作を説明する。図
１２は、この動画像復号化装置の動き補償フレーム間予
測部の構成を例示するものである。図１２に示すよう
に、動き補償フレーム間予測部２３は、固定領域サイズ
予測フレーム生成部５１，動きベクトル復号化部５２か
ら構成されている。この動き補償フレーム間予測部２３
に入力された符号化サイド情報は、動きベクトル復号化
部５２に入力される。

【００２３】動きベクトル復号化部５２では、入力され
た符号化サイド情報を復号し、動きベクトルを得、固定
領域サイズ予測フレーム生成部５１に出力する。固定領
域サイズ予測フレーム生成部５１は、動きベクトル復号
化部５２より入力された動きベクトルおよびフレームメ
モリ部２４より入力された参照画像フレームよりフレー
ム間予測処理を行う。

【００２４】フレーム間予測処理は、対象となる三角形
領域の３点の位置および動きベクトルよりアフィンパラ
メータを求め、求められたアフィンパラメータを使用し
て三角形領域内全ての画素についてアフィン変換を行
う。この処理を処理対象となる全ての三角形領域で行
い、予測画像フレームを生成する。固定領域サイズ予測
フレーム生成部５１は、得られた予測フレームを加算部
２２に出力する。

【００２５】次に、前記の動画像符号化装置および動画
像復号化装置の動き補償フレーム間予測部で用いられる
各種の方式に関して説明する。まず、動きベクトルの探
索方法について説明する。コントロールグリッド点の動
きベクトルを求める際には、一般に処理領域の中央の画
素に重み付けを行う画素マッチングという方式が用いら
れる。

【００２６】図１３は、ここで用いられる重み付けの図
を示すものである。図１３では、コントロールグリッド
点を中心としてｘ方向，ｙ方向に２１画素の大きさを持
っている。画素マッチングでは、現画像フレームの処理
領域と参照画像フレームのどの位置の領域とがマッチす
るかを計算し、マッチしたところのｘ方向とｙ方向のず
れを動きベクトルとするが、マッチングの計算時に、現
画像フレームの処理領域と対応する参照画像フレームの
領域の差分に重み付けの係数を乗算することにより、処
理領域の中央の画素に注目した動きベクトルの探索を行
っている。

【００２７】また、画像フレーム周辺のコントロールグ
リッド点における動きベクトルは、以下のように設定さ
れる。・４角のコントロールグリッド点における動きベクトルｘ成分，ｙ成分ともに０とする。・上下のコントロールグリッド点における動きベクトル
(図１４中の三角の点) ｘ成分は、対象となるコントロールグリッド点の一つ内
側のコントロールグリッド点における動きベクトルのｘ
成分を設定する。ｙ成分は０とする。・左右のコントロールグリッド点における動きベクトル
（図１４中の丸の点）ｘ成分は０とする。ｙ成分は、対象となるコントロール
グリッド点の一つ内側のコントロールグリッド点におけ
る動きベクトルのｙ成分を設定する。

【００２８】次に、アフィン変換について説明する。ア
フィン変換は、ある画像フレームから別の画像フレーム
への写像を６つのパラメータにより表現することにより
行われる。一般的に、アフィンパラメータの計算の簡便
化などの理由により、アフィン変換は、三角形領域を対
象として行われる。

【００２９】図１５は、前方向予測を行う場合のアフィ
ン変換を用いたフレーム間予測の説明図を示すものであ
る。現画像フレームのコントロールグリッド点Ａ，Ｂ，
Ｃ，Ｄの動きベクトルを探索した結果、参照フレームの
コントロールグリッド点Ａ′，Ｂ′，Ｃ′，Ｄ′が対応
する位置であったとする。アフィンパラメータを求める
ためには、まず、４つのコントロールグリッド点のうち
３点を選択し領域の分割を行う。

【００３０】例えば、現画像フレームでは、Ａ，Ｂ，Ｃ
とＢ，Ｃ，Ｄのような領域の分割を行う。これに対応し
て参照画像フレームでは、Ａ′，Ｂ′，Ｃ′とＢ′，
Ｃ′，Ｄ′に分割される。領域を三角形に分割した後、
各三角形の頂点の位置（一方が頂点の位置で、片方が動
きベクトルでも良い）よりアフィンパラメータを計算す
る。そして、求められたアフィンパラメータより分割さ
れた三角形領域の内部の画素全てを予測画像フレームに
写像することにより、予測画像フレームを生成する。

【００３１】この際、参照画像フレーム中で参照される
画素位置が整数でなかった場合には、双線形内挿などの
予測値の補間を行い、予測画像フレームの画素値の決定
を行う。以上の処理を行うことにより、予測画像フレー
ムを生成する。

【００３２】

【発明が解決しようとする課題】しかしながら、前述し
た従来技術における固定領域サイズのアフィン変換を用
いた動き補償フレーム間予測では、被写体の大きさが小
さい場合や、被写体の周辺部分が複数の領域に分割され
て被写体のエッジと領域の切れ目が大きく異なる場合な
ど、動き予測効率が悪くなることがあるという問題点が
あった。

【００３３】また、アフィン変換による動き補償フレー
ム間予測では、アフィン変換特有の幾何的歪みが発生し
て、予測効率が低下し、結果として符号化映像品質が悪
くなる場合がある。特に、入力画像に領域の平行移動に
よる動きが含まれている場合に、このような動きを正確
には表現できずに、動き補償予測効率が、著しく低下し
てしまう。

【００３４】また、画像フレームの周辺部に位置するコ
ントロールグリッド点の動きベクトルを設定する際に、
その内側のコントロールグリッド点から疑似的に設定し
ていたため、精度の高い動きベクトルが求められないこ
とがあるという問題点があった。

【００３５】また、可変領域サイズのアフィン変換を行
おうとした場合、従来に比べコントロールグリッド点が
増加するため、各コントロールグリッド点における動き
ベクトルが増加することになる。そのため、動きベクト
ルの効率的な符号化が必要となる。

【００３６】特に、可変領域サイズのアフィン変換で
は、選択された領域サイズに応じて、コントロールグリ
ッド点の数が変化するため、対応する動きベクトルの数
も変化する。従って、画像フレーム内で動きベクトルが
散在して配置されることになり、従来の動きベクトル符
号化方式を、そのまま適用することは困難であり、効率
も悪い。そこで、可変領域サイズに適した、効率の良い
動きベクトル符号化方式が必要である。

【００３７】本発明は、このような問題に鑑みてなされ
たものであり、特に画像フレーム間における精度の高い
動きベクトルを求め、動きベクトルの効率的な符号化を
行うことを目的とする。

【００３８】

【課題を解決するための手段】本願発明は、動き補償フ
レーム間予測を行うことにより得た予測画像フレームと
入力画像フレームとの差を予測誤差情報として符号化す
る動画像符号化装置において、動きベクトルを探索する
位置に応じて、入力画像フレーム及び参照画像フレーム
の画面内に存在する画素間の差分を求めることにより、
動きベクトルの探索を行う動きベクトル探索部と、前記
動きベクトルを用いて予測画像フレームを生成する予測
フレーム生成部と、前記動きベクトルをサイド情報とし
て符号化するサイド情報符号化部とを備えたことを特徴
とする。

【００３９】

【発明の実施の形態】本発明の動画像符号化装置および
動画像復号化装置の全体的な動作は、従来の動画像符号
化装置および動画像復号化装置として上述したものと同
様であり、動画像符号化装置の構成例が図３に、動画像
復号化装置の構成例が図４に示されている。従って、こ
こでは、動画像符号化装置における動き補償フレーム間
予測部および動画像復号化装置における動き補償フレー
ム間予測部に関する動作を説明する。

【００４０】まず始めに、動画像符号化装置における本
発明の動き補償フレーム間予測部の説明を行う。図１
は、動画像符号化装置における動き補償フレーム間予測
部１７の構成例を示す図である。図１において、３１は
有効領域選択部、３２は動きベクトル探索部、３３は可
変領域サイズ予測フレーム生成部、３４は領域分割パタ
ーン決定部、３５はサイド情報符号化部である。

【００４１】有効領域選択部３１は、入力された入力画
像フレームにおけるコントロールグリッド点の位置より
有効領域選択マスクを選択し、動きベクトル探索部３２
に出力する。動きベクトル探索部３２は、有効領域選択
部３１により指定された有効領域選択マスクを用いて、
入力された入力画像フレームとフレームメモリ部１６か
ら入力された参照画像フレームよりコントロールグリッ
ド点の動きベクトルを探索し、可変領域サイズ予測フレ
ーム生成部３３に出力する。可変領域サイズ予測フレー
ム生成部３３は、動きベクトル探索部３２から入力され
た動きベクトルとフレームメモリ部１６から入力された
参照画像フレームよりフレーム間予測を行う。

【００４２】フレーム間予測処理は、対象となる三角形
領域の３点の位置および動きベクトルよりアフィンパラ
メータを求め、求められたアフィンパラメータを使用し
て三角形領域内全ての画素についてアフィン変換を行
う。この処理を処理対象となる全ての三角形領域で行
い、予測画像フレームを生成する。

【００４３】三角形による領域分割の種類は、図５に示
す２６種類であり、１６×１６画素の矩形領域を、２分
割で２種類，５分割で８種類，８分割で１６種類とな
る。これらの領域分割形態には、固有の番号１〜２６が
割り振られており、この番号を領域分割番号と呼ぶ。

【００４４】可変領域サイズ予測フレーム生成部３３
は、前述のアフィン変換処理によって生成した予測画像
フレームに加えて、矩型領域の平行移動による予測画像
も出力する。平行移動による予測では、処理対象矩型領
域に対する一つの代表動きベクトルだけを利用する。

【００４５】該代表動きベクトルは、アフィン変換の場
合のような領域頂点ではなく、矩型領域中心の動きベク
トルを用いる。平行移動による予測画像の生成において
は、処理対象矩型領域の画像フレーム内の位置を、代表
動きベクトル分だけ変位させた位置の参照画像フレーム
上の矩型領域を、該処理対象矩型領域に対する予測画像
とする処理が行われる。

【００４６】また、代表動きベクトルを、矩型領域の中
心の動きベクトルではなく、矩型領域頂点であるコント
ロールグリッド点に位置する四つの動きベクトルから、
これら動きベクトルの平均値等として求めることもでき
る。

【００４７】領域分割パターン決定部３４では、可変領
域サイズ予測フレーム生成部３３より出力された予測画
像フレームと入力画像フレームとの差分を計算し、再分
割の必要性，最小誤差情報量となる領域分割を判断す
る。該領域分割パターン決定部３４での選択の候補とな
る領域分割の種類としては、図５に示す２６種類全て
を、選択の候補としても良いし、２６種類のうちから限
定された数の領域分割パターンだけを候補とすることも
できる。

【００４８】例えば、三角形領域の斜辺の方向を右上か
ら左下だけに限定した領域分割パターンである図５の番
号１、３、５、１１の４種類、また、斜辺の方向を逆方
向に限定した番号２、７、９、２６の４種類、これらを
組み合わせた番号１、２、３、５、７、９、１１、２６
の８種類から選択する場合などがある。

【００４９】また、図５に示す８分割を更に細かく分割
した領域分割パターンを選択の候補に加えても良いし、
分割の元となる矩型領域の大きさを１６×１６画素以外
の値とすることも可能であり、３２×３２画素、あるい
は８×８画素等とすることもできる。

【００５０】更には、該領域分割パターン決定部３４で
の選択の候補として、前記予測フレーム生成部３３にお
いて、領域分割されアフィン変換されて生成された予測
画像、及び、平行移動により生成された予測画像、の両
方を用いる。例えば、図５に示す２６種類の領域分割パ
ターンを領域分割の候補とする場合、領域分割パターン
決定部３４は、これらに平行移動による予測を加えた計
２７種類の候補から最小誤差情報量となるものを判断す
る。

【００５１】また、領域分割パターン決定部３４は、最
小誤差情報量となる領域分割が求められた場合には、減
算部１１および加算部１５に対して予測画像フレーム
を、そして、サイド情報符号化部３５に対して動きベク
トルおよび領域分割情報を出力する。サイド情報符号化
部３５は、領域分割パターン決定部３４より入力された
動きベクトルと領域分割情報を符号化して符号化サイド
情報として出力する。

【００５２】以上、説明したような動作を繰り返すこと
により、動画像符号化装置における動き補償フレーム間
予測部１７では、連続した予測画像フレームおよび符号
化サイド情報の出力を行う。

【００５３】また、図２は、動画像復号化装置における
動き補償フレーム間予測部２３の構成例を示す図であ
る。図２において、３７は可変領域サイズ予測フレーム
生成部、３８はサイド情報復号化部である。動き補償フ
レーム間予測部２３に入力された符号化サイド情報は、
サイド情報復号化部３８に入力される。

【００５４】サイド情報復号化部３８では、入力された
符号化サイド情報を復号し、基本動きベクトル，付加動
きベクトルおよび領域分割情報を得、可変領域サイズ予
測フレーム生成部３７に出力する。可変領域サイズ予測
フレーム生成部３７は、サイド情報復号化部３８から入
力された動きベクトルおよび領域分割情報，フレームメ
モリ部２４から入力された参照前画像フレームよりフレ
ーム間予測を行う。この際、領域分割情報に従って領域
を分割し、三角形単位でフレーム間予測処理を行う。

【００５５】フレーム間予測処理は、対象となる三角形
領域の３点の位置および動きベクトルよりアフィンパラ
メータを求め、求められたアフィンパラメータを使用し
て三角形領域内全ての画素についてアフィン変換を行
う。この処理を処理対象となる全ての三角形領域で行
い、予測画像フレームを生成する。

【００５６】可変領域サイズ予測フレーム生成部３７
は、入力された領域分割情報に応じて、前述のアフィン
変換処理によって生成した予測画像フレーム、または、
矩型領域の平行移動による予測画像を出力する。平行移
動による予測の場合には、処理対象矩型領域の画像フレ
ーム内の位置を、領域に対する一つの代表動きベクトル
分だけ変位させた位置の参照画像フレーム上の矩型領域
を、該処理対象矩型領域に対する予測画像とする処理が
行われる。

【００５７】可変領域サイズ予測フレーム生成部３７
は、生成した予測画像フレームを加算部２２に出力す
る。以上、説明したような動作を繰り返すことにより、
動画像復号化装置における動き補償フレーム間予測部２
では、連続した予測画像フレームの出力を行う。

【００５８】次に、本発明における動きベクトルの探索
方式に関して説明する。図６は、コントロールグリッド
と動きベクトルを説明するための図で、同図によって、
まず、コントロールグリッド点の設定に関して説明す
る。本発明での処理領域は、可変のサイズを用いている
ため、コントロールグリッド点は、図６に示すように設
定される。

【００５９】図６の例では、１６×１６画素および８×
８画素単位にコントロールグリッド点が設定されてい
る。動きベクトルの探索においては、従来の探索方法と
同様に重み付けを用いるが、本発明では更に有効領域選
択マスクを用いる。有効領域マスクを用い、処理領域の
領域を有効／無効を指定する。

【００６０】図７は、全ての種類の有効領域選択マスク
を示す図である。有効領域選択マスクは、画像フレーム
中にあるコントロールグリッド点の位置により異なるマ
スクを用いる。入力画像フレームの左上のコントロール
グリッド点（＝座標（０，０））における動きベクトル
を探索する際には、１のマスクを用いる。

【００６１】座標（８，０）のコントロールグリッド点
の動きベクトルを探索する際には２のマスクを、座標
（１６，０）では３のマスクを、座標（０，８）では６
のマスクを、座標（８，８）では７のマスクを、座標
（８，１６）以降では８のマスクを、座標（０，１６）
では１１のマスクを、座標（８，１６）では１２のマス
クを、座標（１６，１６）では１３のマスクを用いる。

【００６２】以下、同様に画像フレームの右端，下端で
は、４，５，９，１０，１４，１５，１６，１７，１
８，１９，２０，２１，２２，２３，２４，２５のマス
クを用いる。本発明では、上記のように、処理領域の一
部のみを用いて動きベクトルの探索を行う。

【００６３】動きベクトルの符号化方式について、以下
の２つの方式を例示できる。これを図６の処理領域にお
ける動きベクトルの図を用いて説明する。

【００６４】（１）方式１・基本動きベクトル（ＭＶ１〜４）を符号化する（従来
の動きベクトルの符号化と同様）。直前に符号化された
動きベクトルの値との差分により符号化する。・基本動きベクトル（ＭＶ１〜４）から以下のように予
測値を設定し、付加動きベクトル（ｍｖ１〜５）は、予
測値との差分を符号化する。

【００６５】ＰＭＶ１，ＰＭＶ２，ＰＭＶ３，ＰＭＶ
４，ＰＭＶ５は、それぞれ付加動きベクトルｍｖ１，ｍ
ｖ２，ｍｖ３，ｍｖ４，ｍｖ５の予測値であり、ＰＭＶ１＝（ＭＶ１＋ＭＶ２）／２ＰＭＶ２＝（ＭＶ１＋ＭＶ３）／２ＰＭＶ３＝（ＭＶ１＋ＭＶ２＋ＭＶ３＋ＭＶ４）／４ＰＭＶ４＝（ＭＶ２＋ＭＶ４）／２ＰＭＶ５＝（ＭＶ３＋ＭＶ４）／２で表される。

【００６６】ｍｖ１，ｍｖ２，ｍｖ３，ｍｖ４，ｍｖ５
とＰＭＶ１，ＰＭＶ２，ＰＭＶ３，ＰＭＶ４，ＰＭＶ５
の差分をとり、差分値を符号化する。ｄｍｖ１，ｄｍｖ
２，ｄｍｖ３，ｄｍｖ４，ｄｍｖ５は、それぞれ付加動
きベクトルの差分値であり、ｄｍｖ１＝ｍｖ１−ＰＭＶ１ｄｍｖ２＝ｍｖ２−ＰＭＶ２ｄｍｖ３＝ｍｖ３−ＰＭＶ３ｄｍｖ４＝ｍｖ４−ＰＭＶ４ｄｍｖ５＝ｍｖ５−ＰＭＶ５で表される。

【００６７】（２）方式２・基本動きベクトル（ＭＶ１〜４）を符号化する（従来
の動きベクトルの符号化と同様）。直前に符号化された
動きベクトルの値との差分により符号化する。・４本の基本動きベクトル（ＭＶ１〜４）の平均を予測
値として、付加動きベクトル（ｍｖ１〜５）は、予測値
との差分を符号化する。

【００６８】ＰＭＶは予測値である。ＰＭＶ＝（ＭＶ１＋ＭＶ２＋ＭＶ３＋ＭＶ４）／４ｍｖ１，ｍｖ２，ｍｖ３，ｍｖ４，ｍｖ５とＰＭＶとの
差分をとり、差分値を符号化する。

【００６９】ｄｍｖ１，ｄｍｖ２，ｄｍｖ３，ｄｍｖ
４，ｄｍｖ５は、それぞれ付加動きベクトルの差分値で
あり、ｄｍｖ１＝ｍｖ１−ＰＭＶｄｍｖ２＝ｍｖ２−ＰＭＶｄｍｖ３＝ｍｖ３−ＰＭＶｄｍｖ４＝ｍｖ４−ＰＭＶｄｍｖ５＝ｍｖ５−ＰＭＶで表される。

【００７０】また、基本動きベクトルおよび付加動きベ
クトルの復号方式を符号化時と同様に２つの方式を例と
して説明する。

【００７１】（１）方式１・基本動きベクトル（ＭＶ１〜４）を復号化する（従来
の動きベクトルの復号化と同様）。直前に復号化された
動きベクトルの値との差分として復号される。・付加動きベクトル（ｍｖ１〜５）を基本動きベクトル
（ＭＶ１〜４）からの予測値との差分として復号し、差
分を予測値に加算する。予測値は、符号化時と同様、以
下のように設定する。

【００７２】ＰＭＶ１，ＰＭＶ２，ＰＭＶ３，ＰＭＶ
４，ＰＭＶ５は、それぞれｍｖ１，ｍｖ２，ｍｖ３，ｍ
ｖ４，ｍｖ５の予測値であり、ＰＭＶ１＝（ＭＶ１＋ＭＶ２）／２ＰＭＶ２＝（ＭＶ１＋ＭＶ３）／２ＰＭＶ３＝（ＭＶ１＋ＭＶ２＋ＭＶ３＋ＭＶ４）／４ＰＭＶ４＝（ＭＶ２＋ＭＶ４）／２ＰＭＶ５＝（ＭＶ３＋ＭＶ４）／２で表される。

【００７３】ｄｍｖ１，ｄｍｖ２，ｄｍｖ３，ｄｍｖ
４，ｄｍｖ５は、復号化された差分値であり、ｍｖ１＝ＰＭＶ１＋ｄｍｖ１ｍｖ２＝ＰＭＶ２＋ｄｍｖ２ｍｖ３＝ＰＭＶ３＋ｄｍｖ３ｍｖ４＝ＰＭＶ４＋ｄｍｖ４ｍｖ５＝ＰＭＶ５＋ｄｍｖ５で表される。

【００７４】（２）方式２・基本動きベクトル（ＭＶ１〜４）を復号化する（従来
の動きベクトルの復号化と同様）。直前に復号化された
動きベクトルとの差分として復号化される。・付加動きベクトル（ｍｖ１〜５）を基本動きベクトル
（ＭＶ１〜４）からの予測値との差分として復号し、差
分を予測値に加算する。予測値は、符号化時と同様、４
本の基本動きベクトルの平均とする。

【００７５】ＰＭＶは、予測値である。ＰＭＶ＝（ＭＶ１＋ＭＶ２＋ＭＶ３＋ＭＶ４）／４ｄｍｖ１，ｄｍｖ２，ｄｍｖ３，ｄｍｖ４，ｄｍｖ５
は、復号化された差分値であり、ｍｖ１＝ＰＭＶ＋ｄｍｖ１ｍｖ２＝ＰＭＶ＋ｄｍｖ２ｍｖ３＝ＰＭＶ＋ｄｍｖ３ｍｖ４＝ＰＭＶ＋ｄｍｖ４ｍｖ５＝ＰＭＶ＋ｄｍｖ５で表される。

【００７６】更に、もう一つの動きベクトルを符号化す
る方式について説明する。前述の動きベクトル符号化方
式では、初めに基本動きベクトルを符号化した後で、そ
れらの基本動きベクトルの情報を使って、付加動きベク
トルを符号化していたが、以下の方式では、基本動きベ
クトル、付加動きベクトルの区別なく、符号化が必要な
動きベクトルを順次符号化していく点で異なっている。

【００７７】図８（ａ）に本発明における領域分割の例
を示す。図８（ａ）には、各領域が図のように領域分割
された場合の、コントロールグリッド点と対応する動き
ベクトルが存在する位置が合わせて示してある。これら
動きベクトルは、サイド情報符号化部３５においてすべ
て符号化する必要がある一方、それ以外の動きベクトル
については、領域分割パターン決定部３４で決定された
領域分割に基づく予測画像フレームの生成には必要ない
ため、符号化されない。

【００７８】このように本発明の動画像符号化装置で
は、必ずしもすべてのコントロールグリッド点の動きベ
クトルを符号化する必要はなく、符号化対象の画像フレ
ームの領域分割の結果に応じて、必要な動きベクトルと
不要な動きベクトルとが存在する。

【００７９】本発明における動きベクトルの符号化方
式、特に動きベクトルの予測値の求め方について、図８
（ｂ）を参照して説明する。まず、符号化対象動きベク
トルＭＶに対する予測値を求める為に、左方、上方、及
び右上方の動きベクトル値を得る。左方の動きベクトル
については、図のＬ０、Ｌ１の二つの位置の動きベクト
ルＭＶＬ０、ＭＶＬ１を調べる。これらの内、いずれか
一方の動きベクトルのみが存在する場合には、その動き
ベクトルを左方動きベクトルとする。

【００８０】また、両方の動きベクトルが共に存在する
場合には、符号化対象動きベクトルに、より近い位置の
動きベクトル、即ち、ＭＶＬ１を左方動きベクトルとす
る。更に、両方の動きベクトルが共に存在しない場合に
は、適当な値、例えば（０，０）、を左方動きベクトル
値とする。

【００８１】同様にして、上方については、Ｕ０、Ｕ１
の位置の動きベクトルＭＶＵ０、ＭＶＵ１から上方動き
ベクトルを得、右上方については、Ｒ０、Ｒ１の位置の
動きベクトルＭＶＲ０、ＭＶＲ１から右上方動きベクト
ルを得る。

【００８２】次に、前述のようにして得られた三つの動
きベクトルである、左方動きベクトル、上方動きベクト
ル、右上方動きベクトルとから、符号化対象動きベクト
ルの予測値を計算する。この予測値の計算方法として
は、従来と同様な方法が利用でき、これら三つの動きベ
クトル値の平均値を求める方法、メディアン値（中央
値）を求める方法等がある。更に、こうして得られた予
測値と、符号化対象動きベクトル値との差分が符号化さ
れることも、従来の方式と同様である。

【００８３】図８（ｃ）に、図８（ａ）のような領域分
割が選択された場合の動きベクトルの符号化の例を示
す。前述の通り、符号化対象動きベクトルＭＶ０に対し
て、左方動きベクトルとしては、ＭＶ１、ＭＶ２のうち
ＭＶ０に近い方のＭＶ１が、上方動きベクトルとしては
ＭＶ３が、右上方動きベクトルとしてはＭＶ４が得られ
る。

【００８４】次に、本発明の動画像復号化装置における
サイド情報復号化部３８での動きベクトルの復号化方法
について説明する。動きベクトルの復号化においては、
前述の符号化方法と同様な方法で、復号化されて存在す
る動きベクトルから、復号化対象動きベクトルの左方、
上方、右上方の動きベクトルが得られる。

【００８５】これらの動きベクトルは、符号化側で得ら
れたそれぞれの動きベクトルと完全に同一である。従っ
て、これら三つの動きベクトルから求められる復号化対
象動きベクトルの予測値も、符号化時の予測値と同一で
ある。動画像復号化装置では、サイド情報復号化部３８
に入力される符号化された予測値との差分が復号され、
前述の予測値と加算されることによって復号化対象動き
ベクトル値が復元される。

【００８６】次に、領域分割情報の符号化および復号化
について説明する。領域分割情報の符号化においては、
領域分割情報は１〜２６までの値をとるため、一つの領
域分割情報の記述に５ビットが必要である。しかし、領
域分割番号の発生頻度に偏りが見られる場合には、出現
頻度の高い領域分割番号に短い符号長の符号を割り当
て、出現頻度の低い領域分割番号に長い符号長の符号を
割り当てる可変長符号化を行う。領域分割情報の復号化
においては、可変長復号化することで、領域分割情報の
復号化を行う。

【００８７】また、領域分割パターン決定部３４および
周辺の動作を図９および図１０に示す処理フロー例を用
いて説明する。図９は、全ての領域分割の種類に関する
誤差情報量を求め、その中で最も誤差情報量が小さな動
きベクトルと領域分割を出力する場合の処理フローを示
し、図１０は、誤差情報量と閾値を比較することによ
り、再分割の必要性を判断する場合の処理フローを示
す。

【００８８】まず、図９の処理フロー１について説明す
ると、始めに動きベクトルを探索するコントロールグリ
ッド点の座標より有効領域選択を行い、動きベクトルの
探索を行う（ステップ１）。この時、全ての領域分割タ
イプを処理可能なように、全ての基本動きベクトルおよ
び付加動きベクトルを探索する。そして、各領域の三角
形毎にアフィンパラメータを計算し、アフィン変換およ
び画素値の補間を行い、予測画像フレームを生成する
（ステップ２）。

【００８９】この時、アフィン変換処理によって生成し
た予測画像フレームに加えて、矩型領域の平行移動によ
る予測画像も出力される。平行移動による予測では、処
理対象矩型領域の画像フレーム内の位置を、領域に対す
る一つの代表動きベクトル分だけ変位させた位置の参照
画像フレーム上の領域が、予測画像として出力される。

【００９０】そして、各領域分割タイプ毎に誤差情報量
の計算をし、誤差情報量の比較を行い、誤差情報量が最
小となる領域分割を採用する（ステップ３）。ここで、
選択の候補となる領域分割の種類は、前述したとおり、
図５に示す２６種類全て、あるいは、限定された数の領
域分割パターン、例えば、図５の番号１、３、５、１１
の４種類、または、番号２、７、９、２６の４種類、こ
れらを組み合わせた番号１、２、３、５、７、９、１
１、２６の８種類、などである。

【００９１】更に選択の候補として、領域分割されアフ
ィン変換されて生成された予測画像、及び、平行移動に
より生成された予測画像、の両方、例えば、図５に示す
２６種類の領域分割パターンに平行移動による予測を加
えた計２７種類を用いることも前述のとおりである。採
用された領域分割番号および動きベクトル（基本動きベ
クトルおよび付加動きベクトル）を符号化し、予測画像
フレームおよび符号化サイド情報を出力する（ステップ
４）。

【００９２】次に、図１０の処理フロー２について説明
すると、始めに動きベクトルを探索するコントロールグ
リッド点の座標より有効領域選択を行い、動きベクトル
の探索を行う（ステップ１）。この時、領域分割タイプ
は、領域分割番号の１または２（１と２の両方を指定
し、誤差情報量の少ない方を初期番号としてもよい）を
指定する。そして、各領域の三角形毎にアフィンパラメ
ータを計算し、アフィン変換および画素値の補間を行
い、予測画像フレームを生成する（ステップ２）。

【００９３】この時、アフィン変換処理によって生成し
た予測画像フレームに加えて、矩型領域の平行移動によ
る予測画像も出力される。平行移動による予測では、処
理対象矩型領域の画像フレーム内の位置を、領域に対す
る一つの代表動きベクトル分だけ変位させた位置の参照
画像フレーム上の領域が、予測画像として出力される。

【００９４】そして、各領域分割タイプ毎に誤差情報量
の計算をし、誤差情報量とあらかじめ設定された閾値と
の比較を行い（ステップ３）、誤差情報量が閾値より大
きかった場合には、領域分割番号を変化させ処理を行
う。ここで、次に処理される領域分割番号は、前述した
とおり、図５に示す２６種類全て、あるいは、限定され
た数の領域分割パターン、例えば、図５の番号１、３、
５、１１の４種類、または、番号２、７、９、２６の４
種類、これらを組み合わせた番号１、２、３、５、７、
９、１１、２６の８種類、などから選択される。

【００９５】また、誤差情報量が閾値以下であれば、そ
の場合の領域分割情報を採用する（ステップ４）。採用
された領域分割番号および動きベクトル（基本動きベク
トルおよび付加動きベクトル）を符号化し、予測画像フ
レームおよび符号化サイド情報を出力する（ステップ
５）。

【００９６】以上の説明から明らかなように、本実施形
態の動画像符号化装置及び動画像復号装置によると、以
下のような効果がある。

【００９７】（１）複数の領域分割パターンを用いて画
像フレームを予め決められた大きさの単位矩型領域、及
び該単位矩型領域を更に細かく分割した可変サイズの三
角形の小領域からなる処理領域に分割し、該処理領域毎
にアフィン変換することにより、複数の領域分割パター
ンに応じた予測画像フレームを生成して、符号化効率が
最適となる領域分割パターンを決定するので、被写体の
大きさ，形状に最適な処理領域の分割が可能となり、ア
フィン変換特有の幾何的歪みの発生による予測効率の低
下を防ぐことができ、誤差情報量が削減され、効率的な
動画像符号化が可能となる。また、符号化効率が最適と
なる領域分割パターンを、全ての選択の候補から一回の
パスで決定し、結果を出力することが可能となる。

【００９８】（２）所定の領域分割パターンを用いて画
像フレームを予め決められた大きさの単位矩型領域、及
び該単位矩型領域を更に細かく分割した可変サイズの三
角形の小領域からなる処理領域に分割し、該処理領域毎
にアフィン変換することにより、予測画像フレームを生
成して、生成された予測画像の予測誤差が予め設定され
ている閾値以上であった場合、可変領域サイズ予測フレ
ーム生成部に対し他の領域分割パターンを用いた処理領
域の再分割を指示して、前記予測誤差が前記閾値以下と
なる領域分割パターンを決定するので、被写体の大き
さ，形状に最適な処理領域の分割が可能となり、アフィ
ン変換特有の幾何的歪みの発生による予測効率の低下を
防ぐことができ、誤差情報量が削減され、効率的な動画
像符号化が可能となる。また、比較的計算量を少くして
適切な領域分割パターンを決定し、結果を出力すること
が可能となる。

【００９９】（３）処理領域毎にアフィン変換による予
測、または平行移動による予測を行うことによって、予
測画像フレームを生成するので、入力画像に領域の平行
移動による動きが含まれている場合でも、動きの正確な
表現が可能となり、また、アフィン変換特有の幾何的歪
みの発生による予測効率の低下を防ぐことができ、誤差
情報量が削減された効率的な動画像符号化が可能とな
る。

【０１００】（４）動きベクトルを探索する位置に応じ
て、入力画像フレーム及び参照画像フレームの画面内に
存在する画素間の差分を求めることにより、動きベクト
ルの探索を行うことにより、画像フレームの周辺のコン
トロールグリッド点における動きベクトルをより高精度
に探索することが可能となり、前記動きベクトルを用い
る動き補償フレーム間予測において、より効率的な予測
が可能となる。

【０１０１】（５）単位矩型領域の頂点に位置する４本
の基本動きベクトルを符号化するとともに、小領域の頂
点に位置する付加動きベクトルを前記４本の基本動きベ
クトルの平均との差分として符号化することにより、サ
イド情報の符号化において、動きベクトルの符号量を削
減することが可能となる。

【０１０２】（６）単位矩型領域の頂点に位置する４本
の基本動きベクトルを符号化するとともに、２本の基本
動きベクトルの間で小領域の頂点に位置する付加動きベ
クトルを該２本の基本動きベクトルの平均との差分とし
て符号化し、単位矩型領域の中央で小領域の頂点に位置
する付加動きベクトルを前記４本の基本動きベクトルの
平均との差分として符号化することにより、サイド情報
の符号化において、動きベクトルの符号量を削減するこ
とが可能となる。

【０１０３】（７）符号化対象となる動きベクトルの左
方、上方及び右上方に隣接して存在する既に符号化され
た３本の単位矩型領域の頂点に位置する基本動きベクト
ルまたは小領域の頂点に位置する付加動きベクトルから
算出した予測値を用いて、該符号化対象動きベクトルを
符号化することにより、サイド情報の符号化において、
動きベクトルが画像フレーム内で散在して配置される場
合でも動きベクトルの２次元的な相関を利用することが
でき、動きベクトルの符号量を削減することが可能とな
る。

【０１０４】（８）前記３本の動きベクトルの平均値を
符号化対象動きベクトルの予測値とし、該符号化対象動
きベクトル値と前記予測値との差分を符号化しているの
で、サイド情報の符号化において、符号化対象動きベク
トルの周囲の動きベクトルとの相関を効果的に利用する
ことにより、動きベクトルの符号量の効果的な削減が可
能となる。

【０１０５】（９）前記３本の動きベクトルのメディア
ン値（中央値）を符号化対象動きベクトルの予測値と
し、該符号化対象動きベクトル値と前記予測値との差分
を符号化しているので、サイド情報の符号化において、
符号化対象動きベクトルの周囲の動きベクトルと相関の
高い動きベクトル値から予測符号化することにより、動
きベクトルの符号量の効果的な削減が可能となる。

【０１０６】（１０）領域分割情報に基づいて画像フレ
ームを予め決められた大きさの単位矩型領域、及び該単
位矩型領域を更に細かく分割した可変サイズの三角形の
小領域からなる処理領域に分割し、該処理領域毎にアフ
ィン変換することにより、予測画像フレームを生成する
ので、被写体の大きさ、形状に最適な処理領域の分割が
可能となり、アフィン変換特有の幾何的歪みの発生によ
る予測効率の低下を防ぐことができ、誤差情報量が削減
された効率のよい動画像復号化が可能となる。

【０１０７】（１１）処理領域毎にアフィン変換による
予測、または平行移動による予測を行うことによって、
予測画像フレームを生成するので、入力画像に領域の平
行移動による動きが含まれている場合でも、動きの正確
な表現が可能となり、また、アフィン変換特有の幾何的
歪みの発生による予測効率の低下を防ぐことができ、誤
差情報量が削減された効率的な動画像復号化が可能とな
る。

【０１０８】（１２）符号化サイド情報に含まれる単位
矩型領域の頂点に位置する４本の基本動きベクトルを復
号化するとともに、前記４本の基本動きベクトルの平均
との差分として符号化された小領域の頂点に位置する付
加動きベクトルを復号化することにより、効率的に符号
化された動きベクトルの復号化が可能となる。

【０１０９】（１３）符号化サイド情報に含まれる単位
矩型領域の頂点に位置する４本の基本動きベクトルを復
号化するとともに、２本の基本動きベクトルの間で小領
域の頂点に位置する付加動きベクトルを該２本の基本動
きベクトルの平均との差分によって符号化されていると
判断して復号化し、単位矩型領域の中央で小領域の頂点
に位置する付加動きベクトルを前記４本の基本動きベク
トルの平均との差分によって符号化されていると判断し
て復号化することにより、効率的に符号化された動きベ
クトルの復号化が可能となる。

【０１１０】（１４）復号化対象となる動きベクトルの
左方、上方及び右上方に隣接して存在する既に復号化さ
れた３本の単位矩型領域の頂点に位置する基本動きベク
トルまたは小領域の頂点に位置する付加動きベクトルか
ら算出した予測値を用いて、該復号化対象動きベクトル
を復号化することにより、サイド情報の復号化におい
て、動きベクトルが画像フレーム内で散在して配置され
る場合でも、動きベクトルの２次元的な相関を利用して
少ない符号量で効率的に符号化された動きベクトルの復
号化が可能となる。

【０１１１】（１５）前記３本の動きベクトルの平均値
を復号化対象動きベクトルの予測値とし、復号された差
分値と前記予測値とを加算することにより該復号化対象
動きベクトル値を得るので、サイド情報の復号化におい
て、復号化対象動きベクトルの周囲の動きベクトルとの
相関を効果的に利用して符号化された動きベクトルの復
号化が可能となる。

【０１１２】（１６）前記３本の動きベクトルのメディ
アン値（中央値）を復号化対象動きベクトルの予測値と
し、復号された差分値と前記予測値とを加算することに
より該復号化対象動きベクトル値を得るので、サイド情
報の復号化において、復号化対象動きベクトルの周囲の
動きベクトルと相関の高い動きベクトル値から効率的に
予測符号化された動きベクトルの復号化が可能となる

【０１１３】

【発明の効果】本願発明の動画像符号化装置は、上述の
ような構成としているので、画像フレームの周辺のコン
トロールグリッド点における動きベクトルをより高精度
に探索することができ、前記動きベクトルを用いる動き
補償フレーム間予測において、より効率的な予測が可能
となる。

【図面の簡単な説明】

【図１】本発明の実施の形態による動画像符号化装置の
動き補償フレーム間予測部の一例の構成を示す図であ
る。

【図２】本発明の実施の形態による動画像復号化装置の
動き補償フレーム間予測部の一例の構成を示す図であ
る。

【図３】動画像符号化装置全体の概略構成を示す図であ
る。

【図４】動画像復号化装置全体の概略構成を示す図であ
る。

【図５】本発明の実施の形態における三角形による領域
分割の全ての種類を示す図である。

【図６】本発明の実施の形態におけるコントロールグリ
ッドおよび動きベクトルを説明するための図である。

【図７】本発明の実施の形態における有効領域選択マス
クの全ての種類を示す図である。

【図８】本発明の実施の形態における動きベクトルの予
測符号化方式を説明するための図である。

【図９】本発明の実施の形態における動き補償フレーム
間予測の処理フロー例（１）を説明するための図であ
る。

【図１０】本発明の実施の形態における動き補償フレー
ム間予測の処理フロー例（２）を説明するための図であ
る。

【図１１】従来の動画像符号化装置の動き補償フレーム
間予測部を例示する図である。

【図１２】従来の動画像復号化装置の動き補償フレーム
間予測部を例示する図である。

【図１３】動きベクトル探索の際に用いる重み付けにつ
いての図である。

【図１４】従来例におけるコントロールグリッドおよび
動きベクトルの一例を説明するための図である。

【図１５】被写体の変形および前方向予測を行う場合の
アフィン変換を用いたフレーム間予測を説明するための
図である。

【符号の説明】

１１…減算部１２…画像符号化部１３…符号化制御部１４…画像復号化部１５…加算部１６…フレームメモリ部１７…動き補償フレーム間予測部２１…画像復号化部２２…加算部２３…動き補償フレーム間予測部２４…フレームメモリ部３１…有効領域選択部３２…動きベクトル探索部３３…可変領域サイズ予測フレーム生成部３４…領域分割パターン決定部３５…サイド情報符号化部３７…可変領域サイズ予測フレーム生成部３８…サイド情報復号化部４１…動きベクトル探索部４２…固定領域サイズ予測フレーム生成部４３…動きベクトル符号化部４４…ＤＣＴ変換部４５…量子化部４６…逆量子化部４７…逆ＤＣＴ変換部４８…ベクトル量子化部４９…逆ベクトル量子化部５１…固定領域サイズ予測フレーム生成部５２…動きベクトル復号化部。

Claims

【特許請求の範囲】

【請求項１】動き補償フレーム間予測を行うことによ
り得た予測画像フレームと入力画像フレームとの差を予
測誤差情報として符号化する動画像符号化装置におい
て、動きベクトルを探索する位置に応じて、入力画像フレー
ム及び参照画像フレームの画面内に存在する画素間の差
分を求めることにより、動きベクトルの探索を行う動き
ベクトル探索部と、前記動きベクトルを用いて予測画像フレームを生成する
予測フレーム生成部と、前記動きベクトルをサイド情報として符号化するサイド
情報符号化部とを備えたことを特徴とする動画像符号化
装置。