JP2004165785A - Image coding method, image decoding method, image coder, image decoder, image coding program, image decoding program and recording medium with the programs - Google Patents
Image coding method, image decoding method, image coder, image decoder, image coding program, image decoding program and recording medium with the programs Download PDFInfo
- Publication number
- JP2004165785A JP2004165785A JP2002326638A JP2002326638A JP2004165785A JP 2004165785 A JP2004165785 A JP 2004165785A JP 2002326638 A JP2002326638 A JP 2002326638A JP 2002326638 A JP2002326638 A JP 2002326638A JP 2004165785 A JP2004165785 A JP 2004165785A
- Authority
- JP
- Japan
- Prior art keywords
- filter coefficient
- motion vector
- image
- image information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
【０００１】
【発明の属する技術分野】
本発明は，動画像符号化，復号に関する技術であり，特に画面を分割した領域毎に分数位置の画像情報を作成するフィルタの係数を予め設定した基準の値にするのか変更するのかを示す情報と動きベクトル情報の組み合わせを符号化することにより，符号化効率を向上することを可能とした画像符号化方法，画像復号方法，画像符号化装置および画像復号装置に関する。
【０００２】
【従来の技術】
動き補償符号化方法では，マクロブロック（以下ではＭＢと書く）やブロック等の領域毎に，参照フレーム内画像情報から予測画像を作成し，現フレームの画像との間で差分（予測誤差）を符号化する。一般的に通常の動き補償では，現フレームの領域の位置と予測画像の位置との差分は領域全体の平行移動量（ｘ，ｙ）であり，これを動きベクトルと呼ぶ。予測画像の探索手法としては一般的にブロックマッチング方法が用いられる。
【０００３】
ブロックマッチングでは，符号化対象の領域を中心とした正方形の探索範囲（サーチウィンドウ）を参照フレーム内に設定し，現フレームの領域内画素とサーチウィンドウ内の画素との間の画像情報の差分が最も小さくなる位置を，サーチウィンドウ内で探索する。この差分の計算方法は，絶対値差分和や平均２乗誤差などが用いられる。ブロックマッチングの概念図を図１４に示す。絶対値差分和Ｗ（ｘ，ｙ）の計算方法を式（１）に示す。この差分が小さいほど，予測誤差も少なくなり符号化効率が高くなる。
【０００４】
【数１】
ブロックサイズがＮ×Ｎ画素であり，（ｉ，ｊ）はブロック内の画素位置，ｆ（ａ，ｂ，ｃ）はフレームｃ内の符号化対象ブロックにおける画素位置（ａ，ｂ）の画素値を表している。
【０００６】
動きベクトルは，整数精度または分数精度または実数精度のいずれでも表現することが可能である。分数精度や実数精度では，実際には画素の無い位置の画像情報を作る必要がある。分数精度と実数精度の場合には，対応する位置の画像情報を周囲の整数位置の画素の画像情報から求める。例えば，実数精度で周囲４画素からの線形補間によって求める場合で，図１５に示すような左上の画素から（ａ，ｂ）の位置の画像情報を求める場合には，式（２）により求める。実数精度は，任意の位置の画像情報を作ることができるが，符号化側と復号側で演算精度が異なる場合があるため，復号側で正確に復号できない場合がある。
【０００７】
【数２】
整数位置の画素の画像情報から，実数精度または分数精度の画像情報を求める方法として，線形補間以外の方法によって分数位置の画像情報を作り，その後で整数位置と分数位置の画像情報を使って平行移動位置の画像情報を求めることも可能である。例えば周囲の複数画素から１／２精度の位置の画像情報をタップ数の長いフィルタによって求め，続いて１／４精度や１／８精度の位置の画像情報を整数精度と１／２精度の画像情報から線形補間によって求めることも可能である。
【０００９】
まず，横方向にタップ数ＭのフィルタをＭ個の整数画素位置の画像情報に適用して横方向１／２精度の位置の画像情報を作成する。次に縦方向にタップ数ＮのフィルタをＮ個の整数画素位置の画像情報またはＮ個の１／２精度位置の画像情報に適用して縦方向１／２精度の位置の画像情報を作成する。タップ数６のフィルタの係数は，例えば
（１／３２，−５／３２，２０／３２，２０／３２，−５／３２，１／３２）となる。フィルタの係数は対称であっても非対称であってもよい。
【００１０】
タップ数が４の場合の１／２精度の画像情報を求めるフィルタ方法の例を図１６（Ａ）および図１６（Ｂ）に示す。１／４精度や１／８精度の位置の画像情報も線形補間ではなく，フィルタ方法を適用して求めてもよい。また，１／２精度の位置の画像情報から求めるのではなく，整数位置から非対称フィルタ係数のフィルタを用いて直接求めてもよい。
【００１１】
図１７は，現マクロブロックと周囲のマクロブロックの位置関係を示す図である。現領域の動きベクトル（ｘ，ｙ）に対して，周囲の領域の動きベクトルから予測したベクトルからの差分を求め，この差分情報をエントロピー符号化する。例えば現マクロブロックＭＶｃの領域と周囲のマクロブロックＭＶ１，ＭＶ２，ＭＶ３の領域が図１７に示す位置関係にある場合に，周囲の領域の動きベクトルが（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３）であり，予測ベクトルを（ｐｘ，ｐｙ）とすると，ｐｘをｘ１，ｘ２，ｘ３のうちの中間値に設定し，ｐｙをｙ１，ｙ２，ｙ３のうちの中間値に設定する。
【００１２】
動きベクトルの差分をルックアップテーブルを使って可変長符号化する際のテーブルの例を図１８に示す。
【００１３】
なお，フレームまたはマクロブロック単位に，フィルタ係数を適応的に変更することにより，予測誤差を低減する方法として，下記の非特許文献１，２に記載されている方法が，従来提案されている。これらの方法には，フレーム全体またはマクロブロック全体のフィルタ係数を変更してしまうため，各ブロックにフィルタ係数を最適化できないという問題がある。また，フィルタ係数を指定する情報のオーバーヘッドを軽減する手法が取り入れられていないといった課題がある。
【００１４】
【非特許文献１】
Ｔ．Ｗｅｄｉ， ”Ａｄａｐｔｉｖｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ ｆｏｒ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ Ｈｙｂｒｉｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”， Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｓｙｍｐｏｓｉｕｍ（ＰＣＳ ２００１）， ２００１．
【非特許文献２】
Ｋｅｉ−ｉｃｈｉ Ｃｈｏｎｏ ａｎｄ Ｙｏｓｈｉｈｉｒｏ Ｍｉｙａｍｏｔｏ， ”Ｍｏｄｉｆｉｅｄ Ａｄａｐｔｉｖｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ”， ＪＶＴ−Ｄ０７８， Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ（ＪＶＴ） ｏｆ ＩＳＯ／ＩＥＣ ＭＰＥＧ ＆ ＩＴＵ−Ｔ ＶＣＥＧ Ｍｅｅｔｉｎｇ，２００２．
【００１５】
【発明が解決しようとする課題】
画面を領域に分割して符号化する場合，１／２精度などの分数位置の画像情報をフィルタ方法で作成する際に，領域毎にフィルタの係数を変更すると，より予測誤差の少ない予測画像を作成することが可能である。そこでフィルタの係数を領域毎に符号化する方法も考えられるが，フィルタを変更することによる予測誤差の低減が少ない場合には，すべての領域に対してフィルタの係数を符号化すると，かえって符号量が増えてしまう。
【００１６】
本発明は上記問題点の解決を図り，動き補償の内挿フィルタをブロック毎に変更可能にするとともに，そのフィルタ係数を指定する情報のオーバーヘッドを軽減し，画像符号化における符号量の削減を可能とすることを目的とする。
【００１７】
【課題を解決するための手段】
以上の課題を解決するため，本発明は以下の方法を用いる。
【００１８】
第１の発明は，現フレームの画像を分割した領域（以後，現領域と呼ぶ）毎に，既に符号化したフレームの画像情報から分数位置の画像情報を作成し，その分数位置の画像情報との間の予測誤差を符号化する画像符号化方法であって，分数位置の画像情報を作成するフィルタの係数を決定し，動きベクトルを探索する動き探索ステップと，前記動き探索ステップで決定したフィルタ係数と動きベクトルを使って予測画像を作成し，予測誤差を求めて予測誤差を符号化する動き補償ステップと，前記動き探索ステップで決定したフィルタ係数が，予め決めた基準のフィルタ係数と異なるかどうかと，探索された動きベクトルの値の組み合わせを符号化するフィルタ係数選択動きベクトル符号化ステップと，前記動き探索ステップで決定したフィルタ係数が，予め決めた基準のフィルタ係数と異なる場合にフィルタ係数を指定する情報を符号化するフィルタ係数符号化ステップとを有することを特徴とする。
【００１９】
第１の発明によれば，動き補償において分数位置の画像情報を作成するフィルタの係数を，予め設定した基準のものにするのか変更するのかを示す情報と，動きベクトル情報の組み合わせを可変長符号化できる。
【００２０】
係数を変更した個々のフィルタに関してはフィルタの係数を基準から変更することによる予測誤差の低減が少ないが，係数を変更したフィルタの総発生頻度が係数を変更しないフィルタの発生頻度と同じ程度になる場合に，一つの動きベクトルの値に対して，フィルタの係数を変更しない場合の発生頻度と変更した場合の発生頻度が同じ程度になる。
【００２１】
他方，動きベクトルの値の発生頻度は絶対値が大きくなるにつれて減少する傾向にある。従って，ある動きベクトルの値を持ちフィルタの係数を変更した場合の発生頻度は，その動きベクトルよりも大きな値の動きベクトルでありフィルタの係数を変更しない場合の発生頻度よりも多くなる。
【００２２】
そこで，フィルタの係数を予め設定した基準のものにするのか変更するのかを示す情報と，動きベクトル情報の組み合わせに対して可変長符号を割り当てる方法において，ある動きベクトルの値を持ちフィルタの係数を変更した場合の符号長を，その動きベクトルよりも大きな値の動きベクトルでありフィルタの係数を変更しない場合の符号長よりも短くするようにすれば，組み合わせの発生頻度が大きいほど符号長が短くなるテーブルを作成することができる。これにより，動きベクトルの値が小さくフィルタの係数を変更しない場合の符号量を，動きベクトルとフィルタの係数を個別に符号化する場合よりも，小さくすることができる。
【００２３】
第２の発明は，現フレームの画像を分割した領域（以後，現領域と呼ぶ）毎に，既に符号化したフレームの画像情報から分数位置の画像情報を作成し，その分数位置の画像情報との間の予測誤差を符号化する画像符号化方法であって，分数位置の画像情報を作成するフィルタの係数を決定し，動きベクトルを探索する動き探索ステップと，周囲の領域の動きベクトルから予測動きベクトルを求め，求めた予測動きベクトルと，前記動き探索ステップで探索した動きベクトルの差分を求める動きベクトル差分作成ステップと，前記動き探索ステップで決定したフィルタ係数と動きベクトルを使って予測画像を作成し，予測誤差を求めて予測誤差を符号化する動き補償ステップと，前記動き探索ステップで決定したフィルタ係数が，予め決めた基準のフィルタ係数と異なるかどうかと，動きベクトルの差分の値の組み合わせを符号化するフィルタ係数選択動きベクトル符号化ステップと，前記動き探索ステップで決定したフィルタ係数が，予め決めた基準のフィルタ係数と異なる場合にフィルタ係数を指定する情報を符号化するフィルタ係数符号化ステップとを有することを特徴とする。
【００２４】
第２の発明によれば，第１の発明のように動きベクトル自体を符号化する場合ではなく，周囲の既に符号化した領域の動きベクトルから予測される予測動きべクトルと現領域の動きベクトルの差分を符号化する場合において，動きベクトルの差分の値が小さくフィルタの係数を変更しない場合の符号量を，動きベクトルの差分とフィルタの係数を個別に符号化する場合よりも，小さくすることができる。
【００２５】
第３の発明は，現フレームの画像を分割した領域（以後，現領域と呼ぶ）毎に，既に符号化したフレームの画像情報から分数位置の画像情報を作成し，その分数位置の画像情報との間の予測誤差を符号化する画像符号化方法であって，分数位置の画像情報を作成するフィルタの係数を決定し，動きベクトルを探索する動き探索ステップと，周囲の領域の動きベクトルから予測動きベクトルを求め，求めた予測動きベクトルと，前記動き探索ステップで探索した動きベクトルの差分を求める動きベクトル差分作成ステップと，周囲の領域のフィルタ係数から，現領域のフィルタの係数の予測値（予測フィルタ係数）を求めるフィルタ係数予測ステップとを有し，前記動きベクトル差分作成ステップで作成した動きベクトル差分の値が０である場合に，現領域のフィルタ係数を予測フィルタ係数と同じに設定するフィルタ係数再決定ステップと，決定したフィルタ係数と動きベクトルを使って予測画像を作成し予測誤差を求めて予測誤差を符号化する動き補償ステップと，動きベクトルの差分（０ベクトル）を符号化する動きベクトル符号化ステップとを有することを特徴とする。
【００２６】
第３の発明によれば，周囲の既に符号化した領域の動きベクトルから予測される予測ベクトルと現領域の動きベクトルの差分を符号化する場合において，差分が０べクトルとなる場合のフィルタの係数を，既に符号化した周囲の領域のフィルタの係数から予測することにより，フィルタの係数を符号化することによる符号量の増加を避けることができる。差分が０ベクトルとなるような領域は周囲の領域と同じ動きをしていると考えられるため，フィルタ係数も同じものになる頻度が高くなる。
【００２７】
【発明の実施の形態】
図面を用いて本発明の実施の形態を説明する。
【００２８】
〔第１の実施の形態〕
第１の実施の形態では，１／２位置の画像情報を６タップのフィルタで作成し，１／４位置の画像情報をｌ／２位置または整数位置の画像情報から作成するものとする。１／２位置の画像情報を作成するフィルタの係数を基準のものから変更するかどうかを示す情報と，動きベクトルの値との組み合わせを可変長符号化する方法の例を示す。入力画像をマクロブロック毎に符号化するものとする。
【００２９】
図１に本発明の第１の実施の形態に係る画像符号化装置の概要を示す。この画像符号化装置１は，現フレームの画像を入力する画像入力部１１と，１／２位置の画像情報を作成するフィルタの係数を指定するフィルタ係数指定部１５と，フィルタ係数指定部１５で指定されたフィルタの係数を使って１／２位置の画像情報を作成し動きベクトルを探索する動き探索部１６と，動き探索部１６での動き探索結果を使い，１／２位置の画像情報を作成するフィルタの係数を決定するフィルタ係数決定部１７と，決定されたフィルタ係数と探索された動きベクトルを使って予測画像を作成し予測誤差を求めて予測誤差を符号化する動き補償部１２と，フィルタ係数決定部１７で決定されたフィルタ係数が，予め決めた基準のフィルタ係数と異なるかどうかと，動き探索部１６で探索された動きベクトルの値との組み合わせを符号化するフィルタ係数選択動きベクトル符号化部１８と，フィルタ係数を指定する情報を符号化するフィルタ係数符号化部１９と，予測誤差符号化データを復号する復号部１３と，復号画像を蓄積する参照画像メモリ１４とを備える。
【００３０】
フィルタ係数指定部１５で指定するフィルタ係数のうち，基準フィルタのフィルタ係数を，
（１／３２，−５／３２，２０／３２，２０／３２，−５／３２，１／３２）とする。これを係数０と呼ぶこととする。
【００３１】
その他，係数１として，
（ｌ／３２，−５／３２，２７／３２，１２／３２，−４／３２，１／３２）を指定し，係数２として，
（１／３２，−４／３２，１２／３２，２７／３２，−５／３２，１／３２）を指定するものとする。
【００３２】
フィルタ係数指定部１５は，まず横方向のフィルタ係数を固定して，縦方向のフィルタ係数を係数０，係数１，係数２に順に変更して指定する。その後，横方向のフィルタ係数を変更して固定し，縦方向のフィルタ係数を変更して指定する。動き探索部１６は，指定されたフィルタ係数を使い動き探索を行う。動き探索部１６では，差分の評価尺度として絶対値差分和に動きベクトルの符号量を加えた差分評価値Ｗｍを使うものとする。
【００３３】
Ｗｍの計算式を式（３）に示す。Ｎｍｖ（ｘ，ｙ）は動きベクトル（ｘ，ｙ）の符号量である。
【００３４】
【数３】
動き探索部１６では，フィルタ係数指定部１５で指定される各フィルタ係数に対する動きベクトルを求める。横方向フィルタ係数が係数ｉ，縦方向のフィルタ係数が係数ｊの場合に，探索で得られた差分評価値ＷｍをＷｍｉｊと書くこととする。その後，フィルタ係数決定部１７は，各フィルタ係数に対する動き探索結果Ｗｍの値を比較し，最も値の小さい場合のフィルタ係数を，そのマクロブロックのフィルタ係数に決定する。また，そのときの動きベクトルをそのマクロブロックの動きベクトルとする。
【００３６】
フィルタ係数選択動きベクトル符号化部１８は，フィルタ係数決定部１７で決定されたフィルタ係数が，予め決めた基準のフィルタ係数（係数０）と異なるかどうかを示す情報と，動き探索部１６で探索された動きベクトルの値との組み合わせに対して，図２に示すルックアップテーブルを使い可変長符号化するものとする。フィルタ係数符号化部１９は，フィルタ係数を示す情報を，横方向フィルタ縦方向フィルタの順に，図３に示すルックアップテーブルを使って可変長符号化するものとする。
【００３７】
図２のルックアップテーブルによれば，０ベクトルで基準フィルタ係数を使用する場合の符号量は１ビットとなり，フィルタ係数の変更の有無を符号化するに当り発生する符号量の増加を０ベクトルに関して避けることができる。
【００３８】
このような前提で現画像をマクロブロック単位に次のように符号化する。まず，画像入力部１１は現フレームの画像を入力する。フィルタ係数指定部１５は，横方向フィルタ係数に係数０を縦方向フィルタ係数に係数０を指定する。動き探索部１６は，指定されたフィルタ係数を使って１／２位置の画像情報を作成しながら，１／４位置まで動き探索を行い，Ｗｍ００と対応する動きベクトルを求める。このような処理を，フィルタ係数指定部１５がフィルタの係数を変更しながら，全てのフィルタの係数のパターンについて行い，Ｗｍ００，Ｗｍ０１，Ｗｍ０２，Ｗｍ１０，Ｗｍ１１，Ｗｍ１２，Ｗｍ２０，Ｗｍ２１，Ｗｍ２２と，それに対応する動きベクトルを求める。
【００３９】
フィルタ係数決定部１７は，Ｗｍ００，Ｗｍ０１，Ｗｍ０２，Ｗｍ１０，Ｗｍｌ１，Ｗｍ１２，Ｗｍ２０，Ｗｍ２１，Ｗｍ２２のうち，値が最も小さい場合のフィルタ係数を，そのマクロブロックのフィルタ係数に決定する。フィルタ係数選択動きベクトル符号化部１８は，まず横方向に関して，この時のフィルタ係数が係数０であった場合には，フィルタ係数の変更が無しとして，動きベクトルの横方向の値を符号化する。フィルタ係数が係数０でない場合には，フィルタ係数の変更が有りとして，動きベクトルの横方向の値を符号化する。
【００４０】
縦方向動きベクトルも同様に符号化する。フィルタ係数符号化部１９は，横方向フィルタ係数が係数０でない場合に横方向フィルタ係数を符号化し，更に縦方向フィルタ係数が係数０でない場合に縦方向フィルタ係数を符号化する。動き補償部１２は，フィルタ係数決定部１７で決定されたフィルタ係数を使って動き補償を行い，現マクロブロックの画像情報を符号化する。復号部１３は，符号化データを復号し復号画像を作成し，参照画像メモリに蓄積する。以上の手順をすべてのマクロブロックに対して繰り返し処理する。
【００４１】
図４は，本発明の第１の実施の形態に係る画像復号装置の概要を示す図である。この画像復号装置２は，１／２位置の画像情報を作成する際に使用されるフィルタ係数が，予め決めた基準のフィルタ係数（係数０）と異なるかどうかと，動きベクトルの値の組み合わせを復号するフィルタ係数選択動きベクトル復号部２１と，フィルタ係数を指定する情報を復号するフィルタ係数復号部２２と，フィルタ係数と動きベクトルを使って予測画像を作成し予測誤差を求めて予測誤差符号化データを復号し復号画像を作成する動き補償部２３と，復号画像を蓄積する参照画像メモリ２４とを備える。
【００４２】
上記の画像符号化装置１で得られた符号化データを復号する手順を示す。符号化データは，マクロブロック毎に次のように復号される。フィルタ係数選択動きベクトル復号部２１は，まず横方向に関して，符号化データの中から図２に示したルックアップテーブルを使って，フィルタ係数が係数０と異なるかどうかと，動きベクトルの値の組み合わせを復号する。フィルタ係数が係数０と異なる場合には，フィルタ係数復号部２２は，横方向フィルタ係数を復号する。次にフィルタ係数選択動きベクトル復号部２１は，縦方向に関して，フィルタ係数が係数０と異なるかどうかと，動きベクトルの値の組み合わせを復号する。フィルタ係数が係数０と異なる場合には，フィルタ係数復号部２２は，縦方向フィルタ係数を復号する。
【００４３】
動き補償部２３は，フィルタ係数復号部２２で復号されたフィルタ係数を使って動き補償を行い，符号化データを復号して復号画像を作成し，参照画像メモリ２４に蓄積する。なおフィルタ係数復号部２２でフィルタ係数を復号しない場合には，フィルタ係数を係数０に設定して動き補償を行う。以上の手順をすべてのマクロブロックに対して繰り返し処理する。
【００４４】
〔第２の実施の形態〕
次に，第２の実施の形態として，動きベクトル符号化部が，動きベクトル自体ではなく予測動きベクトルとの差分を符号化する場合の例を示す。また１／２位置の画像情報を６タップのフィルタで作成した後，１／４位置と１／８位置の画像情報を線形補間により作成するものとする。
【００４５】
図５は，第２の実施の形態に係る画像符号化装置の概要を示す図である。この画像符号化装置３は，現フレームの画像を入力する画像入力部３１と，１／２位置の画像情報を作成するフィルタの係数を指定するフィルタ係数指定部３５と，フィルタ係数指定部３５で指定されたフィルタの係数を使って１／２位置の画像情報を作成し動きベクトルを探索する動き探索部３６と，動き探索部３６での動き探索結果を使い，１／２位置の画像情報を作成するフィルタの係数を決定するフィルタ係数決定部３７と，決定されたフィルタ係数と探索された動きベクトルを使って予測画像を作成し予測誤差を求めて予測誤差を符号化する動き補償部３２と，周囲のマクロブロックの動きベクトルから予測動きベクトルを求める予測動きベクトル作成部３０１と，フィルタ係数決定部３７で決定されたフィルタ係数が，予め決めた基準のフィルタ係数と異なるかどうかと，動き探索部３６で探索された動きベクトルと予測動きベクトル作成部３０１で作成された予測動きベクトルとの間の差分との組み合わせを符号化するフィルタ係数選択動きベクトル符号化部３８と，フィルタ係数を指定する情報を符号化するフィルタ係数符号化部３９と，予測誤差符号化データを復号する復号部３３と，復号画像を蓄積する参照画像メモリ３４とを備える。
【００４６】
フィルタ係数指定部３５と動き探索部３６とフィルタ係数符号化部３９の動作は，第１の実施の形態と同様である。フィルタ係数選択動きベクトル符号化部３８は，フィルタ係数決定部３７で決定されたフィルタ係数が，予め決めた基準のフィルタ係数（係数０）と異なるかどうかを示す情報と，動き探索部３６で探索された動きベクトルと予測動きベクトルとの間の差分との組み合わせに対して，図６に示すルックアップテーブルを使い可変長符号化するものとする。ここで予測動きベクトルは，図１７に示す位置の３つのマクロブロックＭＶ１，ＭＶ２，ＭＶ３の動きベクトルのうち，中間のものを予測動きベクトルに選択するものとする。
【００４７】
このような前提で現画像をマクロブロック単位に次のように符号化する。まず画像入力部３１は現フレームの画像を入力する。予測動きベクトル作成部３０１は，予測動きべクトルを作成する。フィルタ係数指定部３５は，横方向フィルタ係数に係数０を縦方向フィルタ係数に係数０を指定する。動き探索部３６は，指定されたフィルタ係数を使って１／２位置の画像情報を作成しながら１／８位置まで動き探索を行い，Ｗｍ００と対応する動きベクトルを求める。
【００４８】
このような処理を，フィルタ係数指定部３５がフィルタの係数を変更しながら，全てのフィルタの係数のパターンについて行い，Ｗｍ００，Ｗｍ０１，Ｗｍ０２，Ｗｍ１０，Ｗｍ１１，Ｗｍ１２，Ｗｍ２０，Ｗｍ２１，Ｗｍ２２と，それに対応する動きベクトルを求める。フィルタ係数決定部３７は，Ｗｍ００，Ｗｍ０１，Ｗｍ０２，Ｗｍ１０，Ｗｍ１１，Ｗｍ１２，Ｗｍ２０，Ｗｍ２１，Ｗｍ２２のうち，値が最も小さい場合のフィルタ係数を，そのマクロブロックのフィルタ係数に決定する。
【００４９】
フィルタ係数選択動きベクトル符号化部３８は，まず横方向に関して，この時のフィルタ係数が係数０であった場合には，フィルタ係数の変更が無しとして，探索された動きベクトルと予測動きベクトルの差分の横方向成分の値を符号化する。フィルタ係数が係数０でない場合には，フィルタ係数の変更が有りとして，探索された動きベクトルと予測動きベクトルの差分の横方向成分の値を符号化する。縦方向動きベクトルも同様に符号化する。フィルタ係数符号化部３９は，横方向フィルタ係数が係数０でない場合に横方向フィルタ係数を符号化し，更に縦方向フィルタ係数が係数０でない場合に縦方向フィルタ係数を符号化する。
【００５０】
動き補償部３２は，フィルタ係数決定部３７で決定されたフィルタ係数を使って動き補償を行い現マクロブロックの画像情報を符号化する。復号部３３は符号化データを復号し復号画像を作成し，参照画像メモリ３４に蓄積する。以上の手順をすべてのマクロブロックに対して繰り返し処理する。
【００５１】
図７は，本発明の第２の実施の形態に係る画像復号装置の概要を示す図である。この画像復号装置４は，周囲のマクロブロックの動きべクトルから予測動きベクトルを求める予測動きベクトル作成部４５と，１／２位置の画像情報を作成する際に使用されるフィルタ係数が，予め決めた基準のフィルタ係数（係数０）と異なるかどうかと，動きベクトルと予測動きベクトルとの間の差分の値の組み合わせを復号するフィルタ係数選択動きベクトル復号部４１と，フィルタ係数を指定する情報を復号するフィルタ係数復号部４２と，フィルタ係数と動きベクトルを使って予測画像を作成し予測誤差を求めて予測誤差符号化データを復号し復号画像を作成する動き補償部４３と，復号画像を蓄積する参照画像メモリ４４とを備える。
【００５２】
上記の画像符号化装置３で得られた符号化データを復号する手順を示す。符号化データは，マクロブロック毎に次のように復号される。予測動きベクトル作成部４５は予測動きベクトルを作成する。フィルタ係数選択動きベクトル復号部４１は，まず横方向に関して，符号化データの中から図６に示したルックアップテーブルを使って，フィルタ係数が係数０と異なるかどうかと，動きベクトルと予測動きベクトルとの間の差分の値の組み合わせを復号する。フィルタ係数が係数０と異なる場合には，フィルタ係数復号部４２は，横方向フィルタ係数を復号する。次にフィルタ係数選択動きベクトル復号部４１は，縦方向に関して，フィルタ係数が係数０と異なるかどうかと，動きベクトルと予測動きベクトルとの間の差分の値の組み合わせを復号する。フィルタ係数が係数０と異なる場合には，フィルタ係数復号部４２は，縦方向フィルタ係数を復号する。
【００５３】
動き補償部４３は，フィルタ係数復号部４２で復号されたフィルタ係数を使って動き補償を行い，符号化データを復号して復号画像を作成し，参照画像メモリ４４に蓄積する。なおフィルタ係数復号部４２でフィルタ係数を復号しない場合には，フィルタ係数を係数０に設定して動き補償を行う。以上の手順をすべてのマクロブロックに対して繰り返し処理する。
【００５４】
〔第３の実施の形態〕
次に，第３の実施の形態として，動きベクトル符号化部が，動きベクトル自体ではなく予測動きベクトルとの差分を符号化する場合の例を示す。また１／２位置の画像情報を６タップのフィルタで作成した後，１／４位置と１／８位置の画像情報を線形補間により作成するものとする。
【００５５】
図８は，本発明の第３の実施の形態に係る画像符号化装置の概要を示す図である。この画像符号化装置５は，現フレームの画像を入力する画像入力部５１と，１／２位置の画像情報を作成するフィルタの係数を指定するフィルタ係数指定部５５と，フィルタ係数指定部５５で指定されたフィルタの係数を使って１／２位置の画像情報を作成し動きベクトルを探索する動き探索部５６と，動き探索部５６での動き探索結果を使い，１／２位置の画像情報を作成するフィルタの係数を決定するフィルタ係数決定部５７と，周囲のマクロブロックの動きベクトルから予測動きベクトルを求める予測動きベクトル作成部５０１と，周囲のマクロブロックのフィルタ係数から，現マクロブロックのフィルタの係数の予測値（予測フィルタ係数）を求めるフィルタ係数予測部５０２と，動き探索部５６で探索された動きベクトルと予測動きベクトル作成部５０１で作成された予測動きベクトルとの差分の値が０かどうかを判断し，０の場合に，現マクロブロックのフィルタ係数を予測フィルタ係数と同じに設定するフィルタ係数再決定部５０３と，決定したフィルタ係数と動きベクトルを使って予測画像を作成し予測誤差を求めて予測誤差を符号化する動き補償部５２と，決定されたフィルタ係数が予め決めた基準のフィルタ係数と異なるかどうかと，動き探索部５６で探索された動きベクトルと予測動きベクトル作成部５０１で作成された予測動きベクトルとの間の差分との組み合わせを符号化するフィルタ係数選択動きベクトル符号化部５８と，動き探索部５６で探索された動きベクトルと予測動きベクトル作成部５０１で作成された予測動きベクトルとの差分を符号化する動きベクトル符号化部５０４と，予測誤差符号化データを復号する復号部５３と，復号画像を蓄積する参照画像メモリ５４とを備える。
【００５６】
フィルタ係数指定部５５と動き探索部５６とフィルタ係数符号化部５９の動作は第１の実施の形態と同様である。フィルタ係数再決定部５０３でフィルタ係数を再度決定する場合には，動きベクトルと予測動きベクトルとの差分の値を動きベクトル符号化部５０４で符号化する。ここで動きベクトル符号化部５０４は０ベクトルをビット０として符号化するものとする。
【００５７】
フィルタ係数再決定部５０３でフィルタ係数を再度決定しない場合には，フィルタ係数選択動きベクトル符号化部５８は，フィルタ係数決定部５７で決定されたフィルタ係数が，予め決めた基準のフィルタ係数（係数０）と異なるかどうかを示す情報と，動き探索部５６で探索された動きベクトルと予測動きベクトルとの間の差分との組み合わせに対して，図９に示すルックアップテーブルを使い可変長符号化するものとする。ここで予測動きベクトルは，図１７に示す位置の３つのマクロブロックＭＶ１，ＭＶ２，ＭＶ３の動きベクトルのうち，中間のものを予測動きベクトルに選択するものとする。
【００５８】
また，フィルタ係数予測部５０２は，図１７に示す位置の３つのマクロブロックＭＶ１，ＭＶ２，ＭＶ３のフィルタ係数のうち，最も多く採用されているフィルタ係数を予測フィルタ係数とする。すべてが同じ頻度で採用されている場合には，係数０のフィルタを予測フィルタ係数とする。
【００５９】
このような前提で現画像をマクロブロック単位に次のように符号化する。まず画像入力部５１は，現フレームの画像を入力する。予測動きベクトル作成部５０１は，予測動きべクトルを作成する。フィルタ係数指定部５５は，横方向フィルタ係数に係数０を縦方向フィルタ係数に係数０を指定する。動き探索部５６は，指定されたフィルタ係数を使って１／２位置の画像情報を作成しながら１／８位置まで動き探索を行い，Ｗｍ００と対応する動きベクトルを求める。
【００６０】
このような処理を，フィルタ係数指定部５５がフィルタの係数を変更しながら，全てのフィルタの係数のパターンについて行い，Ｗｍ００，Ｗｍ０１，Ｗｍ０２，Ｗｍ１０，Ｗｍ１１，Ｗｍ１２，Ｗｍ２０，Ｗｍ２１，Ｗｍ２２と，それに対応する動きベクトルを求める。フィルタ係数決定部５７は，Ｗｍ００，Ｗｍ０１，Ｗｍ０２，Ｗｍ１０，Ｗｍ１１，Ｗｍ１２，Ｗｍ２０，Ｗｍ２１，Ｗｍ２２のうち，値が最も小さい場合のフィルタ係数を，そのマクロブロックのフィルタ係数に決定する。
【００６１】
ここで，まず横方向に関して，探索された動きベクトルと予測動きベクトルの差分の横方向成分の値が０である場合には，フィルタ係数予測部５０２は周囲のマクロブロックのフィルタ係数からフィルタ係数を予測し，フィルタ係数再決定部５０３はフィルタの係数を予測したフィルタの係数に設定する。動き補償部５２は，フィルタ係数再決定部５０３で決定されたフィルタ係数を使って動き補償を行い現マクロブロックの画像情報を符号化する。
【００６２】
動きベクトル符号化部５０４は探索された動きベクトルと予測動きベクトルの差分の横方向成分の値を符号化する。復号部５３は符号化データを復号し復号画像を作成し，参照画像メモリ５４に蓄積する。探索された動きベクトルと予測動きベクトルの差分の横方向成分の値が０でない場合には，フィルタ係数選択動きベクトル符号化部５８は，まず横方向に関して，この時のフィルタ係数が係数０であった場合には，フィルタ係数の変更が無しとして，探索された動きベクトルと予測動きベクトルの差分の横方向成分の値を符号化する。
【００６３】
フィルタ係数が係数０でない場合には，フィルタ係数の変更が有りとして，探索された動きベクトルと予測動きベクトルの差分の横方向成分の値を符号化する。フィルタ係数符号化部５９は，横方向フィルタ係数が係数０でない場合に横方向フィルタ係数を符号化し，動き補償部５２は，フィルタ係数決定部５７で決定されたフィルタ係数を使って動き補償を行い現マクロブロックの画像情報を符号化する。復号部５３は符号化データを復号し復号画像を作成し，参照画像メモリ５４に蓄積する。
【００６４】
続いて縦方向に関しても同様に，縦方向の動きベクトルの差分とフィルタ係数を符号化する。以上の手順をすべてのマクロブロックに対して繰り返し処理する。
【００６５】
図１０は，本発明の第３の実施の形態に係る画像復号装置の概要を示す図である。この画像復号装置６は，周囲のマクロブロックの動きべクトルから予測動きベクトルを作成する予測動きベクトル作成部６５と，１／２位置の画像情報を作成する際に使用されるフィルタ係数が，予め決めた基準のフィルタ係数と異なるかどうかと，動きベクトルと前記予測動きベクトルとの差分の値の組み合わせを復号するフィルタ係数選択動きベクトル復号部６１と，動きベクトルと予測動きベクトルとの差分が０ベクトルの場合に，周囲のマクロブロックのフィルタ係数から，現領域のフィルタの係数の予測値（予測フィルタ係数）を求めるフィルタ係数予測部６６と，フィルタ係数と動きベクトルを使って予測画像を作成し予測誤差を求めて予測誤差符号化データを復号し復号画像を作成する動き補償部６３と，復号画像を蓄積する参照画像メモリ６４とを備える。
【００６６】
上記の画像符号化装置５で得られた符号化データを復号する手順を示す。符号化データは，マクロブロック毎に次のように復号される。予測動きベクトル作成部６５は予測動きベクトルを作成する。フィルタ係数選択動きベクトル復号部６１は，まず横方向に関して，符号化データの中から図９に示したルックアップテーブルを使って，フィルタ係数が係数０と異なるかどうかと，動きベクトルと予測動きベクトルとの間の差分の値の組み合わせを復号する。
【００６７】
動きベクトルと予測動きベクトルとの間の差分が０の場合には，フィルタ係数予測部６６は周囲のマクロブロックからフィルタ係数を予測し，そのマクロブロックの横方向のフィルタ係数とする。動きベクトルと予測動きベクトルとの間の差分が０では無く，フィルタ係数が係数０と異なる場合には，フィルタ係数復号部６２は，横方向フィルタ係数を復号する。
【００６８】
次に縦方向に関して，フィルタ係数選択動きベクトル復号部６１は，フィルタ係数が係数０と異なるかどうかと，動きベクトルと予測動きベクトルとの間の差分の値の組み合わせを復号する。動きベクトルと予測動きベクトルとの間の差分が０の場合には，フィルタ係数予測部６６は周囲のマクロブロックからフィルタ係数を予測し，そのマクロブロックの縦方向のフィルタ係数とする。動きベクトルと予測動きベクトルとの間の差分が０では無く，フィルタ係数が係数０と異なる場合には，フィルタ係数復号部６２は，縦方向フィルタ係数を復号する。
【００６９】
動き補償部６３は，フィルタ係数復号部６２で復号されたフィルタ係数を使って動き補償を行い，符号化データを復号して復号画像を作成し，参照画像メモリ６４に蓄積する。なお動きベクトルと予測動きベクトルとの間の差分が０では無く，フィルタ係数復号部６２でフィルタ係数を復号しない場合には，フィルタ係数を係数０に設定して動き補償を行う。
【００７０】
以上の手順をすべてのマクロブロックに対して繰り返し処理する。
【００７１】
図１１は，本発明の有効性の確認のために，画像符号化装置５を用いた場合の画像Ｍｏｂｉｌｅにおける従来方式との符号量比較結果を示す図である。図１１において，横軸は量子化スケールを表し，縦軸は従来方式と比較した場合の本方式による符号量の節減の割合を示している。シミュレーションは，ＪＭ１．９ （＋Ｍｏｔｉｏｎ Ｃｏｐｙ）を用いた。これらの結果から明らかなように，本方式は，低ビットレートにおいても効率よく符号量を低減できていることが確認できた。
【００７２】
なお，本発明の実施の形態では１／２位置の画像情報を６タップのフィルタを使って求める際の，フィルタの係数を変更する例を示したが，このタップ数は３以上の任意の正の整数を適用することが可能である。タップ数をマクロブロック毎に変更してもよい。また動き補償を行う領域としてマクロブロックを使用したが，縦横８画素のブロック等，他の矩形ブロックを使用してもよい。また１／２位置の画像情報ではなく，複数タップのフィルタによって１／４位置等の他の分数位置の画像情報を作成する際の，フィルタの係数やタップ数を変更してもよい。
【００７３】
また，本発明の実施の形態では動きベクトルとフィルタ係数を横方向と縦方向とで別々に符号化したが，同時に符号化する方法も好適である。例えば図１２に示したルックアップテーブルを使用して横方向と縦方向の動きベクトルとフィルタ係数を同時に符号化することもできる。
【００７４】
また本発明の実施の形態では，全ての動きベクトル（または動きベクトルと予測動きベクトルとの差分）とフィルタ係数の変更の有無の組み合わせに対して可変長符号化を行ったが，一部の動きベクトルの値の場合に対して行う方法も好適である。例えば動きベクトルの値の短い場合のみ，動きベクトル（または動きベクトルと予測動きベクトルとの差分）とフィルタ係数の変更の有無の組み合わせを可変長符号化し，動きベクトルの値の長い場合にはフィルタ係数の変更の有無やフィルタ係数自体を個別に符号化する手法が挙げられる。
【００７５】
動きベクトルの絶対値が０ではフィルタ係数を周囲の領域から予測し，絶対値が１／４では動きベクトルとフィルタ係数の変更の有無の組み合わせを符号化し，絶対値が１／２以上の値ではまず動きベクトルを符号化し，次にフィルタの係数を符号化する方法が挙げられる。この場合の動きベクトルのルックアップテーブルの例を図１３に示す。
【００７６】
このように本方式によれば，分数位置の画像情報をフィルタ方法で作成する際に，フィルタの係数と動きベクトルの組み合わせを符号化することにより，フィルタ係数を動きベクトルとは別に符号化する際の符号量の増加を避けることができる。
【００７７】
【発明の効果】
本発明によれば，画像を領域に分割し，分数位置の画像情報をフィルタ方法で作成して動き補償する画像符号化方法において，領域毎に分数位置の画像情報を作成するフィルタの係数と動きベクトルの組み合わせを符号化することにより，フィルタ係数を動きベクトルとは別に符号化する際の符号量の増加を避けることができる。
【図面の簡単な説明】
【図１】第１の実施の形態の画像符号化装置の構成図である。
【図２】フィルタ係数変更の有無と動きベクトルの組み合わせの可変長符号の一例を示す図である。
【図３】フィルタ係数の可変長符号の一例を示す図である。
【図４】第１の実施の形態の画像復号装置の構成図である。
【図５】第２の実施の形態の画像符号化装置の構成図である。
【図６】フィルタ係数変更の有無と動きベクトルの組み合わせの可変長符号の一例を示す図である。
【図７】第２の実施の形態の画像復号装置の構成図である。
【図８】第３の実施の形態の画像符号化装置の構成図である。
【図９】フィルタ係数変更の有無と動きベクトルの組み合わせの可変長符号の一例を示す図である。
【図１０】第３の実施の形態の画像復号装置の構成図である。
【図１１】本方式による符号量の節減の効果を示す図である。
【図１２】フィルタ係数変更の有無と動きベクトルの組み合わせの可変長符号の一例を示す図である。
【図１３】フィルタ係数変更の有無と動きベクトルの組み合わせの可変長符号の一例を示す図である。
【図１４】ブロックマッチングの概念図である。
【図１５】画像情報の線形補間の一例を示す図である。
【図１６】１／２精度の画像情報を求めるフィルタ方法の一例を示す図である。
【図１７】現マクロブロックと周囲のマクロブロックの位置関係を示す図である。
【図１８】動きベクトルの可変長符号の一例を示す図である。
【符号の説明】
１，３，５ 画像符号化装置
２，４，６ 画像復号装置
１１，３１，５１ 画像入力部
１２，３２，５２ 動き補償部
１３，３３，５３ 復号部
１４，３４，５４ 参照画像メモリ
１５，３５，５５ フィルタ係数指定部
１６，３６，５６ 動き探索部
１７，３７，５７ フィルタ係数決定部
１８，３８，５８ フィルタ係数選択動きベクトル符号化部
１９，３９，５９ フィルタ係数符号化部
３０１，５０１ 予測動きベクトル作成部
５０２ フィルタ係数予測部
５０３ フィルタ係数再決定部
５０４ 動きベクトル符号化部
２１，４１，６１ フィルタ係数選択動きベクトル復号部
２２，４２，６２ フィルタ係数復号部
２３，４３，６３ 動き補償部
２４，４４，６４ 参照画像メモリ
４５，６５ 予測動きベクトル作成部
６６ フィルタ係数予測部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a technique for encoding and decoding moving images, and in particular, information indicating whether a coefficient of a filter for creating image information at a fractional position for each divided area of a screen is set to a predetermined reference value or changed. TECHNICAL FIELD The present invention relates to an image encoding method, an image decoding method, an image encoding device, and an image decoding device capable of improving encoding efficiency by encoding a combination of image information and motion vector information.
[0002]
[Prior art]
In the motion compensation coding method, a predicted image is created from image information in a reference frame for each region such as a macroblock (hereinafter, referred to as MB) or a block, and a difference (prediction error) between the image and a current frame image is calculated. Encode. In general, in normal motion compensation, the difference between the position of the current frame area and the position of the predicted image is the amount of parallel movement (x, y) of the entire area, and is called a motion vector. In general, a block matching method is used as a method for searching for a predicted image.
[0003]
In block matching, a square search range (search window) centered on the region to be encoded is set in the reference frame, and the difference in image information between pixels in the region of the current frame and pixels in the search window is determined. The smallest position is searched in the search window. As a method of calculating the difference, an absolute value difference sum, a mean square error, or the like is used. FIG. 14 shows a conceptual diagram of block matching. Formula (1) shows a method of calculating the absolute value difference sum W (x, y). The smaller the difference, the smaller the prediction error and the higher the coding efficiency.
[0004]
(Equation 1)
The block size is N × N pixels, (i, j) is the pixel position in the block, and f (a, b, c) is the pixel value of the pixel position (a, b) in the encoding target block in the frame c. Is represented.
[0006]
A motion vector can be expressed with any of integer precision, fractional precision, and real precision. With fractional precision and real precision, it is necessary to create image information at positions where there are no actual pixels. In the case of the fractional precision and the real precision, the image information at the corresponding position is obtained from the image information of pixels at surrounding integer positions. For example, in a case where the image information at the position (a, b) is obtained from the upper left pixel as shown in FIG. With real number precision, image information at an arbitrary position can be created. However, since the calculation precision may be different between the encoding side and the decoding side, decoding may not be performed correctly on the decoding side.
[0007]
(Equation 2)
As a method of obtaining real-precision or fraction-accurate image information from pixel information at integer positions, image information at fractional positions is created by a method other than linear interpolation, and then parallelized using image information at integer positions and fractional positions. It is also possible to obtain image information of the moving position. For example, image information at a 1/2 precision position is obtained from a plurality of surrounding pixels by a filter having a long tap number, and then image information at a 1/4 precision or 1/8 precision position is converted to an integer precision and 1/2 precision image It is also possible to obtain from information by linear interpolation.
[0009]
First, a filter having the number of taps M in the horizontal direction is applied to image information at M integer pixel positions, thereby creating image information at a position with 1/2 accuracy in the horizontal direction. Next, a filter having the number of taps N in the vertical direction is applied to the image information at N integer pixel positions or the image information at N half-precision positions to create image information at the half-precision position in the vertical direction. . The coefficient of the filter with 6 taps is, for example,
(1/32, -5/32, 20/32, 20/32, -5/32, 1/32). The coefficients of the filter may be symmetric or asymmetric.
[0010]
FIGS. 16A and 16B show an example of a filtering method for obtaining image information with 1/2 accuracy when the number of taps is four. Image information at 1/4 precision and 1/8 precision positions may also be obtained by applying a filter method instead of linear interpolation. Also, instead of using the image information at the position of 1/2 precision, the value may be directly obtained from an integer position using a filter of an asymmetric filter coefficient.
[0011]
FIG. 17 is a diagram showing a positional relationship between a current macroblock and surrounding macroblocks. The difference between the motion vector (x, y) in the current area and the vector predicted from the motion vector in the surrounding area is obtained, and this difference information is entropy-encoded. For example, when the area of the current macroblock MVc and the areas of the surrounding macroblocks MV1, MV2, and MV3 have the positional relationship shown in FIG. 17, the motion vectors of the surrounding areas are (x1, y1), (x2, y2), (X3, y3), and assuming that the prediction vector is (px, py), px is set to an intermediate value among x1, x2, and x3, and py is set to an intermediate value among y1, y2, and y3. .
[0012]
FIG. 18 shows an example of a table when the difference between motion vectors is subjected to variable-length encoding using a look-up table.
[0013]
Note that, as methods for reducing prediction errors by adaptively changing filter coefficients in units of frames or macroblocks, methods described in the following
[0014]
[Non-patent document 1]
T. Wedi, "Adaptive Interpolation Filter for Motion Compensated Hybrid Video Coding", Picture Coding Symposium (PCS 2001), 2001.
[Non-patent document 2]
Kei-ichi Chono and Yoshihiro Miyamoto, "Modified Adaptive Interpolation Filter", JVT-D078, Joint Video Team, JET I / O MPEG I / O METS
[0015]
[Problems to be solved by the invention]
When the image is divided into regions and encoded, when the image information at the fractional position such as 1/2 precision is created by the filtering method, if the filter coefficient is changed for each region, a predicted image with less prediction error can be obtained. It is possible to create. Therefore, it is conceivable to encode the filter coefficients for each region. However, if the prediction error is not reduced by changing the filter, the filter amount is encoded for all regions. Will increase.
[0016]
The present invention solves the above-described problems, and enables an interpolation filter for motion compensation to be changed for each block, reduces the overhead of information for specifying the filter coefficient, and reduces the code amount in image coding. It is intended to be.
[0017]
[Means for Solving the Problems]
In order to solve the above problems, the present invention uses the following method.
[0018]
According to a first aspect of the present invention, image information at a fractional position is created from image information of a frame that has already been encoded, for each area obtained by dividing the image of the current frame (hereinafter referred to as the current area), and the image information at the fractional position is created. An image encoding method for encoding a prediction error between the two, wherein a coefficient of a filter for creating image information at a fractional position is determined, a motion search step for searching for a motion vector, and a filter determined in the motion search step. A motion compensation step of generating a prediction image using the coefficients and the motion vector, obtaining a prediction error and encoding the prediction error, and whether a filter coefficient determined in the motion search step is different from a predetermined reference filter coefficient. And a filter coefficient selection motion vector coding step for coding the combination of the searched motion vector values, and the filter determined in the motion search step. Data coefficients, and having a filter coefficient encoding step of encoding the information for specifying the filter coefficients is different from the filter coefficients of predetermined criteria.
[0019]
According to the first aspect, the combination of the information indicating whether the coefficient of the filter for creating the image information at the fractional position in the motion compensation is to be set to a predetermined reference or changed, and the combination of the motion vector information is a variable length code. Can be
[0020]
For each filter whose coefficient has been changed, the prediction error is less reduced by changing the coefficient of the filter from the reference, but the total occurrence frequency of the filter whose coefficient has been changed is about the same as that of the filter whose coefficient is not changed In this case, for one motion vector value, the frequency of occurrence when the coefficient of the filter is not changed and the frequency of occurrence when the coefficient is changed are almost the same.
[0021]
On the other hand, the occurrence frequency of the motion vector value tends to decrease as the absolute value increases. Therefore, the frequency of occurrence when the value of a certain motion vector is changed and the coefficient of the filter is changed is higher than that when the coefficient of the filter is not changed because the motion vector has a larger value than the motion vector.
[0022]
Therefore, in a method of assigning a variable-length code to a combination of information indicating whether a filter coefficient is to be a predetermined reference or to be changed and a combination of motion vector information, a filter coefficient having a certain motion vector value is used. If the code length when changed is shorter than the code length when the coefficient of the filter is not changed because the motion vector has a larger value than the motion vector, the code length becomes shorter as the frequency of the combination increases. Table can be created. As a result, the code amount when the value of the motion vector is small and the filter coefficient is not changed can be made smaller than when the motion vector and the filter coefficient are individually encoded.
[0023]
According to a second aspect of the present invention, for each area (hereinafter, referred to as a current area) obtained by dividing the image of the current frame, image information of a fractional position is created from image information of an already encoded frame, and image information of the fractional position is created. An image encoding method for encoding a prediction error between the motion vectors, wherein a coefficient of a filter for creating image information at a fractional position is determined, and a motion search step for searching for a motion vector; Calculating a motion vector, calculating a difference between the obtained predicted motion vector and the motion vector searched in the motion search step, and generating a predicted image using the filter coefficient and the motion vector determined in the motion search step. The motion compensation step of creating and calculating the prediction error and encoding the prediction error, and the filter coefficient determined in the motion search step are based on a predetermined basis. And a filter coefficient selection motion vector encoding step for encoding a combination of values of the difference between the motion vectors, and a filter coefficient determined in the motion search step are defined as a predetermined reference filter coefficient. And a filter coefficient encoding step of encoding information for designating the filter coefficient when different.
[0024]
According to the second aspect, instead of encoding the motion vector itself as in the first aspect, the prediction motion vector predicted from the motion vector of the surrounding already coded area and the motion vector of the current area are not used. When encoding the difference of the motion vector, the amount of code when the value of the difference between the motion vectors is small and the filter coefficient is not changed is made smaller than when the difference between the motion vector and the coefficient of the filter are individually encoded. Can be.
[0025]
According to a third aspect of the present invention, image information of a fractional position is created from image information of a frame that has already been encoded, for each area obtained by dividing the image of the current frame (hereinafter, referred to as a current area), and the image information of the fractional position is created. An image encoding method for encoding a prediction error between the motion vectors, wherein a coefficient of a filter for creating image information at a fractional position is determined, and a motion search step for searching for a motion vector; Calculating a motion vector, calculating a motion vector difference calculating step of calculating a difference between the obtained predicted motion vector and the motion vector searched in the motion search step, and a filter coefficient of a current area from a filter coefficient of a surrounding area; And a filter coefficient prediction step for calculating a prediction filter coefficient), and when the value of the motion vector difference created in the motion vector difference creation step is 0, In addition, a filter coefficient re-determining step of setting the filter coefficient of the current area to be the same as the prediction filter coefficient, and a motion of generating a prediction image using the determined filter coefficient and the motion vector, obtaining a prediction error, and encoding the prediction error. The method is characterized by including a compensation step and a motion vector encoding step of encoding a difference (0 vector) between motion vectors.
[0026]
According to the third aspect of the present invention, when encoding the difference between the motion vector of the current region and the prediction vector predicted from the motion vector of the surrounding already encoded region, the filter of the case where the difference is 0 vector is used. By predicting the coefficients from the filter coefficients of the surrounding area that have already been coded, it is possible to avoid an increase in the code amount due to coding of the filter coefficients. Since an area where the difference is a zero vector is considered to be moving in the same manner as the surrounding area, the frequency of the same filter coefficient increases.
[0027]
BEST MODE FOR CARRYING OUT THE INVENTION
An embodiment of the present invention will be described with reference to the drawings.
[0028]
[First Embodiment]
In the first embodiment, １ ／ position image information is created by a 6-tap filter, and １ ／ position image information is created from ／ position or integer position image information. An example of a method of performing variable-length encoding on a combination of information indicating whether to change the coefficient of a filter for creating image information at a 1/2 position from a reference value and a value of a motion vector will be described. It is assumed that an input image is encoded for each macroblock.
[0029]
FIG. 1 shows an outline of an image encoding device according to a first embodiment of the present invention. The
[0030]
Of the filter coefficients specified by the filter
(1/32, -5/32, 20/32, 20/32, -5/32, 1/32). This is called a
[0031]
In addition, as
(1/32, -5/32, 27/32, 12/32, -4/32, 1/32), and as the
(1/32, -4/32, 12/32, 27/32, -5/32, 1/32).
[0032]
The filter
[0033]
The equation for calculating Wm is shown in equation (3). Nmv (x, y) is the code amount of the motion vector (x, y).
[0034]
[Equation 3]
The
[0036]
The filter coefficient selection motion
[0037]
According to the look-up table of FIG. 2, the code amount when the reference filter coefficient is used with the 0 vector is 1 bit, and the increase in the code amount that occurs when coding whether or not the filter coefficient is changed is calculated with respect to the 0 vector. Can be avoided.
[0038]
Under such a premise, the current image is encoded as follows in macroblock units. First, the
[0039]
The filter
[0040]
The vertical motion vector is encoded similarly. The filter
[0041]
FIG. 4 is a diagram illustrating an outline of the image decoding device according to the first embodiment of the present invention. The
[0042]
A procedure for decoding the encoded data obtained by the
[0043]
The
[0044]
[Second embodiment]
Next, as a second embodiment, an example will be described in which the motion vector encoding unit encodes not the motion vector itself but a difference from the predicted motion vector. Also, assume that the image information at the の position is created by a 6-tap filter, and then the image information at the ４ position and the ８ position are created by linear interpolation.
[0045]
FIG. 5 is a diagram illustrating an outline of an image encoding device according to the second embodiment. The
[0046]
The operations of the filter
[0047]
Under such a premise, the current image is encoded as follows in macroblock units. First, the
[0048]
Such processing is performed for all the filter coefficient patterns while the filter
[0049]
When the filter coefficient at this time is 0 in the horizontal direction, the filter coefficient selection motion
[0050]
The
[0051]
FIG. 7 is a diagram illustrating an outline of an image decoding device according to the second embodiment of the present invention. The
[0052]
A procedure for decoding encoded data obtained by the
[0053]
The
[0054]
[Third Embodiment]
Next, as a third embodiment, an example in which the motion vector encoding unit encodes a difference from a predicted motion vector instead of the motion vector itself will be described. Also, assume that the image information at the の position is created by a 6-tap filter, and then the image information at the ４ position and the ８ position are created by linear interpolation.
[0055]
FIG. 8 is a diagram showing an outline of an image encoding device according to the third embodiment of the present invention. The
[0056]
The operations of the filter coefficient designating section 55, the
[0057]
When the filter coefficient is not determined again by the filter
[0058]
In addition, the filter
[0059]
Under such a premise, the current image is encoded as follows in macroblock units. First, the
[0060]
Such processing is performed for all the filter coefficient patterns while the filter coefficient designating section 55 changes the filter coefficients, and Wm00, Wm01, Wm02, Wm10, Wm11, Wm12, Wm20, Wm21, Wm22, and Find the corresponding motion vector. The filter
[0061]
Here, first, in the horizontal direction, if the value of the horizontal component of the difference between the searched motion vector and the predicted motion vector is 0, the filter
[0062]
The motion
[0063]
If the filter coefficient is not 0, it is determined that the filter coefficient has changed, and the value of the horizontal component of the difference between the searched motion vector and the predicted motion vector is encoded. The filter
[0064]
Subsequently, similarly, in the vertical direction, the difference between the vertical motion vectors and the filter coefficient are encoded. The above procedure is repeated for all macroblocks.
[0065]
FIG. 10 is a diagram illustrating an outline of an image decoding device according to the third embodiment of the present invention. The
[0066]
A procedure for decoding encoded data obtained by the
[0067]
When the difference between the motion vector and the predicted motion vector is 0, the filter
[0068]
Next, in the vertical direction, the filter coefficient selection motion
[0069]
The
[0070]
The above procedure is repeated for all macroblocks.
[0071]
FIG. 11 is a diagram illustrating a comparison result of a code amount between an image Mobile and a conventional method when the
[0072]
In the embodiment of the present invention, an example is shown in which the filter coefficient is changed when obtaining the image information at the 1/2 position using a 6-tap filter. It is possible to apply an integer of The number of taps may be changed for each macroblock. Although a macro block is used as a region for performing motion compensation, another rectangular block such as a block of 8 pixels in length and width may be used. Instead of the image information at the 1/2 position, the filter coefficient and the number of taps may be changed when creating image information at another fractional position such as the 1/4 position using a filter with a plurality of taps.
[0073]
In the embodiment of the present invention, the motion vector and the filter coefficient are separately coded in the horizontal direction and the vertical direction. However, a method of simultaneously coding is also preferable. For example, the horizontal and vertical motion vectors and the filter coefficients can be simultaneously encoded using the look-up table shown in FIG.
[0074]
In the embodiment of the present invention, the variable length coding is performed on all the motion vectors (or the difference between the motion vector and the predicted motion vector) and the combination of whether or not the filter coefficient is changed. A method performed for a vector value is also preferable. For example, only when the value of the motion vector is short, the combination of the motion vector (or the difference between the motion vector and the predicted motion vector) and the presence or absence of the change of the filter coefficient is variable-length coded. , And a method of individually encoding the filter coefficient itself.
[0075]
When the absolute value of the motion vector is 0, the filter coefficient is predicted from the surrounding area. When the absolute value is 1/4, the combination of the change of the motion vector and the filter coefficient is encoded. First, there is a method of coding a motion vector, and then coding a coefficient of a filter. FIG. 13 shows an example of a motion vector lookup table in this case.
[0076]
As described above, according to this method, when the image information at the fractional position is created by the filtering method, the combination of the filter coefficient and the motion vector is encoded, so that the filter coefficient is encoded separately from the motion vector. Can be avoided.
[0077]
【The invention's effect】
According to the present invention, in an image encoding method in which an image is divided into regions and image information at a fractional position is created by a filter method and motion is compensated, a coefficient and a motion of a filter for creating image information at a fractional position for each region By coding a combination of vectors, it is possible to avoid an increase in the code amount when coding the filter coefficients separately from the motion vector.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of an image encoding device according to a first embodiment.
FIG. 2 is a diagram illustrating an example of a variable-length code of a combination of presence / absence of a change in a filter coefficient and a motion vector.
FIG. 3 is a diagram illustrating an example of a variable length code of a filter coefficient.
FIG. 4 is a configuration diagram of an image decoding device according to the first embodiment.
FIG. 5 is a configuration diagram of an image encoding device according to a second embodiment.
FIG. 6 is a diagram illustrating an example of a variable-length code of a combination of presence / absence of a change in a filter coefficient and a motion vector.
FIG. 7 is a configuration diagram of an image decoding device according to a second embodiment.
FIG. 8 is a configuration diagram of an image encoding device according to a third embodiment.
FIG. 9 is a diagram illustrating an example of a variable length code of a combination of presence / absence of a change in a filter coefficient and a motion vector.
FIG. 10 is a configuration diagram of an image decoding device according to a third embodiment.
FIG. 11 is a diagram illustrating an effect of saving a code amount by the present method.
FIG. 12 is a diagram illustrating an example of a variable-length code of a combination of presence / absence of a filter coefficient change and a motion vector.
FIG. 13 is a diagram illustrating an example of a variable length code of a combination of presence / absence of a change in a filter coefficient and a motion vector.
FIG. 14 is a conceptual diagram of block matching.
FIG. 15 is a diagram illustrating an example of linear interpolation of image information.
FIG. 16 is a diagram illustrating an example of a filtering method for obtaining image information with half precision.
FIG. 17 is a diagram showing a positional relationship between a current macroblock and surrounding macroblocks.
FIG. 18 is a diagram illustrating an example of a variable length code of a motion vector.
[Explanation of symbols]
1,3,5 image coding device
2,4,6 image decoding device
11, 31, 51 Image input unit
12, 32, 52 motion compensator
13, 33, 53 decoding unit
14, 34, 54 Reference image memory
15, 35, 55 Filter coefficient designator
16,36,56 Motion search unit
17, 37, 57 Filter coefficient determination unit
18, 38, 58 Filter coefficient selection motion vector coding unit
19, 39, 59 Filter coefficient coding unit
301, 501 Predicted motion vector creation unit
502 Filter coefficient prediction unit
503 Filter coefficient re-determination unit
504 motion vector coding unit
21, 41, 61 Filter coefficient selection motion vector decoding unit
22,42,62 Filter coefficient decoding unit
23, 43, 63 Motion compensation unit
24,44,64 Reference image memory
45,65 Predicted motion vector generator
66 Filter coefficient prediction unit
Claims (16)
分数位置の画像情報を作成するフィルタの係数を決定し，動きベクトルを探索する動き探索ステップと，
前記動き探索ステップで決定したフィルタ係数と動きベクトルとを使って予測画像を作成し，予測誤差を求めて予測誤差を符号化する動き補償ステップと，
前記動き探索ステップで決定したフィルタ係数が，予め決めた基準のフィルタ係数と異なるかどうかと，探索された動きベクトルの値との組み合わせを符号化するフィルタ係数選択動きベクトル符号化ステップと，
前記動き探索ステップで決定したフィルタ係数が，予め決めた基準のフィルタ係数と異なる場合にフィルタ係数を指定する情報を符号化する係数符号化ステップとを有する
ことを特徴とする画像符号化方法。An image coding method that creates image information at a fractional position from image information of a frame that has already been encoded for each region obtained by dividing the image of the current frame, and encodes a prediction error between the image information at the fractional position. So,
A motion search step for determining a coefficient of a filter for creating image information at a fractional position and searching for a motion vector;
A motion compensation step of creating a prediction image using the filter coefficient and the motion vector determined in the motion search step, obtaining a prediction error, and encoding the prediction error;
Whether the filter coefficient determined in the motion search step is different from a predetermined reference filter coefficient, and a filter coefficient selection motion vector coding step of coding a combination of the value of the searched motion vector;
A coefficient encoding step of encoding information specifying the filter coefficient when the filter coefficient determined in the motion search step is different from a predetermined reference filter coefficient.
分数位置の画像情報を作成するフィルタの係数を決定し，動きベクトルを探索する動き探索ステップと，
周囲の領域の動きベクトルから予測動きベクトルを求め，求めた予測動きベクトルと，前記動き探索ステップで探索した動きベクトルの差分を求める動きベクトル差分作成ステップと，
前記動き探索ステップで決定したフィルタ係数と動きベクトルとを使って予測画像を作成し，予測誤差を求めて予測誤差を符号化する動き補償ステップと，
前記動き探索ステップで決定したフィルタ係数が，予め決めた基準のフィルタ係数と異なるかどうかと，動きベクトルの差分の値との組み合わせを符号化するフィルタ係数選択動きベクトル符号化ステップと，
前記動き探索ステップで決定したフィルタ係数が，予め決めた基準のフィルタ係数と異なる場合にフィルタ係数を指定する情報を符号化するフィルタ係数符号化ステップとを有する
ことを特徴とする画像符号化方法。An image coding method that creates image information at a fractional position from image information of a frame that has already been encoded for each region obtained by dividing the image of the current frame, and encodes a prediction error between the image information at the fractional position. So,
A motion search step for determining a coefficient of a filter for creating image information at a fractional position and searching for a motion vector;
A motion vector difference creating step for obtaining a predicted motion vector from a motion vector of a surrounding area and obtaining a difference between the obtained predicted motion vector and the motion vector searched in the motion search step;
A motion compensation step of creating a prediction image using the filter coefficient and the motion vector determined in the motion search step, obtaining a prediction error, and encoding the prediction error;
A filter coefficient selection motion vector encoding step for encoding a combination of whether the filter coefficient determined in the motion search step is different from a predetermined reference filter coefficient and a value of a motion vector difference;
A filter coefficient encoding step of encoding information designating the filter coefficient when the filter coefficient determined in the motion search step is different from a predetermined reference filter coefficient.
分数位置の画像情報を作成するフィルタの係数を決定し，動きベクトルを探索する動き探索ステップと，
周囲の領域の動きベクトルから予測動きベクトルを求め，求めた予測動きベクトルと，前記動き探索ステップで探索した動きベクトルの差分を求める動きベクトル差分作成ステップと，
周囲の領域のフィルタ係数から，現領域のフィルタの係数の予測値である予測フィルタ係数を求めるフィルタ係数予測ステップと，
前記動きベクトル差分作成ステップで作成した動きベクトルの差分の値が０である場合に，現領域のフィルタ係数を前記予測フィルタ係数と同じに設定するフィルタ係数再決定ステップと，
決定したフィルタ係数と動きベクトルとを使って予測画像を作成し，予測誤差を求めて予測誤差を符号化する動き補償ステップと，
動きベクトルの差分を符号化する動きベクトル符号化ステップとを有する
ことを特徴とする画像符号化方法。An image coding method for creating image information at a fractional position from image information of an already encoded frame for each area obtained by dividing the image of the current frame, and encoding a prediction error between the image information at the fractional position and the image information And
A motion search step for determining a coefficient of a filter for creating image information at a fractional position and searching for a motion vector;
A motion vector difference creating step for obtaining a predicted motion vector from a motion vector of a surrounding area and obtaining a difference between the obtained predicted motion vector and the motion vector searched in the motion search step;
A filter coefficient prediction step for obtaining a prediction filter coefficient which is a predicted value of a filter coefficient of a current area from a filter coefficient of a surrounding area;
A filter coefficient re-determining step of setting a filter coefficient of a current area to be the same as the prediction filter coefficient when a difference value of the motion vector created in the motion vector difference creating step is 0;
A motion compensation step of creating a prediction image using the determined filter coefficients and the motion vector, obtaining a prediction error, and encoding the prediction error;
A motion vector encoding step of encoding a difference between motion vectors.
分数位置の画像情報を作成する際に使用されるフィルタ係数が，予め決めた基準のフィルタ係数と異なるかどうかと，動きベクトルの値の組み合わせを復号するフィルタ係数選択動きベクトル復号ステップと，
分数位置の画像情報を作成する際に使用されるフィルタ係数が，予め決めた基準のフィルタ係数と異なる場合にフィルタ係数を指定する情報を復号するフィルタ係数復号ステップと，
復号したフィルタ係数と動きベクトルとを使って予測画像を作成し，予測誤差を求めて予測誤差符号化データを復号し復号画像を作成する動き補償ステップとを有する
ことを特徴とする画像復号方法。An image in which image information at a fractional position is created from image information of a frame that has already been decoded, and encoded data for each area obtained by dividing the image of the current frame is decoded using a prediction error between the image information at the fractional position and the image information. A decryption method,
A filter coefficient selection motion vector decoding step for decoding whether or not a filter coefficient used for creating image information at a fractional position is different from a predetermined reference filter coefficient;
A filter coefficient decoding step of decoding information specifying a filter coefficient when a filter coefficient used in creating image information at a fractional position is different from a predetermined reference filter coefficient;
A motion compensation step of generating a prediction image using the decoded filter coefficients and the motion vector, obtaining a prediction error, decoding the prediction error coded data to generate a decoded image.
周囲の領域の動きベクトルから予測動きベクトルを作成する予測動きベクトル作成ステップと，
分数位置の画像情報を作成する際に使用されるフィルタ係数が，予め決めた基準のフィルタ係数と異なるかどうかと，動きベクトルと前記予測動きベクトルとの差分の値の組み合わせを復号するフィルタ係数選択動きベクトル復号ステップと，
予測動きベクトルと，前記フィルタ係数選択動きベクトル復号ステップで求めた動きベクトルの差分から，動きベクトルを作成する動きベクトル作成ステップと，
分数位置の画像情報を作成する際に使用されるフィルタ係数が，予め決めた基準のフィルタ係数と異なる場合にフィルタ係数を指定する情報を復号するフィルタ係数復号ステップと，
復号したフィルタ係数と動きベクトルとを使って予測画像を作成し，予測誤差を求めて予測誤差符号化データを復号し復号画像を作成する動き補償ステップとを有する
ことを特徴とする画像復号方法。An image in which image information at a fractional position is created from image information of a frame that has already been decoded, and encoded data for each area obtained by dividing the image of the current frame is decoded using a prediction error between the image information at the fractional position and the image information. A decryption method,
A predicted motion vector generating step of generating a predicted motion vector from a motion vector of a surrounding area;
Whether a filter coefficient used for generating image information at a fractional position is different from a predetermined reference filter coefficient, and a filter coefficient selection for decoding a combination of a difference value between a motion vector and the predicted motion vector A motion vector decoding step;
A motion vector creating step for creating a motion vector from a difference between the predicted motion vector and the motion vector obtained in the filter coefficient selection motion vector decoding step;
A filter coefficient decoding step of decoding information specifying a filter coefficient when a filter coefficient used in creating image information at a fractional position is different from a predetermined reference filter coefficient;
A motion compensation step of generating a prediction image using the decoded filter coefficients and the motion vector, obtaining a prediction error, decoding the prediction error coded data to generate a decoded image.
周囲の領域の動きベクトルから予測動きベクトルを作成する予測動きベクトル作成ステップと，
周囲の領域のフィルタ係数から，現領域のフィルタの係数の予測値である予測フィルタ係数を求めるフィルタ係数予測ステップと，
分数位置の画像情報を作成する際に使用されるフィルタ係数が，予め決めた基準のフィルタ係数と異なるかどうかと，動きベクトルと前記予測動きベクトルとの差分の値の組み合わせを復号するフィルタ係数選択動きベクトル復号ステップと，
動きベクトルと前記予測動きベクトルとの差分が０ベクトルである場合に，現領域のフィルタ係数を予測フィルタ係数と同じに設定するフィルタ係数再決定ステップと，
予測動きベクトルと，前記フィルタ係数選択動きベクトル復号ステップで求めた動きベクトルの差分から，動きベクトルを作成する動きベクトル作成ステップと，
前記フィルタ係数再決定ステップで設定したフィルタ係数と動きベクトルとを使って予測画像を作成し，予測誤差を求めて予測誤差符号化データを復号し復号画像を作成する動き補償ステップとを有する
ことを特徴とする画像復号方法。Image decoding method for generating image information at a fractional position from image information of a frame already decoded, and decoding encoded data for each area obtained by dividing the current frame using a prediction error between the image information at the fractional position and the image information And
A predicted motion vector generating step of generating a predicted motion vector from a motion vector of a surrounding area;
A filter coefficient prediction step for obtaining a prediction filter coefficient which is a predicted value of a filter coefficient of a current area from a filter coefficient of a surrounding area;
Whether a filter coefficient used for generating image information at a fractional position is different from a predetermined reference filter coefficient, and a filter coefficient selection for decoding a combination of a difference value between a motion vector and the predicted motion vector A motion vector decoding step;
When the difference between the motion vector and the predicted motion vector is a zero vector, a filter coefficient redetermining step of setting the filter coefficient of the current area to be the same as the predicted filter coefficient;
A motion vector creating step for creating a motion vector from a difference between the predicted motion vector and the motion vector obtained in the filter coefficient selection motion vector decoding step;
A motion compensation step of generating a prediction image using the filter coefficients and the motion vector set in the filter coefficient redetermining step, obtaining a prediction error, decoding prediction error coded data and generating a decoded image. A featured image decoding method.
現フレームの画像を入力する画像入力部と，
分数位置の画像情報を作成するフィルタの係数を指定するフィルタ係数指定部と，
前記フィルタ係数指定部で指定されたフィルタの係数を使って分数位置の画像情報を作成し動きベクトルを探索する動き探索部と，
前記動き探索部での動き探索結果を使い，分数位置の画像情報を作成するフィルタの係数を決定するフィルタ係数決定部と，
決定されたフィルタ係数と探索された動きベクトルとを使って予測画像を作成し，予測誤差を求めて予測誤差を符号化する動き補償部と，
前記フィルタ係数決定部で決定されたフィルタ係数が，予め決めた基準のフィルタ係数と異なるかどうかと，前記動き探索部で探索された動きベクトルの値との組み合わせを符号化するフィルタ係数選択動きベクトル符号化部と，
フィルタ係数を指定する情報を符号化するフィルタ係数符号化部と，
予測誤差符号化データを復号する復号部と，
復号画像を蓄積する参照画像メモリとを備える
ことを特徴とする画像符号化装置。An image coding apparatus for generating image information at a fractional position from image information of a frame that has already been encoded for each region obtained by dividing the image of the current frame, and encoding a prediction error between the image information at the fractional position and the image information And
An image input unit for inputting an image of the current frame;
A filter coefficient designating unit for designating a coefficient of a filter for creating image information at a fraction position,
A motion search unit that creates image information at a fractional position using a filter coefficient specified by the filter coefficient specification unit and searches for a motion vector;
A filter coefficient determining unit that determines a coefficient of a filter that creates image information at a fractional position using a result of the motion search performed by the motion search unit;
A motion compensation unit that creates a prediction image using the determined filter coefficients and the searched motion vector, obtains a prediction error, and encodes the prediction error;
A filter coefficient selection motion vector that encodes a combination of whether the filter coefficient determined by the filter coefficient determination unit is different from a predetermined reference filter coefficient and a value of the motion vector searched by the motion search unit; An encoding unit;
A filter coefficient encoding unit that encodes information specifying a filter coefficient,
A decoding unit for decoding the prediction error encoded data,
An image encoding device, comprising: a reference image memory for storing a decoded image.
現フレームの画像を入力する画像入力部と，
分数位置の画像情報を作成するフィルタの係数を指定するフィルタ係数指定部と，
前記フィルタ係数指定部で指定されたフィルタの係数を使って分数位置の画像情報を作成し動きベクトルを探索する動き探索部と，
前記動き探索部での動き探索結果を使い，分数位置の画像情報を作成するフィルタの係数を決定するフィルタ係数決定部と，
周囲の領域の動きベクトルから予測動きベクトルを求める予測動きベクトル作成部と，
決定されたフィルタ係数と探索された動きベクトルとを使って予測画像を作成し，予測誤差を求めて予測誤差を符号化する動き補償部と，
前記フィルタ係数決定部で決定されたフィルタ係数が，予め決めた基準のフィルタ係数と異なるかどうかと，前記動き探索部で探索された動きベクトルと前記予測動きベクトル作成部で作成された予測動きベクトルとの差分の値との組み合わせを符号化するフィルタ係数選択動きベクトル符号化部と，
フィルタ係数を指定する情報を符号化するフィルタ係数符号化部と，
予測誤差符号化データを復号する復号部と，
復号画像を蓄積する参照画像メモリとを備える
ことを特徴とする画像符号化装置。An image coding apparatus that creates image information at a fractional position from image information of a frame that has already been encoded for each region obtained by dividing the image of the current frame, and encodes a prediction error between the image information at the fractional position. So,
An image input unit for inputting an image of the current frame;
A filter coefficient designating unit for designating a coefficient of a filter for creating image information at a fraction position,
A motion search unit that creates image information at a fractional position using a filter coefficient specified by the filter coefficient specification unit and searches for a motion vector;
A filter coefficient determining unit that determines a coefficient of a filter that creates image information at a fractional position using a result of the motion search performed by the motion search unit;
A predicted motion vector generating unit for obtaining a predicted motion vector from a motion vector of a surrounding area;
A motion compensation unit that creates a prediction image using the determined filter coefficients and the searched motion vector, obtains a prediction error, and encodes the prediction error;
Whether the filter coefficient determined by the filter coefficient determination unit is different from a predetermined reference filter coefficient, the motion vector searched by the motion search unit, and the predicted motion vector generated by the predicted motion vector generation unit. A filter coefficient selection motion vector coding unit for coding a combination with a difference value between
A filter coefficient encoding unit that encodes information specifying a filter coefficient,
A decoding unit for decoding the prediction error encoded data,
An image encoding device, comprising: a reference image memory for storing a decoded image.
現フレームの画像を入力する画像入力部と，
分数位置の画像情報を作成するフィルタの係数を指定するフィルタ係数指定部と，
前記フィルタ係数指定部で指定されたフィルタの係数を使って分数位置の画像情報を作成し動きベクトルを探索する動き探索部と，
前記動き探索部での動き探索結果を使い，分数位置の画像情報を作成するフィルタの係数を決定するフィルタ係数決定部と，
周囲の領域の動きベクトルから予測動きベクトルを求める予測動きベクトル作成部と，
周囲の領域のフィルタ係数から，現領域のフィルタの係数の予測値である予測フィルタ係数を求めるフィルタ係数予測部と，
前記動き探索部で探索された動きベクトルと前記予測動きベクトル作成部で作成された予測動きベクトルとの差分の値が０かどうかを判断し，０の場合に，現領域のフィルタ係数を予測フィルタ係数と同じに設定するフィルタ係数再決定部と，
決定したフィルタ係数と動きベクトルとを使って予測画像を作成し，予測誤差を求めて予測誤差を符号化する動き補償部と，
前記動き探索部で探索された動きベクトルと前記予測動きベクトル作成部で作成された予測動きベクトルとの差分を符号化する動きベクトル符号化部と，
予測誤差符号化データを復号する復号部と，
復号画像を蓄積する参照画像メモリとを備える
ことを特徴とする画像符号化装置。An image coding apparatus for generating image information at a fractional position from image information of a frame that has already been encoded for each region obtained by dividing the image of the current frame, and encoding a prediction error between the image information at the fractional position and the image information And
An image input unit for inputting an image of the current frame;
A filter coefficient designating unit for designating a coefficient of a filter for creating image information at a fraction position,
A motion search unit that creates image information at a fractional position using a filter coefficient specified by the filter coefficient specification unit and searches for a motion vector;
A filter coefficient determining unit that determines a coefficient of a filter that creates image information at a fractional position using a result of the motion search performed by the motion search unit;
A predicted motion vector generating unit for obtaining a predicted motion vector from a motion vector of a surrounding area;
A filter coefficient prediction unit that obtains a prediction filter coefficient which is a prediction value of a filter coefficient of a current area from a filter coefficient of a surrounding area;
It is determined whether or not the difference value between the motion vector searched by the motion search unit and the predicted motion vector created by the predicted motion vector creation unit is 0. A filter coefficient re-determining unit for setting the same as the coefficient,
A motion compensation unit that creates a predicted image using the determined filter coefficients and the motion vector, determines a prediction error, and encodes the prediction error;
A motion vector encoding unit that encodes a difference between the motion vector searched by the motion search unit and the predicted motion vector created by the predicted motion vector creation unit;
A decoding unit for decoding the prediction error encoded data,
An image encoding device, comprising: a reference image memory for storing a decoded image.
分数位置の画像情報を作成する際に使用されるフィルタ係数が，予め決めた基準のフィルタ係数と異なるかどうかと，動きベクトルの値の組み合わせを復号するフィルタ係数選択動きベクトル復号部と，
フィルタ係数を指定する情報を復号するフィルタ係数復号部と，
フィルタ係数と動きベクトルとを使って予測画像を作成し，予測誤差を求めて予測誤差符号化データを復号し復号画像を作成する動き補償部と，
復号画像を蓄積する参照画像メモリとを備える
ことを特徴とする画像復号装置。An image for which image information at a fractional position is created from image information of a frame that has already been decoded, and encoded data for each region of an image obtained by dividing the current frame is decoded using a prediction error between the image information at the fractional position and the image information. A decryption device,
A filter coefficient selection motion vector decoding unit for decoding whether or not a filter coefficient used for creating image information at a fractional position is different from a predetermined reference filter coefficient;
A filter coefficient decoding unit for decoding information specifying the filter coefficient,
A motion compensation unit that creates a predicted image using the filter coefficient and the motion vector, obtains a prediction error, decodes the prediction error encoded data to create a decoded image,
An image decoding apparatus, comprising: a reference image memory for storing a decoded image.
周囲の領域の動きベクトルから予測動きベクトルを作成する予測動きベクトル作成部と，
分数位置の画像情報を作成する際に使用されるフィルタ係数が，予め決めた基準のフィルタ係数と異なるかどうかと，動きベクトルと前記予測動きベクトルとの差分の値の組み合わせを復号するフィルタ係数選択動きベクトル復号部と，
予測動きベクトルと，前記フィルタ係数選択動きベクトル復号部で求めた動きベクトルの差分から，動きベクトルを作成する動きベクトル作成部と，
フィルタ係数を指定する情報を復号するフィルタ係数復号部と，
フィルタ係数と動きベクトルとを使って予測画像を作成し，予測誤差を求めて予測誤差符号化データを復号し復号画像を作成する動き補償部と，
復号画像を蓄積する参照画像メモリとを備える
ことを特徴とする画像復号装置。An image decoding device that creates image information at a fractional position from image information of a frame that has already been decoded, and decodes encoded data for each area obtained by dividing the current frame using a prediction error between the image information at the fractional position and the image information. And
A predicted motion vector generating unit that generates a predicted motion vector from a motion vector of a surrounding area;
Whether a filter coefficient used for generating image information at a fractional position is different from a predetermined reference filter coefficient, and a filter coefficient selection for decoding a combination of a difference value between a motion vector and the predicted motion vector A motion vector decoding unit;
A motion vector creation unit that creates a motion vector from a difference between the predicted motion vector and the motion vector obtained by the filter coefficient selection motion vector decoding unit;
A filter coefficient decoding unit for decoding information specifying the filter coefficient,
A motion compensation unit that creates a predicted image using the filter coefficient and the motion vector, obtains a prediction error, decodes the prediction error encoded data to create a decoded image,
An image decoding apparatus, comprising: a reference image memory for storing a decoded image.
周囲の領域の動きベクトルから予測動きベクトルを作成する予測動きベクトル作成部と，
分数位置の画像情報を作成する際に使用されるフィルタ係数が，予め決めた基準のフィルタ係数と異なるかどうかと，動きベクトルと前記予測動きベクトルとの差分の値の組み合わせを復号するフィルタ係数選択動きベクトル復号部と，
動きベクトルと前記予測動きベクトルとの差分が０ベクトルの場合に，周囲の領域のフィルタ係数から，現領域のフィルタの係数の予測値である予測フィルタ係数を求めるフィルタ係数予測部と，
フィルタ係数と動きベクトルとを使って予測画像を作成し，予測誤差を求めて予測誤差符号化データを復号して復号画像を作成する動き補償部と，
復号画像を蓄積する参照画像メモリとを備える
ことを特徴とする画像復号装置。An image in which image information at a fractional position is created from image information of a frame that has already been decoded, and encoded data for each area obtained by dividing the image of the current frame is decoded using a prediction error between the image information at the fractional position and the image information. A decryption device,
A predicted motion vector generating unit that generates a predicted motion vector from a motion vector of a surrounding area;
Whether a filter coefficient used for generating image information at a fractional position is different from a predetermined reference filter coefficient, and a filter coefficient selection for decoding a combination of a difference value between a motion vector and the predicted motion vector A motion vector decoding unit;
A filter coefficient prediction unit that obtains a prediction filter coefficient that is a predicted value of a filter coefficient of a current area from a filter coefficient of a surrounding area when a difference between the motion vector and the predicted motion vector is a zero vector;
A motion compensation unit that creates a predicted image using the filter coefficient and the motion vector, obtains a prediction error, decodes the prediction error encoded data to create a decoded image,
An image decoding apparatus, comprising: a reference image memory for storing a decoded image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002326638A JP3999634B2 (en) | 2002-11-11 | 2002-11-11 | Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, image decoding program, and recording medium recording the program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002326638A JP3999634B2 (en) | 2002-11-11 | 2002-11-11 | Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, image decoding program, and recording medium recording the program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007175367A Division JP2007288810A (en) | 2007-07-03 | 2007-07-03 | Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoding program, image decoding program and computer readable recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004165785A true JP2004165785A (en) | 2004-06-10 |
| JP3999634B2 JP3999634B2 (en) | 2007-10-31 |
Family
ID=32805510
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002326638A Expired - Fee Related JP3999634B2 (en) | 2002-11-11 | 2002-11-11 | Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, image decoding program, and recording medium recording the program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3999634B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008069073A1 (en) * | 2006-11-30 | 2008-06-12 | Ntt Docomo, Inc. | Dynamic image encoding device, dynamic image encoding method, dynamic image encoding program, dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program |
| WO2011111341A1 (en) * | 2010-03-09 | 2011-09-15 | パナソニック株式会社 | Dynamic image decoding device, dynamic image encoding device, dynamic image decoding circuit, and dynamic image decoding method |
| WO2012042810A1 (en) * | 2010-09-29 | 2012-04-05 | パナソニック株式会社 | Image encoding method, image decoding method, image encoding device, image decoding device, and image processing system |
| JP2015511472A (en) * | 2012-02-22 | 2015-04-16 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | Coding loop filter parameters using codebook in video coding |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101701342B1 (en) | 2009-08-14 | 2017-02-01 | 삼성전자주식회사 | Method and apparatus for video encoding considering adaptive loop filtering, and method and apparatus for video decoding considering adaptive loop filtering |
-
2002
- 2002-11-11 JP JP2002326638A patent/JP3999634B2/en not_active Expired - Fee Related
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008069073A1 (en) * | 2006-11-30 | 2008-06-12 | Ntt Docomo, Inc. | Dynamic image encoding device, dynamic image encoding method, dynamic image encoding program, dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program |
| JPWO2008069073A1 (en) * | 2006-11-30 | 2010-03-18 | 株式会社エヌ・ティ・ティ・ドコモ | Moving picture coding apparatus, moving picture coding method, moving picture coding program, moving picture decoding apparatus, moving picture decoding method, and moving picture decoding program |
| US9014267B2 (en) | 2006-11-30 | 2015-04-21 | Ntt Docomo, Inc. | System and method for encoding and decoding with dynamic interpolation filter |
| WO2011111341A1 (en) * | 2010-03-09 | 2011-09-15 | パナソニック株式会社 | Dynamic image decoding device, dynamic image encoding device, dynamic image decoding circuit, and dynamic image decoding method |
| CN102349299A (en) * | 2010-03-09 | 2012-02-08 | 松下电器产业株式会社 | Dynamic image decoding device, dynamic image encoding device, dynamic image decoding circuit, and dynamic image decoding method |
| JP5659160B2 (en) * | 2010-03-09 | 2015-01-28 | パナソニックＩｐマネジメント株式会社 | Moving picture decoding apparatus, moving picture encoding apparatus, moving picture decoding circuit, and moving picture decoding method |
| US8995530B2 (en) | 2010-03-09 | 2015-03-31 | Panasonic Intellectual Property Management Co., Ltd. | Moving image decoding apparatus, moving image coding apparatus, moving image decoding circuit, and moving image decoding method |
| CN102349299B (en) * | 2010-03-09 | 2015-10-21 | 松下知识产权经营株式会社 | Dynamic image decoding device, moving picture encoding device, moving image decoding circuit and dynamic image decoding method |
| US9641868B2 (en) | 2010-03-09 | 2017-05-02 | Panasonic Intellectual Property Management Co., Ltd. | Moving image decoding apparatus, moving image coding apparatus, moving image decoding circuit, and moving image decoding method |
| WO2012042810A1 (en) * | 2010-09-29 | 2012-04-05 | パナソニック株式会社 | Image encoding method, image decoding method, image encoding device, image decoding device, and image processing system |
| JP2015511472A (en) * | 2012-02-22 | 2015-04-16 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | Coding loop filter parameters using codebook in video coding |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3999634B2 (en) | 2007-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7324841B2 (en) | Video data processing method, apparatus, storage medium and storage method | |
| JP6272948B2 (en) | Decoding method of motion information | |
| JP5277257B2 (en) | Video decoding method and video encoding method | |
| US11070834B2 (en) | Low-complexity method for generating synthetic reference frames in video coding | |
| US8472525B2 (en) | Method and apparatus for encoding/decoding motion vector | |
| JP4898467B2 (en) | Coding mode determination method and apparatus for variable block size motion prediction | |
| KR101528361B1 (en) | Predictive coding method for motion vector, predictive decoding method for motion vector, video coding device, video decoding device, and programs therefor | |
| JP2023014095A (en) | Memory access windows and padding for motion vector refinement and motion compensation | |
| JP5310614B2 (en) | Moving picture coding apparatus, moving picture coding method, moving picture decoding apparatus, and moving picture decoding method | |
| KR102625314B1 (en) | Inter prediction concept using tile independence constraints | |
| KR20120126115A (en) | Method for performing localized multihypothesis prediction during video coding of a coding unit, and associated apparatus | |
| JP5216710B2 (en) | Decryption processing method | |
| JP5367097B2 (en) | Motion vector predictive coding method, motion vector predictive decoding method, moving picture coding apparatus, moving picture decoding apparatus, and programs thereof | |
| JP2023179747A (en) | Methods and apparatus on prediction refinement with optical flow | |
| CN112292861B (en) | Sub-pixel accurate correction method based on error surface for decoding end motion vector correction | |
| US20180376147A1 (en) | Encoding device, decoding device, and program | |
| JP2007288810A (en) | Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoding program, image decoding program and computer readable recording medium | |
| JP3999634B2 (en) | Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, image decoding program, and recording medium recording the program | |
| JP2009212667A (en) | Moving image encoding apparatus and decoding apparatus | |
| JP5281597B2 (en) | Motion vector prediction method, motion vector prediction apparatus, and motion vector prediction program | |
| JP2016187171A (en) | Video encoding device, video encoding method, and video encoding program | |
| US20230388484A1 (en) | Method and apparatus for asymmetric blending of predictions of partitioned pictures | |
| JP6853697B2 (en) | Time prediction motion vector candidate generator, coding device, decoding device, and program | |
| JP2022066678A (en) | Intra prediction device, encoding apparatus, decoding apparatus and program | |
| TW202349959A (en) | Method and apparatus for complexity reduction of video coding using merge with mvd mode |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070508 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070703 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070703 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070807 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070809 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100817 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100817 Year of fee payment: 3 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100817 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110817 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120817 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130817 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |