JP2004159132A - 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびそのプログラムを記録した記録媒体 - Google Patents
画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびそのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP2004159132A JP2004159132A JP2002323478A JP2002323478A JP2004159132A JP 2004159132 A JP2004159132 A JP 2004159132A JP 2002323478 A JP2002323478 A JP 2002323478A JP 2002323478 A JP2002323478 A JP 2002323478A JP 2004159132 A JP2004159132 A JP 2004159132A
- Authority
- JP
- Japan
- Prior art keywords
- image
- decoding
- information
- region
- rotation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【課題】動画像の符号化において，回転や拡大縮小を必要としない領域における回転角度情報や拡大率情報の符号化量を削減して符号化効率を向上させる。
【解決手段】回転拡大予測画像作成部１６は，指定された種々の小領域の分割パターン，回転角度，拡大率に基づいて予測画像を作成し，動き探索部１５は，各小領域ごとに予測画像との間で動き探索を行い，動きベクトルを求める。その結果から予測誤差が最小となる符号化方法を決定し，入力画像の符号化する領域を更に分割した小領域の分割パターン情報と，その領域内の回転角度情報または拡大率情報とを符号化するかどうかを示す情報とを，分割パターン回転拡大有無符号化部２０で符号化する。回転角度情報または拡大率情報を符号化する場合には，回転角度符号化部２１は回転角度情報を符号化し，拡大率符号化部２２は拡大率情報を符号化する。
【選択図】 図１
【解決手段】回転拡大予測画像作成部１６は，指定された種々の小領域の分割パターン，回転角度，拡大率に基づいて予測画像を作成し，動き探索部１５は，各小領域ごとに予測画像との間で動き探索を行い，動きベクトルを求める。その結果から予測誤差が最小となる符号化方法を決定し，入力画像の符号化する領域を更に分割した小領域の分割パターン情報と，その領域内の回転角度情報または拡大率情報とを符号化するかどうかを示す情報とを，分割パターン回転拡大有無符号化部２０で符号化する。回転角度情報または拡大率情報を符号化する場合には，回転角度符号化部２１は回転角度情報を符号化し，拡大率符号化部２２は拡大率情報を符号化する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は，動画像符号化，復号に関する技術であり，特に，画面内のある領域が回転あるいは拡大縮小するような画像の符号化において，回転や拡大縮小を必要としない領域における回転角度情報や拡大率情報の符号化量を削減し，符号化効率を向上することを可能とした画像符号化方法，画像復号方法，画像符号化装置および画像復号装置に関する。
【０００２】
【従来の技術】
動き補償符号化方法では，マクロブロック（以下ではＭＢと書く）やブロック等の領域毎に，参照フレーム内画像情報から予測画像を作成し，現フレームの画像との間で差分（予測誤差）を符号化する。一般的に通常の動き補償では，現フレームの領域の位置と予測画像の位置との差分は領域全体の平行移動量（ｘ，ｙ）であり，これを動きベクトルと呼ぶ。予測画像の探索手法としては，一般的にブロックマッチング方法が用いられる。
【０００３】
ブロックマッチングでは，符号化対象の領域を中心とした正方形の探索範囲（サーチウィンドウ）を参照フレーム内に設定し，現フレームの領域内画素とサーチウィンドウ内の画素との間の画像情報の差分が最も小さくなる位置を，サーチウィンドウ内で探索する。この差分の計算方法は絶対値差分和や平均２乗誤差などが用いられる。ブロックマッチングの概念図を図１０に示す。絶対値差分和Ｗ（ｘ，ｙ）の計算方法を式（１）に示す。この差分が小さいほど，予測誤差も少なくなり符号化効率が高くなる。
【０００４】
【数１】
【０００５】
ブロックサイズがＮ×Ｎ画素であり，（ｉ，ｊ）はブロック内の画素位置，ｆ（ａ，ｂ，ｃ）はフレームｃ内の符号化対象ブロックにおける画素位置（ａ，ｂ）の画素値を表している。
【０００６】
動きベクトルは，整数精度または分数精度または実数精度のいずれでも表現することが可能である。分数精度や実数精度では，実際には画素の無い位置の画像情報を作る必要がある。分数精度と実数精度の場合には，対応する位置の画像情報を周囲の整数位置の画素の画像情報から求める。例えば，実数精度で周囲４画素からの線形補間によって求める場合で，図１１に示すような左上の画素から（ａ，ｂ）の位置の画像情報を求める場合には，式（２）により求める。実数精度は，任意の位置の画像情報を作ることができるが，符号化側と復号側で演算精度が異なる場合があるため，復号側で正確に復号できない場合がある。
【０００７】
【数２】
【０００８】
整数位置の画素の画像情報から，実数精度または分数精度の画像情報を求める方法として，線形補間以外の方法によって分数位置の画像情報を作り，その後で整数位置と分数位置の画像情報を使って平行移動位置の画像情報を求めることも可能である。例えば周囲の複数画素から１／２精度の位置の画像情報をタップ数の長いフィルタによって求め，続いて１／８精度の位置の画像情報を整数精度と１／２精度の画像情報から線形補間によって求めることも可能である。１／２精度の画像情報を求めるフィルタ方法の例を図１２（Ａ）および（Ｂ）に示す。
【０００９】
このようにして求めた動きベクトル（ｘ，ｙ）は可変長符号化される。整数画素精度の動きベクトルをルックアップテーブルを使って可変長符号化する際のテーブルの例を図３に示す。なお算術符号化を用いて符号化する方法もある。
【００１０】
領域全体の平行移動ではなく，領域内画素の個々の平行移動により予測画像を作成する方法もある。領域内画素それぞれの平行移動量を符号化すると符号量の増加を招くため，一般的に画素それぞれの平行移動量を代表ベクトルから補間する。従来の代表的な代表ベクトルとしては，領域の四隅の画素の平行移動量を用いる方法がある。この場合には領域一つに対して４個の平行移動量を符号化する必要がある。
【００１１】
領域の四隅の画素の平行移動量から，領域内画素の平行移動量を算出する方法の例を図１３に示す，四隅の平行移動量を（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３），（ｘ４，ｙ４）とすると，画素（ｐ，ｑ）の平行移動量（Ｘ，Ｙ）は，次の式（３−１），（３−２）により計算される。
【００１２】
【数３】
【００１３】
ここでＭは画面横方向の画素数を示し，Ｎは画面縦方向の画素数を示す。この平行移動量は通常の動き補償と同様に，整数精度ではなく実数精度または分数精度で求めることも可能である。
【００１４】
さらにマクロブロック毎に符号化する場合，マクロブロックの四隅の画素の動きベクトルだけを符号化し，マクロブロック内部の任意の画素の動きベクトルはそれらから計算により求める方法もある。この場合にはマクロブロック毎に４個の動きベクトルが必要となる。
【００１５】
この方法では，回転運動のみあるいは拡大運動のみある場合であっても，四隅の動きベクトルを符号化する必要があり符号量の増加を招く場合がある。そのため，例えば以下に示す非特許文献１では，回転運動に対して回転角度を示す情報によって予測画像を作成して回転角度情報を符号化する方法や，拡大運動に対して拡大率を示す情報によって予測画像を作成して拡大率情報を符号化する方法を用いている。
【００１６】
また，通常のフレーム間予測符号化のように，既に符号化したフレームの画像から予測画像を作成する方法の他に，現フレーム中の既に符号化された領域の画像から予測画像を作成する方法もある。
【００１７】
【非特許文献１】
石川他，“マルチパラメータ動き補償を用いた動画像の３Ｄ／２Ｄハイブリッド符号化”，信学技報ＩＥ２００１−７６ ，ｐｐ．１５−２２，２００１
【００１８】
【発明が解決しようとする課題】
回転角度や拡大率をマクロブロック毎に変更して符号化する方法によれば，例えば人間の腕のように，ある位置を軸とした回転運動や拡大運動を伴うような画像内容の変化において，平行移動のみによる予測よりも，予測誤差を低減することが可能である，しかしながら，画面内のすべてのマクロブロックで，回転運動や拡大運動があるとは限らない。回転や拡大による予測誤差の低減がないマクロブロックやブロックでは，回転角度情報や拡大率情報を符号化するために使用する符号量は冗長である。
【００１９】
本発明は上記問題点の解決を図り，平行移動に回転や拡大縮小を加えた動きモデルの動き補償を適用した符号化において，回転や拡大縮小を必要としない領域における回転角度情報や拡大率情報の符号化量を削減し，符号化効率を向上させることを目的とする。
【００２０】
【課題を解決するための手段】
以上の課題を解決するため，本発明は以下の方法を用いる。
【００２１】
第１の発明は，現フレームの画像を分割した領域（以後，現領域と呼ぶ）毎に，既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて符号化する画像符号化方法であって，領域を更に分割した小領域の分割パターン情報と，領域内の小領域について回転角度情報を符号化するかどうかを示す回転有無情報とを表す，分割パターン回転有無情報を符号化する分割パターン回転有無符号化ステップと，小領域の回転角度情報を符号化する回転角度符号化ステップとを実行することを特徴とする。
【００２２】
第２の発明は，現フレームの画像を分割した領域（以後，現領域と呼ぶ）毎に，既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて符号化する画像符号化方法であって，領域を更に分割した小領域の分割パターン情報と，領域内の小領域について拡大率情報を符号化するかどうかを示す拡大有無情報とを表す，分割パターン拡大有無情報を符号化する分割パターン拡大有無符号化ステップと，小領域の拡大率情報を符号化する拡大率符号化ステップとを実行することを特徴とする。
【００２３】
第１の発明によれば，画面内のある領域が回転するような画像において，回転する小領域でのみ回転角度情報を符号化し，その他の領域または小領域では回転角度情報を符号化しないことができる。従って，回転を必要としない領域における回転角度情報の符号化量を削減でき，符号化効率を向上することができる。
【００２４】
第２の発明によれば，画面内のある領域が拡大縮小するような画像において，拡大縮小する小領域でのみ拡大率情報を符号化し，その他の領域または小領域では拡大率情報を符号化しないことができる。従って，拡大縮小を必要としない領域における拡大率情報の符号化量を削減でき，符号化効率を向上することができる。
【００２５】
上記第１と第２の発明を組み合わせて実施することもできる。
【００２６】
【発明の実施の形態】
図面を用いて本発明の実施の形態を説明する。画面をマクロブロック毎に符号化し，そのマクロブロックを複数のブロックに分割して符号化する場合の例を示す。複数パターンの領域分割パターンと回転角度情報と拡大率情報を予め用意しておき，分割パターンと回転角度情報と拡大率情報と動きベクトルを求める方法の例を示す。まず，分割パターンを固定し，ブロック毎に，回転角度情報と拡大率情報を変更して動き探索を行う。これを全てのブロックで行った後，分割パターンを変更して，同じ処理を繰り返す。
【００２７】
図１に本発明の実施の形態に係る画像符号化装置の概要を示す。この画像符号化装置１は，現フレームの画像を入力する画像入力部１１と，マクロブロックを更に分割したブロックの分割パターンを指定する領域分割パターン指定部１２と，ブロックの回転角度情報を指定する回転角度指定部１３と，ブロックの拡大率情報を指定する拡大率指定部１４と，参照画像内の或る位置を原点とした，予め設定した回転角度情報と拡大率情報を使って拡大縮小し回転された予測画像を作成する回転拡大予測画像作成部１６と，ブロック毎に，回転拡大予測画像作成部１６で作成された予測画像との間で動き探索を行い，動きベクトルを求める動き探索部１５と，そのブロックにおける回転角度情報と拡大率情報を決定する回転拡大決定部１８と，マクロブロックの分割パターンを決定する分割パターン決定部１７と，ブロック毎に，動き探索部１５で得られた動きベクトルを使って，回転拡大予測画像作成部１６で作成された予測画像との間の予測誤差を符号化する予測誤差符号化部１９とを備える。
【００２８】
また，ブロックの分割パターン情報と，各ブロックが回転角度情報と拡大率情報を符号化するかどうかを示す回転拡大有無情報とを表す，分割パターン回転拡大有無情報を符号化する分割パターン回転拡大有無符号化部２０と，ブロックの動きベクトルを符号化する動きベクトル符号化部２３と，ブロックの回転角度情報を符号化する回転角度符号化部２１と，ブロックの拡大率情報を符号化する拡大率符号化部２２と，予測誤差の符号化データを復号して復号画像を作成する復号部２４と，復号画像を蓄積する参照画像メモリ２５とを備える。
【００２９】
領域分割パターン指定部１２では，縦横１６画素のマクロブロックを，
Ａ．縦横１６画素のブロック，
Ｂ．縦１６横８画素のブロック，
Ｃ．縦８横１６画素のブロック，
Ｄ．縦８横８画素のブロック，
の４パターンに分割する分割パターンを用意しておき，ＡからＤまで順に指定するものとする。
【００３０】
回転角度指定部１３では，ブロックの左上画素を中心にして，
Ａ．０度，
Ｂ．右４５度，
Ｃ．右９０度，
Ｄ．左４５度，
Ｅ．左９０度，
の５パターンに回転する回転角度情報を用意しておき，ＡからＥまで順に指定するものとする。図２に縦横８画素のブロックの場合の回転中心の位置を示す。
【００３１】
拡大率指定部１４では，ブロックの左上画素を中心にして，
Ａ．４／４，
Ｂ．３／４，
Ｃ．２／４，
Ｄ．５／４，
Ｅ．６／４，
の５パターンに拡大縮小する拡大率情報を用意しておき，ＡからＥまで順に指定するものとする。図２に縦横８画素のブロックの場合の拡大縮小中心の位置を示す。
【００３２】
回転拡大予測画像作成部１６では，動き探索部１５と予測誤差符号化部１９で使用する予測誤差を作成するが，予測画像の画素位置は，式（４）に従って求める。ここで（ｉ，ｊ）は対応する入力画像ブロック内の画素位置，（ｋ，ｌ）が予測画像画素位置，θは回転角度，Ｚは拡大率，（ｘ，ｙ）は動きベクトル（平行移動量）を示す。
【００３３】
【数４】
【００３４】
一般的に位置（ｋ，ｌ）は整数位置とはならないため，それに最も近い１／４精度の位置での画像情報によって代用するものとする。１／４精度の画像情報は整数位置の画像情報から線形補間によって求めるものとする。
【００３５】
動きベクトル符号化部２３は，図３に示すようなルックアップテーブルを使って動きベクトル情報を可変長符号化する。回転角度符号化部２１は，図４に示したルックアップテーブルを使って回転角度情報を符号化する。拡大率符号化部２２は，図５に示したルックアップテーブルを使って拡大率情報を符号化する。分割パターン回転拡大有無符号化部２０は，図６に示したルックアップテーブルを使って分割パターン回転拡大有無情報を符号化する。
【００３６】
動き探索部１５では，差分の評価尺度として絶対値差分和Ｗを使うものとする。使用するＷの計算式を式（５）に示す。ここで，ｋ，ｌは式（４）によって求めた値であり，Ｎｍｖ（ｘ，ｙ）は動きベクトル（ｘ，ｙ）を符号化するために必要な符号量であり，Ｎｒ（θ）は回転角度θを符号化するために必要な符号量であり，Ｎｚ（ｚ）は拡大率ｚを符号化するために必要な符号量を表す。
【００３７】
【数５】
【００３８】
図７に分割パターンと回転角度と拡大率を決定するフローを示す。本実施の形態では，まず分割パターンを固定し，各ブロックにおいて動きベクトルと回転角度と拡大率を求める。これを分割パターンを変更しながら続ける。
【００３９】
すなわち，まず，全ての分割パターンで動き探索を行ったかを判断し（ステップＳ１），全ての分割パターンで動き探索を行った場合には，処理を終了する。動き探索を行っていない分割パターンがある場合には，分割パターンを指定する（ステップＳ２）。次に，全てのブロックで動き探索を行ったかを判断し（ステップＳ３），全てのブロックで動き探索を行った場合には，ステップＳ１に戻る。動き探索を行っていないブロックがある場合には，探索ブロックを設定する（ステップＳ４）。
【００４０】
次に，全ての拡大率で動き探索を行ったかを判断し（ステップＳ５），全ての拡大率で動き探索を行った場合には，ステップＳ３に戻る。動き探索を行っていない拡大率がある場合には，拡大率を設定する（ステップＳ６）。次に，全ての回転角度で動き探索を行ったかを判断し（ステップＳ７），全ての回転角度で動き探索を行った場合には，ステップＳ５に戻る。動き探索を行っていない回転角度がある場合には，その回転角度を設定し（ステップＳ８），動き探索を行った後（ステップＳ９），ステップＳ７に戻る。
【００４１】
分割パターンと回転角度と拡大率を決定する際には，具体的には，回転拡大決定部１８は，ある分割パターンｉの，あるブロックｊで，回転角度と拡大率を変えて動き探索を行った際のＷの値を比較し，Ｗが最も小さい場合の回転角度と拡大率と動きベクトルとを，そのブロックにおける回転角度と拡大率と動きベクトルに決定し記憶しておく。この時のＷの値をＷ［ｉ］［ｊ］［１］と書くことにする。
【００４２】
また同時に回転角度０度かつ拡大率４／４の場合のＷの値を記憶しておく。このＷの値をＷ［ｉ］［ｊ］［０］と書くことにする。これを全てのブロックに対して求める。続いて，分割パターン決定部１７は，各分割パターンにおける，マクロブロック内のＷ［ｉ］［ｊ］［０］とＷ［ｉ］［ｊ］［１］の値を合計し，合計が最も小さい場合をそのマクロブロックの分割パターン回転拡大有無情報と決定し，分割パターンと，更に回転角度情報と拡大率情報を符号化するかどうかを決定する。動き探索部１５では，縦横１６画素の範囲を動き探索するものとする。
【００４３】
このような前提で現画像をマクロブロック単位に次のように符号化する。まず，画像入力部１１で入力画像を得る。領域分割パターン指定部１２は，分割パターンＡを指定する。そして，分割パターンＡで分割されるブロックのうち，ブロック０の動きベクトルと回転角度と拡大率を求める。回転角度指定部１３は，回転角度Ａを指定し，拡大率指定部１４は拡大率Ａを指定する。動き探索部１５は動きベクトルを設定する。そして，回転拡大予測画像作成部１６は，ブロック０に対応した位置から動きベクトルだけ移動した位置において回転角度Ａで拡大率Ａとなる予測画像を作成する。
【００４４】
動き探索部１５は，ブロック０の現画像と予測画像との間で絶対値差分和Ｗの値を求める。回転角度Ａと拡大率Ａを固定したまま，以上の処理を縦横１６画素の動き探索範囲において行う。絶対値差分和が最も小さい場合の動きベクトルを，そのブロック０の，回転角度Ａで拡大率Ａの動きベクトルとする。
【００４５】
回転角度Ａは０度であり，拡大率Ａは４／４であるため，その場合のＷをＷ［Ａ］［０］［０］と設定する。続いて，図７のフローに従い，回転角度と拡大率を変更して，上記の処理を行い，ブロック０における各回転角度，各拡大率の動きベクトルを探索する。回転拡大決定部１８は，回転角度と拡大率を変更して求めた絶対値差分和から，最も絶対値差分和Ｗが小さい場合を求め，その場合の動きベクトルと回転角度と拡大率を，ブロック０の動きベクトルと回転角度と拡大率に決定する。その場合のＷをＷ［Ａ］［０］［１］とする，以上の処理をブロックを変更して行う。分割パターンＡではブロック数は１つしかないので，ブロック０のみ処理を行うことになる。
【００４６】
続いて領域分割パターン指定部１２は，分割パターンをＢに指定する。分割パターンＢではブロック数は２であるため，ブロック０とブロック１に対して，動き探索を行い，ブロック０の最小絶対値差分和Ｗ［Ｂ］［０］［０］，Ｗ［Ｂ］［０］［１］と，ブロック１の最小絶対値差分和Ｗ［Ｂ］［１］［０］，Ｗ［Ｂ］［１］［１］と，対応した動きベクトルと回転角度と拡大率を求める。以上の処理を全ての分割パターンで行う。
【００４７】
すべての分割パターンで動き探索が終わると，分割パターン決定部１７は，各分割パターンｉで，全てのブロックのＷ［ｉ］［ｊ］［０］とＷ［ｉ］［ｊ］［１］をそれぞれ合計する。合計した値をＷａ［ｉ］［０］，Ｗａ［ｉ］［１］とすると，Ｗａ［ｉ］［０］，Ｗａ［ｉ］［１］（ｉ＝Ａ〜Ｄ）のうちで最も値が小さいものを求める。ここでＷａ［ｉ］［０］とＷａ［ｉ］［１］の違いは同じ分割パターンｉであるが，Ｗａ［ｉ］［０］は回転角度情報と拡大率情報を符号化しない場合であり，Ｗａ［ｉ］［１］は符号化する場合を示す。これにより，分割パターンと，回転角度と拡大率を符号化するかどうかを決定し，最終的には各ブロックの回転角度と拡大率を決定することになる。
【００４８】
予測誤差符号化部１９は，決定された分割パターンと，各ブロックの動きベクトルと回転角度と拡大率を使用して，現マクロブロックをフレーム間予測符号化する。分割パターン回転拡大有無符号化部２０は分割パターン回転拡大有無情報を符号化する。動きベクトル符号化部２３は動きベクトル情報を可変長符号化する。回転角度と拡大率を符号化すると決定した場合には，回転角度符号化部２１は回転角度情報を符号化し，拡大率符号化部２２は拡大率情報を符号化する。復号部２４は予測誤差符号化部１９で符号化された符号化データを復号して復号画像を作成し参照画像メモリ２５に蓄積する。
【００４９】
以上の手順をすべてのマクロブロックに対して繰り返し処理する。
【００５０】
図８に，上記の画像符号化装置１で得られた符号化データを復号する画像復号装置３の装置概要を示す。この画像復号装置３は，マクロブロックを更に分割したブロックの分割パターン情報と，ブロックが回転角度情報と拡大率情報を復号するかどうかを示す回転拡大有無情報とを表す，分割パターン回転拡大有無情報を復号する分割パターン回転拡大有無復号部３２と，ブロックの動きベクトルを復号する動きベクトル復号部３５と，ブロックの回転角度情報を復号する回転角度復号部３３と，ブロックの拡大率情報を復号する拡大率復号部３４と，参照画像内の或る位置を原点とした，回転角度復号部３３で得られた回転角度情報と，拡大率復号部３４で得られた拡大率情報と，動きベクトル復号部３５で得られた動きベクトルを使って予測画像を作成する回転拡大予測画像作成部３６と，回転拡大予測画像作成部３６で作成された予測画像を用いて復号画像を作成する復号部３１と，復号画像を蓄積する参照画像メモリ３７とを備える。
【００５１】
この画像復号装置３では，符号化データがマクロブロック毎に次のように復号される。分割パターン回転拡大有無復号部３２は分割パターン回転拡大有無情報を復号し，マクロブロックの分割パターンと，回転角度情報と拡大率情報を復号するかどうかを決定する。動きベクトル復号部３５は動きベクトルを復号する。分割パターン回転拡大有無情報により回転角度情報と拡大率情報を復号すると決定した場合には，回転角度復号部３３は回転角度を復号し，拡大率復号部３４は拡大率を復号する。回転拡大予測画像作成部３６はブロック毎に，動きベクトルと回転角度情報と拡大率情報を使って，上記の式（４）に従って予測画像を作成する。
【００５２】
ここで分割パターン回転拡大有無情報により回転角度情報と拡大率情報を復号しないと決定した場合には，回転角度は０度に，拡大率は４／４に設定する。復号部３１は予測画像を使って予測誤差の符号化データを復号して復号画像を求め，復号画像を参照画像メモリ３７に蓄積する。
【００５３】
なお，以上説明した実施の形態では，回転と拡大を両方行ったが，回転のみ行う方法や拡大のみ行う方法も好適である。またマクロブロックの分割パターンは図６に示したものだけではなく，例えば縦横４画素のブロックになるように分割してもよい。また回転角度は図４に示したものだけではなく，より小さい角度で回転するように設定してもよい，また拡大率は図５に示したものだけではなく，より大きく拡大したり，より小さく縮小するように設定してもよい。また回転や拡大の中心を図２に示した位置ではなく，例えばブロックの中心にするなど，他の個所にしてもよい。
【００５４】
図９は，本発明を用いた符号化による有効性を確認する実験結果を示す図である。一般的な画像について，平行移動に回転を加えた動きモデルの動き補償を適用して符号化を行った。横軸は符号化されたブロックのブロックサイズ，縦軸はそのサイズのブロックの発生頻度を表している。横軸において，「ａ×ｂ」の表記は，横ａ画素縦ｂ画素のブロックを表している。「ａ×ｂ」に「ｒ」が付いていないブロックは，平行移動だけの動き補償を行ったブロックであり，「ｒ」が付いているブロックは，回転を加えた動き補償を行ったブロックである。なお，「Ｉｎｔｒａ」はフレーム内符号化のブロックを表している。
【００５５】
図９の実験結果から，回転を加えた動き補償を行ったブロックの数は，平行移動だけの動き補償を行ったブロックの数よりも非常に少ないことがわかる。したがって，分割パターン回転有無情報を符号化することによって，回転角度情報の符号化量を削減できるという効果が大きいことが明らかである。
【００５６】
なお，回転を考慮しないで平行移動だけの動き補償を行って符号化した場合の符号化量と，回転を考慮した場合の符号化量とを比較する別の実験によって，回転を加えた符号化モードのほうが回転角度情報を符号化するオーバーヘッドを含めたとしても，符号化効率が高いことは確認済みである。
【００５７】
また，図９の結果から，８×８ブロック内のブロックサイズは，小さいほど回転が選択されやすいことがわかる。これは，ブロックサイズが小さいほど符号長の短い符号を割り当てたほうが有効であることを示している。ブロックサイズが小さいほど，より多く選択される原因の一つには，ブロック内で一律に同じ回転角度で回転するような動きが少ないためと推測される。
【００５８】
このように本発明によれば，画面内のある領域が回転あるいは拡大縮小するような画像において，回転あるいは拡大縮小する小領域でのみ回転角度情報あるいは拡大率情報を符号化し，その他の領域または小領域では回転角度情報や拡大率情報を符号化しないことができる。従って，回転や拡大縮小を必要としない領域における回転角度情報や拡大率情報の符号化量を削減でき，符号化効率を向上することができる。
【００５９】
以上の画像符号化処理および画像復号処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【００６０】
【発明の効果】
本発明によれば，画面内のある領域が回転あるいは拡大縮小するような画像の符号化において，回転角度情報や拡大率情報を符号化するかどうかを，領域の分割パターンとまとめて可変長符号化できる。従って，回転あるいは拡大縮小する小領域でのみ回転角度情報あるいは拡大率情報を符号化し，その他の領域または小領域では回転角度情報や拡大率情報を符号化しないことができる。従って，回転や拡大縮小を必要としない領域における回転角度情報や拡大率情報の符号化量を削減でき，符号化効率を向上することができる。
【図面の簡単な説明】
【図１】画像符号化装置の構成を示す図である。
【図２】回転中心，拡大縮小中心の位置を示す図である。
【図３】動きベクトルの可変長符号の一例を示す図である。
【図４】回転角度の可変長符号の一例を示す図である。
【図５】拡大率の可変長符号の一例を示す図である。
【図６】分割パターン回転拡大有無情報の可変長符号の一例を示す図である。
【図７】動き探索における分割パターンと回転角度と拡大率の決定フローを示す図である。
【図８】画像復号装置の構成を示す図である。
【図９】回転を行った場合と回転を行わない場合の符号量の比較を示す図である。
【図１０】マクロブロックと探索位置の関係を示す図である。
【図１１】画像情報の線形補間の一例を示す図である。
【図１２】１／２精度の画像情報を求めるフィルタ方法の一例を示す図である。
【図１３】動きベクトルの補間方法の概念図である。
【符号の説明】
１１ 画像入力部
１２ 領域分割パターン指定部
１３ 回転角度指定部
１４ 拡大率指定部
１５ 動き探索部
１６ 回転拡大予測画像作成部
１７ 分割パターン決定部
１８ 回転拡大決定部
１９ 予測誤差符号化部
２０ 分割パターン回転拡大有無符号化部
２１ 回転角度符号化部
２２ 拡大率符号化部
２３ 動きベクトル符号化部
２４ 復号部
２５ 参照画像メモリ
３１ 復号部
３２ 分割パターン回転拡大有無復号部
３３ 回転角度復号部
３４ 拡大率復号部
３５ 動きベクトル復号部
３６ 回転拡大予測画像作成部
３７ 参照画像メモリ
【発明の属する技術分野】
本発明は，動画像符号化，復号に関する技術であり，特に，画面内のある領域が回転あるいは拡大縮小するような画像の符号化において，回転や拡大縮小を必要としない領域における回転角度情報や拡大率情報の符号化量を削減し，符号化効率を向上することを可能とした画像符号化方法，画像復号方法，画像符号化装置および画像復号装置に関する。
【０００２】
【従来の技術】
動き補償符号化方法では，マクロブロック（以下ではＭＢと書く）やブロック等の領域毎に，参照フレーム内画像情報から予測画像を作成し，現フレームの画像との間で差分（予測誤差）を符号化する。一般的に通常の動き補償では，現フレームの領域の位置と予測画像の位置との差分は領域全体の平行移動量（ｘ，ｙ）であり，これを動きベクトルと呼ぶ。予測画像の探索手法としては，一般的にブロックマッチング方法が用いられる。
【０００３】
ブロックマッチングでは，符号化対象の領域を中心とした正方形の探索範囲（サーチウィンドウ）を参照フレーム内に設定し，現フレームの領域内画素とサーチウィンドウ内の画素との間の画像情報の差分が最も小さくなる位置を，サーチウィンドウ内で探索する。この差分の計算方法は絶対値差分和や平均２乗誤差などが用いられる。ブロックマッチングの概念図を図１０に示す。絶対値差分和Ｗ（ｘ，ｙ）の計算方法を式（１）に示す。この差分が小さいほど，予測誤差も少なくなり符号化効率が高くなる。
【０００４】
【数１】
ブロックサイズがＮ×Ｎ画素であり，（ｉ，ｊ）はブロック内の画素位置，ｆ（ａ，ｂ，ｃ）はフレームｃ内の符号化対象ブロックにおける画素位置（ａ，ｂ）の画素値を表している。
【０００６】
動きベクトルは，整数精度または分数精度または実数精度のいずれでも表現することが可能である。分数精度や実数精度では，実際には画素の無い位置の画像情報を作る必要がある。分数精度と実数精度の場合には，対応する位置の画像情報を周囲の整数位置の画素の画像情報から求める。例えば，実数精度で周囲４画素からの線形補間によって求める場合で，図１１に示すような左上の画素から（ａ，ｂ）の位置の画像情報を求める場合には，式（２）により求める。実数精度は，任意の位置の画像情報を作ることができるが，符号化側と復号側で演算精度が異なる場合があるため，復号側で正確に復号できない場合がある。
【０００７】
【数２】
整数位置の画素の画像情報から，実数精度または分数精度の画像情報を求める方法として，線形補間以外の方法によって分数位置の画像情報を作り，その後で整数位置と分数位置の画像情報を使って平行移動位置の画像情報を求めることも可能である。例えば周囲の複数画素から１／２精度の位置の画像情報をタップ数の長いフィルタによって求め，続いて１／８精度の位置の画像情報を整数精度と１／２精度の画像情報から線形補間によって求めることも可能である。１／２精度の画像情報を求めるフィルタ方法の例を図１２（Ａ）および（Ｂ）に示す。
【０００９】
このようにして求めた動きベクトル（ｘ，ｙ）は可変長符号化される。整数画素精度の動きベクトルをルックアップテーブルを使って可変長符号化する際のテーブルの例を図３に示す。なお算術符号化を用いて符号化する方法もある。
【００１０】
領域全体の平行移動ではなく，領域内画素の個々の平行移動により予測画像を作成する方法もある。領域内画素それぞれの平行移動量を符号化すると符号量の増加を招くため，一般的に画素それぞれの平行移動量を代表ベクトルから補間する。従来の代表的な代表ベクトルとしては，領域の四隅の画素の平行移動量を用いる方法がある。この場合には領域一つに対して４個の平行移動量を符号化する必要がある。
【００１１】
領域の四隅の画素の平行移動量から，領域内画素の平行移動量を算出する方法の例を図１３に示す，四隅の平行移動量を（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３），（ｘ４，ｙ４）とすると，画素（ｐ，ｑ）の平行移動量（Ｘ，Ｙ）は，次の式（３−１），（３−２）により計算される。
【００１２】
【数３】
ここでＭは画面横方向の画素数を示し，Ｎは画面縦方向の画素数を示す。この平行移動量は通常の動き補償と同様に，整数精度ではなく実数精度または分数精度で求めることも可能である。
【００１４】
さらにマクロブロック毎に符号化する場合，マクロブロックの四隅の画素の動きベクトルだけを符号化し，マクロブロック内部の任意の画素の動きベクトルはそれらから計算により求める方法もある。この場合にはマクロブロック毎に４個の動きベクトルが必要となる。
【００１５】
この方法では，回転運動のみあるいは拡大運動のみある場合であっても，四隅の動きベクトルを符号化する必要があり符号量の増加を招く場合がある。そのため，例えば以下に示す非特許文献１では，回転運動に対して回転角度を示す情報によって予測画像を作成して回転角度情報を符号化する方法や，拡大運動に対して拡大率を示す情報によって予測画像を作成して拡大率情報を符号化する方法を用いている。
【００１６】
また，通常のフレーム間予測符号化のように，既に符号化したフレームの画像から予測画像を作成する方法の他に，現フレーム中の既に符号化された領域の画像から予測画像を作成する方法もある。
【００１７】
【非特許文献１】
石川他，“マルチパラメータ動き補償を用いた動画像の３Ｄ／２Ｄハイブリッド符号化”，信学技報ＩＥ２００１−７６ ，ｐｐ．１５−２２，２００１
【００１８】
【発明が解決しようとする課題】
回転角度や拡大率をマクロブロック毎に変更して符号化する方法によれば，例えば人間の腕のように，ある位置を軸とした回転運動や拡大運動を伴うような画像内容の変化において，平行移動のみによる予測よりも，予測誤差を低減することが可能である，しかしながら，画面内のすべてのマクロブロックで，回転運動や拡大運動があるとは限らない。回転や拡大による予測誤差の低減がないマクロブロックやブロックでは，回転角度情報や拡大率情報を符号化するために使用する符号量は冗長である。
【００１９】
本発明は上記問題点の解決を図り，平行移動に回転や拡大縮小を加えた動きモデルの動き補償を適用した符号化において，回転や拡大縮小を必要としない領域における回転角度情報や拡大率情報の符号化量を削減し，符号化効率を向上させることを目的とする。
【００２０】
【課題を解決するための手段】
以上の課題を解決するため，本発明は以下の方法を用いる。
【００２１】
第１の発明は，現フレームの画像を分割した領域（以後，現領域と呼ぶ）毎に，既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて符号化する画像符号化方法であって，領域を更に分割した小領域の分割パターン情報と，領域内の小領域について回転角度情報を符号化するかどうかを示す回転有無情報とを表す，分割パターン回転有無情報を符号化する分割パターン回転有無符号化ステップと，小領域の回転角度情報を符号化する回転角度符号化ステップとを実行することを特徴とする。
【００２２】
第２の発明は，現フレームの画像を分割した領域（以後，現領域と呼ぶ）毎に，既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて符号化する画像符号化方法であって，領域を更に分割した小領域の分割パターン情報と，領域内の小領域について拡大率情報を符号化するかどうかを示す拡大有無情報とを表す，分割パターン拡大有無情報を符号化する分割パターン拡大有無符号化ステップと，小領域の拡大率情報を符号化する拡大率符号化ステップとを実行することを特徴とする。
【００２３】
第１の発明によれば，画面内のある領域が回転するような画像において，回転する小領域でのみ回転角度情報を符号化し，その他の領域または小領域では回転角度情報を符号化しないことができる。従って，回転を必要としない領域における回転角度情報の符号化量を削減でき，符号化効率を向上することができる。
【００２４】
第２の発明によれば，画面内のある領域が拡大縮小するような画像において，拡大縮小する小領域でのみ拡大率情報を符号化し，その他の領域または小領域では拡大率情報を符号化しないことができる。従って，拡大縮小を必要としない領域における拡大率情報の符号化量を削減でき，符号化効率を向上することができる。
【００２５】
上記第１と第２の発明を組み合わせて実施することもできる。
【００２６】
【発明の実施の形態】
図面を用いて本発明の実施の形態を説明する。画面をマクロブロック毎に符号化し，そのマクロブロックを複数のブロックに分割して符号化する場合の例を示す。複数パターンの領域分割パターンと回転角度情報と拡大率情報を予め用意しておき，分割パターンと回転角度情報と拡大率情報と動きベクトルを求める方法の例を示す。まず，分割パターンを固定し，ブロック毎に，回転角度情報と拡大率情報を変更して動き探索を行う。これを全てのブロックで行った後，分割パターンを変更して，同じ処理を繰り返す。
【００２７】
図１に本発明の実施の形態に係る画像符号化装置の概要を示す。この画像符号化装置１は，現フレームの画像を入力する画像入力部１１と，マクロブロックを更に分割したブロックの分割パターンを指定する領域分割パターン指定部１２と，ブロックの回転角度情報を指定する回転角度指定部１３と，ブロックの拡大率情報を指定する拡大率指定部１４と，参照画像内の或る位置を原点とした，予め設定した回転角度情報と拡大率情報を使って拡大縮小し回転された予測画像を作成する回転拡大予測画像作成部１６と，ブロック毎に，回転拡大予測画像作成部１６で作成された予測画像との間で動き探索を行い，動きベクトルを求める動き探索部１５と，そのブロックにおける回転角度情報と拡大率情報を決定する回転拡大決定部１８と，マクロブロックの分割パターンを決定する分割パターン決定部１７と，ブロック毎に，動き探索部１５で得られた動きベクトルを使って，回転拡大予測画像作成部１６で作成された予測画像との間の予測誤差を符号化する予測誤差符号化部１９とを備える。
【００２８】
また，ブロックの分割パターン情報と，各ブロックが回転角度情報と拡大率情報を符号化するかどうかを示す回転拡大有無情報とを表す，分割パターン回転拡大有無情報を符号化する分割パターン回転拡大有無符号化部２０と，ブロックの動きベクトルを符号化する動きベクトル符号化部２３と，ブロックの回転角度情報を符号化する回転角度符号化部２１と，ブロックの拡大率情報を符号化する拡大率符号化部２２と，予測誤差の符号化データを復号して復号画像を作成する復号部２４と，復号画像を蓄積する参照画像メモリ２５とを備える。
【００２９】
領域分割パターン指定部１２では，縦横１６画素のマクロブロックを，
Ａ．縦横１６画素のブロック，
Ｂ．縦１６横８画素のブロック，
Ｃ．縦８横１６画素のブロック，
Ｄ．縦８横８画素のブロック，
の４パターンに分割する分割パターンを用意しておき，ＡからＤまで順に指定するものとする。
【００３０】
回転角度指定部１３では，ブロックの左上画素を中心にして，
Ａ．０度，
Ｂ．右４５度，
Ｃ．右９０度，
Ｄ．左４５度，
Ｅ．左９０度，
の５パターンに回転する回転角度情報を用意しておき，ＡからＥまで順に指定するものとする。図２に縦横８画素のブロックの場合の回転中心の位置を示す。
【００３１】
拡大率指定部１４では，ブロックの左上画素を中心にして，
Ａ．４／４，
Ｂ．３／４，
Ｃ．２／４，
Ｄ．５／４，
Ｅ．６／４，
の５パターンに拡大縮小する拡大率情報を用意しておき，ＡからＥまで順に指定するものとする。図２に縦横８画素のブロックの場合の拡大縮小中心の位置を示す。
【００３２】
回転拡大予測画像作成部１６では，動き探索部１５と予測誤差符号化部１９で使用する予測誤差を作成するが，予測画像の画素位置は，式（４）に従って求める。ここで（ｉ，ｊ）は対応する入力画像ブロック内の画素位置，（ｋ，ｌ）が予測画像画素位置，θは回転角度，Ｚは拡大率，（ｘ，ｙ）は動きベクトル（平行移動量）を示す。
【００３３】
【数４】
一般的に位置（ｋ，ｌ）は整数位置とはならないため，それに最も近い１／４精度の位置での画像情報によって代用するものとする。１／４精度の画像情報は整数位置の画像情報から線形補間によって求めるものとする。
【００３５】
動きベクトル符号化部２３は，図３に示すようなルックアップテーブルを使って動きベクトル情報を可変長符号化する。回転角度符号化部２１は，図４に示したルックアップテーブルを使って回転角度情報を符号化する。拡大率符号化部２２は，図５に示したルックアップテーブルを使って拡大率情報を符号化する。分割パターン回転拡大有無符号化部２０は，図６に示したルックアップテーブルを使って分割パターン回転拡大有無情報を符号化する。
【００３６】
動き探索部１５では，差分の評価尺度として絶対値差分和Ｗを使うものとする。使用するＷの計算式を式（５）に示す。ここで，ｋ，ｌは式（４）によって求めた値であり，Ｎｍｖ（ｘ，ｙ）は動きベクトル（ｘ，ｙ）を符号化するために必要な符号量であり，Ｎｒ（θ）は回転角度θを符号化するために必要な符号量であり，Ｎｚ（ｚ）は拡大率ｚを符号化するために必要な符号量を表す。
【００３７】
【数５】
図７に分割パターンと回転角度と拡大率を決定するフローを示す。本実施の形態では，まず分割パターンを固定し，各ブロックにおいて動きベクトルと回転角度と拡大率を求める。これを分割パターンを変更しながら続ける。
【００３９】
すなわち，まず，全ての分割パターンで動き探索を行ったかを判断し（ステップＳ１），全ての分割パターンで動き探索を行った場合には，処理を終了する。動き探索を行っていない分割パターンがある場合には，分割パターンを指定する（ステップＳ２）。次に，全てのブロックで動き探索を行ったかを判断し（ステップＳ３），全てのブロックで動き探索を行った場合には，ステップＳ１に戻る。動き探索を行っていないブロックがある場合には，探索ブロックを設定する（ステップＳ４）。
【００４０】
次に，全ての拡大率で動き探索を行ったかを判断し（ステップＳ５），全ての拡大率で動き探索を行った場合には，ステップＳ３に戻る。動き探索を行っていない拡大率がある場合には，拡大率を設定する（ステップＳ６）。次に，全ての回転角度で動き探索を行ったかを判断し（ステップＳ７），全ての回転角度で動き探索を行った場合には，ステップＳ５に戻る。動き探索を行っていない回転角度がある場合には，その回転角度を設定し（ステップＳ８），動き探索を行った後（ステップＳ９），ステップＳ７に戻る。
【００４１】
分割パターンと回転角度と拡大率を決定する際には，具体的には，回転拡大決定部１８は，ある分割パターンｉの，あるブロックｊで，回転角度と拡大率を変えて動き探索を行った際のＷの値を比較し，Ｗが最も小さい場合の回転角度と拡大率と動きベクトルとを，そのブロックにおける回転角度と拡大率と動きベクトルに決定し記憶しておく。この時のＷの値をＷ［ｉ］［ｊ］［１］と書くことにする。
【００４２】
また同時に回転角度０度かつ拡大率４／４の場合のＷの値を記憶しておく。このＷの値をＷ［ｉ］［ｊ］［０］と書くことにする。これを全てのブロックに対して求める。続いて，分割パターン決定部１７は，各分割パターンにおける，マクロブロック内のＷ［ｉ］［ｊ］［０］とＷ［ｉ］［ｊ］［１］の値を合計し，合計が最も小さい場合をそのマクロブロックの分割パターン回転拡大有無情報と決定し，分割パターンと，更に回転角度情報と拡大率情報を符号化するかどうかを決定する。動き探索部１５では，縦横１６画素の範囲を動き探索するものとする。
【００４３】
このような前提で現画像をマクロブロック単位に次のように符号化する。まず，画像入力部１１で入力画像を得る。領域分割パターン指定部１２は，分割パターンＡを指定する。そして，分割パターンＡで分割されるブロックのうち，ブロック０の動きベクトルと回転角度と拡大率を求める。回転角度指定部１３は，回転角度Ａを指定し，拡大率指定部１４は拡大率Ａを指定する。動き探索部１５は動きベクトルを設定する。そして，回転拡大予測画像作成部１６は，ブロック０に対応した位置から動きベクトルだけ移動した位置において回転角度Ａで拡大率Ａとなる予測画像を作成する。
【００４４】
動き探索部１５は，ブロック０の現画像と予測画像との間で絶対値差分和Ｗの値を求める。回転角度Ａと拡大率Ａを固定したまま，以上の処理を縦横１６画素の動き探索範囲において行う。絶対値差分和が最も小さい場合の動きベクトルを，そのブロック０の，回転角度Ａで拡大率Ａの動きベクトルとする。
【００４５】
回転角度Ａは０度であり，拡大率Ａは４／４であるため，その場合のＷをＷ［Ａ］［０］［０］と設定する。続いて，図７のフローに従い，回転角度と拡大率を変更して，上記の処理を行い，ブロック０における各回転角度，各拡大率の動きベクトルを探索する。回転拡大決定部１８は，回転角度と拡大率を変更して求めた絶対値差分和から，最も絶対値差分和Ｗが小さい場合を求め，その場合の動きベクトルと回転角度と拡大率を，ブロック０の動きベクトルと回転角度と拡大率に決定する。その場合のＷをＷ［Ａ］［０］［１］とする，以上の処理をブロックを変更して行う。分割パターンＡではブロック数は１つしかないので，ブロック０のみ処理を行うことになる。
【００４６】
続いて領域分割パターン指定部１２は，分割パターンをＢに指定する。分割パターンＢではブロック数は２であるため，ブロック０とブロック１に対して，動き探索を行い，ブロック０の最小絶対値差分和Ｗ［Ｂ］［０］［０］，Ｗ［Ｂ］［０］［１］と，ブロック１の最小絶対値差分和Ｗ［Ｂ］［１］［０］，Ｗ［Ｂ］［１］［１］と，対応した動きベクトルと回転角度と拡大率を求める。以上の処理を全ての分割パターンで行う。
【００４７】
すべての分割パターンで動き探索が終わると，分割パターン決定部１７は，各分割パターンｉで，全てのブロックのＷ［ｉ］［ｊ］［０］とＷ［ｉ］［ｊ］［１］をそれぞれ合計する。合計した値をＷａ［ｉ］［０］，Ｗａ［ｉ］［１］とすると，Ｗａ［ｉ］［０］，Ｗａ［ｉ］［１］（ｉ＝Ａ〜Ｄ）のうちで最も値が小さいものを求める。ここでＷａ［ｉ］［０］とＷａ［ｉ］［１］の違いは同じ分割パターンｉであるが，Ｗａ［ｉ］［０］は回転角度情報と拡大率情報を符号化しない場合であり，Ｗａ［ｉ］［１］は符号化する場合を示す。これにより，分割パターンと，回転角度と拡大率を符号化するかどうかを決定し，最終的には各ブロックの回転角度と拡大率を決定することになる。
【００４８】
予測誤差符号化部１９は，決定された分割パターンと，各ブロックの動きベクトルと回転角度と拡大率を使用して，現マクロブロックをフレーム間予測符号化する。分割パターン回転拡大有無符号化部２０は分割パターン回転拡大有無情報を符号化する。動きベクトル符号化部２３は動きベクトル情報を可変長符号化する。回転角度と拡大率を符号化すると決定した場合には，回転角度符号化部２１は回転角度情報を符号化し，拡大率符号化部２２は拡大率情報を符号化する。復号部２４は予測誤差符号化部１９で符号化された符号化データを復号して復号画像を作成し参照画像メモリ２５に蓄積する。
【００４９】
以上の手順をすべてのマクロブロックに対して繰り返し処理する。
【００５０】
図８に，上記の画像符号化装置１で得られた符号化データを復号する画像復号装置３の装置概要を示す。この画像復号装置３は，マクロブロックを更に分割したブロックの分割パターン情報と，ブロックが回転角度情報と拡大率情報を復号するかどうかを示す回転拡大有無情報とを表す，分割パターン回転拡大有無情報を復号する分割パターン回転拡大有無復号部３２と，ブロックの動きベクトルを復号する動きベクトル復号部３５と，ブロックの回転角度情報を復号する回転角度復号部３３と，ブロックの拡大率情報を復号する拡大率復号部３４と，参照画像内の或る位置を原点とした，回転角度復号部３３で得られた回転角度情報と，拡大率復号部３４で得られた拡大率情報と，動きベクトル復号部３５で得られた動きベクトルを使って予測画像を作成する回転拡大予測画像作成部３６と，回転拡大予測画像作成部３６で作成された予測画像を用いて復号画像を作成する復号部３１と，復号画像を蓄積する参照画像メモリ３７とを備える。
【００５１】
この画像復号装置３では，符号化データがマクロブロック毎に次のように復号される。分割パターン回転拡大有無復号部３２は分割パターン回転拡大有無情報を復号し，マクロブロックの分割パターンと，回転角度情報と拡大率情報を復号するかどうかを決定する。動きベクトル復号部３５は動きベクトルを復号する。分割パターン回転拡大有無情報により回転角度情報と拡大率情報を復号すると決定した場合には，回転角度復号部３３は回転角度を復号し，拡大率復号部３４は拡大率を復号する。回転拡大予測画像作成部３６はブロック毎に，動きベクトルと回転角度情報と拡大率情報を使って，上記の式（４）に従って予測画像を作成する。
【００５２】
ここで分割パターン回転拡大有無情報により回転角度情報と拡大率情報を復号しないと決定した場合には，回転角度は０度に，拡大率は４／４に設定する。復号部３１は予測画像を使って予測誤差の符号化データを復号して復号画像を求め，復号画像を参照画像メモリ３７に蓄積する。
【００５３】
なお，以上説明した実施の形態では，回転と拡大を両方行ったが，回転のみ行う方法や拡大のみ行う方法も好適である。またマクロブロックの分割パターンは図６に示したものだけではなく，例えば縦横４画素のブロックになるように分割してもよい。また回転角度は図４に示したものだけではなく，より小さい角度で回転するように設定してもよい，また拡大率は図５に示したものだけではなく，より大きく拡大したり，より小さく縮小するように設定してもよい。また回転や拡大の中心を図２に示した位置ではなく，例えばブロックの中心にするなど，他の個所にしてもよい。
【００５４】
図９は，本発明を用いた符号化による有効性を確認する実験結果を示す図である。一般的な画像について，平行移動に回転を加えた動きモデルの動き補償を適用して符号化を行った。横軸は符号化されたブロックのブロックサイズ，縦軸はそのサイズのブロックの発生頻度を表している。横軸において，「ａ×ｂ」の表記は，横ａ画素縦ｂ画素のブロックを表している。「ａ×ｂ」に「ｒ」が付いていないブロックは，平行移動だけの動き補償を行ったブロックであり，「ｒ」が付いているブロックは，回転を加えた動き補償を行ったブロックである。なお，「Ｉｎｔｒａ」はフレーム内符号化のブロックを表している。
【００５５】
図９の実験結果から，回転を加えた動き補償を行ったブロックの数は，平行移動だけの動き補償を行ったブロックの数よりも非常に少ないことがわかる。したがって，分割パターン回転有無情報を符号化することによって，回転角度情報の符号化量を削減できるという効果が大きいことが明らかである。
【００５６】
なお，回転を考慮しないで平行移動だけの動き補償を行って符号化した場合の符号化量と，回転を考慮した場合の符号化量とを比較する別の実験によって，回転を加えた符号化モードのほうが回転角度情報を符号化するオーバーヘッドを含めたとしても，符号化効率が高いことは確認済みである。
【００５７】
また，図９の結果から，８×８ブロック内のブロックサイズは，小さいほど回転が選択されやすいことがわかる。これは，ブロックサイズが小さいほど符号長の短い符号を割り当てたほうが有効であることを示している。ブロックサイズが小さいほど，より多く選択される原因の一つには，ブロック内で一律に同じ回転角度で回転するような動きが少ないためと推測される。
【００５８】
このように本発明によれば，画面内のある領域が回転あるいは拡大縮小するような画像において，回転あるいは拡大縮小する小領域でのみ回転角度情報あるいは拡大率情報を符号化し，その他の領域または小領域では回転角度情報や拡大率情報を符号化しないことができる。従って，回転や拡大縮小を必要としない領域における回転角度情報や拡大率情報の符号化量を削減でき，符号化効率を向上することができる。
【００５９】
以上の画像符号化処理および画像復号処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【００６０】
【発明の効果】
本発明によれば，画面内のある領域が回転あるいは拡大縮小するような画像の符号化において，回転角度情報や拡大率情報を符号化するかどうかを，領域の分割パターンとまとめて可変長符号化できる。従って，回転あるいは拡大縮小する小領域でのみ回転角度情報あるいは拡大率情報を符号化し，その他の領域または小領域では回転角度情報や拡大率情報を符号化しないことができる。従って，回転や拡大縮小を必要としない領域における回転角度情報や拡大率情報の符号化量を削減でき，符号化効率を向上することができる。
【図面の簡単な説明】
【図１】画像符号化装置の構成を示す図である。
【図２】回転中心，拡大縮小中心の位置を示す図である。
【図３】動きベクトルの可変長符号の一例を示す図である。
【図４】回転角度の可変長符号の一例を示す図である。
【図５】拡大率の可変長符号の一例を示す図である。
【図６】分割パターン回転拡大有無情報の可変長符号の一例を示す図である。
【図７】動き探索における分割パターンと回転角度と拡大率の決定フローを示す図である。
【図８】画像復号装置の構成を示す図である。
【図９】回転を行った場合と回転を行わない場合の符号量の比較を示す図である。
【図１０】マクロブロックと探索位置の関係を示す図である。
【図１１】画像情報の線形補間の一例を示す図である。
【図１２】１／２精度の画像情報を求めるフィルタ方法の一例を示す図である。
【図１３】動きベクトルの補間方法の概念図である。
【符号の説明】
１１ 画像入力部
１２ 領域分割パターン指定部
１３ 回転角度指定部
１４ 拡大率指定部
１５ 動き探索部
１６ 回転拡大予測画像作成部
１７ 分割パターン決定部
１８ 回転拡大決定部
１９ 予測誤差符号化部
２０ 分割パターン回転拡大有無符号化部
２１ 回転角度符号化部
２２ 拡大率符号化部
２３ 動きベクトル符号化部
２４ 復号部
２５ 参照画像メモリ
３１ 復号部
３２ 分割パターン回転拡大有無復号部
３３ 回転角度復号部
３４ 拡大率復号部
３５ 動きベクトル復号部
３６ 回転拡大予測画像作成部
３７ 参照画像メモリ
Claims (16)
- 現フレームの画像を分割した領域毎に，既に符号化した領域あるいはフレームの参照画像との間の予測誤差を用いて符号化する画像符号化方法であって，
前記領域を更に分割した小領域の分割パターン情報と，前記領域内の小領域について回転角度情報を符号化するかどうかを示す回転有無情報とを表す，分割パターン回転有無情報を符号化する分割パターン回転有無符号化ステップと，
前記小領域の回転角度情報を符号化する回転角度符号化ステップとを有する
ことを特徴とする画像符号化方法。 - 現フレームの画像を分割した領域毎に，既に符号化した領域あるいはフレームの参照画像との間の予測誤差を用いて符号化する画像符号化方法であって，
前記領域を更に分割した小領域の分割パターン情報と，前記領域内の小領域について拡大率情報を符号化するかどうかを示す拡大有無情報とを表す，分割パターン拡大有無情報を符号化する分割パターン拡大有無符号化ステップと，
前記小領域の拡大率情報を符号化する拡大率符号化ステップとを有する
ことを特徴とする画像符号化方法。 - 現フレームの画像を分割した領域毎に，既に符号化した領域あるいはフレームの参照画像との間の予測誤差を用いて符号化する画像符号化方法であって，
前記領域を更に分割した小領域の分割パターン情報と，前記領域内の小領域について回転角度情報と拡大率情報を符号化するかどうかを示す回転拡大有無情報とを表す，分割パターン回転拡大有無情報を符号化する分割パターン回転拡大有無符号化ステップと，
前記小領域の回転角度情報を符号化する回転角度符号化ステップと，
前記小領域の拡大率情報を符号化する拡大率符号化ステップとを有する
ことを特徴とする画像符号化方法。 - 現フレームの画像を分割した領域毎に，既に復号した領域あるいはフレームの参照画像との間の予測誤差を用いて符号化データを復号する画像復号方法であって，
前記領域を更に分割した小領域の分割パターン情報と，前記領域内の小領域について回転角度情報を符号化するかどうかを示す回転有無情報とを表す，分割パターン回転有無情報を復号する分割パターン回転有無復号ステップと，
前記小領域の回転角度情報を復号する回転角度復号ステップとを有する
ことを特徴とする画像復号方法。 - 現フレームの画像を分割した領域毎に，既に復号した領域あるいはフレームの参照画像との間の予測誤差を用いて符号化データを復号する画像復号方法であって，
前記領域を更に分割した小領域の分割パターン情報と，前記領域内の小領域について拡大率情報を符号化するかどうかを示す拡大有無情報とを表す，分割パターン拡大有無情報を復号する分割パターン拡大有無復号ステップと，
前記小領域の拡大率情報を復号する拡大率復号ステップとを有する
ことを特徴とする画像復号方法。 - 現フレームの画像を分割した領域毎に，既に復号した領域あるいはフレームの参照画像との間の予測誤差を用いて符号化データを復号する画像復号方法であって，
前記領域を更に分割した小領域の分割パターン情報と，前記領域内の小領域について回転角度情報と拡大率情報を符号化するかどうかを示す回転拡大有無情報とを表す，分割パターン回転拡大有無情報を復号する分割パターン回転拡大有無復号ステップと，
前記小領域の回転角度情報を復号する回転角度復号ステップと，
前記小領域の拡大率情報を復号する拡大率復号ステップとを有する
ことを特徴とする画像復号方法。 - 現フレームの画像を分割した領域毎に，既に符号化した領域あるいはフレームの参照画像との間の予測誤差を用いて符号化する画像符号化装置であって，
現フレームの画像を入力する画像入力部と，
前記領域を更に分割した小領域の分割パターンを指定する領域分割パターン指定部と，
参照画像内の或る位置を原点とした，予め設定した回転角度情報を使って回転された予測画像を作成する回転予測画像作成部と，
前記小領域毎に，前記回転予測画像作成部で作成された予測画像との間で動き探索を行い，動きベクトルを求める動き探索部と，
前記小領域毎に，前記動き探索部で得られた動きベクトルを使って，前記回転予測画像作成部で作成された予測画像との間の予測誤差を符号化する予測誤差符号化部と，
前記小領域の分割パターン情報と，前記領域内の小領域について回転角度情報を符号化するかどうかを示す回転有無情報とを表す，分割パターン回転有無情報を符号化する分割パターン回転有無符号化部と，
前記小領域の動きベクトルを符号化する動きベクトル符号化部と，
前記小領域の回転角度情報を符号化する回転角度符号化部と，
予測誤差の符号化データを復号して復号画像を作成する復号部と，
復号画像を蓄積する参照画像メモリとを備える
ことを特徴とする画像符号化装置。 - 現フレームの画像を分割した領域毎に，既に符号化した領域あるいはフレームの参照画像との間の予測誤差を用いて符号化する画像符号化装置であって，
現フレームの画像を入力する画像入力部と，
前記領域を更に分割した小領域の分割パターンを指定する領域分割パターン指定部と，
参照画像内の或る位置を原点とした，予め設定した拡大率情報を使って拡大縮小された予測画像を作成する拡大予測画像作成部と，
前記小領域毎に，前記拡大予測画像作成部で作成された予測画像との間で動き探索を行い，動きベクトルを求める動き探索部と，
前記小領域毎に，前記動き探索部で得られた動きベクトルを使って，前記拡大予測画像作成部で作成された予測画像との間の予測誤差を符号化する予測誤差符号化部と，
前記小領域の分割パターン情報と，前記領域内の小領域について拡大率情報を符号化するかどうかを示す拡大有無情報とを表す，分割パターン拡大有無情報を符号化する分割パターン拡大有無符号化部と，
前記小領域の動きベクトルを符号化する動きベクトル符号化部と，
前記小領域の拡大率情報を符号化する拡大率符号化部と，
予測誤差の符号化データを復号して復号画像を作成する復号部と，
復号画像を蓄積する参照画像メモリとを備える
ことを特徴とする画像符号化装置。 - 現フレームの画像を分割した領域毎に，既に符号化した領域あるいはフレームの参照画像との間の予測誤差を用いて符号化する画像符号化装置であって，
現フレームの画像を入力する画像入力部と，
前記領域を更に分割した小領域の分割パターンを指定する領域分割パターン指定部と，
参照画像内の或る位置を原点とした，予め設定した回転角度情報と拡大率情報とを使って拡大縮小し回転された予測画像を作成する回転拡大予測画像作成部と，
前記小領域毎に，前記回転拡大予測画像作成部で作成された予測画像との間で動き探索を行い，動きベクトルを求める動き探索部と，
前記小領域毎に，前記動き探索部で得られた動きベクトルを使って，前記回転拡大予測画像作成部で作成された予測画像との間の予測誤差を符号化する予測誤差符号化部と，
前記小領域の分割パターン情報と，前記領域内の小領域について回転角度情報と拡大率情報を符号化するかどうかを示す回転拡大有無情報とを表す，分割パターン回転拡大有無情報を符号化する分割パターン回転拡大有無符号化部と，
前記小領域の動きベクトルを符号化する動きベクトル符号化部と，
前記小領域の回転角度情報を符号化する回転角度符号化部と，
前記小領域の拡大率情報を符号化する拡大率符号化部と，
予測誤差の符号化データを復号して復号画像を作成する復号部と，
復号画像を蓄積する参照画像メモリとを備える
ことを特徴とする画像符号化装置。 - 現フレームの画像を分割した領域毎に，既に復号した領域あるいはフレームの参照画像との間の予測誤差を用いて符号化データを復号する画像復号装置であって，
前記領域を更に分割した小領域の分割パターン情報と，前記領域内の小領域について回転角度情報を復号するかどうかを示す回転有無情報とを表す，分割パターン回転有無情報を復号する分割パターン回転有無復号部と，
前記小領域の動きベクトルを復号する動きベクトル復号部と，
前記小領域の回転角度情報を復号する回転角度復号部と，
参照画像内の或る位置を原点とした，前記回転角度復号部で得られた回転角度情報と，前記動きベクトル復号部で得られた動きベクトルを使って予測画像を作成する回転予測画像作成部と，
前記回転予測画像作成部で作成された予測画像を用いて復号画像を作成する復号部と，
復号画像を蓄積する参照画像メモリとを備える
ことを特徴とする画像復号装置。 - 現フレームの画像を分割した領域毎に，既に復号した領域あるいはフレームの参照画像との間の予測誤差を用いて符号化データを復号する画像復号装置であって，
前記領域を更に分割した小領域の分割パターン情報と，前記領域内の小領域について拡大率情報を復号するかどうかを示す拡大有無情報とを表す，分割パターン拡大有無情報を復号する分割パターン拡大有無復号部と，
前記小領域の動きベクトルを復号する動きベクトル復号部と，
前記小領域の拡大率情報を復号する拡大率復号部と，
参照画像内の或る位置を原点とした，前記拡大率復号部で得られた拡大率情報と，前記動きベクトル復号部で得られた動きベクトルを使って予測画像を作成する拡大予測画像作成部と，
前記拡大予測画像作成部で作成された予測画像を用いて復号画像を作成する復号部と，
復号画像を蓄積する参照画像メモリとを備える
ことを特徴とする画像復号装置。 - 現フレームの画像を分割した領域毎に，既に復号した領域あるいはフレームの参照画像との間の予測誤差を用いて符号化データを復号する画像復号装置であって，
前記領域を更に分割した小領域の分割パターン情報と，前記領域内の小領域について回転角度情報と拡大率情報を復号するかどうかを示す回転拡大有無情報とを表す，分割パターン回転拡大有無情報を復号する分割パターン回転拡大有無復号部と，
前記小領域の動きベクトルを復号する動きベクトル復号部と，
前記小領域の回転角度情報を復号する回転角度復号部と，
前記小領域の拡大率情報を復号する拡大率復号部と，
参照画像内の或る位置を原点とした，前記回転角度復号部で得られた回転角度情報と，前記拡大率復号部で得られた拡大率情報と，前記動きベクトル復号部で得られた動きベクトルとを使って予測画像を作成する回転拡大予測画像作成部と，
前記回転拡大予測画像作成部で作成された予測画像を用いて復号画像を作成する復号部と，
復号画像を蓄積する参照画像メモリとを備える
ことを特徴とする画像復号装置。 - 請求項１ないし請求項３のいずれか１項に記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラム。
- 請求項４ないし請求項６のいずれか１項に記載の画像復号方法をコンピュータに実行させるための画像復号プログラム。
- 請求項１ないし請求項３のいずれか１項に記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラムを記録した記録媒体。
- 請求項４ないし請求項６のいずれか１項に記載の画像復号方法をコンピュータに実行させるための画像復号プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002323478A JP4015532B2 (ja) | 2002-11-07 | 2002-11-07 | 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびそのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002323478A JP4015532B2 (ja) | 2002-11-07 | 2002-11-07 | 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびそのプログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004159132A true JP2004159132A (ja) | 2004-06-03 |
| JP4015532B2 JP4015532B2 (ja) | 2007-11-28 |
Family
ID=32803335
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002323478A Expired - Lifetime JP4015532B2 (ja) | 2002-11-07 | 2002-11-07 | 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびそのプログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4015532B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009502084A (ja) * | 2005-07-18 | 2009-01-22 | エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート | 時間及び視点間参照映像バッファを活用した予測符号化／復号化装置及びその方法 |
| JP2012090327A (ja) * | 2011-12-27 | 2012-05-10 | Ntt Docomo Inc | 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム、および動画像復号化プログラム |
| JP2012257323A (ja) * | 2012-08-31 | 2012-12-27 | Hitachi Consumer Electronics Co Ltd | 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法 |
| JP2013074303A (ja) * | 2011-09-26 | 2013-04-22 | Nippon Telegr & Teleph Corp <Ntt> | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム |
| JP2014239504A (ja) * | 2014-07-31 | 2014-12-18 | 日立コンシューマエレクトロニクス株式会社 | 復号化装置 |
| JP2015092650A (ja) * | 2013-09-30 | 2015-05-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置 |
| WO2018056181A1 (ja) * | 2016-09-26 | 2018-03-29 | ソニー株式会社 | 符号化装置、符号化方法、復号化装置、復号化方法、送信装置および受信装置 |
| JP2019070974A (ja) * | 2017-10-10 | 2019-05-09 | 株式会社アクセル | 画像処理装置、画像処理方法、および画像処理プログラム |
-
2002
- 2002-11-07 JP JP2002323478A patent/JP4015532B2/ja not_active Expired - Lifetime
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9154786B2 (en) | 2005-07-18 | 2015-10-06 | Electronics And Telecommunications Research Institute | Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same |
| US8369406B2 (en) | 2005-07-18 | 2013-02-05 | Electronics And Telecommunications Research Institute | Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same |
| JP2009502084A (ja) * | 2005-07-18 | 2009-01-22 | エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート | 時間及び視点間参照映像バッファを活用した予測符号化／復号化装置及びその方法 |
| JP2013074303A (ja) * | 2011-09-26 | 2013-04-22 | Nippon Telegr & Teleph Corp <Ntt> | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム |
| JP2012090327A (ja) * | 2011-12-27 | 2012-05-10 | Ntt Docomo Inc | 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム、および動画像復号化プログラム |
| JP2012257323A (ja) * | 2012-08-31 | 2012-12-27 | Hitachi Consumer Electronics Co Ltd | 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法 |
| JP2015092650A (ja) * | 2013-09-30 | 2015-05-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置 |
| US10582220B2 (en) | 2013-09-30 | 2020-03-03 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| US11659204B2 (en) | 2013-09-30 | 2023-05-23 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| US10080039B2 (en) | 2013-09-30 | 2018-09-18 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| US11363297B2 (en) | 2013-09-30 | 2022-06-14 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| US10735768B2 (en) | 2013-09-30 | 2020-08-04 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| US10469875B2 (en) | 2013-09-30 | 2019-11-05 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| JP2020025317A (ja) * | 2013-09-30 | 2020-02-13 | サン パテント トラスト | 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置 |
| JP2014239504A (ja) * | 2014-07-31 | 2014-12-18 | 日立コンシューマエレクトロニクス株式会社 | 復号化装置 |
| US20200068222A1 (en) * | 2016-09-26 | 2020-02-27 | Sony Corporation | Coding apparatus, coding method, decoding apparatus, decoding method, transmitting apparatus, and receiving apparatus |
| JPWO2018056181A1 (ja) * | 2016-09-26 | 2019-07-04 | ソニー株式会社 | 符号化装置、符号化方法、復号化装置、復号化方法、送信装置および受信装置 |
| US10791342B2 (en) | 2016-09-26 | 2020-09-29 | Sony Corporation | Coding apparatus, coding method, decoding apparatus, decoding method, transmitting apparatus, and receiving apparatus |
| US11363300B2 (en) | 2016-09-26 | 2022-06-14 | Sony Corporation | Coding apparatus, coding method, decoding apparatus, decoding method, transmitting apparatus, and receiving apparatus |
| WO2018056181A1 (ja) * | 2016-09-26 | 2018-03-29 | ソニー株式会社 | 符号化装置、符号化方法、復号化装置、復号化方法、送信装置および受信装置 |
| JP2019070974A (ja) * | 2017-10-10 | 2019-05-09 | 株式会社アクセル | 画像処理装置、画像処理方法、および画像処理プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4015532B2 (ja) | 2007-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11095898B2 (en) | Inter-prediction mode based image processing method, and apparatus therefor | |
| CN104967852B (zh) | 通过帧内预测来对图像进行编码和解码的方法和设备 | |
| CN111656783B (zh) | 使用基于子块的运动补偿进行视频信号处理的方法和装置 | |
| TW201739252A (zh) | 具有仿射運動補償的視訊編碼的方法以及裝置 | |
| JP2018088696A (ja) | マージ候補ブロック誘導方法及びこのような方法を用いる装置 | |
| CN110892719A (zh) | 影像编码/解码方法及装置 | |
| JP2018520549A (ja) | イントラ予測を行う映像復号方法及びその装置、並びにイントラ予測を行う映像符号化方法及びその装置 | |
| TW202034690A (zh) | 視訊編碼的子區塊解塊方法和裝置 | |
| JP2004159132A (ja) | 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびそのプログラムを記録した記録媒体 | |
| JP3898031B2 (ja) | 画像符号化方法及び装置、画像復号方法及び装置、プログラム及び記録媒体 | |
| JP2007288810A (ja) | 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびコンピュータ読み取り可能な記録媒体 | |
| US20090051679A1 (en) | Local motion estimation using four-corner transforms | |
| JP3654664B2 (ja) | 画像符号化装置及び画像復号装置 | |
| JP4025570B2 (ja) | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム、動画像符号化プログラムを記録した記録媒体、動画像復号プログラムを記録した記録媒体 | |
| JP3999634B2 (ja) | 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびそのプログラムを記録した記録媒体 | |
| JP4797999B2 (ja) | 画像符号化・復号化装置 | |
| CN111903132B (zh) | 图像处理装置和方法 | |
| JP2007312425A (ja) | 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびそれらのプログラムを記録した記録媒体 | |
| JP3734488B2 (ja) | 画像符号化装置 | |
| JP2005260464A (ja) | 画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラム，画像復号プログラム，画像符号化プログラム記録媒体および画像復号プログラム記録媒体 | |
| JP2005333663A (ja) | 動き補償予測方法 | |
| JP4015537B2 (ja) | 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびそれらのプログラムを記録した記録媒体 | |
| JPH0965342A (ja) | 映像符号化装置及び映像復号化装置 | |
| JP2003299101A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像符号化プログラムを記録した記録媒体、動画像復号プログラムを記録した記録媒体 | |
| CN117917076A (zh) | 图像解码装置、图像解码方法及程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070508 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070709 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070709 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070911 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070913 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4015532 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110921 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120921 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130921 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |