JP2011151774A - 画像符号化装置、画像符号化方法および画像符号化プログラム - Google Patents
画像符号化装置、画像符号化方法および画像符号化プログラム Download PDFInfo
- Publication number
- JP2011151774A JP2011151774A JP2010215829A JP2010215829A JP2011151774A JP 2011151774 A JP2011151774 A JP 2011151774A JP 2010215829 A JP2010215829 A JP 2010215829A JP 2010215829 A JP2010215829 A JP 2010215829A JP 2011151774 A JP2011151774 A JP 2011151774A
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- motion vector
- image
- motion
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】平行移動による動き補償予測と幾何学変換による動き補償予測を併用する画像符号化方式にて、符号量の圧縮効率を向上させる。
【解決手段】予測方法決定部104は、対象画像内の対象ブロックごとに、平行移動動き補償予測部102による予測方法と、幾何学変換動き補償予測部103による予測方法とのいずれを採用するか決定する。符号化部150は、予測方法決定部104により採用された予測方法を特定するための予測方法情報、当該予測方法に係る動きベクトル、および予測誤差信号生成部105により生成された予測誤差信号を符号化する。符号化部150は、対象ブロックの動きベクトルを隣接ブロックの動きベクトルを参照して予測符号化する際、当該隣接ブロックの動き補償予測方法が平行移動動き補償予測であるか幾何学変換動き補償予測であるかに関わらずに、参照すべき動きベクトルを決定する。
【選択図】図1
【解決手段】予測方法決定部104は、対象画像内の対象ブロックごとに、平行移動動き補償予測部102による予測方法と、幾何学変換動き補償予測部103による予測方法とのいずれを採用するか決定する。符号化部150は、予測方法決定部104により採用された予測方法を特定するための予測方法情報、当該予測方法に係る動きベクトル、および予測誤差信号生成部105により生成された予測誤差信号を符号化する。符号化部150は、対象ブロックの動きベクトルを隣接ブロックの動きベクトルを参照して予測符号化する際、当該隣接ブロックの動き補償予測方法が平行移動動き補償予測であるか幾何学変換動き補償予測であるかに関わらずに、参照すべき動きベクトルを決定する。
【選択図】図1
Description
本発明は、動き補償予測を用いて画像を符号化する画像符号化装置、画像符号化方法および画像符号化プログラムに関する。
動画像の圧縮符号化方式の代表的なものとして、MPEGシリーズの規格がある。MPEGシリーズの規格では、フレームを複数のブロックに分割し、他のフレームからの動きを予測する動き補償が用いられている。MPEG−4やAVC/H.264では、複数の動き補償ブロックサイズの中から、最適なものを切り替えて用いる仕組みが導入されている。
ブロック単位の動き補償予測では、対象ブロックと参照ブロックとの間の平行移動を補償する方式が一般的である。これに加えて、ブロックの変形(たとえば、拡大、縮小、回転)を補償する方式も検討されている。たとえば、特許文献1では、フレーム間の予測を用いた画像符号化方式として、平行移動によって予測画像を求めるモードと幾何学変換によって予測画像を求めるモードをブロックごとに適応的に切り替えて、予測効率の向上を図っている。この方式では、平行移動の動きベクトルと、格子点の動きベクトル(すなわち、幾何学変換で用いる動きベクトル)を符号化するとしている。
このような状況下、本発明者は、平行移動による動き補償予測と幾何学変換による動き補償予測を併用する画像符号化方式にて、動きベクトル情報を圧縮することにより、さらに全体の符号量を圧縮する手法を見出した。
本発明はこうした状況に鑑みなされたものであり、その目的は、平行移動による動き補償予測と幾何学変換による動き補償予測を併用する画像符号化方式にて、符号量の圧縮効率を向上させる技術を提供することにある。
本発明のある態様の画像符号化装置は、動画像を符号化する画像符号化装置であって、対象画像内の対象ブロックと、その対象ブロックと平行移動した関係にある参照画像内の参照ブロックとの間の、動きベクトルおよび予測信号を生成する平行移動動き補償予測部と、対象画像内の対象ブロックと、その対象ブロックと幾何学変換した関係にある参照画像内の参照ブロックとの間の、動きベクトルおよび予測信号を生成する幾何学変換動き補償予測部と、対象画像内の対象ブロックごとに、平行移動動き補償予測部による予測方法と、幾何学変換動き補償予測部による予測方法とのいずれを採用するか決定する予測方法決定部と、予測方法決定部により採用された予測方法で生成された予測信号と、対象ブロックの画像信号との差分を算出し、予測誤差信号を生成する予測誤差信号生成部と、予測方法決定部により採用された予測方法を特定するための予測方法情報、当該予測方法に係る動きベクトル、および予測誤差信号生成部により生成された予測誤差信号を符号化する符号化部と、を備える。符号化部は、対象ブロックの動きベクトルを隣接ブロックの動きベクトルを参照して予測符号化する際、当該隣接ブロックの動き補償予測方法が平行移動動き補償予測であるか幾何学変換動き補償予測であるかに関わらずに、参照すべき動きベクトルを決定する。
幾何学変換動き補償予測部は、対象ブロックから複数の代表画素を選定して、それぞれの代表画素の動きベクトルを検出し、対象ブロックの複数の代表画素以外の画素の動きベクトルを、それら複数の代表画素の動きベクトルを用いた内挿および外挿の少なくともいずれか一方により算出してもよい。
幾何学変換動き補償予測部は、対象ブロックを小ブロックに分割した場合の小ブロックの略中心または略重心に相当する画素を代表画素に選定してもよい。
対象ブロックは、正方形の領域であり、幾何学変換動き補償予測部は、対象ブロックを十字に四等分した四つの正方形の小ブロックの四つの代表画素ごとに動きベクトルを検出する第1モードと、対象ブロックを横に二等分した二つの縦長長方形の小ブロックの二つの代表画素ごとに動きベクトルを検出する第2モードと、対象ブロックを縦に二等分した二つの横長長方形の小ブロックの二つの代表画素ごとに動きベクトルを検出する第3モードと、を実行し、予測方法決定部は、幾何学変換動き補償予測部による予測方法として、第1モード、第2モードおよび第3モードのいずれかを採用してもよい。
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
平行移動による動き補償予測と幾何学変換による動き補償予測を併用する画像符号化方式にて、符号量の圧縮効率を向上させることができる。
以下、図面と共に本発明の実施の形態を説明する。以下の実施の形態では、AVC/H.264符号化方式をベースとして符号化/復号する例を説明する。
図1は、本発明の実施の形態1に係る画像符号化装置100の構成を示すブロック図である。画像符号化装置100は、画像バッファ101、平行移動動き補償予測部102、幾何学変換動き補償予測部103、予測方法決定部104、予測誤差信号生成部105および符号化部150を備える。符号化部150は、予測誤差信号符号化部106、第1符号化ビット列生成部107、第2符号化ビット列生成部108、第3符号化ビット列生成部109、予測誤差信号復号部110、復号画像信号生成部111、復号画像バッファ112および出力スイッチ113を含む。
これらの構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のLSIで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
画像バッファ101は、撮影/表示時間順に供給された符号化対象の画像信号を一時格納する。画像バッファ101は、格納された符号化対象の画像信号を、所定の画素ブロック単位(ここでは、マクロブロック単位)で、平行移動動き補償予測部102、幾何学変換動き補償予測部103および予測誤差信号生成部105に並列に供給する。その際、撮影/表示時間順に供給された画像は、符号化順序に並び替えられて画像バッファ101から出力される。
MPEGシリーズでは、マクロブロックとは16×16画素の輝度信号と、それに対応する2つの色差信号のブロックを指す。色差フォーマットのYUVが4:2:0の場合、色差信号は8×8画素のサイズである。
本実施の形態では、参照画像を用いずに画面内で符号化するイントラ符号化方式、参照画像を用いた平行移動による動き補償予測方式、および参照画像を用いた幾何学変換による動き補償予測方式を用いる。ここで、参照画像は局部復号された復号画像である。なお、本実施の形態ではイントラ符号化方式には注目しないため、図1ではその構成を省略して描いている。これらの符号化方式のモードを、マクロブロック単位で単独あるいは組み合わせて適応的に切り替える。なお、すべてのマクロブロックを、参照画像を用いた幾何学変換による動き補償予測方式を用いて符号化する方式も可能である。
平行移動動き補償予測部102は、対象画像内の対象ブロックと、その対象ブロックと平行移動した関係にある参照画像内の参照ブロックとの間の、動きベクトルおよび予測信号を生成する。本実施の形態では、平行移動動き補償予測部102は、AVC/H.264方式などに規定されている既存の動き補償予測と同様の、平行移動による動き補償予測を行う。
動き補償予測は、後述する復号画像バッファ112から供給される表示順序で、前方または後方の復号画像を参照画像とする。平行移動動き補償予測部102は、参照画像内の所定の検出範囲内で、画像バッファ101から供給されるマクロブロック信号と、復号画像バッファ112から供給される参照画像信号との間でブロックマッチングを行う。平行移動動き補償予測部102は、ブロックマッチングにより、当該マクロブロック信号と最も誤差が小さい、参照画像信号内の参照ブロック信号を特定し、当該マクロブロック信号と当該参照ブロック信号との間の動きベクトルを検出する。
このブロックマッチングを、規定された複数のモードで行う。複数のモードはそれぞれ、参照インデックス、動き補償ブロックのサイズ、L0/L1予測などが異なる。参照インデックスとは参照ピクチャを示すインデックスである。なお、L0/L1予測はBスライスでのみ選択可能である。ブロックサイズの具体例は後述する。
また、動き補償予測を行う際、1画素未満の画素精度で動き補償することができる。たとえば、AVC/H.264方式などでは、輝度信号は1画素の1/4の精度まで、色差信号は1画素の1/8の精度までの動き補償を行うことができる。1画素未満の画素精度で動き補償する場合、参照画像内の整数画素の信号を用いて、1画素未満の画素精度の信号を周囲の信号から補間により生成する。
平行移動動き補償予測部102は、それぞれのモードにて動き補償予測を行い、それぞれのモードにおける予測信号(より具体的には、動き補償予測ブロック信号)および動きベクトルを、予測方法決定部104に供給する。
つぎに、AVC/H.264方式における動き補償ブロックサイズについて説明する。
図2は、マクロブロック・パーティションおよびサブマクロブロック・パーティションを説明するための図である。ここでは説明を簡略化するため、輝度信号の画素ブロックのみ描いている。AVC/H.264方式を含むMPEGシリーズでは、マクロブロックは正方形領域で規定される。一般的にAVC/H.264方式を含むMPEGシリーズでは、16×16画素(水平16画素、垂直16画素)で規定されるブロックをマクロブロックという。さらに、AVC/H.264方式では、8×8画素で規定されるブロックをサブマクロブロックという。マクロブロック・パーティションとは、マクロブロックを動き補償予測のために、さらに分割したそれぞれの小ブロックをいう。サブマクロブロック・パーティションとは、サブマクロブロックを動き補償予測のために、さらに分割したそれぞれの小ブロックをいう。
図2は、マクロブロック・パーティションおよびサブマクロブロック・パーティションを説明するための図である。ここでは説明を簡略化するため、輝度信号の画素ブロックのみ描いている。AVC/H.264方式を含むMPEGシリーズでは、マクロブロックは正方形領域で規定される。一般的にAVC/H.264方式を含むMPEGシリーズでは、16×16画素(水平16画素、垂直16画素)で規定されるブロックをマクロブロックという。さらに、AVC/H.264方式では、8×8画素で規定されるブロックをサブマクロブロックという。マクロブロック・パーティションとは、マクロブロックを動き補償予測のために、さらに分割したそれぞれの小ブロックをいう。サブマクロブロック・パーティションとは、サブマクロブロックを動き補償予測のために、さらに分割したそれぞれの小ブロックをいう。
図2(a)は、マクロブロックが16×16画素の輝度信号とそれに対応する2つの色差信号から構成される1つのマクロブロック・パーティションで構成されていることを示す図である。ここでは、この構成を16×16モードのマクロブロック・タイプと呼ぶ。
図2(b)は、マクロブロックが16×8画素(水平16画素、垂直8画素)の輝度信号とそれに対応する2つの色差信号から構成される2つのマクロブロック・パーティションで構成されていることを示す図である。この2つのマクロブロック・パーティションは縦に並べられている。ここでは、この構成を16×8モードのマクロブロック・タイプと呼ぶ。
図2(c)は、マクロブロックが8×16画素(水平8画素、垂直16画素)の輝度信号とそれに対応する2つの色差信号から構成される2つのマクロブロック・パーティションで構成されていることを示す図である。この2つのマクロブロック・パーティションは横に並べられている。ここでは、この構成を8×16モードのマクロブロック・タイプと呼ぶ。
図2(d)は、マクロブロックが8×8画素の輝度信号とそれに対応する2つの色差信号から構成される4つのマクロブロック・パーティションで構成されていることを示す図である。この4つのマクロブロック・パーティションは縦横2つずつ並べられている。この構成を8×8モードのマクロブロック・タイプと呼ぶ。なお、この8×8画素の輝度信号とそれに対応する2つの色差信号からなるマクロブロック・パーティションをサブマクロブロックと呼ぶ。
図2(e)は、サブマクロブロックが8×8画素の輝度信号とそれに対応する2つの色差信号から構成される1つのサブマクロブロック・パーティションで構成されていることを示す図である。ここでは、この構成を8×8モードのサブマクロブロック・タイプと呼ぶ。
図2(f)は、サブマクロブロックが8×4画素(水平8画素、垂直4画素)の輝度信号とそれに対応する2つの色差信号から構成される2つのサブマクロブロック・パーティションで構成されていることを示す図である。この2つのサブマクロブロック・パーティションは縦に並べられている。この構成を8×4モードのサブマクロブロック・タイプと呼ぶ。
図2(g)は、サブマクロブロックが4×8画素(水平4画素、垂直8画素)の輝度信号とそれに対応する2つの色差信号から構成される2つのマクロブロック・パーティションで構成されていることを示す図である。この2つのマクロブロック・パーティションは横に並べられている。ここでは、この構成を4×8モードのサブマクロブロック・タイプと呼ぶ。
図2(h)は、サブマクロブロックが4×4画素の輝度信号とそれに対応する2つの色差信号から構成される4つのサブマクロブロック・パーティションで構成されていることを示す図である。この4つのサブマクロブロック・パーティションは縦横2つずつ並べられている。ここでは、この構成を4×4モードのサブマクロブロック・タイプと呼ぶ。
AVC/H.264符号化方式では、以上の動き補償ブロックサイズの中から、最適なものを切り替えて用いる仕組みが取り入れられている。まず、マクロブロック単位の動き補償ブロックサイズとして、16×16、16×8、8×16および8×8モードのマクロブロック・タイプの中からいずれかが選択される。8×8モードのマクロブロック・タイプが選択された場合、サブマクロブロック単位の動き補償ブロックサイズとして、8×8、8×4、4×8、4×4モードのサブマクロブロック・タイプの中からいずれかが選択される。
輝度信号は、選択されたサイズの画素数で動き補償される。色差信号は、色差フォーマットが4:2:0の場合、水平、垂直ともにその半分の画素数で動き補償される。このように、動き補償ブロックサイズの情報は、マクロブロック・タイプおよびサブマクロブロック・タイプと呼ばれるシンタックス要素で符号化される。シンタックスとは符号化ビット列の表現規則であり、シンタックス要素とは、シンタックスで伝送することが規定されている情報である。
16×16、16×8、8×16および8×8モードのいずれのマクロブロック・タイプでも、L0予測、L1予測の場合、マクロブロック・パーティションごとに1つの動きベクトルが符号化・復号される。すなわち、16×16モードのマクロブロック・タイプでは1つの動きベクトルが、16×8および8×16モードのマクロブロック・タイプでは2つの動きベクトルが、および8×8モードのマクロブロック・タイプでは4つの動きベクトルが、それぞれ符号化・復号される。
各マクロブロック・パーティションの輝度信号および色差信号の各画素は、そのマクロブロック・パーティションの1つの動きベクトルに応じて、動き補償される。すなわち、当該各画素は、同じ動きベクトルを用いて動き補償される。
図1に戻り、幾何学変換動き補償予測部103は、対象画像内の対象ブロックと、その対象ブロックと幾何学変換した関係にある参照画像内の参照ブロックとの間の、動きベクトルおよび予測信号を生成する。より具体的には、幾何学変換動き補償予測部103は、対象ブロックを仮想的に複数の小ブロックに分割した場合の、小ブロックごとに代表画素を設定して、それぞれの代表画素の動きベクトルを検出する。その際、幾何学変換動き補償予測部103は、小ブロックの略中心または略重心の画素を代表画素に設定する。
また、幾何学変換動き補償予測部103は、複数の代表画素の動きベクトルから内挿および外挿の少なくとも一方を用いて、対象ブロックの複数の代表画素以外の画素の動きベクトルを算出する。なお、本発明の実施の形態に係る以下の説明においては、内挿・外挿との表記を内挿および外挿の少なくともいずれか一方のという意味で用いる。幾何学変換動き補償予測部103は、対象ブロックの4つの代表画素a、b、c、dの動きベクトルを符号化・復号する第1モード(後述する図3(a)参照)と、対象ブロックの縦方向における2つの代表画素e、fの動きベクトルを符号化・復号する第2モード(後述する図3(b)参照)と、対象ブロックの横方向における2つの代表画素g、hの動きベクトルを符号化・復号する第3モード(後述する図3(c)参照)を実行することができる。ここで、第1モードは対象ブロックを仮想的に十字に4等分して4つの正方形の小ブロックに分割した場合の、4つの小ブロックごとの中心または略中心を代表画素とし、第2モードは対象ブロックを仮想的に縦に2等分して2つの横長長方形の小ブロックに分割した場合の、2つの小ブロックごとの中心または略中心を代表画素とし、第3モードは対象ブロックを仮想的に横に2等分して2つの縦長長方形の小ブロックに分割した場合の、2つの小ブロックごとの中心または略中心を代表画素とする。
ここで、本発明の実施の形態に係る説明においては上記対象ブロックを16×16画素のマクロブロックとして説明するが、当該対象ブロックのサイズは16×16画素に限定されるものではなく、8×8画素のサブマクロブロックであってもよいし、32×32画素、48×48画素、64×64画素等のブロックであってもよい。上記小ブロックがマクロブロック・パーティションとして説明するが、それに限定されるものではなく、上記ブロックがサブマクロブロック、上記小ブロックがサブマクロブロック・パーティションであってもよい。
予測方法決定部104は、幾何学変換動き補償予測部103による予測方法として、上述した第1モード、第2モードおよび第3モードのいずれかを採用することができる。予測方法決定部104の詳細な処理については後述する。
以下、幾何学変換動き補償予測部103について、より具体的に説明する。幾何学変換動き補償予測部103は、AVC/H.264方式などに規定された既存の平行移動による動き補償予測と異なり、平行移動に加えて、拡大・縮小/回転などを含む変形を伴う幾何学変換による動き補償予測を行う。
本実施の形態に係る幾何学変換による動き補償予測では、マクロブロック、マクロブロック・パーティション、サブマクロブロックの輝度信号、色差信号の各画素をそれぞれ同じ動きベクトルで動き補償するのではなく、画素ごとに異なる動きベクトルを作成して動き補償を行う。幾何学変換動き補償予測の第1モードは8×8モードのマクロブロック・タイプに、第2モードは16×8のマクロブロック・タイプに、第3モードは8×16のマクロブロック・タイプに対応する。つまり、幾何学変換による動き補償予測ではマクロブロック・タイプは、画素ブロックの形状により規定されるのではなく、動きベクトルの数、代表画素の位置および動きベクトルの内挿・外挿演算方法により規定される。非代表画素の動きベクトルは、代表画素の動きベクトルにより内挿および外挿の少なくともいずれか一方により算出される。
幾何学変換動き補償予測部103は、サブマクロブロックを含む各マクロブロック・パーティションの中心または中心近傍の画素を代表画素に選定し、その動きベクトルを求める。マクロブロック・パーティションの場合、その縦横の画素数が偶数であるため、厳密な中心画素は存在しない。そこで、中心に位置する4画素のうちの特定の1画素を代表画素に設定するか、補間演算により厳密な中心画素の座標を求めて仮想的な画素を代表画素に設定する。幾何学変換動き補償予測部103は、各マクロブロック・パーティションの代表画素の動きベクトルとして、オプティカルフロー法等により画素単位で算出した動きベクトルを用いてもよいし、画像のエッジやコーナー等の信頼性の高いと判断できる特徴点の動きベクトルから内挿・外挿演算により補正してもよい。平行移動動き補償予測部102により生成された、対応するマクロブロック・パーティションの動きベクトルを用いてもよい。なお、対応するマクロブロック・パーティションの動きベクトルを用いる場合、その動きベクトルの値を当該代表画素にあてはめて、その動きベクトルの値を増加方向および減少方向に調整しながら検証することにより、動きベクトルの値を補正してもよい。
つぎに、幾何学変換動き補償予測部103は、代表画素の動きベクトルからマクロブロック内の非代表画素の動きベクトルを線形内挿・外挿(本実施の形態では、バイリニア内挿・外挿)により算出する。
縦方向の2つの代表画素e、fの動きベクトルを符号化・復号する第2モードの場合、幾何学変換動き補償予測部103は、垂直方向の2つの代表画素e、fの動きベクトルから、これら2点を結ぶ直線上の画素の動きベクトルを内挿および外挿の少なくともいずれか一方により算出する。そして、その他の画素の動きベクトルを、線形内挿・外挿された各画素の動きベクトルを水平方向にそのまま当てはめる。動きベクトルをそのまま当てはめた演算も内挿・外挿に含むものとする。
横方向の2つの代表画素g、hの動きベクトルを符号化・復号する第3モードの場合、幾何学変換動き補償予測部103は、水平方向の2つの代表画素の動きベクトルから、これら2点を結ぶ直線上の画素の動きベクトルを内挿および外挿の少なくともいずれか一方により算出し、その他の画素の動きベクトルを、線形内挿・外挿された各画素の動きベクトルを垂直方向にそのまま当てはめる。
4つの代表画素a、b、c、dの動きベクトルを符号化・復号する第1モードの場合、幾何学変換動き補償予測部103は、水平方向及び垂直方向の双方に内挿および外挿の少なくともいずれか一方により非代表画素の動きベクトルを算出する。後述する方法により水平方向および垂直方向の双方に一度に内挿・外挿してもよいし、水平方向の2つの代表画素の動きベクトルから、これら2点を結ぶ直線上の画素の動きベクトルを内挿・外挿することにより非代表画素の動きベクトルを算出し、その他の画素の動きベクトルを、既に算出された各画素の動きベクトルを用いて、さらに垂直方向に内挿・外挿することにより算出してもよい。
なお、縦方向の2つの代表画素e、fの動きベクトルを符号化・復号する第2モードにおいては、代表画素eの動きベクトルの値を代表画素a、bの動きベクトルの値に設定し、代表画素fの動きベクトルの値を代表画素c、dの動きベクトルの値に設定する。そして、4つの代表画素a、b、c、dの動きベクトルを符号化・復号する第1モードと同様に、非代表画素の動きベクトルを算出することができる。
同様に、横方向の2つの代表画素g、hの動きベクトルを符号化・復号する第3モードにおいては、代表画素gの動きベクトルの値を代表画素a、cの動きベクトルの値に設定し、第2代表画素hの動きベクトルの値を代表画素b、dの動きベクトルの値に設定する。そして、4つの代表画素a、b、c、dの動きベクトルを符号化・復号する第1モードと同様に、非代表画素の動きベクトルを算出することができる。
幾何学変換動き補償予測部103は、算出された画素ごとの動きベクトルを用いて、画素ごとに動き補償を行う。以上の説明では、マクロブロックに含まれる各画素の動きベクトルを算出する例を説明したが、サブマクロブロックに含まれる各画素の動きベクトルも同様に算出することができる。このような処理により、拡大・縮小/回転などを含む変形を表現することができ、幾何学変換と等価の処理を実現することができる。
この画素単位の動きベクトルの算出処理および各画素の動き補償処理を、規定された複数のモードで行う。複数のモードはそれぞれ、参照インデックス、動き補償ブロックのサイズ、L0/L1予測などが異なる。なお、L0/L1予測はBスライスでのみ選択可能である。
幾何学変換動き補償予測部103は、それぞれのモードにて動き補償予測を行い、それぞれのモードにおける予測信号(より具体的には、動き補償予測ブロック信号)および動きベクトルを、予測方法決定部104に供給する。
以下、幾何学変換動き補償予測における、各画素の動きベクトルの算出方法について具体例を挙げながら説明する。
図3(a)は、対象ブロックの4つの代表画素a、b、c、dの動きベクトルを符号化・復号する第1モードのマクロブロック・タイプの各画素の動きベクトルを算出する方法を説明するための図である。図3(a)では、代表画素を黒丸、非代表画素を白丸で表し、代表画素を、各マクロブロック・パーティションの中心近傍である画素a(3,3)、画素b(11,3)、画素c(3,11)および画素d(11,11)に設定している。ここでは、各画素の座標を(i,j)で表し、水平方向の座標を1画素単位でiで表し、垂直方向の座標を1画素単位でjで表している。マクロブロック中の最も左上の画素を原点(0,0)とし、右方向、及び下方向を正とする。
図3(a)は、対象ブロックの4つの代表画素a、b、c、dの動きベクトルを符号化・復号する第1モードのマクロブロック・タイプの各画素の動きベクトルを算出する方法を説明するための図である。図3(a)では、代表画素を黒丸、非代表画素を白丸で表し、代表画素を、各マクロブロック・パーティションの中心近傍である画素a(3,3)、画素b(11,3)、画素c(3,11)および画素d(11,11)に設定している。ここでは、各画素の座標を(i,j)で表し、水平方向の座標を1画素単位でiで表し、垂直方向の座標を1画素単位でjで表している。マクロブロック中の最も左上の画素を原点(0,0)とし、右方向、及び下方向を正とする。
まず、これら画素a、画素b、画素cおよび画素dの動きベクトルが割り当てられ、つぎに、それ以外の画素の動きベクトルが、線形内挿・外挿により算出される。
4つの代表画素a、b、c、dの動きベクトルを符号化・復号する第1モードでは、これら画素a、画素b、画素cおよび画素dの動きベクトルが割り当てられる。2つの代表画素e、fの動きベクトルを符号化・復号する第2モードでは、これら画素eおよび画素fの動きベクトルが割り当てられ、画素eの動きベクトルは画素a、bの動きベクトルでもあり、画素fの動きベクトルは画素c、dの動きベクトルでもある。2つの代表画素g、hの動きベクトルを符号化・復号する第3モードでは、これら画素gおよび画素hの動きベクトルが割り当てられ、画素gの動きベクトルは画素a、cの動きベクトルでもあり、画素hの動きベクトルは画素b、dの動きベクトルでもある。
次に、4つの代表画素a、b、c、dの動きベクトルVa、Vb、Vc、Vdからそれ以外の画素の動きベクトルV(i,j)が、線形内挿・外挿により算出される。
V(i,j)={(15−i−3)(15−j−3)Va+i(15−j−3)Vb+(15−i−3)(j−3)・Vc+(i−3)・(j−3)・Vd} ・・・式(1)
以上により、第1モード、第2モード、第3モードでの各画素毎の動きベクトルを算出する。なお、下記の方法により算出することもできる。
V(i,j)={(15−i−3)(15−j−3)Va+i(15−j−3)Vb+(15−i−3)(j−3)・Vc+(i−3)・(j−3)・Vd} ・・・式(1)
以上により、第1モード、第2モード、第3モードでの各画素毎の動きベクトルを算出する。なお、下記の方法により算出することもできる。
画素aの動きベクトルVa=V(3,3)、画素bの動きベクトルVb=V(11,3)、画素cの動きベクトルVc=V(3,11)、および画素dの動きベクトルVd=V(11,11)とすると、画素aと画素bを通るライン上の各画素の動きベクトルV(i,3)は、下記式(2)により算出される。
V(i,3)=Va+(Vb−Va)*(i−3)/8 ・・・式(2)
V(i,3)=Va+(Vb−Va)*(i−3)/8 ・・・式(2)
同様に、画素cと画素dを通るライン上の各画素の動きベクトルV(i,11)は、下記式(3)により算出される。
V(i,11)=Vc+(Vd−Vc)*(i−3)/8 ・・・式(3)
V(i,11)=Vc+(Vd−Vc)*(i−3)/8 ・・・式(3)
さらに、残りの画素の動きベクトルV(i,j)は、下記式(4)により算出される。
V(i,j)=V(i,3)+(V(i,11)−V(i,3))*(j−3)/8 ・・・式(4)
V(i,j)=V(i,3)+(V(i,11)−V(i,3))*(j−3)/8 ・・・式(4)
以上により、第1モード、第2モードおよび第3モードにおける各画素の動きベクトルを算出することができる。なお、第2モードおよび第3モードでは下記の方法により算出することもできる。
図3(b)は、対象ブロックの2つの代表画素e、fの動きベクトルを符号化・復号する第2モードのマクロブロック・タイプの各画素の動きベクトルを算出する方法を説明するための図である。図3(b)では、代表画素を、各マクロブロック・パーティションの中心近傍である画素e(7,3)および画素f(7,11)に設定している。
まず、これら画素eおよび画素fの動きベクトルが割り当てられ、つぎに、それ以外の画素の動きベクトルが、線形内挿・外挿により算出される。
画素eの動きベクトルVe=V(7,3)、画素fの動きベクトルをVf=V(7,11)とすると、画素eと画素fを通るライン上の各画素の動きベクトルV(7,j)は、下記式(5)により算出される。
V(7,j)=Ve+(Vf−Ve)*(j−3)/8 ・・・式(5)
V(7,j)=Ve+(Vf−Ve)*(j−3)/8 ・・・式(5)
つぎに下記式(6)に示すように、式(5)により算出された動きベクトルV(7,j)の値を水平方向に拡張して、動きベクトルV(7,j)の値を残りの画素の動きベクトルV(i,j)に代入する。
V(i,j)=V(7,j) ・・・式(6)
V(i,j)=V(7,j) ・・・式(6)
残りの画素の動きベクトルV(i,j)は、下記式(7)により算出されてもよい。
V(i,j)=Ve+(Vf−Ve)*(j−3)/8 ・・・式(7)
V(i,j)=Ve+(Vf−Ve)*(j−3)/8 ・・・式(7)
図3(c)は、対象ブロックの横方向における2つの代表画素g、hの動きベクトルを符号化・復号する第3モードのマクロブロック・タイプの各画素の動きベクトルを算出する方法を説明するための図である。図3(c)では、代表画素を、各マクロブロック・パーティションの中心近傍である画素g(3,7)および画素h(11,7)に設定している。
まず、これら画素gおよび画素hの動きベクトルが割り当てられ、つぎに、それ以外の画素の動きベクトルが、線形内挿・外挿により算出される。
画素gの動きベクトルVg=V(3,7)、画素hの動きベクトルVh=V(11,7)とすると、画素gと画素hを通るライン上の各画素の動きベクトルV(i,7)は、下記式(8)により算出される。
V(i,7)=Vg+(Vh−Vg)*(i−3)/8 ・・・式(8)
V(i,7)=Vg+(Vh−Vg)*(i−3)/8 ・・・式(8)
つぎに下記式(9)に示すように、式(8)により算出された動きベクトルV(i,7)の値を垂直方向に拡張して、動きベクトルV(i,7)の値を残りの画素の動きベクトルV(i,j)に代入する。
V(i,j)=V(i,7) ・・・式(9)
V(i,j)=V(i,7) ・・・式(9)
残りの画素の動きベクトルV(i,j)は、下記式(10)により算出されてもよい。
V(i,j) =Vg+(Vh−Vg)*(i−3)/8 ・・・式(10)
V(i,j) =Vg+(Vh−Vg)*(i−3)/8 ・・・式(10)
幾何学変換動き補償予測部103は、算出された各画素の動きベクトルに応じて各画素を動き補償予測する。より具体的には、各画素の動きベクトルが指し示す参照画像の画素から補間信号を生成することにより動き補償予測する。なお、各画素の動きベクトルの精度、演算過程で必要となる数値のまるめ方などは、どの復号装置で復号しても同じ値になるように規定する必要がある。なお、動きベクトルにより指定される予測画素の座標が小数点以下で表される場合、動き補償の際に周囲の画素から当該画素を補間する。その補間方法には4〜6タップのフィルタリングや線形補間などを用いることができる。
4つの代表画素a、b、c、dの動きベクトルを符号化・復号する第1モードでは、4つの動きベクトルで拡大・縮小、回転、平行移動など、第2モード、第3モードでは表現できない変形を表すことができる。
対象ブロックの縦方向における2つの代表画素e、fの動きベクトルを符号化・復号する第2モードでは、2つの動きベクトルで平行移動に加えて垂直方向に均一な変形を表すことができる。変形の表現力は第1モードに比べて限定されるが、符号化すべき動きベクトルの数を減らすことができる。対象ブロックの横方向における2つの代表画素g、hの動きベクトルを符号化・復号する第3モードでは、2つの動きベクトルで平行移動に加えて水平方向に均一な変形を表すことができる。変形の表現力は第1モードに比べて限定されるが、符号化すべき動きベクトルの数を減らすことができる。
図1に戻り、予測方法決定部104は、対象画像内の対象ブロックごとに、平行移動動き補償予測部102による予測方法と、幾何学変換動き補償予測部103による予測方法とのいずれを採用するか決定する。より具体的には、いずれの予測方法の、いずれのモードを採用するかを決定する。以下、モードの選択を含めて予測方法の選択という。
すなわち、予測方法決定部104は、平行移動による動き補償予測または幾何学変換による動き補償予測のどちらを、どの参照画像を用いて、どの画素ブロック単位で符号化するかを選択することにより、予測方法を決定する。幾何学変換による動き補償予測の場合は、第1モード、第2モードおよび第3モードのいずれかを選択する。その際、それらの項目の、どの組み合わせが、最も効率的な符号化を実現できる予測方法であるかを判定することにより、予測方法を決定する。予測方法を決定する基準として、たとえば、符号量と歪の関係を考慮したレート歪理論を用いることができる。より具体的には、マクロブロックの符号量(すなわち、予測方法情報、動きベクトルおよび予測信号の合計符号量)を算出するとともに、符号化対象画像と復号画像の差から歪量を算出し、当該符号量および当該歪量を入力変数とするレート歪関数を最小化する予測方法を選択する。なお、予測方法はマクロブロック・タイプで記述される。平行移動動き補償の場合、16×16/16×8/8×16/8×8モードのいずれを用いるかに関してマクロブロック・タイプで記述され、幾何学変換動き補償の場合、第1モード、第2モードおよび第3モードのいずれを用いるかに関してマクロブロック・タイプで記述される。幾何学変換動き補償予測の第1モードは4本の動きベクトルを符号化する8×8モードのマクロブロック・タイプに、第2モードは2本の動きベクトルを符号化する16×8のマクロブロック・タイプに、第3モードは同じく2本の動きベクトルを符号化する8×16のマクロブロック・タイプとして記述される。
予測方法決定部104は、採用したマクロブロック・タイプで記述される予測方法情報およびその予測方法により生成された動きベクトルを第1符号化ビット列生成部107、及び第2符号化ビット列生成部108に、採用した予測方法に応じた動きベクトルを第2符号化ビット列生成部108に供給する。それとともに、予測方法決定部104は、採用した予測方法により生成された予測信号を予測誤差信号生成部105に供給する。
予測誤差信号生成部105は、予測方法決定部104により採用された予測方法で生成された予測信号と、対象ブロックの画像信号との差分を算出し、予測誤差信号を生成する。より具体的には、予測誤差信号生成部105は、画像バッファ101から供給される符号化対象の画像信号から、予測方法決定部104から供給される予測信号を減算することにより、予測誤差信号を生成し、予測誤差信号符号化部106に供給する。
符号化部150は、予測方法決定部104により採用された予測方法を特定するための予測方法情報、当該予測方法により生成された動きベクトル、および予測誤差信号生成部105により生成された予測誤差信号を符号化する。符号化部150の第2符号化ビット列生成部108は、対象ブロックの動きベクトルを符号化する際、隣接ブロックの動きベクトルを参照して予測符号化する。その際、当該隣接ブロックの動き補償予測方法が平行移動動き補償予測であるか幾何学変換動き補償予測であるかに関わらずに、両者を共通に扱い、参照すべき隣接ブロックの動きベクトルを決定する。したがって、対象ブロックの動きベクトルと隣接ブロックの動きベクトルとの参照関係は、平行移動動き補償予測方法が採用されたブロックの動きベクトルと、幾何学変換動き補償予測が採用された動きベクトルとの間でも成立する。すなわち、動きベクトルの予測符号化において、両者が混在している関係になる。
ここで、幾何学変換による動き補償予測が採用された対象ブロックでは、その代表画素の動きベクトルが予測符号化の対象となる。たとえば、平行移動による動き補償予測が採用された対象ブロックの動きベクトルを、幾何学変換による動き補償予測が採用された隣接ブロックの動きベクトルを参照して予測符号化する場合、その隣接ブロックの代表画素の動きベクトルを参照する。
以下、符号化部150の処理を詳細に説明する。予測誤差信号符号化部106は、予測誤差信号生成部105から供給される予測誤差信号に対して、直交変換、量子化などの圧縮符号化処理を行い、符号化された予測誤差信号を生成し、第3符号化ビット列生成部109および予測誤差信号復号部110に供給する。
第1符号化ビット列生成部107は、予測方法決定部104から供給されるマクロブロック・タイプで記述される予測方法情報を、算術符号化などのエントロピー符号化により符号化し、符号化ビット列を生成する。なお、予測方法情報に含めるべき、予測ブロックサイズ、L0/L1予測の区別なども組み合わせてマクロブロック・タイプとして符号化する。また、予測方法情報に含めるべき、平行移動による動き補償予測と幾何学変換による動き補償予測のいずれを用いるかを識別するための情報に関しては、以下の記述方法を用いることができる。例えば、マクロブロックタイプの符号化方法は共通化して平行移動による動き補償予測と幾何学変換による動き補償予測を判別するためのシンタックス要素を別途に用意して記述してもよいし、他のマクロブロック・タイプとして符号化する情報と組み合わせることで、マクロブロック・タイプを拡張して記述してもよい。
第2符号化ビット列生成部108は、予測方法決定部104から供給される動きベクトルを符号化し、符号化ビット列を生成する。その際、動きベクトルを予測符号化する。対象ブロックの動きベクトルを符号化する際、すでに符号化または復号済みの周囲の隣接ブロックの動きベクトルとの相関を利用して、当該隣接ブロックから動きベクトルを予測することにより予測ベクトルを算出する。なお、周囲の隣接ブロックの動きベクトルとの相関は、予測方法決定部104から供給される予測方法情報に基づき特定できる。そして、この予測ベクトルと対象ブロックまたは対象画素の動きベクトルとの差分である差分ベクトルを算出し、その差分ベクトルを符号化することにより、動きベクトルの符号量を削減する。ここで、幾何学変換による動き補償予測が採用された対象ブロックでは、その代表画素の動きベクトルが符号化の対象となる。
図4は、動きベクトルの予測方法を説明するための図である。図4(a)は、パーティションが設定されていないマクロブロック間において、動きベクトルを予測する例を示す。図4(b)は、パーティションが設定されているマクロブロック間において、動きベクトルを予測する例を示す。図4(c)は、16×8画素のマクロブロックにおいて、動きベクトルを予測する例を示す。図4(d)は、8×16画素のマクロブロックにおいて、動きベクトルを予測する例を示す。以下、図4(a)〜(d)を参照して、AVC/H.264方式などに採用されている動きベクトルの予測方法について説明する。この動きベクトルの予測方法は、周囲の隣接ブロックの動きベクトルの中央値を用いて、対象ブロックの動きベクトルを予測する。
図4(a)〜(d)にて、グレーで塗られているブロックの動きベクトルが符号化対象である。図4(a)にて、対象ブロックの動きベクトルを、その対象ブロックの左隣のブロックA、上隣のブロックBおよび右斜上隣のブロックCの3つの動きベクトルを用いて予測する。より具体的には、それら3つの動きベクトルから水平成分および垂直成分それぞれについて中央値をとって予測ベクトルとする。なお、Bピクチャーにおいては、L0予測のための動きベクトルとL1予測のための動きベクトルをそれぞれ別々に扱う。その対象ブロックの左隣のブロックA、上隣のブロックBおよび右斜上隣のブロックCの3つのL0予測のための動きベクトルを用いて予測することにより、対象ブロックのL0予測のための予測ベクトルを算出する。同様に、その対象ブロックの左隣のブロックA、上隣のブロックBおよび右斜上隣のブロックCの3つのL1予測のための動きベクトルを用いて予測することにより、対象ブロックのL1予測のための予測ベクトルを算出する。ここで、上隣のブロックBおよび右斜上隣のブロックCが共に利用できず、ブロックAだけが利用できる場合、ブロックAの動きベクトルを予測ベクトルとして採用する。また、左隣のブロックA、上隣のブロックB、右斜上隣のブロックCの参照インデックスのうちひとつだけが符号化対象ブロックの参照インデックスと値が等しい(参照ピクチャが等しい)場合、そのブロックの動きベクトルを予測に用いる。
図4(b)に示すように、マクロブロックにパーティションが設定されている場合、マクロブロックの小ブロックごとに動きベクトルが異なる。その場合、対象ブロックの左隣のブロックでは、対象ブロックと接している小ブロックのうち、最も上の小ブロックAの動きベクトルを採用する。上隣のブロックでは、対象ブロックと接している小ブロックのうち、最も左のブロックBを採用する。右斜上隣のブロックでは、最も左下の小ブロックCを採用する。
図4(c)に示すように、符号化するブロックが8×16の場合、3つのブロックの動きベクトルの中央値ではなく、左のブロックは左隣のブロックA、右のブロックは右斜上隣のブロックCの動きベクトルを予測ベクトルとして採用する。また、図4(d)に示すように、符号化するブロックが16×8の場合も、3つのブロックの動きベクトルの中央値ではなく、上のブロックは上隣のブロックB、下のブロックは左隣のブロックAの動きベクトルを予測ベクトルとして採用する。
なお、図4に示す動きベクトルの予測方法は一例であり、それに限られるものではない。符号化側と復号側で動きベクトルの予測方法を同一に規定する限りにおいては、他の方法を用いることもできる。たとえば、隣接ブロックの位置および数が異なっていてもよい。また、隣接ブロックの複数の動きベクトルの中央値ではなく、平均値を用いてもよい。規定の条件や優先順位を設けて、単独の隣接ブロックの動きベクトルをそのまま用いてもよい。また、隣接ブロックは対象ブロックと必ずしも接していなくてもよい。また、図4ではマクロブロック単位の動きベクトルを予測する例を説明したが、サブマクロブロック単位の動きベクトルを予測する場合も、同様に処理することができる。
また、上記図4において説明した動きベクトルの予測方法において、隣接画素の動きベクトルをそのまま候補とするのではなく、スケーリングした動きベクトル値Vabcd’を予測ベクトルの算出に用いてもよい。スケーリングした動きベクトル値Vabcd’は、符号化対象画像と当該符号化対象ブロックの動きベクトルが指し示す参照画像との間の距離(時間)T1、及び符号化対象画像と隣接ブロックまたは隣接画素の動きベクトルVabcdが指し示す参照画像との距離(時間)T2との違いに応じてスケーリングした動きベクトル値である。スケーリングした動きベクトル値Vabcd’は下記式(11)により算出される。
Vabcd’=Vabcd*(T1/T2) ・・・式(11)
Vabcd’=Vabcd*(T1/T2) ・・・式(11)
符号化対象ブロックの動き補償予測で参照する参照画像と、隣接ブロックの動き補償予測で参照する参照画像が異なる場合、互いの動きベクトルの大きさに差が生じるため、そのミスマッチを解消するために動きベクトルをスケーリングする。例えば、物体が変形せず、等速運動をしていれば、動きベクトルの大きさはフレーム間隔が長くなるほど大きくなる。符号化対象画像−参照画像間のフレーム間隔T1、T2の比率に応じて隣接ブロック(隣接画素)の動きベクトルVabcdをスケーリングしてVabcd’を算出する。
図5は、動きベクトル値のスケーリング処理の一例を説明するための図である。図5では、符号化対象画像の符号化対象ブロックの参照画像が画像Ref2であり、隣接ブロック(隣接画素)の動き補償予測の参照画像が画像Ref3である例を示している。図5ではT1:T2=2:3であるから、画像Ref3を参照している隣接ブロック(隣接画素)の動きベクトルを2/3にスケーリングする。これにより、仮に隣接ブロック(隣接画素)が画像Ref2を参照して動き補償予測をした場合の動きベクトルの値に近くなり、結果的に画像Ref2を参照する符号化対象ブロックの動きベクトルの値に近くなる。図5の例では、隣接ブロックの動き補償予測の際の参加画像が画像Ref3でその動きベクトルの値が(24,−9)の場合、それを2/3にスケーリングした(16,6)を、符号化対象ブロックが参照する画像Ref2の動きベクトルの値とするとよい。
図1に戻り、第2符号化ビット列生成部108は、予測ベクトルと対象ブロックの動きベクトルとの差分を計算することにより求めた差分ベクトルを算術符号化などのエントロピー符号化により符号化する。その際、平行移動による動き補償予測で用いる動きベクトルと幾何学変換による動き補償予測で用いる動きベクトルを混在させて予測ベクトルを算出する。したがって、幾何学変換による動き補償予測で用いる動きベクトルから、平行移動による動き補償予測で用いる動きベクトルを予測して符号化したり、反対に、平行移動による動き補償予測で用いる動きベクトルから、幾何学変換による動き補償予測で用いる動きベクトルを予測して符号化する場合も発生する。平行移動による動き補償予測で用いる動きベクトルと幾何学変換による動き補償予測で用いる動きベクトルを混在させて予測ベクトルを算出することにより、差分ベクトルの符号化効率を向上させる効果がある。
上述したように、幾何学変換による動き補償予測で符号化・復号の対象となる動きベクトルは、マクロブロック・パーティションまたはサブマクロブロック・パーティションの、各中心に位置する画素の動きベクトルに設定される。各中心に位置する画素の動きベクトルは、各パーティションに含まれる全画素の動きベクトルの平均値とみなすことができ、平行移動による動き補償予測で用いる動きベクトルと強い相関を持つ。したがって、幾何学変換による動き補償予測で用いる動きベクトルと、平行移動による動き補償予測で用いる動きベクトルとの差分ベクトルも小さな値になる可能性が高い。
第3符号化ビット列生成部109は、予測誤差信号符号化部106から供給される符号化された予測誤差信号を、算術符号化などのエントロピー符号化を用いて順次符号化し、符号化ビット列を生成する。
第1符号化ビット列生成部107、第2符号化ビット列生成部108および第3符号化ビット列生成部109により生成された符号化ビット列は、予測方法情報、動きベクトル、予測誤差信号以外の情報が符号化されたその他の符号化ビット列とともに、出力スイッチ113を介して多重化され、符号化ストリームが生成される。
また、予測誤差信号復号部110は、予測誤差信号符号化部106により符号化された予測誤差信号に対して、逆量子化、逆直交変換などの伸張復号処理を行い、当該予測誤差信号を復号する。予測誤差信号復号部110は、復号した予測誤差信号を復号画像信号生成部111に供給する。復号画像信号生成部111は、予測誤差信号符号化部106から供給される予測誤差信号と、予測方法決定部104から供給される予測信号を重畳して、復号画像信号を生成する。復号画像信号生成部111は、その復号画像信号を画素ブロック単位で復号画像バッファ112に順次格納する。この復号画像バッファ112に格納される復号画像は、必要に応じて、符号化順序で後続する画像を動き補償予測する際の参照画像として利用される。
図6は、本発明の実施の形態1に係る画像符号化装置100における、マクロブロックの符号化処理手順を示すフローチャートである。まず、平行移動動き補償予測部102および幾何学変換動き補償予測部103は、画像バッファ101からマクロブロック信号を取り出す(S101)。
平行移動動き補償予測部102は、画像バッファ101から供給されるマクロブロック信号と、復号画像バッファ112から供給される参照画像信号との間で、平行移動による動き補償予測を行う(S102)。この平行移動による動き補償予測をモードごとに行う。幾何学変換動き補償予測部103は、画像バッファ101から供給されるマクロブロック信号と、復号画像バッファ112から供給される参照画像信号との間で、幾何学変換による動き補償予測を行う(S103)。この幾何学変換による動き補償予測をモードごとに行う。
予測方法決定部104は、平行移動による動き補償予測方法と、幾何学変換による動き補償予測とのいずれを採用するか決定する(S104)。その際、どのモードを採用するかも決定する。予測誤差信号生成部105は、画像バッファ101から供給される対象画像信号から、予測方法決定部104から供給される予測信号を減算し、予測誤差信号を生成する(S105)。予測誤差信号符号化部106は、当該予測誤差信号を符号化する(S106)。
第1符号化ビット列生成部107は、予測方法決定部104から供給される予測方法情報を符号化し、符号化ビット列を生成する(S107)。第2符号化ビット列生成部108は、予測方法決定部104から供給される動きベクトルを符号化し、符号化ビット列を生成する(S108)。第3符号化ビット列生成部109は、予測誤差信号符号化部106により符号化された予測誤差信号を算術符号化等を用いてエントロピー符号化し、符号化ビット列を生成する(S109)。
予測誤差信号復号部110は、予測誤差信号符号化部106により符号化された予測誤差信号を復号する(S110)。復号画像信号生成部111は、予測誤差信号復号部110により復号された予測誤差信号と、予測方法決定部104から供給される予測信号とを重畳して、復号画像信号を生成する(S111)。復号画像信号生成部111は、生成した復号画像信号を復号画像バッファ112に蓄積する(S112)。
以上説明したように実施の形態1によれば、幾何学変換による動き補償予測を使用する画像符号化方式にて、符号量の圧縮効率を向上させることができる。すなわち、幾何学変換による動き補償予測を使用する動きベクトルを予測符号化することにより、符号量を削減することができる。また、平行移動による動き補償予測と幾何学変換による動き補償予測とを併用すれば、符号量の圧縮効率をさらに向上させることができる。その際、平行移動による動き補償予測に係る動きベクトルと、幾何学変換による動き補償予測に係る動きベクトルの符号化方法を共通化することにより、これら2つの予測方法が混在しても、既存の動きベクトルの予測符号化方法をそのまま転用することができる。
また、幾何学変換による動き補償予測方法が採用された画素ブロックでは、その画素ブロックを分割したパーティションの中心またはその中心近傍の画素の動きベクトルが、その画素ブロックの動きベクトルとして扱われる。各中心に位置する画素の動きベクトルは、各パーティションに含まれる全画素の動きベクトルの平均値とみなすことができる。したがって、その画素ブロックに隣接する、平行移動による動き補償予測方法が採用された画素ブロックの動きベクトルとの相関も高くなる。よって、平行移動による動き補償予測と幾何学変換による動き補償予測を併用しても、動きベクトルの符号量の増大を抑制することができる。
また、本実施の形態に係る幾何学変換による動き補償予測は、8×8モードのマクロブロック・タイプ(このタイプでは、動きベクトルが4つ生成される)にも、8×16モードおよび16×8モードのマクロブロック・タイプ(これらのタイプでは、動きベクトルが2つ生成される)にも、対応することができる。同様に、4×4モードのサブマクロブロック・タイプ(このタイプでは、動きベクトルが4つ生成される)にも、4×8モードおよび8×4モードのサブマクロブロック・タイプ(これらのタイプでは、動きベクトルが2つ生成される)にも、対応することができる。このように、AVC/H.264などで採用されているマクロブロック・パーティションおよびサブマクロブロック・パーティションにすべて対応し、既存の符号化方式との調和性および互換性が高い。したがって、導入コストも抑制することができる。
図7は、本発明の実施の形態2に係る画像復号装置200の構成を示すブロック図である。当該画像復号装置200は、実施の形態1に係る画像符号化装置100により生成された符号化ストリームを復号する。当該符号化ストリームにおいて、上述したように、平行移動による動き補償予測と幾何学変換による動き補償予測が併用されている場合もあるし、幾何学変換による動き補償予測が単独で使用されている場合もある。なお、イントラ符号化については考慮していない。
画像復号装置200は、入力スイッチ209、復号部250、平行移動動き補償予測部204、幾何学変換動き補償予測部205、復号画像信号生成部207、復号画像バッファ208、切替制御部214、第1予測部スイッチ210、第2予測部スイッチ211、第3予測部スイッチ212および第4予測部スイッチ213を備える。復号部250は、第1符号化ビット列復号部201、第2符号化ビット列復号部202、第3符号化ビット列復号部203および予測誤差信号復号部206を含む。
これらの構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のLSIで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
復号部250は、符号化ストリームに含まれる、予測方法情報、動きベクトルおよび予測誤差信号を復号する。上述したように、符号化ストリームには差分ベクトルが符号化されている。差分ベクトルは、対象ブロックの動きベクトルと、その隣接ブロックまたはその隣接画素の動きベクトルから予測された予測ベクトルとの差分である。復号部250は、動きベクトルを復号する際、当該隣接ブロックまたは当該隣接画素の動きベクトルから予測ベクトルを算出し、当該予測ベクトルに、復号された差分ベクトルを加算することにより、予測符号化された対象ブロックの動きベクトルを復号する。上述したように、対象ブロックの動きベクトルは、隣接ブロックの動き補償予測方法に関わらずに、当該隣接ブロックの動きベクトルを参照して予測符号化されている。復号部250は、動きベクトルを復号する際、予測符号化された対象ブロックの動きベクトルを、隣接ブロックの動き補償予測方法に関わらずに、当該隣接ブロックの動きベクトルを参照して復号する。なお、幾何学変換動き補償の場合、対象ブロックの動きベクトルが代表画素の動きベクトルとなる。
平行移動動き補償予測部204は、対象画像内の対象ブロックと、その対象ブロックと平行移動した関係にある参照画像内の参照ブロックとの間の動きベクトル、および参照ブロックの画像信号から予測信号を生成する。幾何学変換動き補償予測部205は、対象画像内の対象ブロックと、その対象ブロックと幾何学変換した関係にある参照画像内の参照ブロックとの間の動きベクトル、および参照ブロックの画像信号から予測信号を生成する。
上述したように、上記対象ブロックは、複数の小ブロックに分割され、小ブロックごとに代表画素が選定されている。当該代表画素は、当該小ブロックの略中心または略重心の画素に選定されており、上記符号化ストリームには、それぞれの代表画素の動きベクトルが含まれる。幾何学変換動き補償予測部205は、対象ブロックの複数の代表画素以外の画素の動きベクトルを、それら複数の代表画素の動きベクトルを用いた内挿および外挿の少なくともいずれか一方により算出する。たとえば、代表画素以外の画素の動きベクトルは、上述した式(1)〜式(10)に示した演算式により算出される。
切替制御部214は、復号部250により復号された予測方法情報を参照して、対象画像内の対象ブロックごとに、平行移動動き補償予測部204による予測方法と、幾何学変換動き補償予測部205による予測方法とのいずれを用いるか指定する。
その際、切替制御部214は、どのモードが指定されているかも指定する。たとえば、幾何学変換動き補償予測部205による動き補償予測を指定する予測方法情報には、対象ブロックが十字に4等分されて4つの正方形の小ブロックに分割され、4つの動きベクトルが検出される第1モードと、対象ブロックが横に2等分されて2つの縦長長方形の小ブロックに分割され、2つの動きベクトルが検出される第2モードと、対象ブロックが縦に2等分されて2つの横長長方形の小ブロックに分割され、2つの動きベクトルが検出される第3モードのいずれかが指定されている。
以下、より具体的に説明する。第1符号化ビット列復号部201、第2符号化ビット列復号部202、および第3符号化ビット列復号部203には、実施の形態1に係る画像符号化装置100により生成された符号化ストリームに含まれる符号化ビット列が、入力スイッチ209を介して選択的に入力される。
第1符号化ビット列復号部201は、入力スイッチ209を介して供給される符号化ビット列を、算術復号化などのエントロピー復号化により復号し、予測方法情報を取得する。上述したように、この予測方法情報には平行移動/幾何学変換のどちらで符号化されているかが含まれているとともに、平行移動動き補償の場合、16×16/16×8/8×16/8×8モードのいずれを用いるかという情報が含まれている。幾何学変換の場合、4つの代表画素a、b、c、dの動きベクトルを符号化・復号する第1モード、対象ブロックの縦方向における2つの代表画素e、fの動きベクトルを符号化・復号する第2モード、対象ブロックの横方向における2つの代表画素g、hの動きベクトルを符号化・復号する第3モードのどのモードで符号化されているかの情報等が含まれている。第2符号化ビット列復号部202は、入力スイッチ209を介して供給される符号化ビット列を、算術復号化などのエントロピー復号化により復号し、動きベクトルを取得する。前述の通り、この動きベクトルの符号化に際しては、隣接ブロックの動きベクトルから算出される予測ベクトルと復号対象ブロックの動きベクトルとの差分ベクトルで記述されている。具体的には、第2符号化ビット列復号部202は、入力スイッチ209を介して供給される符号化ビット列を、算術復号化などのエントロピー復号化により復号し、差分ベクトルを取得する。さらに、第2符号化ビット列復号部202は、第1符号化ビット列復号部201から供給される予測方法情報に応じて、すでに符号化・復号されている周囲の隣接ブロック、または隣接画素の動きベクトルから対象ブロックの動きベクトルを予測することにより予測ベクトルを算出する。この第2符号化ビット列復号部202での予測ベクトルの算出は、画像符号化装置100の第2符号化ビット列生成部108での予測ベクトルの算出と同一の方法で行う。そして、当該予測ベクトルに、符号化ビット列から復号された前記差分ベクトルを加算することにより動きベクトルを取得する。なお、符号化側で、平行移動による動き補償予測で用いる動きベクトルと幾何学変換による動き補償予測で用いる動きベクトルを混在させて予測ベクトルを算出しているので、同様に復号側でも平行移動による動き補償予測で用いる動きベクトルと幾何学変換による動き補償予測で用いる動きベクトルを混在させて予測ベクトルを算出し、その予測ベクトルに復号された差分ベクトルを加算することで、動きベクトルを取得する。平行移動動き補償予測の場合、当該ブロックの動きベクトルが取得でき、幾何学変換動き補償予測の場合、当該ブロックの代表画素の動きベクトルが取得できる。
第1符号化ビット列復号部201により復号された予測方法情報により、復号対象の画素ブロックがイントラ符号化、平行移動による動き補償予測および幾何学変換による動き補償予測のどの手法を、どの参照画像を用いて、どのような画素ブロック単位で選択、組み合わせられているかが分かる。
切替制御部214は、第1符号化ビット列復号部201から供給される予測方法情報に応じて、第1予測部スイッチ210、第2予測部スイッチ211、第3予測部スイッチ212および第4予測部スイッチ213を切り替える。対象ブロックの予測方法として、平行移動による動き補償予測方法が選択されている場合、平行移動動き補償予測部204の経路が選択されるよう切り替え、幾何学変換による動き補償予測方法が選択されている場合、幾何学変換動き補償予測部205の経路が選択されるよう切り替える。
平行移動動き補償予測部204は、復号画像バッファ208から第4予測部スイッチ213を介して供給される参照画像とすべき復号画像、および第2符号化ビット列復号部202から第2予測部スイッチ211を介して供給される復号された動きベクトルを用いて、平行移動による動き補償予測を行う。
幾何学変換動き補償予測部205は、復号画像バッファ208から第4予測部スイッチ213を介して供給される参照画像とすべき復号画像、および第2符号化ビット列復号部202から第2予測部スイッチ211を介して供給される復号された複数の代表画素の動きベクトルを用いて、上記式(1)〜(4)により代表画素以外の全画素の動きベクトルを内挿および外挿のいずれか一方により算出し、それらの画素毎の動きベクトルに応じて画素毎に動き補償を行うことで幾何学変換による動き補償予測を行う。
第3符号化ビット列復号部203は、入力スイッチ209を介して供給される符号化ビット列を順次復号し、符号化された予測誤差信号を取得する。予測誤差信号復号部206は、第3符号化ビット列復号部203から供給された符号化された予測誤差信号に対して、逆量子化、逆直交変換などの伸張復号処理を行い、復号された予測誤差信号を取得する。
復号画像信号生成部207は、予測信号、および予測誤差信号から画像信号を生成する。より具体的には、復号画像信号生成部207は、切替制御部214により指定された予測方法に応じて、平行移動動き補償予測部204または幾何学変換動き補償予測部205から第3予測部スイッチ212を介して供給される予測信号に、予測誤差信号復号部206から供給される予測誤差信号を重畳して、復号画像信号を生成する。復号画像信号生成部207は、その復号画像信号を画素ブロック単位で、復号画像バッファ208に順次格納する。
図8は、本発明の実施の形態2に係る画像復号装置200における、マクロブロックの復号処理手順を示すフローチャートである。第1符号化ビット列復号部201は、入力スイッチ209を介して供給される符号化ビット列を復号して、予測方法情報を取得する(S201)。第2符号化ビット列復号部202は、入力スイッチ209を介して供給される符号化ビット列を復号して、差分ベクトルを取得する(S202)。第2符号化ビット列復号部202は、周辺ブロックまたは周辺画素から予測ベクトルを算出し(S202)、その予測ベクトルに予測方法決定部104から供給される差分ベクトルを加算して、対象ブロックまたは対象画素の動きベクトルを算出する(S202)。
切替制御部214は、復号された予測方法情報を参照して、対象ブロックの動き補償予測方法を特定する(S203)。その予測方法が、平行移動による動き補償予測方法の場合(S203の平行移動)、平行移動動き補償予測部204は、復号画像バッファ208から供給される参照画像信号とすべき復号画像信号を、第2符号化ビット列復号部202から供給される動きベクトル用いて、平行移動による動き補償し、予測信号を生成する(S204)。
切替制御部214により特定された予測方法が、幾何学変換による動き補償予測方法の場合(S203の幾何学変換)、幾何学変換動き補償予測部205は、復号画像バッファ208から供給される参照画像信号とすべき復号画像信号を、第2符号化ビット列復号部202から供給される動きベクトルを用いて、幾何学変換による動き補償し、予測信号を生成する(S205)。
第3符号化ビット列復号部203は、入力スイッチ209を介して供給される符号化ビット列を復号して、符号化された予測誤差信号を取得する(S206)。復号画像信号生成部207は、取得された予測誤差信号を復号する(S207)。復号画像信号生成部207は、復号画像信号生成部207により復号された予測誤差信号と、平行移動動き補償予測部204または幾何学変換動き補償予測部205により生成された予測信号とを重畳して、復号画像信号を生成する(S208)。復号画像信号生成部207は、生成した復号画像信号を、復号画像バッファ208に蓄積する(S209)。この復号画像バッファ208に蓄積された復号画像信号は、平行移動動き補償予測部204および幾何学変換動き補償予測部205における参照画像信号として利用される。
以上説明したように実施の形態2によれば、実施の形態1に係る画像符号化装置100により生成された符号化ストリームを、効率的に復号することができる。これにより、上述した実施の形態1に係る画像符号化装置100により実現される効果を、復号側からサポートし、その効果を担保することができる。すなわち、幾何学変換による動き補償予測を使用する画像符号化方式にて、符号量の圧縮効率を向上させる効果を、復号側からサポートし、その効果を担保することができる。また、平行移動による動き補償予測と幾何学変換による動き補償予測を併用する画像符号化方式にて、符号量の圧縮効率を向上させる効果を、復号側からサポートし、その効果を担保することができる。また、既存の画像復号装置との調和性および互換性が高く、導入コストを抑制することができる。
以上、本発明をいくつかの実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
上述した実施の形態では、対象ブロックの形状が正方形である例を説明した。この点、対象ブロックの形状は、三角形、平行四辺形、台形など、他の形状でもよい。また、上述した実施の形態では、小ブロック(すなわち、マクロブロック・パーティションおよびサブマクロブロック・パーティション)の形状も、正方形および長方形に限るものではなく、三角形、平行四辺形、台形など、他の形状でもよい。この場合、上記代表画素は、当該形状の重心または重心近傍に設定されることが好ましい。
上述した実施の形態では、小ブロック(すなわち、マクロブロック・パーティションおよびサブマクロブロック・パーティション)の略中心、略重心画素を代表画素としたが、それに限るものではなく、中心、または重心に相当する座標に位置する補間画素を代表画素としてもよいし、マクロブロックの頂点に相当する補間画素あるいはその周辺画素を代表画素としてもよい。
100 画像符号化装置、 101 画像バッファ、 102 平行移動動き補償予測部、 103 幾何学変換動き補償予測部、 104 予測方法決定部、 105 予測誤差信号生成部、 106 予測誤差信号符号化部、 107 第1符号化ビット列生成部、 108 第2符号化ビット列生成部、 109 第3符号化ビット列生成部、 110 予測誤差信号復号部、 111 復号画像信号生成部、 112 復号画像バッファ、 113 出力スイッチ、 150 符号化部、 200 画像復号装置、 201 第1符号化ビット列復号部、 202 第2符号化ビット列復号部、 203 第3符号化ビット列復号部、 204 平行移動動き補償予測部、 205 幾何学変換動き補償予測部、 206 予測誤差信号復号部、 207 復号画像信号生成部、 208 復号画像バッファ、 209 入力スイッチ、 210 第1予測部スイッチ、 211 第2予測部スイッチ、 212 第3予測部スイッチ、 213 第4予測部スイッチ、 214 切替制御部、 250 復号部。
Claims (6)
- 動画像を符号化する画像符号化装置であって、
対象画像内の対象ブロックと、その対象ブロックと平行移動した関係にある参照画像内の参照ブロックとの間の、動きベクトルおよび予測信号を生成する平行移動動き補償予測部と、
対象画像内の対象ブロックと、その対象ブロックと幾何学変換した関係にある参照画像内の参照ブロックとの間の、動きベクトルおよび予測信号を生成する幾何学変換動き補償予測部と、
対象画像内の対象ブロックごとに、前記平行移動動き補償予測部による予測方法と、前記幾何学変換動き補償予測部による予測方法とのいずれを採用するか決定する予測方法決定部と、
前記予測方法決定部により採用された予測方法で生成された予測信号と、前記対象ブロックの画像信号との差分を算出し、予測誤差信号を生成する予測誤差信号生成部と、
前記予測方法決定部により採用された予測方法を特定するための予測方法情報、当該予測方法に係る動きベクトル、および前記予測誤差信号生成部により生成された予測誤差信号を符号化する符号化部と、を備え、
前記符号化部は、前記対象ブロックの動きベクトルを隣接ブロックの動きベクトルを参照して予測符号化する際、当該隣接ブロックの動き補償予測方法が平行移動動き補償予測であるか幾何学変換動き補償予測であるかに関わらずに、参照すべき動きベクトルを決定することを特徴とする画像符号化装置。 - 前記幾何学変換動き補償予測部は、前記対象ブロックから複数の代表画素を選定して、それぞれの代表画素の動きベクトルを検出し、
前記対象ブロックの複数の代表画素以外の画素の動きベクトルを、それら複数の代表画素の動きベクトルを用いた内挿および外挿の少なくともいずれか一方により算出することを特徴とする請求項1に記載の画像符号化装置。 - 前記幾何学変換動き補償予測部は、前記対象ブロックを小ブロックに分割した場合の前記小ブロックの略中心または略重心に相当する画素を前記代表画素に選定することを特徴とする請求項2に記載の画像符号化装置。
- 前記対象ブロックは、正方形の領域であり、
前記幾何学変換動き補償予測部は、
前記対象ブロックを十字に四等分した四つの正方形の小ブロックの四つの前記代表画素ごとに動きベクトルを検出する第1モードと、
前記対象ブロックを横に二等分した二つの縦長長方形の小ブロックの二つの前記代表画素ごとに動きベクトルを検出する第2モードと、
前記対象ブロックを縦に二等分した二つの横長長方形の小ブロックの二つの前記代表画素ごとに動きベクトルを検出する第3モードと、を実行し、
前記予測方法決定部は、前記幾何学変換動き補償予測部による予測方法として、前記第1モード、前記第2モードおよび前記第3モードのいずれかを採用することを特徴とする請求項2または3に記載の画像符号化装置。 - 動画像を符号化する画像符号化方法であって、
対象画像内の対象ブロックと、その対象ブロックと平行移動した関係にある参照画像内の参照ブロックとの間の、動きベクトルおよび予測信号を生成する平行移動動き補償予測ステップと、
対象画像内の対象ブロックと、その対象ブロックと幾何学変換した関係にある参照画像内の参照ブロックとの間の、動きベクトルおよび予測信号を生成する幾何学変換動き補償予測ステップと、
対象画像内の対象ブロックごとに、前記平行移動動き補償予測ステップによる予測方法と、前記幾何学変換動き補償予測ステップによる予測方法とのいずれを採用するか決定する予測方法決定ステップと、
前記予測方法決定ステップにより採用された予測方法で生成された予測信号と、前記対象ブロックの画像信号との差分を算出し、予測誤差信号を生成する予測誤差信号生成ステップと、
前記予測方法決定ステップにより採用された予測方法を特定するための予測方法情報、当該予測方法に係る動きベクトル、および前記予測誤差信号生成ステップにより生成された予測誤差信号を符号化する符号化ステップと、を備え、
前記符号化ステップは、前記対象ブロックの動きベクトルを隣接ブロックの動きベクトルを参照して予測符号化する際、当該隣接ブロックの動き補償予測方法が平行移動動き補償予測であるか幾何学変換動き補償予測であるかに関わらずに、参照すべき動きベクトルを決定することを特徴とする画像符号化方法。 - 動画像を符号化する画像符号化プログラムであって、
対象画像内の対象ブロックと、その対象ブロックと平行移動した関係にある参照画像内の参照ブロックとの間の、動きベクトルおよび予測信号を生成する平行移動動き補償予測処理と、
対象画像内の対象ブロックと、その対象ブロックと幾何学変換した関係にある参照画像内の参照ブロックとの間の、動きベクトルおよび予測信号を生成する幾何学変換動き補償予測処理と、
対象画像内の対象ブロックごとに、前記平行移動動き補償予測処理よる予測方法と、前記幾何学変換動き補償予測処理による予測方法とのいずれを採用するか決定する予測方法決定処理と、
前記予測方法決定処理により採用された予測方法で生成された予測信号と、前記対象ブロックの画像信号との差分を算出し、予測誤差信号を生成する予測誤差信号生成処理と、
前記予測方法決定処理により採用された予測方法を特定するための予測方法情報、当該予測方法に係る動きベクトル、および前記予測誤差信号生成処理により生成された予測誤差信号を符号化する符号化処理と、をコンピュータに実行させ、
前記符号化処理は、前記対象ブロックの動きベクトルを隣接ブロックの動きベクトルを参照して予測符号化する際、当該隣接ブロックの動き補償予測方法が平行移動動き補償予測であるか幾何学変換動き補償予測であるかに関わらずに、参照すべき動きベクトルを決定することを特徴とする画像符号化プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010215829A JP2011151774A (ja) | 2009-12-22 | 2010-09-27 | 画像符号化装置、画像符号化方法および画像符号化プログラム |
PCT/JP2010/006715 WO2011077632A1 (ja) | 2009-12-22 | 2010-11-16 | 画像符号化装置、画像符号化方法および画像符号化プログラム、ならびに画像復号装置、画像復号方法および画像復号プログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009290823 | 2009-12-22 | ||
JP2009290823 | 2009-12-22 | ||
JP2010215829A JP2011151774A (ja) | 2009-12-22 | 2010-09-27 | 画像符号化装置、画像符号化方法および画像符号化プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011151774A true JP2011151774A (ja) | 2011-08-04 |
Family
ID=44538330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010215829A Pending JP2011151774A (ja) | 2009-12-22 | 2010-09-27 | 画像符号化装置、画像符号化方法および画像符号化プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011151774A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016175550A1 (ko) * | 2015-04-27 | 2016-11-03 | 엘지전자 주식회사 | 비디오 신호의 처리 방법 및 이를 위한 장치 |
-
2010
- 2010-09-27 JP JP2010215829A patent/JP2011151774A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016175550A1 (ko) * | 2015-04-27 | 2016-11-03 | 엘지전자 주식회사 | 비디오 신호의 처리 방법 및 이를 위한 장치 |
KR20170140196A (ko) * | 2015-04-27 | 2017-12-20 | 엘지전자 주식회사 | 비디오 신호의 처리 방법 및 이를 위한 장치 |
US10638129B2 (en) | 2015-04-27 | 2020-04-28 | Lg Electronics Inc. | Method for processing video signal and device for same |
KR102583501B1 (ko) | 2015-04-27 | 2023-09-27 | 엘지전자 주식회사 | 비디오 신호의 처리 방법 및 이를 위한 장치 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9277220B2 (en) | Image coding apparatus including a geometric-transformation motion compensation prediction unit utilizing at least two prediction modes out of four prediction modes | |
JP6261660B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
US9053543B2 (en) | Methods and apparatuses for encoding/decoding high resolution images | |
TWI571108B (zh) | 動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法及動畫像解碼方法 | |
JP5423948B2 (ja) | 動画像符号化方法、およびこれを用いた装置とプログラム | |
JP2018186569A (ja) | 画像復号装置 | |
KR20110008653A (ko) | 움직임 벡터 예측 방법과 이를 이용한 영상 부호화/복호화 장치 및 방법 | |
JP2010177809A (ja) | 動画像符号化装置および動画像復号装置 | |
JP2011029863A (ja) | 復号化処理方法 | |
JP5686018B2 (ja) | 画像符号化装置、画像符号化方法および画像符号化プログラム | |
JP2011147130A (ja) | 動き推定のための技術 | |
JP2008271371A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法およびプログラム | |
JP5716437B2 (ja) | 画像符号化装置、画像符号化方法および画像符号化プログラム | |
WO2011121731A1 (ja) | 画像処理装置および画像処理方法 | |
JP5716438B2 (ja) | 画像復号装置、画像復号方法および画像復号プログラム | |
JP2011151775A (ja) | 画像復号装置、画像復号方法および画像復号プログラム | |
WO2011077632A1 (ja) | 画像符号化装置、画像符号化方法および画像符号化プログラム、ならびに画像復号装置、画像復号方法および画像復号プログラム | |
JP5686019B2 (ja) | 画像復号装置、画像復号方法および画像復号プログラム | |
WO2011145282A1 (ja) | 画像符号化装置、画像符号化方法および画像符号化プログラム、ならびに画像復号装置、画像復号方法および画像復号プログラム | |
JP2011151774A (ja) | 画像符号化装置、画像符号化方法および画像符号化プログラム | |
WO2011099242A1 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
JP2013098713A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
WO2011099241A1 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
JP2013098715A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 |