JP2013005169A - 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム - Google Patents

動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム Download PDF

Info

Publication number
JP2013005169A
JP2013005169A JP2011133384A JP2011133384A JP2013005169A JP 2013005169 A JP2013005169 A JP 2013005169A JP 2011133384 A JP2011133384 A JP 2011133384A JP 2011133384 A JP2011133384 A JP 2011133384A JP 2013005169 A JP2013005169 A JP 2013005169A
Authority
JP
Japan
Prior art keywords
block
motion vector
processing target
vector
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011133384A
Other languages
English (en)
Other versions
JP5807402B2 (ja
Inventor
Tomohito Shimada
智史 島田
Akira Nakagawa
章 中川
Kimihiko Kazui
君彦 数井
Junpei Koyama
純平 小山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2011133384A priority Critical patent/JP5807402B2/ja
Priority to US13/472,197 priority patent/US20120320980A1/en
Publication of JP2013005169A publication Critical patent/JP2013005169A/ja
Application granted granted Critical
Publication of JP5807402B2 publication Critical patent/JP5807402B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】時間方向に隣接するブロックの予測ベクトル候補の精度を上げること。
【解決手段】処理対象ブロックごとに、処理対象ブロックの動きベクトルと該動きベクトルの予測ベクトル候補とを用いて復号処理を行う動画像復号装置であって、処理対象ブロックに対して過去に復号されたピクチャ内のブロックの動きベクトルを記憶する動きベクトル情報記憶部と、処理対象ブロックに対して時間方向に隣接するブロックの動きベクトルから、予測ベクトル候補を生成する時間隣接予測ベクトル生成部とを備え、時間隣接予測ベクトル生成部は、処理対象ブロック内の第1座標に対し、時間方向に隣接するピクチャ内で第1座標に最も近いブロックを含む複数のブロックを決定するブロック決定部と、決定された複数のブロックがそれぞれ有する動きベクトルの中から、少なくとも1つの動きベクトルを選択するベクトル選択部と、を備える。
【選択図】図8

Description

本発明は、各ピクチャを複数のブロックに分割してブロックごとに動き補償する動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラムに関する。
近年の動画像符号化では、画像をブロックに分割し、ブロックに含まれる画素を予測して予測差分を符号化することで高い圧縮率を達成している。符号化対象のピクチャ内の画素から予測画素を構成する予測モードをイントラ予測といい、動き補償と呼ばれる過去に符号化した参照画像から予測画素を構成する予測モードをインター予測という。
動画像符号化装置において、インター予測では、予測画素として参照する領域を動きベクトルという水平成分・垂直成分の2次元座標データで表現し、動きベクトルと画素の予測差分データを符号化する。動きベクトルは、その符号量を抑えるため、符号化対象ブロックに隣接するブロックの動きベクトルから予測ベクトルを生成し、動きベクトルと予測ベクトルとの差分ベクトルを符号化する。小さい差分ベクトルほど符号量を小さく割り当てることで、動きベクトルの符号量を削減することができ、符号効率を向上させることができる。
動画像復号装置においても、各ブロックで動画像符号化装置と同一の予測ベクトルを決定し、符号化された差分ベクトルと予測ベクトルを加算することによって動きベクトルを復元する。そのため、動画像符号化装置と動画像復号装置とは、同一の動きベクトル予測部を備える。
動画像復号装置において、各ブロックは、一般には画像の左上から右下に向かってラスタースキャンやzスキャンの順序で復号される。そのため、動画像符号化装置及び動画像復号装置における動きベクトル予測部が、予測に利用できる周辺ブロックの動きベクトルは、動画像復号装置にて処理対象ブロックを復号するときに既に復号済みとなる左や上に隣接するブロックの動きベクトルとなる。
さらに、MPEG(Moving Picture Experts Group)−4 AVC/H.264(以下、H.264ともいう)では、処理対象ピクチャではなく、過去に符号化、復号処理した参照ピクチャの動きベクトルを用いて予測ベクトルを決定することもある(非特許文献1)。
予測ベクトル決定方法の従来技術として、国際標準化団体ISO/IECとITU−Tが共同に標準化を検討している動画像符号化方式HEVC(High Efficiency Video Coding)の技術が開示されている(非特許文献2)。また、参照ソフトウェアとしてはHM Software(Version 3.0)が開示されている。
以下に、HEVCに関する概要説明を行う。HEVCでは、参照可能なピクチャのリスト(以下、参照ピクチャリストともいう)として、L0と、L1という2つのリストを持つ。各ブロックは、L0とL1それぞれに対応する動きベクトルによって、最大2つの参照ピクチャの領域をインター予測に使用することができる。
L0とL1とは一般には、表示時間の方向に対応し、L0は処理対象ピクチャに対して過去のピクチャの参照リストであり、L1は未来のピクチャの参照リストである。参照ピクチャリストの各エントリは、画素データの記憶位置、及びそのピクチャの表示時間情報POC(Picture Order Count)値を含む情報を有する。
POCとは、各ピクチャの表示順序と相対的な表示時間を表す整数値である。POC値が0となるピクチャの表示時間を0としたときに、あるピクチャの表示時間は、そのピクチャのPOC値の定数倍で表すことができる。例えば、フレームの表示周期(Hz)をfr、POC値がpであるピクチャの表示時間は、式(1)で表すことができる。これにより、POCはある定数(秒)を単位とした表示時間と見なすことができる。
表示時間=p×(fr/2) ・・・式(1)
1つの参照ピクチャリストのエントリ数が2以上であった場合、各動きベクトルは、参照ピクチャリスト内のインデックス番号(参照インデックス)によって、どの参照ピクチャを参照するかを指定する。特に参照ピクチャリストのエントリ数が1ピクチャしか含まない場合、そのリストに対応する動きベクトルの参照インデックスは自動的に0番となるため、明示的に参照インデックスを指定する必要はない。
すなわち、ブロックの動きベクトルは、L0/L1リスト識別子と、参照インデックスと、ベクトルデータ(Vx,Vy)とを含む。L0/L1リスト識別子と、参照インデックスとにより参照ピクチャが指定される。参照ピクチャ内の領域は、(Vx,Vy)で指定される。VxとVyとは、それぞれ水平方向と垂直方向における参照領域の座標と処理対象ブロック(現ブロックともいう)の座標の差であり、例えば1/4画素単位で表現される。L0/L1リスト識別子と、参照インデックスとを参照ピクチャ識別子と呼び、(Vx,Vy)をベクトルデータと呼ぶ。
HEVCにおける予測ベクトルの決定方法について説明する。予測ベクトルは、L0/L1リスト識別子と、参照インデックスとで指定された参照ピクチャごとに決定される。参照ピクチャリストがLX、参照インデックスがrefidxで指定される参照ピクチャを参照する動きベクトルに対する予測ベクトルのベクトルデータmvpを決定するとき、最大で3つのベクトルデータを予測ベクトル候補として算出する。
処理対象ブロックに対して空間方向と時間方向に隣接するブロックは、左方向に隣接したブロック、上方向に隣接したブロック、時間方向に隣接したブロックの3つに分類される。この3グループからそれぞれ最大で1本の予測ベクトル候補が選出される。
選出された予測ベクトル候補は、時間方向に隣接したグループ、左に隣接したグループ、上に隣接したグループの優先順序でリスト化される。このリストを配列mvp_candとする。もし、全てのグループで予測ベクトル候補が1つも存在していなかった場合、0ベクトルをmvp_candに追加する。
また、候補リスト内のいずれの予測ベクトル候補を予測ベクトルとして使用するかの識別子として、予測候補インデックスmvp_idxを用いる。すなわち、mvpは、mvp_candのmvp_idx番目にエントリされた予測ベクトル候補のベクトルデータとなる。
動画像符号化装置において、符号化対象ブロックのLXのrefidxを参照する動きベクトルがmvであったとき、mvp_candの中で、mvと最も近い予測ベクトル候補を探し、そのインデックスをmvp_idxとする。さらに、動画像符号化装置は、差分ベクトルmvdを式(2)で算出し、リストLXの動きベクトル情報として、refidx、mvd、mvp_idxを符号化する。
mvd=mv−mvp ・・・式(2)
動画像復号装置は、refidx、mvd、mvp_idxを復号し、refidxに基づき、mvp_candを決定し、予測ベクトルmvpを、mvp_candのmvp_idx番目の予測ベクトル候補とする。動画像復号装置は、式(3)に基づき、処理対象ブロックの動きベクトルmvを復元する。
mv=mvd+mvp ・・・式(3)
次に、空間方向に隣接したブロックの説明をする。図1は、従来技術(その1)を説明するための図である。図1に示す例では、左隣接のブロックと、上隣接ブロックから予測ベクトル候補を選択する手順について説明する。
ここで、HEVCやH.264においては、動き補償におけるブロックサイズは、最小のブロックが事前に決まっている。全てのブロックサイズは、最小ブロックサイズを基準に2のべき乗倍した数となっている。最小ブロックサイズがMINX、MINYとすれば、各ブロックの水平サイズと垂直サイズとは、n、mをn≧0、m≧0の整数として、
水平サイズ:MINX×2
垂直サイズ:MINY×2
で表せる。HEVCやH.264では、MINX=4画素、MINY=4画素である。各ブロックは、最小ブロックサイズに分割することができる。図1に示すA0、A1、B0〜B2が処理対象ブロックに隣接する最小ブロックとする。最小ブロックを一つ指定すれば、それを含むブロックは、一意に定まる。
次に、左隣接ブロックから予測ベクトル候補を選出する手順について説明する。処理対象ブロックの左側に隣接したブロックのうち、左下に位置する最小ブロックA0を含むブロックの動きべクトルで、参照ピクチャ識別子がLXでrefidxと等しい参照インデックスを持つ動きベクトル1が見つかれば、動きベクトル1が選択される。
動きベクトル1が見つからなければ、A1を含むブロックの動きベクトルで、LXでrefidxと等しい参照インデックスを持つ動きベクトル2が見つかれば、動きベクトル2が選択される。
動きベクトル2が見つからなければ、A0を含むブロックで、LXでない参照リストLYの中で、参照リストLXのrefidxが示す参照ピクチャと同一の参照ピクチャを参照する動きベクトル3があれば、動きベクトル3が選択される。
動きベクトル3が見つからなければ、A0を含むブロックで動きベクトルが存在すれば、その動きベクトルが選択される。さらに、動きベクトルが見つからなければ、A1を含むブロックで、A0の場合と同様に処理する。
上記手順で選択された動きベクトルに関して、参照リストLXのrefidxが示す参照ピクチャと同一の参照ピクチャを参照する動きベクトルが選択されなかった場合、後述するスケーリング演算が行われる。
次に、上隣接ブロックから予測ベクトル候補を選出する手順について説明する。処理対象ブロックの上側に隣接した最小ブロックB0、B1、B2の順で、A0、A1の場合と同様の手順で動きベクトルを選択する。参照リストLXのrefidxが示す参照ピクチャと同一の参照ピクチャを参照する動きベクトルが選択されなかった場合、後述するスケーリング処理が行われる。
次に、時間方向に隣接したブロックの説明をする。図2は、従来技術(その2)を説明するための図である。図2に示す例では、時間方向に隣接するブロックから予測ベクトル候補を選択する手順について説明する。
まず、時間方向に隣接するブロックを含むピクチャとしてCollocated Picture(以下、ColPicともいう)と呼ばれる時間方向に隣接した参照ピクチャ20が指定される。ColPic20は、L0とL1とのどちらかの参照リストの参照インデックス0番の参照ピクチャである。通常はL1の参照インデックス0番がColPicとなる。
ColPic20の中で処理対象ブロック11と同一位置のブロック(Colブロック)21が有する動きベクトルをmvCol22とし、mvCol22を後述するスケーリング方法にてスケーリングして、予測ベクトル候補が生成される。
ここで、処理対象ブロック11とColブロック21の位置関係について説明する。図3は、処理対象ブロック11とColブロック21の位置関係の一例を示す図である。ColPicの中で、最小ブロックTR又はTCを含むブロックがColブロック21となる。TRとTCのうち、まずTRが優先され、TRを含むブロックが、Intra予測モードであったり、画面外であったりした場合、TCを含むブロックがColブロック21となる。優先されるTRは、処理対象ブロックの右下に位置し、処理対象ブロックとずれた位置関係となっている。
次に、動きベクトルのスケーリング方法について記述する。入力の動きベクトルをmv=(mvx、mvy)とし、出力ベクトル(予測ベクトル候補)をmv'=(mvx'、mvy')とする。次に、mvがmvColを例として説明する。
mvが参照するピクチャをColRefPic23とする。mvを有するピクチャ20のPOC値をColPicPoc、ColRefPic23のPOCをColRefPocとする。現在の処理対象ピクチャ10のPOC値をCurPoc、RefPicList LXとRefIdxとで指定されるピクチャ25のPOC値をCurrRefPocとする。
なお、スケーリング対象の動きベクトルが、空間方向に隣接するブロックの動きベクトルであった場合、ColPicPocは、CurrPOCと等しい。また、スケーリング対象の動きベクトルが、時間方向に隣接するブロックの動きベクトルであった場合、ColPicPocはColPicのPOC値と等しい。
mvは、式(4)、式(5)に示すように、ピクチャの時間間隔の比に基づいてスケーリングされる。
mvx'=mvx×(CurrPoc−CurRefPoc)÷(ColPicPoc−ColRefPoc) ・・・式(4)
mvy'=mvy×(CurrPoc−CurRefPoc)÷(ColPicPoc−ColRefPoc) ・・・式(5)
ただし、除算は計算量が大きいため、例えば、以下のようにして、mv'は乗算とシフトで近似して算出される。
DiffPocD=ColPicPOC−ColRefPOC ・・・式(6)
DiffPocB=CurrPOC−CurrRefPOC ・・・式(7)
とすると、
TDB=Clip3(−128,127,DiffPocB) ・・・式(8)
TDD=Clip3(−128,127,DiffPocD) ・・・式(9)
iX=(0x4000+abs(TDD/2))/TDD ・・・式(10)
Scale=Clip3(−1024,1023,(TDB×iX+32)>>6)・・・式(11)
abs(・):絶対値を返す関数
Clip3(x,y,z):x、y、zの中央値を返す関数
>>:算術右シフト
最終的に求まったScaleをスケーリング係数とする。この例では、Scaleが256の場合、1倍の係数、すなわち、スケールしないことを意味する。
次に、スケーリング係数に基づいて行うスケーリング演算は、以下のようにして算出される。
mvx'=(Scale×mvx+128)>>8 ・・・式(12)
mvy'=(Scale×mvy+128)>>8 ・・・式(13)
過去に処理したブロックの動きベクトルは、一例として、ブロックが最小ブロックに分割可能であることを利用し、最小ブロックを単位として保存される。次のブロックが処理されるときに、最小ブロックの動きベクトルが、空間隣接予測ベクトルや時間隣接予測ベクトルの生成に使用される。
最小ブロック単位で動きベクトルを保存することで、最小ブロックのアドレスを指定することで、空間方向又は時間方向の隣接ブロックの動きベクトルにアクセスすることができ、処理が単純化できる。
さらに、非特許文献3によれば、最小ブロック単位に保存した場合、1ピクチャにおける動きベクトル情報の記憶容量が増大するため、1ピクチャの処理が終わった時に、動きベクトルの情報を削減することが行われる技術が開示されている。
Nを2のべき乗の整数値として、水平N最小ブロックごと、垂直N最小ブロックごとに、1つの最小ブロックを代表ブロックと定め、代表ブロックとして選択された最小ブロックの動きベクトル情報だけが保存される。
図4は、代表ブロックの一例を示す図である。図4に示す例では、N=4とした場合、代表ブロックは、図4に示すように、4×4最小ブロックの左上の最小ブロック(ブロック0、ブロック16)となる。
このようにして、動きベクトル情報を圧縮した場合、時間隣接の予測べクトル候補を生成する際に使用することができる動きベクトルは、代表ブロックの動きベクトルのみとなる。
ISO/IEC 14496-10 (MPEG-4 Part 10) / ITU-T Rec.H.264 Thomas Wiegand、Woo-Jin Han、Benjamin Bross、Jens-Rainer Ohm、Gary J. Sullivan、"WD3: Working Draft 3 of High-Efficiency Video Coding" JCTVC-E603, JCT-VC 5th Meeting, 2011年3月 "CE9: Reduced resolution storage of motion vector data"、JCTVC-D072、2011-01 Daegu
HEVCにおいて、画面内で動きが一様でなく、さらに動きがある程度大きい場合、時間方向の動きベクトルによる予測ベクトル候補の精度が低い場合がある。
図5は、従来技術の問題点を説明するための図である。図5を用いて説明すると、画像上の各物体が一定の速度で移動している場合、Colブロックに写る物体の動きがmvColで表される。処理対象ブロックの動きベクトルの予測ベクトルは、mvColからスケーリングして得られる動きベクトルmvpとなる。
図5に示すように、mvColが大きい場合、mvColは、処理対象ブロックと離れたブロックAと交差する。すなわち、Colブロックに含まれていた物体は、処理対象ピクチャ上では、ブロックAに含まれていると考えられる。このとき、処理対象ブロックとブロックAが離れているほど、処理対象ブロックの真の動きが、ブロックAと異なる可能性が高くなり、予測ベクトル候補の精度が低下する場合がある。
そこで、開示の技術は、時間方向における予測ベクトル候補の精度を向上させることを目的とする。
開示の一態様における動画像復号装置は、処理対象ブロックごとに、該処理対象ブロックの動きベクトルと該動きベクトルの予測ベクトル候補とを用いて復号処理を行う動画像復号装置であって、前記処理対象ブロックに対して過去に復号されたピクチャ内のブロックの動きベクトルを記憶する動きベクトル情報記憶部と、前記処理対象ブロックに対して時間方向に隣接するブロックの動きベクトルから、前記予測ベクトル候補を生成する時間隣接予測ベクトル生成部とを備え、前記時間隣接予測ベクトル生成部は、前記処理対象ブロック内の第1座標に対し、時間方向に隣接するピクチャ内で前記第1座標に最も近いブロックを含む複数のブロックを決定するブロック決定部と、決定された前記複数のブロックがそれぞれ有する動きベクトルの中から、少なくとも1つの動きベクトルを選択するベクトル選択部と、を備える。
また、他の態様における動画像符号化装置は、入力画像が分割された処理対象ブロックごとに、該処理対象ブロックの動きベクトルと該動きベクトルの予測ベクトル候補とを用いて符号化処理を行う動画像符号化装置であって、過去に符号化処理されたピクチャ内のブロックの動きベクトルを記憶する動きベクトル情報記憶部と、前記処理対象ブロックに対して時間方向に隣接するブロックの動きベクトルから、前記予測ベクトル候補を生成する時間隣接予測ベクトル生成部とを備え、前記時間隣接予測ベクトル生成部は、前記処理対象ブロック内の第1座標に対し、時間方向に隣接するピクチャ内で前記第1座標に最も近いブロックを含む複数のブロックを決定するブロック決定部と、決定された前記複数のブロックがそれぞれ有する動きベクトルの中から、少なくとも1つの動きベクトルを選択するベクトル選択部と、を備える。
開示の技術によれば、時間方向における予測ベクトル候補の精度を向上させることができる。
従来技術(その1)を説明するための図。 従来技術(その2)を説明するための図。 処理対象ブロックとColブロックの位置関係の一例を示す図。 代表ブロックの一例を示す図。 従来技術の問題点を説明するための図。 実施例1における動画像復号装置の構成の一例を示すブロック図。 実施例1における予測ベクトル生成部の構成の一例を示すブロック図。 実施例1における時間隣接予測ベクトル生成部の構成の一例を示すブロック図。 実施例1におけるブロック決定部で決定されるブロックの位置の一例を示す図。 実施例1におけるベクトル選択部の構成の一例を示すブロック図。 第1〜3座標の位置関係(その1)の一例を示す図。 第1〜3座標の位置関係(その2)の一例を示す図。 実施例1の効果を説明するための図。 実施例1における動画像復号装置の処理の一例を示すフローチャート。 実施例1における時間隣接予測ベクトル生成部による処理の一例を示すフローチャート。 従来技術の問題点を説明するための例1を示す図。 従来技術の問題点を説明するための例2を示す図。 実施例2における動きベクトル情報記憶部及び時間隣接予測ベクトル生成部の構成の一例を示すブロック図。 実施例2における、決定される代表ブロックの例(その1)を示す図。 実施例2における、決定される代表ブロックの例(その2)を示す図。 実施例3における時間隣接予測ベクトル生成部の構成の一例を示すブロック図。 実施例3における、決定される代表ブロックの例を示す図。 実施例4における動画像符号化装置の構成の一例を示すブロック図。 実施例4における動画像符号化装置の処理の一例を示すフローチャート。 画像処理装置の構成の一例を示すブロック図。
以下、添付図面を参照しながら各実施例について詳細に説明する。
[実施例1]
<構成>
図6は、実施例1における動画像復号装置100の構成の一例を示すブロック図である。図6に示す動画像復号装置100は、エントロピー復号部101、参照ピクチャリスト記憶部102、動きベクトル情報記憶部103、予測ベクトル生成部104、動きベクトル復元部105、予測画素生成部106、逆量子化部107、逆直交変換部108、復号画素生成部109、復号画像記憶部110を有する。
エントロピー復号部101は、圧縮されたストリームに対してエントロピー復号を行い、処理対象ブロックのL0とL1の参照インデックス、差分ベクトル、予測候補インデックス、直交変換係数を復号する。
参照ピクチャリスト記憶部102は、処理対象ブロックが参照可能なピクチャのPOCを含むピクチャ情報や画像データの記憶位置などを記憶する。
動きベクトル情報記憶部103は、過去に復号したピクチャ内のブロックの動きベクトルを記憶する。動きベクトル情報記憶部103は、例えば、処理対象ブロックの時間的及び空間的に隣接するブロックの動きベクトル、この動きベクトルが参照するピクチャを示す参照ピクチャ識別子を含む動きベクトル情報を記憶する。これらの動きベクトル情報は、動きベクトル復元部105に生成される。
予測ベクトル生成部104は、エントロピー復号部101からL0とL1との参照インデックス(参照ピクチャ識別子)を取得し、処理対象ブロックの動きベクトルに対する予測ベクトルの候補リストを生成する。予測ベクトル生成部104の詳細については後述する。
動きベクトル復元部105は、エントロピー復号部101からL0とL1との予測候補インデックス、差分ベクトルを取得し、予測候補参照インデックスが示す予測ベクトル候補と差分ベクトルとを加算して動きベクトルを復元する。
予測画素生成部106は、復元された動きベクトルと復号画像記憶部110に記憶される復号画像とを用いて予測画素信号を生成する。
逆量子化部107は、エントロピー復号部101から取得した直交変換係数に対して逆量子化処理を行う。逆直交変換部108は、逆量子化された出力信号に対して逆直交変換処理を行い、予測誤差信号を生成する。予測誤差信号は復号画素生成部109に出力される。
復号画素生成部109は、予測画素信号と予測誤差信号とを加算して復号画素を生成する。
復号画像記憶部110は、復号画素生成部109により生成された復号画素を含む復号画像を記憶する。復号画像記憶部110に記憶された復号画像は、ディスプレイなどの表示部に出力される。
次に、予測ベクトル生成部104について説明する。図7は、実施例1における予測ベクトル生成部104の構成の一例を示すブロック図である。図7に示す予測ベクトル生成部104は、時間隣接予測ベクトル生成部201、左隣接予測ベクトル生成部202、上隣接予測ベクトル生成部203を有する。
予測ベクトル生成部104は、処理対象ブロックの参照ピクチャ識別子、処理対象ピクチャのPOC情報を入力する。ここで、処理対象ブロックの参照リスト識別子をLX、参照インデックスをrefidxとする。
動きベクトル情報記憶部103は、過去に処理したブロックを最小ブロックに分割し、最小ブロック単位で動きベクトル情報を保持している。1つのブロックに含まれる最小ブロックは、同じ動きベクトル情報を保持する。動きベクトル情報は、各最小ブロックが所属するピクチャの識別子と、予測モードの識別子と、動きベクトルの参照先となるピクチャの識別子と、動きベクトルの水平成分と垂直成分の値を保持する。
最小ブロックを指定すれば、その最小ブロックを含むブロックが一意に定まるため、最小ブロックを指定することは、特定のブロックを指定することと見なしてよい。以下に説明する実施例では説明の便宜上、処理ブロックと隣接するブロックを指定するのに最小ブロックを指定することとする。
左隣接予測ベクトル生成部202は、処理対象ブロックの左に隣接したブロックの動きベクトルから予測ベクトル候補を生成する。左隣接ブロックの予測ベクトル生成方法は、従来技術と同様であってもよい。
上隣接予測ベクトル生成部203は、処理対象ブロックの上に隣接したブロックの動きベクトルから予測ベクトル候補を生成する。上隣接ブロックの予測ベクトル生成方法も、従来技術と同様であってもよい。
時間隣接予測ベクトル生成部201は、時間方向に隣接したブロックから予測ベクトル候補を生成する。時間隣接予測ベクトル生成部201の詳細は、図8を用いて説明する。
図8は、実施例1における時間隣接予測ベクトル生成部201の構成の一例を示すブロック図である。図8に示す時間隣接予測ベクトル生成部201は、ブロック決定部301、ベクトル情報取得部302、ベクトル選択部303、スケーリング部304を有する。
ブロック決定部301は、処理対象ブロックの位置情報を取得すると、処理対象ブロックの中心ブロックとなる最小ブロックCを決定する。この最小ブロックCは、処理対象ブロックの中心位置(x1,y1)を含む。
このとき、処理対象ブロックの左上の座標を、画素を単位として(x0,y0)とし、画素を単位として水平サイズ、垂直サイズをそれぞれN、Mとすると、第1座標は次の式により表せられる。
x1=x0+(N/2) ・・・式(14)
y1=y0+(M/2) ・・・式(15)
また、第1座標を右下にシフトさせてもよい。例えば、最小ブロックの水平サイズ、垂直サイズをMINX、MINYとすれば、次の式により表せられる。
x1=x0+(N/2)+(MINX/2) ・・・式(16)
y1=y0+(M/2)+(MINY/2) ・・・式(17)
ブロック決定部301は、中心位置(x1,y1)が最小ブロックの境界である場合は、(x1,y1)の右下に位置する最小ブロックCに決定する。ブロック決定部301は、時間方向に隣接する過去に処理されたピクチャの中で、第1座標(例えば処理対象ブロックの中心座標)に最も近いブロックを含む複数のブロックを決定する。
ブロック決定部301は、例えば、最小ブロックCと同一位置の最小ブロックC'と、この最小ブロックC'から所定の距離離れた4つの最小ブロック1〜4を決定する。
図9は、ブロック決定部301で決定されるブロックの位置の一例を示す図である。図9に示すように、ブロック決定部301は、処理対象ブロックの中心ブロックとなる最小ブロックCを決定し、この最小ブロックCと同一位置となる最小ブロックC'をCopLic内から決定する。ブロック決定部301は、最小ブロックC'から所定の距離離れた最小ブロック1〜4を決定する。
図8に戻り、ブロック決定部301は、決定したブロックの位置情報をベクトル情報取得部302、ベクトル選択部303に出力する。
ベクトル情報取得部302は、ブロック決定部301により決定されたブロックの動きベクトル情報を取得する。動きベクトル情報には、動きベクトル、動きベクトルを有するブロックが属するピクチャの識別子、動きベクトルの参照先の参照ピクチャ識別子が含まれる。ベクトル情報取得部302は、取得した動きベクトル情報をベクトル選択部303に出力する。
ベクトル選択部303は、ブロック決定部301により決定された複数のブロックが有する動きベクトルの中から、少なくとも1つの動きベクトルを選択する。ベクトル選択部303の詳細は、図10を用いて後述する。ベクトル選択部303は、選択した動きベクトルをスケーリング部304に出力する。
スケーリング部304は、選択された動きベクトルに対して、式(4)、(5)又は式(12)、(13)を用いてスケーリングする。スケーリングされた動きベクトルは、時間方向における予測ベクトル候補となる。
図10は、実施例1におけるベクトル選択部303の構成の一例を示すブロック図である。図10に示すベクトル選択部303は、評価値計算部400、評価値比較部405を有する。評価値計算部400は、第1座標算出部401、第2座標算出部402、スケーリング部403、距離計算部404を有する。
第1座標算出部401は、処理対象ブロックの情報を取得し、処理対象ブロック内の第1座標を算出する。ここで、処理対象ブロックの左上の座標を、画素を単位として(x0,y0)とし、画素を単位として水平サイズ、垂直サイズをそれぞれN、Mとする。
このとき、処理対象ブロックの中心座標を第1座標とすると、第1座標算出部401は、第1座標(x1、y1)をブロック決定部301と同様に式(14)(15)により算出する。
また、第1座標算出部401は、第1座標を式(16)、(17)により算出し、右下にシフトさせてもよい。
一般に空間方向の予測ベクトル候補が左と上とに隣接するベクトルが使用されるため、処理対象ブロック内の左部と上部の領域は、空間方向の予測ベクトル候補の精度が高い。
したがって、中心座標(第1座標)を右下にずらすことは、空間方向の予測ベクトル候補の精度が低くなる右下領域の予測ベクトル候補の精度を上げることを目的とする。第1座標算出部401は、算出した第1座標を距離計算部404に出力する。
ここで、ブロック決定部301で決定され、評価値算出部400で評価する対象となる最小ブロックをブロックTとする。ブロック決定部301で決定された最小ブロックCをブロックTとして評価を開始し、順に最小ブロック1〜4までをブロックTとして評価する。ただし、イントラ予測が使用され、動きベクトルが存在しないようなブロックは評価されず、次のブロックが評価されるとする。
第2座標算出部402は、処理対象ブロックに対して時間方向に隣接したブロックであって、ブロック決定部301で決定されたブロックTの座標(第2座標)を算出する。第2座標を(x2、y2)、ブロックTの左上の座標を(x'0、y'0)とする。
第2座標算出部402は、次の式により第2座標を算出する。
x2=x'0 ・・・式(18)
y2=y'0 ・・・式(19)
あるいは、第2座標算出部402は、最小ブロックの水平サイズ、垂直サイズをMINX、MINYとすれば、次の式により、最小ブロックの中心座標を第2座標としてもよい。
x2=x'0+MINX/2 ・・・式(20)
y2=y'0+MINY/2 ・・・式(21)
第2座標算出部402は、算出した第2座標を距離計算部404に出力する。
スケーリング部403は、ブロックTが有する動きベクトルを第1動きベクトルとして、ColPicから、処理対象ピクチャを参照するようにスケーリングして、第2動きベクトルを算出する。
例えば、処理対象ピクチャのPOCをCurrPoc、ColPicのPOCをColPicPoc、ブロックTの動きベクトルが参照するピクチャのPOCをColRefPocとする。
また、ブロックTの第1動きベクトルの水平、垂直成分をそれぞれ、(mvcx、mvcy)とすれば、第2動きベクトル(mvcx'、mvcy')は次の式により算出される。
mvcx'=mvcx×(CurrPoc−ColPicPoc)/(ColRefPoc−ColPicPoc) ・・・式(22)
mvcy'=mvcy×(CurrPoc−ColPicPoc)/(ColRefPoc−ColPicPoc) ・・・式(23)
また、スケーリング部403は、第2動きベクトルのスケーリング演算を、式(12)、(13)に示すように、乗算とシフトで算出するようにしてもよい。
距離算出部404は、第2座標(x2,y2)と、第2動きベクトル(mvcx',mvcy')とを加算して、第3座標(x3,y3)を算出する。これは、距離算出部404は、処理対象ピクチャと第2動きベクトルとの交点座標を算出することを表す。この交点座標が、第3座標(x3,y3)となる。
x3=x2+mvcx' ・・・式(24)
y3=y2+mvcy' ・・・式(25)
距離算出部404は、第1座標(x1,y1)と第3座標(x3,y3)との距離Dを、次の式により算出する。
D=abs(x1―x3)+abs(y1−y3) ・・・式(26)
abs(・):絶対値を返す関数
評価値Dは、式(26)に限定されるものではなく、他の評価要素を加えてもよい。
また、第1座標として式(16)、(17)を用い、第2座標として式(20)、(21)を用いた場合、MINX/2とMINY/2は、双方の式から消去しても、式(26)の結果が変わらないことは自明である。よって、式(14)、(15)と式(18)、(19)の組み合わせと、式(16)、(17)と式(20)、(21)の組み合わせは、同一の結果となる。
ここで、第1〜3座標の位置関係について説明する。図11は、第1〜3座標の位置関係(その1)の一例を示す図である。図11に示す例では、第1動きベクトルが処理対象ピクチャと交差する場合を示す。
スケーリング部403は、第1動きベクトルをスケーリングして第2動きベクトルを生成する。距離算出部404は、ブロックTの第2座標と、第2動きベクトルとを加算して第3座標を算出する。距離算出部404は、処理対象ブロックの第1座標と、第3座標との距離Dを算出する。この距離Dが、予測ベクトル候補となる動きベクトルの選択に用いられる。
図12は、第1〜3座標の位置関係(その2)の一例を示す図である。図12に示す例では、第1動きベクトルが、処理対象ピクチャと交差しない場合を示す。図12に示す例でも、第1座標と、第3座標との距離Dが算出され、距離Dが、予測ベクトル候補となる動きベクトルの選択に用いられる。
図10に戻り、評価値計算部400は、ブロックTが評価対象の最後の最小ブロックとなるまで、評価値の算出を繰り返す。評価値とは、例えば距離Dである。評価値計算部400は、評価値(距離D)を評価値比較部405に出力する。
評価値比較部405は、評価値計算部400から各評価対象となった最小ブロックの動きベクトル情報と評価値を取得し、保持する。最後の最小ブロックの動きベクトル情報と評価値を取得すれば、評価値比較部405は、保持している評価値の中で、最小の評価値を持つ動きベクトル(予測ベクトル候補)を選択し、出力する。
また、評価値比較部405は、全ての最小ブロックを評価するのではなく、距離Dが所定の閾値以下になった時点で、その距離Dを持つ動きベクトルを選択して評価処理を打ち切ってしまってもよい。
例えば、評価値比較部405は、処理対象ブロックのブロックサイズがN×Mであったとき、閾値をN+Mとする。
また、別の打ち切り方法として、評価値比較部405は、abs(x1―x3)<Nかつabs(y1―y3)<Mを満たしたときに、評価処理を打ち切ってもよい。
評価値比較部405で出力された動きベクトルは、スケーリング部304にてスケーリングされる。
これにより、第1座標と第3座標との距離を算出することで、処理対象ブロックを貫通する動きベクトルを選択することができるようになり、時間方向における予測ベクトル候補の予測精度を上げることができる。
なお、実施例1では、ブロック決定部301によるブロックの決定数を5つとしたが、ブロック決定方法は、本説明に限定されるもではなく、5つより少なくてもよいし、多くてもよい。
さらに、ベクトル選択部303は、決定された最小ブロックが有する動きベクトルとして、L0ベクトルとL1ベクトルとの2本あるが、どちらか一つだけを評価するように事前に選択しておいてもよい。どちらのベクトルを選択するかは、例えば、評価する動きベクトルが参照するピクチャをColRefPicとしたときに、処理対象ピクチャをColRefPicとColPicで挟むような動きベクトルが存在すれば、ベクトル選択部303は、その動きベクトルを選択する。
図13は、実施例1の効果を説明するための図である。図1に示すように、2つのブロックA、Bの候補があった場合、従来技術ではColブロックがブロックAであった場合、mvColAが選択されていたが、実施例1によれば、評価値(距離D)の小さいmvColBが選択され、時間方向における予測ベクトル候補の精度が向上する。
<動作>
次に、実施例1における動画像復号装置100の動作について説明する。図14は、実施例1における動画像復号装置の処理の一例を示すフローチャートである。図14に示す処理は、1処理単位ブロックにおける復号処理である。
ステップS101で、エントロピー復号部101で、入力されたストリームデータをエントロピー復号する。エントロピー復号部101は、処理対象ブロックのL0の参照インデックスと差分ベクトル、予測候補インデックス、L1の参照インデックスと差分ベクトル、予測候補インデックスと、直交変換係数を復号する。
ステップS102で、予測ベクトル生成部104は、復号されたL0とL1との参照インデックス、動きベクトル情報などを用いて、L0とL1の予測ベクトル候補のリストを算出する。
ステップS103で、動きベクトル復元部105は、エントロピー復号部101で復号されたL0とL1の予測候補インデックスと差分ベクトル情報を取得する。動きベクトル復元部105は、予測ベクトル候補リストの中から予測候補インデックスによって識別される予測ベクトルをL0とL1それぞれ算出する。動きベクトル復元部105は、予測ベクトルと差分ベクトルとを加算することによりL0とL1それぞれの動きベクトルを復元する。
ステップS104で、動きベクトル復元部105は、復元したL0とL1の参照インデックスと、動きベクトル情報とを動きベクトル情報記憶部103に記憶する。これらの情報は、以降のブロックの復号処理で用いられる。
ステップS105で、予測画素生成部106は、L0動きベクトルとL1動きベクトルを取得し、復号画像記憶部110から動きベクトルが参照する領域の画素データを取得し、予測画素信号を生成する。
ステップS106で、逆量子化部107は、エントロピー復号部101で復号された直交変換係数を取得し、逆量子化処理を行う。
ステップS107で、逆直行変換部108で、逆量子化された信号に対し、逆直交変換処理を行う。逆直交変換処理の決定、予測誤差信号が生成される。
なお、ステップS102〜S104の処理と、ステップS106〜S07の処理とは、並列で行われ、順序は問わない。
ステップS108で、復号画素生成部109は、予測画素信号と予測誤差信号とを加算し、復号画素を生成する。
ステップS109で、復号画像記憶部110は、復号画素を含む復号画像を記憶する。以上で、ブロックの復号処理が終了し、次のブロックの復号処理に移行する。
(時間方向に隣接するブロックの予測ベクトル候補)
次に、処理対象ブロックと時間方向で隣接するブロックの予測ベクトル候補を生成する処理について説明する。図15は、実施例1における時間隣接予測ベクトル生成部201による処理の一例を示すフローチャートである。
図15に示すステップS201で、第1座標算出部401は、処理対象ブロック内の第1座標を算出する。第1座標は、例えば処理対象ブロックの中心座標とする。
ステップS202で、ブロック決定部301は、処理対象ブロックと時間方向で隣接するピクチャ内で、処理対象ブロックの中心座標と最も近いブロックを含む複数のブロックを決定する。ブロックの決定方法は、前述した通りである。
ステップS203で、第2座標算出部402は、ブロック決定部301により決定された複数ブロックのうちの1つのブロック内の第2座標を算出する。
ステップS204で、スケーリング部403は、決定されたブロックが有する第1動きベクトルを、処理対象ブロックを参照するようにスケーリングして第2動きベクトルを生成する。
ステップS205で、距離計算部404は、第2動きベクトルと第2座標とを加算し、第3座標を算出する。
ステップS206で、距離計算部404は、第1座標と、第3座標との距離Dを計算する。算出された距離Dなどの情報は、評価値比較部405に出力される。
ステップS207で、評価値比較部405は、ブロック決定部301により決定された全てのブロックで、距離Dなどの情報を取得したか否かを判定する。評価値比較部405は、ブロック決定部301で決定されるブロック数を予め知っておけばよい。
決定されたブロックの中で最後のブロックであれば(ステップS207−YES)ステップS208に進み、最後のブロックでなければ(ステップS207−NO)ステップS202に戻り、決定された他のブロックで以降の処理を行う。
ステップS208で、評価値比較部405は、取得した距離Dを評価し、最小の距離Dとなる第1動きベクトルを選択し、第1動きベクトルを含む動きベクトル情報を出力する。選択された第1動きベクトルが、時間方向の予測ベクトル候補となる。
以上、実施例1によれば、第1座標と第3座標との距離を算出することで、処理対象ブロックを貫通する動きベクトルを選択することができるようになり、時間方向における予測ベクトル候補の予測精度を上げることができる。予測ベクトル候補の精度を向上させれば、結果的に予測ベクトルの予測精度を向上させることができる。
[実施例2]
次に、実施例2における動画像復号装置について説明する。実施例2では、図3、図4で説明した動きベクトル情報を圧縮するモードが存在する場合において、時間方向における予測ベクトル候補の予測精度を上げる。
まず、HEVCにおける、動きベクトル情報を圧縮するモードが存在する場合の問題点について説明する。図16は、従来技術の問題点を説明するための例1を示す図である。図16に示すように、TRがColブロックとなった場合、最小ブロック1に保存された動きベクトルが選択され、TCがColブロックとなった場合、最小ブロック2に保存された動きベクトルが選択される。
このとき、処理対象ブロックが大きい場合、Colブロックが、最小ブロック1であっても、最小ブロック2であっても、Colブロックの位置と、処理対象ブロックの中心位置とが遠くなり、時間方向の予測ベクトル候補の予測精度が下がるという問題があった。
図17は、従来技術の問題点を説明するための例2を示す図である。図17に示すように、TRを含むブロックがColブロックとなった場合、処理対象ブロックの中心位置とColブロックとが離れてしまい、Colブロックの動きベクトルの予測精度が落ちていた。
そこで、実施例2では、動きベクトル情報を圧縮するモードが存在する場合であっても、時間方向における予測ベクトルの精度を向上させることを目的とする。
<構成>
実施例2における動画像復号装置の構成において、動きベクトル情報記憶部、時間隣接予測ベクトル生成部以外の構成は実施例1と同様であるため、以下、動きベクトル情報記憶部、時間隣接予測ベクトル生成部について説明する。
図18は、実施例2における動きベクトル情報記憶部501及び時間隣接予測ベクトル生成部503の構成の一例を示すブロック図である。図18に示す構成で、実施例1と同様の構成のものは同じ符号を付し、その説明を省略する。
動きベクトル情報記憶部501は、動きベクトル圧縮部502を備える。動きベクトル情報記憶部501は、各ブロックの動きベクトルを、最小ブロックを単位として記憶する。1ピクチャの処理が終わったときに、動きベクトル圧縮部502は、動きベクトル情報の削減を行う。
例えば、動きベクトル圧縮部502は、最小ブロック毎に代表ブロックであるかどうかの判定をする。代表ブロックであれば、動きベクトル情報記憶部501は、代表ブロックの動きベクトルをそのまま記憶し、代表ブロックでなければ、動きベクトル圧縮部502は、その動きベクトルを削除する。
よって、動きベクトル圧縮部502は、所定範囲内のブロックから代表ブロックを決定し、所定範囲内のブロックに対して代表ブロックの動きベクトルを1つ記憶させるようにする。
所定範囲は、例えば、水平4最小ブロック、垂直4最小ブロックとする。代表ブロックを、この所定範囲の左上の最小ブロックとする方法がある。このとき、図4に示す最小ブロック1〜15までの動きベクトル情報は、最小ブロック0の動きベクトル情報で代用すされる。同様に、最小ブロック17〜32までの動きベクトル情報は、最小ブロック16の動きベクトル情報で代用される。
時間隣接予測ベクトル生成部503は、ブロック決定部504を有する。ブロック決定部504は、代表ブロック決定部505を有する。
ブロック決定部504は、実施例1と同様にして、処理対象ブロックの中心となる最小ブロックCを決定する。ブロック決定部504は、まず、処理対象ブロック内の第1座標(x1、y1)を算出する。
ブロック決定部504は、実施例1と同様にして、式(14)、(15)又は式(16)、(17)を用いて第1座標を算出する。処理対象ブロックの中心の最小ブロックCは、第1座標(x1、y1)を含む最小ブロックとする。第1座標(x1、y1)が最小ブロックの境界である場合は、第1座標(x1、y1)の右下に位置する最小ブロックを最小ブロックCとする。
代表ブロック決定部505は、最小ブロックCに近い順に、所定数の代表ブロック1〜4の位置を算出し、決定する。以下、4つの代表ブロックを決定する例を用いて説明する。
図19は、実施例2における、決定される代表ブロックの例(その1)を示す図である。図19に示す例は、最小ブロックCと代表ブロック1〜4が重ならない場合を示す。図19に示すように、代表ブロック決定部505は、最小ブロックCと同一位置にあるColPicのブロックC'から近い順に、4つの代表ブロック1〜4を決定する。
図20は、実施例2における、決定される代表ブロックの例(その2)を示す図である。図20に示す例は、最小ブロックCと代表ブロックが重なる場合を示す。図20に示すように、代表ブロック決定部505は、最小ブロックCと重なる代表ブロック4を決定し、その他の代表ブロックについては、代表ブロック4に近い代表ブロック1〜3を決定する。
実施例2では4つの代表ブロックとしたが、代表ブロックの決定方法は、本説明に限定されるもではなく、4つより少なくてもよいし、多くてもよい。
動きベクトル情報記憶部501及び時間隣接予測ベクトル生成部503以外のその他の構成の動作は、実施例1と同様であるため、その説明を省略する。
<動作>
次に、実施例2における動画像復号装置の処理について説明する。復号処理は、図14に示す処理と同様であるため説明を省略する。また、実施例2における時間隣接予測ベクトル生成部による処理については、図15に示すステップS202で、前述した通りの代表ブロックが決定される以外は、実施例1と同様である。
以上、実施例2によれば、実施例1と同様に、動きベクトルを圧縮した場合であっても、時間方向の予測ベクトル候補の精度が向上する。
[実施例3]
次に、実施例3における動画像復号装置について説明する。実施例3では、図3、図4で説明した動きベクトル情報を圧縮するモードが存在する場合において、実施例2とは異なる処理を用いて、時間方向における予測ベクトル候補の予測精度を上げる。
<構成>
実施例3における動画像復号装置の構成は、時間隣接予測ベクトル生成部以外は実施例2と同様であるため、以下、時間隣接予測ベクトル生成部について説明する。
図21は、実施例3における時間隣接予測ベクトル生成部600の構成の一例を示すブロック図である。
時間隣接予測ベクトル生成部600は、ブロック決定部601を有する。ブロック決定部601は、代表ブロック決定部602を有する。
ブロック決定部601は、実施例1と同様にして、処理対象ブロックの中心となる最小ブロックCを決定する。ブロック決定部601は、まず、処理対象ブロック内の第1座標(x1、y1)を算出する。
ブロック決定部601は、実施例1と同様にして、式(14)、(15)又は式(16)、(17)を用いて第1座標を算出する。処理対象ブロックの中心の最小ブロックCは、第1座標(x1、y1)を含む最小ブロックとする。第1座標(x1、y1)が最小ブロックの境界である場合は、第1座標(x1、y1)の右下に位置する最小ブロックを最小ブロックCとする。
代表ブロック決定部602は、最小ブロックCの位置に最も近い代表ブロックを代表ブロック1として決定する。代表ブロック決定部602は、次に、代表ブロック1に近い代表ブロック2〜5を決定する。ここでは、代表ブロックを5つ決定することにしたが、代表ブロックの決定方法は、本説明に限るものではなく、5つより多くてもよいし、少なくてもよい。
図22は、実施例3における、決定される代表ブロックの例を示す図である。図22に示す例は、最小ブロックCの位置と最も近い代表ブロック1が決定され、代表ブロック1に近い代表ブロック2〜5が決定される。
ベクトル選択部603は、代表ブロック決定部602で決定された代表ブロック1〜5を順に、代表ブロックの予測モードがIntra予測モードか否かを評価し、Intra予測モードではなく動きベクトルが存在すれば、その動きベクトルを選択する。ベクトル選択部603は、選択した動きベクトルを含む動きベクトル情報をスケーリング部304に出力する。
時間隣接予測ベクトル生成部600以外のその他の構成の動作は、実施例2と同様であるため、その説明を省略する。
<動作>
次に、実施例3における動画像復号装置の処理について説明する。復号処理は、図13に示す処理と同様であるため説明を省略する。
実施例3における時間隣接予測ベクトル生成部による処理については、ブロック決定処理と、ベクトル選択処理とがある。ブロック決定処理は、最小ブロックCの位置に最も近い代表ブロック1が決定され、その代表ブロック1に近い代表ブロック2〜5が決定される。
ベクトル選択処理は、代表ブロック1〜5の順に、インター予測の動きベクトルがあれば、その動きベクトルを選択する。
以上、実施例3によれば、実施例2と同様に、動きベクトルを圧縮した場合であっても、時間方向の予測ベクトル候補の精度が向上する。
[実施例4]
次に、実施例4における動画像符号化装置について説明する。実施例4における動画像符号化装置は、実施例1〜3のいずれかの時間隣接予測ベクトル生成部を有する動画像符号化装置である。
<構成>
図23は、実施例4における動画像符号化装置700の構成の一例を示すブロック図である。図23に示す動画像符号化装置700は、動き検出部701、参照ピクチャリスト記憶部702、復号画像記憶部703、動きベクトル情報記憶部704、予測ベクトル生成部705、差分ベクトル算出部706を有する。
また、動画像符号化装置700は、予測画素生成部707、予測誤差生成部708、直交変換部709、量子化部710、逆量子化部711、逆直交変換部712、復号画素生成部713、エントロピー符号化部714を有する。
動き検出部701は、原画像を取得し、参照ピクチャリスト記憶部702から参照ピクチャの記憶位置を取得し、復号画像記憶部703から参照ピクチャの画素データを取得する。動き検出部701は、L0、L1の参照インデックスと動きベクトルを検出する。動き検出部701は、検出された動きベクトルが参照する参照画像の領域位置情報を予測画素生成部707に出力する。
参照ピクチャリスト記憶部702は、参照ピクチャの記憶位置と、処理対象ブロックが参照可能なピクチャのPOC情報を含むピクチャ情報を記憶する。
復号画像記憶部703は、動き補償の参照ピクチャとして利用するため、過去に符号化処理し、動画像符号化装置内で局所復号処理されたピクチャを記憶する。
動きベクトル情報記憶部704は、動き検出部701で検出された動きベクトル及びL0とL1の参照インデックス情報を含む動きベクトル情報を記憶する。動きベクトル情報記憶部704は、例えば、処理対象ブロックに対して空間的及び時間的に隣接するブロックの動きベクトル、この動きベクトルが参照するピクチャを示す参照ピクチャ識別子を含む動きベクトル情報を記憶する。
予測ベクトル生成部705は、L0とL1とで予測ベクトル候補リストを生成する。予測ベクトル候補を生成する処理は、実施例1〜3で説明した処理と同様である。
差分ベクトル算出部706は、動きベクトル検出部701からL0とL1の動きベクトルを取得し、予測ベクトル生成部705からL0とL1の予測ベクトル候補リストを取得し、それぞれの差分ベクトルを算出する。
例えば、差分ベクトル算出部706は、L0とL1の動きベクトルに最も近い予測ベクトルを予測ベクトル候補リストの中からそれぞれ選択し、L0とL1の予測ベクトルと予測候補インデックスをそれぞれ決定する。
さらに、差分ベクトル算出部706は、L0の動きベクトルからL0の予測ベクトルを減算してL0の差分ベクトルを生成し、L1の動きベクトルからL1の予測ベクトルを減算してL1の差分ベクトルを生成する。
予測画素生成部707は、入力された参照画像の領域位置情報に基づいて、復号画像記憶部703から参照画素を取得し、予測画素信号を生成する。
予測誤差生成部708は、原画像と予測画素信号とを取得し、原画像と予測画素信号の差分を算出することで予測誤差信号を生成する。
直交変換部709は、予測誤差信号に離散コサイン変換などの直交変換処理を行い、直交変換係数を量子化部710に出力する。量子化部710は、直交変換係数を量子化する。
逆量子化部711は、量子化された直交変換係数に対し、逆量子化処理を行う。逆直交変換部712は、逆量子化された係数に対し、逆直交変換処理を行う。
復号画素生成部713は、予測誤差信号と予測画素信号とを加算することで、復号画素を生成する。生成された復号画素を含む復号画像は、復号画像記憶部703に記憶される。
エントロピー符号化部714は、差分ベクトル算出部706及び量子化部710から取得した、L0とL1との参照インデックスと差分ベクトルと予測候補インデックス、量子化された直交変換係数に対し、エントロピー符号化を行う。エントロピー符号化部714は、エントロピー符号化後のデータをストリームとして出力する。
<動作>
次に、実施例4における動画像符号化装置700の動作について説明する。図24は、動画像符号化装置700の処理の一例を示すフローチャートである。図24に示す符号化処理は、1処理単位ブロックの符号化処理を示す。
ステップS301で、動きベクトル検出部701は、原画像を取得し、参照ピクチャの画素データを取得し、L0、L1の参照インデックスと動きベクトルを検出する。
ステップS302で、予測ベクトル生成部705は、L0とL1の予測ベクトル候補リストをそれぞれ算出する。このとき、予測ベクトル生成部705は、実施例1〜3のいずれか同様、時間方向の予測ベクトル候補の予測精度を上げる。
ステップS903で、差分ベクトル算出部706は、L0とL1の動きベクトルに最も近い予測ベクトルを予測ベクトル候補リストの中からそれぞれ選択し、L0とL1の予測ベクトルと予測候補インデックスをそれぞれ決定する。
さらに、差分ベクトル算出部306は、L0の動きベクトルからL0の予測ベクトルを減算してL0の差分ベクトルを生成し、L1の動きベクトルからL1の予測ベクトルを減算してL1の差分ベクトルを生成する。
ステップS304で、予測画素生成部707は、入力された参照画像の領域位置情報に基づいて、復号画像記憶部703から参照画素を取得し、予測画素信号を生成する。
ステップS305で、予測誤差生成部708は、原画像と予測画素信号が入力され、原画像と予測画素信号の差分を算出することで予測誤差信号を生成する。
ステップS306で、直交変換部709は、予測誤差信号に対して直交変換処理を行い、直交変換係数を生成する。
ステップS307で、量子化部710は、直交変換係数に対して、量子化処理を行い、量子化後の直交変換係数を生成する。
ステップS308で、動きベクトル情報記憶部704は、動きベクトル検出部701から出力されたL0とL1の参照インデックス情報と動きベクトルを含む動きベクトル情報を記憶する。これらの情報は、次のブロックの符号化に利用される。
なお、ステップS302〜S303、ステップS304〜S307、S308の各処理は、並列して行われ、順序は問わない。
ステップS309で、逆量子化部711は、量子化された直交変換係数に対し、逆量子化処理を行い、直交変換係数を生成する。次に、逆直交変換部712は、直交変換係数に対し、逆直交変換処理を行い、予測誤差信号を生成する。
ステップS310で、復号画素生成部713は、予測誤差信号と予測画素信号とを加算し、復号画素を生成する。
ステップS311で、復号画像記憶部703は、復号画素を含む復号画像を記憶する。この復号画像は、以降のブロックの符号化処理に用いられる。
ステップS312で、エントロピー符号化部714は、L0とL1との参照インデックスと差分ベクトルと予測候補インデックス、量子化された直交変換係数をエントロピー符号化し、ストリームとして出力する。
以上、実施例4によれば、時間方向の予測ベクトルの精度を向上させることができ、符号化効率を上げた動画像符号化装置を提供することができる。なお、動画像符号化装置700の予測ベクトル生成部705について、当該業者においては、各実施例1〜3のいずれかの予測ベクトル生成部を用いることができることは自明である。
[変形例]
図25は、画像処理装置800の構成の一例を示すブロック図である。画像処理装置800は、実施例で説明した動画像符号化装置、又は動画像復号装置の一例である。図25に示すように、画像処理装置800は、制御部801、主記憶部802、補助記憶部803、ドライブ装置804、ネットワークI/F部806、入力部807、表示部808を含む。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。
制御部801は、コンピュータの中で、各装置の制御やデータの演算、加工を行うCPUである。また、制御部801は、主記憶部802や補助記憶部803に記憶されたプログラムを実行する演算装置であり、入力部807や記憶装置からデータを受け取り、演算、加工した上で、表示部808や記憶装置などに出力する。
主記憶部802は、ROM(Read Only Memory)やRAM(Random Access Memory)などであり、制御部801が実行する基本ソフトウェアであるOSやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
補助記憶部803は、HDD(Hard Disk Drive)などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
ドライブ装置804は、記録媒体805、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。
また、記録媒体805は、所定のプログラムを格納する。この記録媒体805に格納されたプログラムは、ドライブ装置804を介して画像処理装置800にインストールされる。インストールされた所定のプログラムは、画像処理装置800により実行可能となる。
ネットワークI/F部806は、有線及び/又は無線回線などのデータ伝送路により構築されたLAN(Local Area Network)、WAN(Wide Area Network)などのネットワークを介して接続された通信機能を有する周辺機器と画像処理装置800とのインターフェースである。
入力部807は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部808の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部807は、ユーザが制御部801に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。
表示部808は、LCD(Liquid Crystal Display)等を有し、制御部801から入力される表示データに応じた表示が行われる。なお、表示部808は、外部に設けられてもよく、その場合は、画像処理装置800は、表示制御部を有する。
このように、前述した実施例で説明した動画像符号化処理又は動画像復号処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、前述した画像符号化処理又は画像復号処理を実現することができる。
また、この動画像符号化プログラム又は動画像復号プログラムを記録媒体805に記録し、このプログラムが記録された記録媒体805をコンピュータや携帯端末に読み取らせて、前述した動画像符号化処理又は動画像復号処理を実現させることも可能である。
なお、記録媒体805は、CD−ROM、フレキシブルディスク、光磁気ディスク等の様に情報を光学的,電気的或いは磁気的に記録する記録媒体、ROM、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。また、前述した各実施例で説明した動画像符号化処理又は動画像復号処理は、1つ又は複数の集積回路に実装してもよい。
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。
なお、以上の実施例に関し、さらに以下の付記を開示する。
(付記1)
処理対象ブロックごとに、該処理対象ブロックの動きベクトルと該動きベクトルの予測ベクトル候補とを用いて復号処理を行う動画像復号装置であって、
前記処理対象ブロックに対して過去に復号されたピクチャ内のブロックの動きベクトルを記憶する動きベクトル情報記憶部と、
前記処理対象ブロックに対して時間方向に隣接するブロックの動きベクトルから、前記予測ベクトル候補を生成する時間隣接予測ベクトル生成部とを備え、
前記時間隣接予測ベクトル生成部は、
前記処理対象ブロック内の第1座標に対し、時間方向に隣接するピクチャ内で前記第1座標に最も近いブロックを含む複数のブロックを決定するブロック決定部と、
決定された前記複数のブロックがそれぞれ有する動きベクトルの中から、少なくとも1つの動きベクトルを選択するベクトル選択部と、
を備える動画像復号装置。
(付記2)
前記ベクトル選択部は、
前記複数のブロックがそれぞれ有する動きベクトルに対し、前記処理対象ブロックを含むピクチャを参照するようにスケーリングするスケーリング部と、
スケーリングされた各動きベクトルと、前記複数のブロックの各ブロック内の第2座標とを加算して第3座標を算出し、前記第1座標と前記第3座標との距離を算出する距離算出部と、
前記距離に基づき動きベクトルを比較して選択する比較部と、
を備える付記1記載の動画像復号装置。
(付記3)
前記動きベクトル情報記憶部は、
所定範囲内のブロックから代表ブロックを決定し、前記所定範囲内のブロックに対して前記代表ブロックの動きベクトルを1つ記憶させる動きベクトル圧縮部を備え、
前記ブロック決定部は、
前記代表ブロックの中から前記複数のブロックを決定する付記1又は2記載の動画像復号装置。
(付記4)
前記第1座標は、前記処理対象ブロックの中心を含む右下領域にある付記1乃至3いずれか一項に記載の動画像復号装置。
(付記5)
入力画像が分割された処理対象ブロックごとに、該処理対象ブロックの動きベクトルと該動きベクトルの予測ベクトル候補とを用いて符号化処理を行う動画像符号化装置であって、
過去に符号化処理されたピクチャ内のブロックの動きベクトルを記憶する動きベクトル情報記憶部と、
前記処理対象ブロックに対して時間方向に隣接するブロックの動きベクトルから、前記予測ベクトル候補を生成する時間隣接予測ベクトル生成部とを備え、
前記時間隣接予測ベクトル生成部は、
前記処理対象ブロック内の第1座標に対し、時間方向に隣接するピクチャ内で前記第1座標に最も近いブロックを含む複数のブロックを決定するブロック決定部と、
決定された前記複数のブロックがそれぞれ有する動きベクトルの中から、少なくとも1つの動きベクトルを選択するベクトル選択部と、
を備える動画像符号化装置。
(付記6)
処理対象ブロックごとに、該処理対象ブロックの動きベクトルと該動きベクトルの予測ベクトル候補とを用いて復号処理を行う動画像復号装置が実行する動画像復号方法であって、
前記処理対象ブロック内の第1座標に対し、時間方向に隣接するピクチャ内で前記第1座標に最も近いブロックを含む複数のブロックを決定し、
決定された前記複数のブロックがそれぞれ有する動きベクトルを、前記処理対象ブロックに対して過去に復号されたピクチャ内のブロックの動きベクトルを記憶する動きベクトル情報記憶部から取得し、
取得された複数の動きベクトルから、少なくとも1つの動きベクトルを選択し、
選択された動きベクトルを用いて、時間方向に隣接するブロックに対する前記予測ベクトル候補を生成する動画像復号方法。
(付記7)
入力画像が分割された処理対象ブロックごとに、該処理対象ブロックの動きベクトルと該動きベクトルの予測ベクトル候補とを用いて符号化処理を行う動画像符号化装置で実行される動画像符号化方法であって、
前記処理対象ブロック内の第1座標に対し、時間方向に隣接するピクチャ内で前記第1座標に最も近いブロックを含む複数のブロックを決定し、
決定された前記複数のブロックがそれぞれ有する動きベクトルを、過去に符号化処理されたピクチャ内のブロックの動きベクトルを記憶する動きベクトル情報記憶部から取得し、
取得された複数の動きベクトルから、少なくとも1つの動きベクトルを選択し、
選択された動きベクトルを用いて、時間方向に隣接するブロックに対する前記予測ベクトル候補を生成する動画像符号化方法。
(付記8)
処理対象ブロックごとに、該処理対象ブロックの動きベクトルと該動きベクトルの予測ベクトル候補とを用いて復号処理を行う動画像復号装置に実行させる動画像復号プログラムであって、
前記処理対象ブロック内の第1座標に対し、時間方向に隣接するピクチャ内で前記第1座標に最も近いブロックを含む複数のブロックを決定し、
決定された前記複数のブロックがそれぞれ有する動きベクトルを、前記処理対象ブロックに対して過去に復号されたピクチャ内のブロックの動きベクトルを記憶する動きベクトル情報記憶部から取得し、
取得された複数の動きベクトルから、少なくとも1つの動きベクトルを選択し、
選択された動きベクトルを用いて、時間方向に隣接するブロックに対する前記予測ベクトル候補を生成する、
処理を動画像復号装置に実行させる動画像復号プログラム。
(付記9)
入力画像が分割された処理対象ブロックごとに、該処理対象ブロックの動きベクトルと該動きベクトルの予測ベクトル候補とを用いて符号化処理を行う動画像符号化装置に実行させる動画像符号化プログラムであって、
前記処理対象ブロック内の第1座標に対し、時間方向に隣接するピクチャ内で前記第1座標に最も近いブロックを含む複数のブロックを決定し、
決定された前記複数のブロックがそれぞれ有する動きベクトルを、過去に符号化処理されたピクチャ内のブロックの動きベクトルを記憶する動きベクトル情報記憶部から取得し、
取得された複数の動きベクトルから、少なくとも1つの動きベクトルを選択し、
選択された動きベクトルを用いて、時間方向に隣接するブロックに対する前記予測ベクトル候補を生成する、
処理を動画像符号化装置に実行させる動画像符号化プログラム。
100 動画像復号装置
101 エントロピー復号部
102 参照ピクチャリスト記憶部
103、501 動きベクトル情報記憶部
104 予測ベクトル生成部
105 動きベクトル復元部
106 予測画素生成部
107 逆量子化部
108 逆直交変換部
109 復号画素生成部
110 復号画像記憶部
201 時間隣接予測ベクトル生成部
301、504、601 ブロック決定部
302 ベクトル情報取得部
303 ベクトル選択部
304 スケーリング部
401 第1座標算出部
402 第2座標算出部
403 スケーリング部
404 距離計算部
405 評価値比較部
502 動き圧縮部
504、602 代表ブロック決定部
700 動画像符号化装置
701 動き検出部
702 参照ピクチャリスト記憶部
703 復号画像記憶部
704 動きベクトル情報記憶部
705 予測ベクトル生成部
706 差分ベクトル算出部
707 予測画素生成部
708 予測誤差生成部
709 直交変換部
710 量子化部
711 逆量子化部
712 逆直交変換部
713 復号画素生成部
714 エントロピー符号化部

Claims (9)

  1. 処理対象ブロックごとに、該処理対象ブロックの動きベクトルと該動きベクトルの予測ベクトル候補とを用いて復号処理を行う動画像復号装置であって、
    前記処理対象ブロックに対して過去に復号されたピクチャ内のブロックの動きベクトルを記憶する動きベクトル情報記憶部と、
    前記処理対象ブロックに対して時間方向に隣接するブロックの動きベクトルから、前記予測ベクトル候補を生成する時間隣接予測ベクトル生成部とを備え、
    前記時間隣接予測ベクトル生成部は、
    前記処理対象ブロック内の第1座標に対し、時間方向に隣接するピクチャ内で前記第1座標に最も近いブロックを含む複数のブロックを決定するブロック決定部と、
    決定された前記複数のブロックがそれぞれ有する動きベクトルの中から、少なくとも1つの動きベクトルを選択するベクトル選択部と、
    を備える動画像復号装置。
  2. 前記ベクトル選択部は、
    前記複数のブロックがそれぞれ有する動きベクトルに対し、前記処理対象ブロックを含むピクチャを参照するようにスケーリングするスケーリング部と、
    スケーリングされた各動きベクトルと、前記複数のブロックの各ブロック内の第2座標とを加算して第3座標を算出し、前記第1座標と前記第3座標との距離を算出する距離算出部と、
    前記距離に基づき動きベクトルを比較して選択する比較部と、
    を備える請求項1記載の動画像復号装置。
  3. 前記動きベクトル情報記憶部は、
    所定範囲内のブロックから代表ブロックを決定し、前記所定範囲内のブロックに対して前記代表ブロックの動きベクトルを1つ記憶させるよう制御する動きベクトル圧縮部を備え、
    前記ブロック決定部は、
    前記代表ブロックの中から前記複数のブロックを決定する請求項1又は2記載の動画像復号装置。
  4. 前記第1座標は、前記処理対象ブロックの中心を含む右下領域にある請求項1乃至3いずれか一項に記載の動画像復号装置。
  5. 入力画像が分割された処理対象ブロックごとに、該処理対象ブロックの動きベクトルと該動きベクトルの予測ベクトル候補とを用いて符号化処理を行う動画像符号化装置であって、
    過去に符号化処理されたピクチャ内のブロックの動きベクトルを記憶する動きベクトル情報記憶部と、
    前記処理対象ブロックに対して時間方向に隣接するブロックの動きベクトルから、前記予測ベクトル候補を生成する時間隣接予測ベクトル生成部とを備え、
    前記時間隣接予測ベクトル生成部は、
    前記処理対象ブロック内の第1座標に対し、時間方向に隣接するピクチャ内で前記第1座標に最も近いブロックを含む複数のブロックを決定するブロック決定部と、
    決定された前記複数のブロックがそれぞれ有する動きベクトルの中から、少なくとも1つの動きベクトルを選択するベクトル選択部と、
    を備える動画像符号化装置。
  6. 処理対象ブロックごとに、該処理対象ブロックの動きベクトルと該動きベクトルの予測ベクトル候補とを用いて復号処理を行う動画像復号装置が実行する動画像復号方法であって、
    前記処理対象ブロック内の第1座標に対し、時間方向に隣接するピクチャ内で前記第1座標に最も近いブロックを含む複数のブロックを決定し、
    決定された前記複数のブロックがそれぞれ有する動きベクトルを、前記処理対象ブロックに対して過去に復号されたピクチャ内のブロックの動きベクトルを記憶する動きベクトル情報記憶部から取得し、
    取得された複数の動きベクトルから、少なくとも1つの動きベクトルを選択し、
    選択された動きベクトルを用いて、時間方向に隣接するブロックに対する前記予測ベクトル候補を生成する動画像復号方法。
  7. 入力画像が分割された処理対象ブロックごとに、該処理対象ブロックの動きベクトルと該動きベクトルの予測ベクトル候補とを用いて符号化処理を行う動画像符号化装置で実行される動画像符号化方法であって、
    前記処理対象ブロック内の第1座標に対し、時間方向に隣接するピクチャ内で前記第1座標に最も近いブロックを含む複数のブロックを決定し、
    決定された前記複数のブロックがそれぞれ有する動きベクトルを、過去に符号化処理されたピクチャ内のブロックの動きベクトルを記憶する動きベクトル情報記憶部から取得し、
    取得された複数の動きベクトルから、少なくとも1つの動きベクトルを選択し、
    選択された動きベクトルを用いて、時間方向に隣接するブロックに対する前記予測ベクトル候補を生成する動画像符号化方法。
  8. 処理対象ブロックごとに、該処理対象ブロックの動きベクトルと該動きベクトルの予測ベクトル候補とを用いて復号処理を行う動画像復号装置に実行させる動画像復号プログラムであって、
    前記処理対象ブロック内の第1座標に対し、時間方向に隣接するピクチャ内で前記第1座標に最も近いブロックを含む複数のブロックを決定し、
    決定された前記複数のブロックがそれぞれ有する動きベクトルを、前記処理対象ブロックに対して過去に復号されたピクチャ内のブロックの動きベクトルを記憶する動きベクトル情報記憶部から取得し、
    取得された複数の動きベクトルから、少なくとも1つの動きベクトルを選択し、
    選択された動きベクトルを用いて、時間方向に隣接するブロックに対する前記予測ベクトル候補を生成する、
    処理を動画像復号装置に実行させる動画像復号プログラム。
  9. 入力画像が分割された処理対象ブロックごとに、該処理対象ブロックの動きベクトルと該動きベクトルの予測ベクトル候補とを用いて符号化処理を行う動画像符号化装置に実行させる動画像符号化プログラムであって、
    前記処理対象ブロック内の第1座標に対し、時間方向に隣接するピクチャ内で前記第1座標に最も近いブロックを含む複数のブロックを決定し、
    決定された前記複数のブロックがそれぞれ有する動きベクトルを、過去に符号化処理されたピクチャ内のブロックの動きベクトルを記憶する動きベクトル情報記憶部から取得し、
    取得された複数の動きベクトルから、少なくとも1つの動きベクトルを選択し、
    選択された動きベクトルを用いて、時間方向に隣接するブロックに対する前記予測ベクトル候補を生成する、
    処理を動画像符号化装置に実行させる動画像符号化プログラム。
JP2011133384A 2011-06-15 2011-06-15 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム Expired - Fee Related JP5807402B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011133384A JP5807402B2 (ja) 2011-06-15 2011-06-15 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
US13/472,197 US20120320980A1 (en) 2011-06-15 2012-05-15 Video decoding apparatus, video coding apparatus, video decoding method, video coding method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011133384A JP5807402B2 (ja) 2011-06-15 2011-06-15 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム

Publications (2)

Publication Number Publication Date
JP2013005169A true JP2013005169A (ja) 2013-01-07
JP5807402B2 JP5807402B2 (ja) 2015-11-10

Family

ID=47353638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011133384A Expired - Fee Related JP5807402B2 (ja) 2011-06-15 2011-06-15 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム

Country Status (2)

Country Link
US (1) US20120320980A1 (ja)
JP (1) JP5807402B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017052009A1 (ko) * 2015-09-24 2017-03-30 엘지전자 주식회사 영상 코딩 시스템에서 amvr 기반한 영상 코딩 방법 및 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120140592A (ko) * 2011-06-21 2012-12-31 한국전자통신연구원 움직임 보상의 계산 복잡도 감소 및 부호화 효율을 증가시키는 방법 및 장치
CN104378637B (zh) 2011-10-18 2017-11-21 株式会社Kt 视频信号解码方法
WO2020005032A1 (ko) * 2018-06-28 2020-01-02 엘지전자 주식회사 움직임 정보 압축을 이용한 인터 예측 방법 및 그 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2050752B (en) * 1979-06-07 1984-05-31 Japan Broadcasting Corp Motion compensated interframe coding system
US5148272A (en) * 1991-02-27 1992-09-15 Rca Thomson Licensing Corporation Apparatus for recombining prioritized video data
JP2004007379A (ja) * 2002-04-10 2004-01-08 Toshiba Corp 動画像符号化方法及び動画像復号化方法
JP2004088722A (ja) * 2002-03-04 2004-03-18 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
US8553776B2 (en) * 2004-07-21 2013-10-08 QUALCOMM Inorporated Method and apparatus for motion vector assignment
AU2005295030A1 (en) * 2004-10-05 2006-04-20 Vectormax Corporation Method and system for loss-tolerant multimedia multicasting
JP2007043651A (ja) * 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
KR101377527B1 (ko) * 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JPN6015005912; Jian-Liang Lin, et.al.: '"Improved Advanced Motion Vector Prediction"' [online] Document: JCTVC-D125(version 3), 20110123, Joint Collaborative Team on Video Coding (JCT-VC) *
JPN6015005913; Seungwook Park, et.al.: '"Modifications of temporal mv memory compression and temporal mv predictor"' [online] Document: JCTVC-E059(version 4), 20110319, Joint Collaborative Team on Video Coding (JCT-VC) *
JPN6015005914; J. Jung, et.al.: '"Temporal MV predictor modification for MV-Comp, Skip, Direct and Merge schemes"' [online] Document: JCTVC-D164(version 2), 20110121, Joint Collaborative Team on Video Coding (JCT-VC) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017052009A1 (ko) * 2015-09-24 2017-03-30 엘지전자 주식회사 영상 코딩 시스템에서 amvr 기반한 영상 코딩 방법 및 장치
US10547847B2 (en) 2015-09-24 2020-01-28 Lg Electronics Inc. AMVR-based image coding method and apparatus in image coding system

Also Published As

Publication number Publication date
US20120320980A1 (en) 2012-12-20
JP5807402B2 (ja) 2015-11-10

Similar Documents

Publication Publication Date Title
JP5786478B2 (ja) 動画像復号装置、動画像復号方法、及び動画像復号プログラム
JP5768662B2 (ja) 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
JP2012191298A (ja) 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
JP5807402B2 (ja) 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
JP5786988B2 (ja) 動画像復号方法、動画像復号装置、及び動画像復号プログラム
JP5786989B2 (ja) 動画像符号化方法、動画像符号化装置、及び動画像符号化プログラム
JP5786987B2 (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
AU2015272009B2 (en) Video decoding apparatus, video coding apparatus, video decoding method, video coding method, and storage medium
AU2014210568B2 (en) Video decoding apparatus, video coding apparatus, video decoding method, video coding method, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150811

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150824

R150 Certificate of patent or registration of utility model

Ref document number: 5807402

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees