JP2005318297A - 動画像符号化・復号方法及び装置 - Google Patents

動画像符号化・復号方法及び装置 Download PDF

Info

Publication number
JP2005318297A
JP2005318297A JP2004134253A JP2004134253A JP2005318297A JP 2005318297 A JP2005318297 A JP 2005318297A JP 2004134253 A JP2004134253 A JP 2004134253A JP 2004134253 A JP2004134253 A JP 2004134253A JP 2005318297 A JP2005318297 A JP 2005318297A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
image
interpolation
coefficients
prediction
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004134253A
Other languages
English (en)
Inventor
Takeshi Nakajo
Toshitake Yasuda
健 中條
豪毅 安田
Original Assignee
Toshiba Corp
株式会社東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Abstract

【課題】符号化対象画像と符号化済み画像間での画素値の変化を考慮した小数点画素の補間を行うことにより予測画像の誤差を減少させる。
【解決手段】符号化対象画像と符号化済み画像間の画素値の変化を表す補間係数を符号化対象画像と予測画像間の誤差が最小になるように決定し(S101〜S103)、符号化済み画像についてS103で決定された補間係数を用いて隣接画素間の位置にある画素を補間して補間画像を生成し(S104)、生成された補間画像に対して動き補償予測を行うことより予測画像を生成する(S105〜S106)。
【選択図】図4

Description

本発明は、符号化済み画像について画素補間を行って得られる補間画像を用いて動き補償予測を行う動画像符号化・復号方法及び装置に関する。

動画像の符号化に用いられる技術の一つとして、動き補償予測がある。動き補償予測では、動画像符号化装置において新たに符号化しようとする符号化対象画像と局部復号により得られる既に符号化された符号化済み画像を用いて動きベクトルを求め、動きベクトルを用いて動き補償を行って得られる予測画像を生成する。符号化対象画像と予測画像間の予測誤差を直交変換し、直交変換係数を量子化する。量子化された直交変換係数と、動き補償に用いた動きベクトルの情報を符号化して復号装置に送る。復号装置では、入力された符号化データを復号し、復号済み画像と予測誤差及び動きベクトル情報を用いて予測画像を生成し、元の画像を復号する。

動き補償予測の方法として、フィルタを用いて符号化済み画像について小数点画素を補間することにより補間画像を生成し、補間画像と動きベクトルを用いて予測を行う方法が知られている。小数点画素とは、符号化済み画像の隣接画素間の位置の画素であり、例えば隣接画素間のちょうど中間位置の画素は1/2画素と呼ばれる。これに対して、符号化済み画像に元々ある画素を整数画素と呼ぶ。小数点画素の補間を行う場合、符号化対象画像に合わせてフィルタを適応的に切り替える方法が知られている。また、符号化対象画像の画素と予測画像の画素との間の二乗誤差が最小になるように、小数点画素の補間を行うフィルタを決定する方法が知られている(例えば、非特許文献1参照)。

一方、特許文献1には符号化対象画像信号の輝度Y及び色差Cb, Crを符号化済み画像信号の輝度Y’及び色差Cb’, Cr’’を用いて、Y=αY’+β, Cb=αCb’, Cr=αCr’ のように予測する技術が示されている。
特開平10−248072公報 T. Wedi, "Adaptive Interpolation Filter for Motion Compensated Prediction, "Proc. IEEE International Conference on Image Processing, Rochester, New York USA, September 2002

非特許文献1によると、一つのフィルタを固定して用いるより予測誤差、すなわち符号化対象画像と予測画像間の誤差が小さくなる。しかし、非特許文献1ではフィルタを用いて小数点画素の補間を行う際に、フェードイン・フェードアウト画像に含まれるような、符号化対象画像と符号化済み画像間での画素値の変化を考慮していない。従って、このような画素値の変化があると予測誤差が増大する。

一方、特許文献1においては符号化対象画像と符号化済み画像間での画素値の変化を考慮している。ただし、特許文献1の技術は時間方向の予測に関するものであり、動き補償予測のための補間に関するものではない。

本発明は、符号化対象画像と符号化済み画像間での画素値の変化を考慮した小数点画素の補間を行うことにより予測画像の誤差を減少させる動画像符号化・復号方法及び装置を提供することを目的とする。

上記課題を解決するため、本発明の一つの観点によると、動き補償予測を用いる動画像符号化に際して、符号化対象画像と符号化済み画像間の画素値の変化を表す補間係数を前記符号化対象画像と予測画像間の誤差が最小になるように決定し、前記符号化済み画像について前記補間係数を用いて隣接画素間の位置にある画素を補間して補間画像を生成し、前記補間画像に対して前記動き補償予測を行うことより前記予測画像を生成する。

また、前記予測誤差に対して直交変換を施すことにより直交変換係数を生成して量子化し、量子化された直交変換係数、前記動き補償予測に用いる動きベクトル及び前記補間係数を含めた補間係数の組に対してエントロピー符号化を行って符号化データを出力する。

本発明の他の観点によると、入力される符号化データを復号して、量子化された直交変換係数、動きベクトル及び復号対象画像と復号済み画像間の画素値の変化を表す補間係数を含めた補間係数の組を求め、前記復号済み画像について補間係数の組を用いて隣接画素間の位置にある画素を補間することより補間画像を生成し、前記補間画像について前記動きベクトルを用いて動き補償予測を行うことより予測画像を生成し、前記直交変換係数から予測誤差を求め、前記予測画像及び予測誤差から前記復号対象画像を再生する。

本発明によれば、符号化対象画像と符号化済み画像間の画素値の変化を考慮した小数点画素の補間を行うことにより、フェードイン・フェードアウト画像のような画素値が時間的に変化する画像に対する予測誤差を減少させることができる。

以下、本発明の実施形態について図面を参照して説明する。
(第1の実施形態)
まず、図1を参照して本発明の第1の実施形態に係る動画像符号化装置について説明する。符号化対象画像の入力動画像信号11は減算器101に入力され、ここで入力動画像信号11と予測画像信号15との差分がとられることにより、予測誤差信号12が生成される。予測誤差信号12に対して直交変換器102により直交変換が施され、直交変換係数が生成される。直交変換係数は、量子化器103により量子化される。

量子化された直交変換係数情報は、逆量子化器104により逆量子化された後、逆直交変換器105により逆直交変換される。加算器106では、再生された予測誤差信号と予測画像信号15が加算されることによって、局部復号画像信号14が生成される。局部復号画像信号14はフレームメモリ107に蓄積され、フレームメモリ107から読み出される局部復号画像信号は、動き補償予測器108に入力される。

動き補償予測器108では、フレームメモリ107に蓄積されている局部復号画像信号と入力動画像信号11を受けて局部復号画像信号に対して動き補償予測が行われ、予測画像信号15が生成される。予測画像信号15は、入力動画像信号11との差分をとるために減算器101に送られ、さらに局部復号画像信号14を生成するために加算器106にも送られる。

量子化器103により量子化された直交変換係数情報13は、例えば算術符号化器のようなエントロピー符号化器109にも入力され、エントロピー符号化が施される。動き補償予測器108からは、動き補償予測に用いられた動きベクトル情報16と小数点画素の補間に用いる係数を示す補間係数情報17が出力され、エントロピー符号化器109によりエントロピー符号化される。エントロピー符号化器109から、量子化された直交変換係数情報13、動きベクトル情報16及び補間係数情報17に対応して出力される符号は多重化器110によって多重化され、ビットストリームの符号化データ18として出力される。符号化データ18は、図示しない蓄積系あるいは伝送路へ送出される。

次に、図2を用いて動き補償予測器108について説明する。
画素補間器201においては、後に詳しく説明するように図1の加算器106からの局部復号画像信号14と係数決定器206から与えられる係数情報17に基づいて、補間画像信号19が生成される。補間画像信号19は、スイッチ202に入力される。スイッチ202では、補間画像信号19を予測画像生成器203と動き検出器204の両方に送るか、あるいは動き検出器204のみに送るかが選択される。動き検出器204では、補間画像信号19と入力動画像信号11から動きベクトルが検出される。予測画像生成器203では、補間画像信号19と動きベクトルから予測画像信号15が生成される。

動き検出器204により検出された動きベクトルは、スイッチ205に入力される。スイッチ205では、動きベクトルの情報を予測画像生成器203及び図1のエントロピー符号化器109に送るか、あるいは係数決定器206に送るかが選択される。係数決定器206は、動きベクトル、入力動画像信号11及び局部復号画像信号16から前述の補間係数を決定する。具体的には、補間係数は符号化対象画像である入力動画像信号11と予測画像信号15間の二乗誤差を最小化するように決定される。また、補間係数は符号化対象画像である入力動画像信号11と符号化済み画像であるフレームメモリ107から読み出される局部復号画像信号間の画素値の変化を反映させるように決定される。

決定された補間係数を示す係数情報17は、画素補間器201に送られると共に、図1に示したエントロピー符号化器109に送られる。係数決定器306の詳細な動作については、後に説明する。

次に、図3を用いて画素補間器201について説明する。
水平方向に小数点画素の補間を行う場合、まず整数画素の信号である局部復号画像信号14の画素値がラスタスキャン順にフィルタ300に入力される。フィルタ300において、局部復号画像信号14の入力画素値は遅延器301に蓄積され、同時に遅延器301に一時点前に入力され蓄積されていた画素値が出力される。他の遅延器302、303、304及び305においても、同様の動作が行われる。

係数乗算器306においては、局部復号画像信号14の入力画素値に定数[h(-3)]numを乗じる。ここでnumは2n であり、[r]numは分母をnumに揃えたときのrの分子を表すことにする。他の係数乗算器307、308、309、310及び311においても、同様に入力画素値に定数[h(-2)]num,[h(-1)]num,[h(0)]num,[h(1)]num,[h(2)]numをそれぞれ乗じる。次に、加算器312において全ての係数乗算器306〜311から出力される値の和がとられ、フィルタ300の出力信号となる。

次に、遅延器301〜305、係数乗算器306〜311及び加算器312を含むフィルタ300からの出力信号に対して、加算器313により定数[a]num が加算される。定数[a]num には、例えば後述するように符号化対象画像と符号化済み画像間の画素値の変化を示す係数の分子が用いられる。加算器313からの出力信号は、nビットシフト演算器314でnビットシフトされ、すなわち1/2n =1/num倍されることによって、最終的に補間画像信号19が求められる。図3では6つの画素値を用いて補間画像の画素値を計算する例を示したが、任意の複数の画素値を用いて補間画像の画素値を計算することができる。上述した画素補間器201のさらに詳細な動作については、後に説明する。

次に、図4に示すフローチャートを用いて動き補償予測器108の処理手順について説明する。
まず、ステップS101で画素補間器201を用いて局部復号画像信号14から1/2画素精度の補間画像信号19を生成する。この場合、1/2画素精度の補間に適当なフィルタを用いる。例えば、ITU-T H.264/MPEG-4 Part10 AVCで用いられるフィルタ係数(1/32, -5/32, 20/32, 20/32, -5/32, 1/32)のフィルタを用いる。

次のステップS102では、動き検出器204によって入力動画像信号11と画素補間器201からの補間画像信号19に基づき動きベクトルを求める。動きベクトルの検出法は周知であるため、ここでは詳しい説明を省略する。

次のステップS103では、係数決定器206によって入力動画像信号11、動き検出器204からの動きベクトル、フレームメモリ107からの局部復号画像信号14に基づき、入力画像信号11の符号化対象画像と入力動画像信号11と予測画像信号15間の二乗誤差を最小にする補間係数の決定を行う。補間係数の決定法については、後に詳しく述べる。

次のステップS104では、係数決定器206により決定された補間係数を用いて、画素補間器201によって補間画像信号19を生成する。次のステップS105では、ステップS104で生成された補間画像信号19を用いて動き検出器204により再び動き検出を行う。このとき、検出された動きベクトルは、スイッチ205を介して予測画像生成器203及びエントロピー符号化器109に送られる。最後に、ステップS106では、予測画像生成器203により予測画像信号15を生成し、動き補償予測が終了する。

次に、ステップS103における入力動画像信号11と予測画像信号15間の二乗誤差を最小にする補間係数の決定方法について詳しく説明する。予測画像信号15の画素は、動きベクトルによって以下の3種類に分けられる。すなわち、動きベクトルの指し示す符号化済み画像上の位置がx方向(水平方向)について1/2画素の位置(x-1/2, y)である画素、y方向(垂直方向)について1/2画素の位置(x, y-1/2)である画素、及びx方向とy方向の双方について1/2画素の位置(x-1/2, y-1/2)である画素である。これらの画素のうち、動きベクトルの指し示す位置が(x-1/2, y)である画素と(x, y-1/2)である画素を補間係数の決定に用いる。
以下、図5を用いて動きベクトルの指し示す符号化済み画像上の位置が(x-1/2, y)である画素を補間係数の決定に用いる場合を例にとり、係数決定器206の動作を説明する。図5は、時点tの符号化対象画像上の画素を1時刻前の時点t-1の符号化済み画像上の画素から予測する動き補償予測の様子を示している。

時点tでの画素st (x, y)の予測は、動きベクトル(ut (x, y), vt (x, y)) 及び時点t-1での画素st -1(x, y)を用いて次式(1)で行うものとする。

図5中の二重丸で示されるように、動きベクトル(ut (x, y), vt (x, y))で指し示される時点t-1の符号化済み画像上の位置(x+ut (x, y), y+vt (x, y))の画素st-1(x+ut (x, y), y+vt (x, y))がx方向(水平方向)について1/2画素、y方向(垂直方向)について整数画素である場合、画素st-1(x+ut (x, y), y+vt (x, y))はx方向の補間により求まる。このとき、画素st (x, y)の予測は、次式(2)のように係数at , ht (l) (l = -L, -L+1, ─ , L-1) を用いて行う。

式(2)の右辺第2項は、図3中のフィルタ300の演算により実現される。式(2)の右辺第1項の係数at の加算は、図3中の加算器313による定数[a]num の加算とnビットシフト演算器314によって実現される。すなわち、式(2)においては係数at により符号化対象画像と符号化済み画像間の画素値の変化を考慮している。

符号化対象画像と予測画像の相対応する画素間の誤差e(x, y)を式(4)に示すように画素st (x, y)とその予測画素との差で定義すると、符号化対象画像と予測画像間の平均二乗誤差は式(5)で表される。

ここで、Zは整数を表す。式(5)では、動きベクトルの指し示す位置が(x-1/2, y)である画素について和がとられている。
次に、式(5)を最小にする係数を求める。まず、式(5)に示した符号化対象画像と予測画像間の平均二乗誤差MSEの、式(2)中の係数at 及びht (l)についての偏微分係数を次式(6)(7)により求める。

式(6)(7)の偏微分係数を0とおき、方程式を解くことにより係数at , ht (l) を求めることができる。このようにして求められる係数at , ht (l) を式(2)に代入することにより、画素st (x, y)の予測を行う。動きベクトルの指し示す位置が(x, y-1/2)の画素についても、同様に係数bt, ,gt (m) (m= -M, -M+1, , M-1)を求めることができる。

係数at, ht(l), bt, gt(m)は、本実施形態では分母を2n =numに揃えたときの係数の分子[at ]num, [ht (l)]num, [bt ]num, [gt (m)]numに変換される。ただし、係数の分子は整数に丸められる。例えば、[at ]numは次式となる。

係数の分子[at ]num, [ht (l)]num, [bt ]num, [gt (m)]num及び分母の指数部nが係数情報17として係数決定器206からエントロピー符号化器204に送られ、エントロピー符号化されると共に、画素補間器201に送られる。

次に、図6を用いてステップS104における画素補間器201での補間画像信号19の生成法について説明する。
位置(x, y)と(x-1, y)の間にある1/2画素s(x-1/2, y)は、係数決定器206から与えられる係数の分子[at ]num, [ht (l)]num及び分母の指数部nにより、次式(9)で求められる。

位置(x, y)と(x, y-1)の間にある1/2画素s(x, y-1/2)は、係数決定器206から与えられる係数の分子[bt ]num, [gt (m)]num及び分母の指数部nを用いて次式(10)で求められる。

式(9)または(10)が画素のダイナミックレンジの最大値より大きいか、あるいは最小値より小さい場合、それぞれダイナミックレンジの最大値、最小値に修正するクリッピング処理を行う。以下、計算により求められたすべての画素値について、クリッピング処理が行われるものとする。

画素位置(x-1/2, y-1/2)の画素s(x-1/2, y-1/2)については、仮に従来の技術と同様の手順で式(9)により水平方向に補間された画素を用いて、式(10)により垂直方向に補間を行うと、画素値は次式で求められる。

式(11)に含まれるs(x-1/2, y+m)については、式(9)で符号化対象画像と符号化済み画像間にある画素値の変化を表す係数の分子[at ]numが含まれている。式(11)においても同様に画素値の変化を表す係数の分子[bt ]numが含まれており、二重に画素値の変化を考慮してしまうことになる。

そこで本実施形態では、図7及び図8に示すように式(9)を用いて水平方向に補間された位置(x-1/2, y)の画素にフィルタを用いて垂直方向の補間を行い、画素s(x-1/2, y-1/2)を求める。フィルタには、1/2画素精度の補間に適当なものを用いる。例えば、ステップS101で用いたようなH.264 / AVCで用いられるフィルタ係数(1/32, -5/32, 20/32, 20/32, -5/32, 1/32)のフィルタを用いる。画素位置が(x-1/2, y-1/2)の画素s(x-1/2, y-1/2)は、次式(12)で求められる。

ここで、[c(m)]numは係数の分子[at ]num等と同様に、次式(13)で表されるものとする。

なお、式(9)により水平方向に補間された画素にフィルタを用いて垂直方向の補間をする方法を示したが、フィルタを用いて水平方向に補間された画素に式(10)により垂直方向の補間を行ってもよい。生成された補間画像信号はスイッチ202を介して予測画像生成器203及び動き検出器204に送られる。

ステップS101,S104での補間及びステップS103の補間係数の決定において用いる画素の位置は、画面の範囲外になる場合がある。画面の範囲外の画素については、画面の縁に位置する画素が延長されているか、あるいは画面の縁を基準に画像信号が対称になるように画素が延長されていると仮定する。

次に、補間係数のエントロピー符号化について説明する。エントロピー符号化器109では、係数情報17として係数の分子[at ]num, [ht (l)]num, [bt ]num, [gt (m)]num及び係数の分母の指数部nを受け、これらをフレーム毎、フィールド毎、スライス単位、またはGOP単位などシンタクス上の単位で符号化する。

なお、本実施形態では二乗誤差を最小とする方法を示したが、他の誤差の基準で補間係数を求めてもよい。また、時点t-1の画像から動き補償予測を行う方法を示したが、時点t-1以前の符号化済み画像から同様に動き補償予測を行うこともできる。

次に、図9を用いて第1の実施形態に係る動画像復号装置について説明する。復号対象の符号化データ21として、図1の動画像符号化装置から出力される符号化データ18が蓄積系または伝送系を経て入力される。復号対象の符号化データ21には、量子化された直交変換係数情報、動きベクトル情報及び補間係数情報の符号が含まれている。これらの各符号は多重化分離器401により分離され、エントロピー復号化器402によって復号されることにより、量子化された直交変換係数情報22、動きベクトル情報23及び補間係数情報24が出力される。補間係数情報24は、図1に示した動画像符号化装置側では符号化対象画像と符号化済み画像間の画素値の変化を表す補間係数の情報であるが、動画像復号化装置側で見れば復号対象画像と復号済み画像間の画素値の変化を表す補間係数の情報である。

エントロピー復号化器402から出力される情報のうち、量子化された直交変換係数情報22は逆量子化器403に、動きベクトル情報23は予測画像生成器406に、そして補間係数情報24である係数の分子[at ]num, [ht (l)]num, [bt ]num, [gt (m)]num及び係数の分母の指数部nは補間画像生成器407にそれぞれ送られる。

量子化された直交変換係数情報22は逆量子化器403によって逆量子化された後、逆直交変換器404により逆直交変換されることによって、予測誤差信号25が得られる。加算器405では予測誤差信号25に予測画像信号27が加算されることにより、動画像信号28が再生される。再生される動画像信号28は、フレームメモリ408に蓄積される。

画素補間器407においては、フレームメモリ408に蓄積されている動画像信号と多重化分離器401から与えられる補間係数情報である係数の分子[at ]num, [ht (l)]num, [bt ]num, [gt (m)]num及び係数の分母の指数部nを用いて補間画像信号26が生成される。ここで、画素補間器407は第1の実施形態における図2中の画素補間器201と同様に補間を行う。最後に、こうして生成された補間画像について動きベクトル情報23を用いて予測画像生成器406により予測画像が生成され、動画像信号28を得るために加算器405に送られる。

(第2の実施形態)
次に、本発明の第2の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、第1の実施形態と同様である。本実施形態は、水平方向及び垂直方向の画像信号の性質が同じであると仮定し、次式(14)(15)のように水平方向及び垂直方向共に同一の補間係数を用いる。

補間係数の決定においては、第1の実施形態の式(5)(6)(7)を動きベクトルの指し示す位置が(x-1/2, y)にある画素及び位置(x, y-1/2)にある画素双方の和をとるように変更する。平均二乗誤差及び偏微分係数は、次式(16)(17)(18)となる。

式(17)(18)の偏微分係数を0とおいて方程式を解くことにより、水平方向及び垂直方向双方の補間に共通の補間係数であるat , ht (l) が得られる。補間については図7及び図10に示すように、決定された係数の分子[at ]num, [ht (l)]numを水平方向及び垂直方向に共通に用いて、第1の実施形態のステップS104と同様に行う。

第2の実施形態によれば、水平方向及び垂直方向の補間に用いる補間係数を別々に設ける場合に比べ、補間係数の個数を削減することができる。従って、エントロピー符号化を行うべき係数の分子の数も減少するので、係数情報17を送るために必要な符号量を第1の実施形態の場合より削減することができる。

本発明の第1の実施形態に係る動画像符号化装置のブロック図 図1中の動き補償予測器のブロック図 図2中の画素補間器のブロック図 図1中の動き補償予測器の処理手順を示すフローチャート 動き補償予測について説明する図 水平方向の補間について説明する図 水平方向に小数点画素位置にある画素を補間する際の水平方向の補間について説明する図 水平方向及び垂直方向共に小数点画素位置にある画素を補間する際の垂直方向の補間について説明する図 本発明の第1の実施形態に係る動画像復号装置のブロック図 本発明の第2の実施形態における垂直方向の補間について説明する図

符号の説明

11…入力動画像信号
12…予測誤差信号
13…量子化直交変換係数
14…局部復号画像信号
15…予測画像信号
16…動きベクトル情報
17…係数情報
18…符号化データ
19…補間画像信号
101…減算器
102…直交変換器
103…量子化器
104…逆量子化器
105…逆直交変換器
106…加算器
107…フレームメモリ
108…動き補償予測器
109…エントロピー符号化器
110…多重化器
201…画素補間器
202…スイッチ
203…予測画像生成器
204…動き検出器
205…スイッチ
206…係数決定器
301〜305…遅延器
306〜311…係数乗算器
312…加算器
313…加算器
314…ビットシフト演算器
21…符号化データ
22…量子化直交変換係数
23…動きベクトル情報
24…係数情報
25…予測誤差信号
26…補間画像信号
27…予測画像信号
28…出力動画像信号
401…多重化分離器
402…エントロピー復号化器
403…逆量子化器
404…逆直交変換器
405…加算器
406…予測画像生成器
407…画素補間器
408…フレームメモリ

Claims (10)

  1. 動き補償予測を用いる動画像符号化方法において、
    符号化対象画像と符号化済み画像間の画素値の変化を表す補間係数を前記符号化対象画像と予測画像間の誤差が最小になるように決定するステップと、
    前記符号化済み画像について前記補間係数を用いて隣接画素間の位置にある画素を補間して補間画像を生成するステップと、
    前記補間画像に対して前記動き補償予測を行うことより前記予測画像を生成するステップとを具備する動画像符号化方法。
  2. 前記予測誤差に対して直交変換を施すことにより直交変換係数を生成するステップと、
    前記直交変換係数を量子化するステップと、
    量子化された直交変換係数、前記動き補償予測に用いる動きベクトル及び前記補間係数対してエントロピー符号化を行って符号化データを出力するステップとをさらに具備する請求項1記載の動画像符号化方法。
  3. 前記補間画像を生成するステップは、前記符号化対象画像と予測画像間の平均二乗誤差の前記補間係数についての偏微分係数を0とおいて前記補間係数を求める請求項1記載の動画像符号化方法。
  4. 前記補間画像を生成するステップは、水平方向及び垂直方向共に前記隣接画素間の位置にある画素を補間する際に、水平方向及び垂直方向のいずれか一方については補間フィルタと前記補間係数を用いて補間を行い、他方については前記補間フィルタのみを用いて補間を行う請求項1記載の動画像符号化方法。
  5. 前記補間係数を決定するステップは、前記補間係数として水平方向及び垂直方向の双方に共通の係数を決定する請求項1記載の動画像符号化方法。
  6. 動き補償予測を用いる動画像符号化装置において、
    符号化対象画像と符号化済み画像間の画素値の変化を表す補間係数を前記符号化対象画像と予測画像間の誤差が最小になるように決定する手段と、
    前記符号化済み画像について前記補間係数を用いて小数点画素の補間を行うことより補間画像を生成する手段と、
    前記補間画像を用いて動き補償予測を行うことより前記予測画像を作成する手段とを具備する動画像符号化装置。
  7. 入力される符号化データを復号して、量子化された直交変換係数、動きベクトル及び復号対象画像と復号済み画像間の画素値の変化を表す補間係数を求めるステップと、
    前記復号済み画像について前記補間係数を用いて隣接画素間の位置にある画素を補間することより補間画像を生成するステップと、
    前記補間画像について前記動きベクトルを用いて動き補償予測を行うことより予測画像を生成するステップと、
    前記直交変換係数から予測誤差を求めるステップと、
    前記予測画像及び予測誤差から前記復号対象画像を再生するステップとを具備する動画像復号化方法。
  8. 前記補間画像を生成するステップは、水平方向及び垂直方向共に前記隣接画素間の位置にある画素を補間する際に、水平方向及び垂直方向のいずれか一方については補間フィルタと前記補間係数を用いて補間を行い、他方については前記補間フィルタのみを用いて補間を行う請求項7記載の動画像復号化方法。
  9. 前記補間係数を決定するステップは、前記補間係数として水平方向及び垂直方向の双方に共通の係数を決定する請求項7記載の動画像復号化方法。
  10. 入力される符号化データを復号して、量子化された直交変換係数、動きベクトル及び復号対象画像と復号済み画像間の画素値の変化を表す補間係数を求める手段と、
    前記復号済み画像について前記補間係数を用いて隣接画素間の位置にある画素を補間することより補間画像を生成する手段と、
    前記補間画像について前記動きベクトルを用いて動き補償予測を行うことより予測画像を生成する手段と、
    前記直交変換係数から予測誤差を求める手段と、
    前記予測画像及び予測誤差から前記復号対象画像を再生する手段とを具備する動画像復号化装置。
JP2004134253A 2004-04-28 2004-04-28 動画像符号化・復号方法及び装置 Pending JP2005318297A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004134253A JP2005318297A (ja) 2004-04-28 2004-04-28 動画像符号化・復号方法及び装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004134253A JP2005318297A (ja) 2004-04-28 2004-04-28 動画像符号化・復号方法及び装置
US11114125 US20050243931A1 (en) 2004-04-28 2005-04-26 Video encoding/decoding method and apparatus

Publications (1)

Publication Number Publication Date
JP2005318297A true true JP2005318297A (ja) 2005-11-10

Family

ID=35187090

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004134253A Pending JP2005318297A (ja) 2004-04-28 2004-04-28 動画像符号化・復号方法及び装置

Country Status (2)

Country Link
US (1) US20050243931A1 (ja)
JP (1) JP2005318297A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011517240A (ja) * 2008-04-10 2011-05-26 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビデオコーディングにおける整数ピクセル位置の補間的フィルタリング
US8045813B2 (en) 2007-03-28 2011-10-25 Samsung Electronics Co., Ltd. Image encoding and decoding method and apparatus using motion compensation filtering
US8462842B2 (en) 2008-04-10 2013-06-11 Qualcomm, Incorporated Symmetry for interpolation filtering of sub-pixel positions in video coding
US8705622B2 (en) 2008-04-10 2014-04-22 Qualcomm Incorporated Interpolation filter support for sub-pixel resolution in video coding
JP2014523696A (ja) * 2011-06-30 2014-09-11 エルジー エレクトロニクス インコーポレイティド 補間方法及びそれを利用した予測方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4284265B2 (ja) * 2004-11-02 2009-06-24 株式会社東芝 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法
JP5020953B2 (ja) 2005-07-18 2012-09-05 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートElectronics And Telecommunications Research Institute 時間及び視点間参照映像バッファを活用した予測符号化/復号化装置及びその方法
KR101369746B1 (ko) 2007-01-22 2014-03-07 삼성전자주식회사 적응적 보간 필터를 이용한 영상 부호화, 복호화 방법 및장치
KR101379255B1 (ko) * 2007-04-06 2014-03-28 삼성전자주식회사 미분 방정식을 이용한 인트라 예측 부호화, 복호화 방법 및장치
US9078007B2 (en) 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
US20120177111A1 (en) * 2011-01-12 2012-07-12 Matthias Narroschke Efficient clipping
US9055304B2 (en) 2011-07-01 2015-06-09 Qualcomm Incorporated Reduced resolution pixel interpolation
EP2770736A4 (en) 2011-10-17 2015-06-03 Toshiba Inc Kk Encoding method and decoding method
CN103782599A (zh) 2011-10-17 2014-05-07 株式会社东芝 编码方法和解码方法
JP5925801B2 (ja) 2012-06-27 2016-05-25 株式会社東芝 符号化方法、復号方法、符号化装置、及び復号装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
EP1833261A1 (en) * 2002-01-18 2007-09-12 Kabushiki Kaisha Toshiba Video encoding method and apparatus and video decoding method and apparatus
JP4015934B2 (ja) * 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置
JP2004179687A (ja) * 2002-11-22 2004-06-24 Toshiba Corp 動画像符号化/復号化方法及び装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8045813B2 (en) 2007-03-28 2011-10-25 Samsung Electronics Co., Ltd. Image encoding and decoding method and apparatus using motion compensation filtering
JP2011517240A (ja) * 2008-04-10 2011-05-26 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビデオコーディングにおける整数ピクセル位置の補間的フィルタリング
US8462842B2 (en) 2008-04-10 2013-06-11 Qualcomm, Incorporated Symmetry for interpolation filtering of sub-pixel positions in video coding
US8705622B2 (en) 2008-04-10 2014-04-22 Qualcomm Incorporated Interpolation filter support for sub-pixel resolution in video coding
US9077971B2 (en) 2008-04-10 2015-07-07 Qualcomm Incorporated Interpolation-like filtering of integer-pixel positions in video coding
JP2014523696A (ja) * 2011-06-30 2014-09-11 エルジー エレクトロニクス インコーポレイティド 補間方法及びそれを利用した予測方法
US9460488B2 (en) 2011-06-30 2016-10-04 Lg Electronics Inc. Interpolation method and prediction method using same

Also Published As

Publication number Publication date Type
US20050243931A1 (en) 2005-11-03 application

Similar Documents

Publication Publication Date Title
US20070140574A1 (en) Decoding apparatus and decoding method
US20030086622A1 (en) Efficient spatial scalable compression schemes
US7609763B2 (en) Advanced bi-directional predictive coding of video frames
US20050013372A1 (en) Extended range motion vectors
US20060188024A1 (en) Motion image encoding apparatus, motion image decoding apparatus, motion image encoding method, motion image decoding method, motion image encoding program, and motion image decoding program
US7116831B2 (en) Chrominance motion vector rounding
US20040120401A1 (en) Motion estimation engine with parallel interpolation and search hardware
RU2302707C2 (ru) Кодирующие динамические фильтры
US20030202607A1 (en) Sub-pixel interpolation in motion estimation and compensation
US7110459B2 (en) Approximate bicubic filter
US20030058949A1 (en) Method and apparatus for improved estimation and compensation in digital video compression and decompression
US20030156646A1 (en) Multi-resolution motion estimation and compensation
US20020163969A1 (en) Detection and proper interpolation of interlaced moving areas for MPEG decoding with emebedded resizing
US20060291563A1 (en) Interpolation apparatus and method for motion vector compensation
JP2004007337A (ja) 画像処理装置およびその方法
JPH09252470A (ja) 画像符号化および復号化方法
JPH05244585A (ja) 予測符号化装置及び復号化装置
JPH10136385A (ja) 動画像の輝度変化補償方法、動画像符号化装置、動画像復号装置、動画像符号化もしくは復号プログラムを記録した記録媒体および動画像の符号化データを記録した記録媒体
JPH05236456A (ja) 動画像符号化方法および装置
JP2008278091A (ja) 動画像記録方法及びその装置
KR20050018948A (ko) 비디오 부호화에서 보간 필터 유형을 선택하기 위한 방법및 장치
US20040240550A1 (en) Moving picture signal coding method, decoding method, coding apparatus, and decoding apparatus
JPH1155678A (ja) ブロック間内挿予測符号化装置、復号化装置、符号化方法及び復号化方法
US20030194011A1 (en) Rounding control for multi-stage interpolation
JPH1146364A (ja) 動き補償符号化装置、復号化装置、符号化方法及び復号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071211

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080208

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080304