JP2009246432A - 動画像復号化装置および動画像復号化方法 - Google Patents

動画像復号化装置および動画像復号化方法 Download PDF

Info

Publication number
JP2009246432A
JP2009246432A JP2008087325A JP2008087325A JP2009246432A JP 2009246432 A JP2009246432 A JP 2009246432A JP 2008087325 A JP2008087325 A JP 2008087325A JP 2008087325 A JP2008087325 A JP 2008087325A JP 2009246432 A JP2009246432 A JP 2009246432A
Authority
JP
Japan
Prior art keywords
sub
motion vector
block
macroblock
boundary strength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008087325A
Other languages
English (en)
Other versions
JP4896915B2 (ja
Inventor
Kiwamu Watanabe
究 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2008087325A priority Critical patent/JP4896915B2/ja
Priority to US12/404,514 priority patent/US20090245351A1/en
Publication of JP2009246432A publication Critical patent/JP2009246432A/ja
Application granted granted Critical
Publication of JP4896915B2 publication Critical patent/JP4896915B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】回路規模の増大を抑制しつつ、デブロッキングフィルタ処理におけるブロック境界強度の計算時のサイクル数を削減することが可能な動画像復号化装置を提供する。
【解決手段】動きベクトル復号化部12は、参照方向の異なる2つのマクロブロック間において、そのマクロブロックに属するサブマクロブロックの動きベクトル情報を交互に復号化し、ブロック境界強度計算部13は、2つのマクロブロック間でのサブマクロブロックが復号されるごとに、そのサブマクロブロックの位置に対応した予測対象ブロックについてのブロック境界強度bSを計算する。
【選択図】 図1

Description

本発明は動画像復号化装置および動画像復号化方法に関し、特に、動画像復号化におけるデブロッキングフィルタ処理に適用して好適なものである。
次世代の動画像圧縮符号化技術として、H.264/AVC(AVC:Advanced Video Coding)規格が注目されている。このH.264/AVC規格では、1/4画素精度の動き補償、フレーム内予測、4×4画素単位の整数精度のDCTなどが採用されることで、MPEG2などの圧縮符号化技術よりも高能率の圧縮符号化が実現されている。
また、MPEG−2では、動き補償のマクロブロックサイズは16×16画素に固定されていたが、H.264/AVCでは、16×16画素以外にも、16×8画素、8×16画素、8×8画素、8×4画素、4×8画素、4×4画素の7種類のマクロブロックサイズが用意され、これらのマクロブロックサイズを任意に選択できるようにすることで、きめ細やかな動き補償が実現されている。
また、ブロック単位の処理を用いる画像圧縮符号化方式では、ブロック境界の歪み(ブロック・ノイズ)が発生しやすくなる。特に、MPEG2などの画像圧縮符号化方式においてインター予測を行う場合、動き補償時にブロック・ノイズを含んだ復号画像が参照されると、フレーム間で画質の劣化が伝播することがある。このため、H.264/AVC規格では、ブロックの歪みを防ぐデブロッキングフィルタが導入され、隣接ブロック同士のつながりが調整される。
このデブロッキングフィルタは、ループ内フィルタとして符号化ループに組み込まれており、復号画像に対して適応的に重み付けを行うことで予測画像を生成する。H.264/AVC規格では、このようなデブロッキングフィルタを用いることにより、動き補償における予測誤差からブロック・ノイズの影響を除去し、符号化効率の向上が図られている。
また、例えば、特許文献1には、動画像復号装置内の処理負荷の大きさのレベルを示す負荷レベルに応じてデブロッキングフィルタ処理を行うか否かを判定するための判定閾値を設定し、各フレームを構成する複数のブロックのうちの隣接するブロックから求められる処理パラメータが判定閾値よりも小さい場合、デブロッキングフィルタ処理を行わないように制御する方法が開示されている。
しかしながら、従来の動画像復号装置では、入力ビットストリームにおけるサブマクロブロックの出現順に動きベクトルが復号化される。例えば、L0/L1方向の2枚のフレームから動き補償を行う場合、動き補償のマクロブロックサイズが4×4画素であるとすると、L0方向の1マクロブロック分の16個のサブマクロブロックの全てについて動きベクトルが復号化された後、L1方向の1マクロブロック分の16個のサブマクロブロックの全てについて動きベクトルが復号化される。
そして、デブロッキングフィルタでは、ブロック境界強度bSを計算するため、L0/L1方向それぞれの16個のサブマクロブロックの全てについて動きベクトルが復号化された後、その動きベクトルの復号化に用いられたL0/L1方向それぞれの周辺ブロックの動きベクトル情報が参照される。
このため、ブロック境界強度bSを計算するには、L0/L1方向それぞれの16個のサブマクロブロックの全てについて、ブロック境界強度bSの計算に必要な周辺ブロックの動きベクトル情報などを一時メモリから再度読み出す必要があるため、余分なサイクル数や電力が消費されるという問題があった。
具体的には、4×4画素の1個分のサブマクロブロックの動きベクトル情報が31ビットであるとすると、4×4画素の1個分のサブマクロブロックについてのブロック境界強度bSを計算するには、L0/L1方向それぞれについての今回処理対象となるサブマクロブロックの周辺の3つのサブマクロブロックの動きベクトル情報が必要となることから、6×31=186ビット分のデータを一時メモリから読み込む必要があり、16×16画素の1個分のマクロブロック全体では、16×186=2976ビット分のデータを一時メモリから読み込む必要がある。
また、同じマクロブロック内の動きベクトル情報をレジスタ上に保存し、同じマクロブロック内の動きベクトル情報を使い回すことで、同じマクロブロック内の動きベクトル情報については一時メモリからの再読み込みを行わないようにした場合においても、今回処理対象となるサブマクロブロックの動きベクトル情報とそのサブマクロ周辺のブロックの動きベクトル情報の計1550ビット分のデータ用レジスタを用意しなければならず、回路規模が増大するという問題があった。
特開2007−208476号公報
そこで、本発明の目的は、回路規模の増大を抑制しつつ、デブロッキングフィルタ処理におけるブロック境界強度の計算時のサイクル数を削減することが可能な動画像復号化装置および動画像復号化方法を提供することである。
上述した課題を解決するために、本発明の一態様によれば、マクロブロックの予測画像を作成するための2つの方向から生成される予測画像を示す参照ブロックに属し、サブマクロブロックごとの予測画像を示すサブ参照ブロックの動きベクトルを、2つの前記サブ参照ブロック間で交互に復号化する動きベクトル復号化部と、前記2つの参照ブロック間でサブ参照ブロックの動きベクトルが復号されるごとに、前記サブマクロブロックの位置に対応したブロック境界強度を計算するブロック境界強度計算部とを備えることを特徴とする動画像復号化装置を提供する。
また、本発明の一態様によれば、第1の参照ブロックに属する第1のサブ参照ブロックの動きベクトルを復号するステップと、前記第1の参照ブロックと参照方向の異なる第2の参照ブロックに属する第2のサブ参照ブロックの動きベクトルを復号するステップと、
前記第1および第2のサブ参照ブロックの動きベクトルが復号された後に、前記第1および第2のサブ参照ブロックの位置に対応した第1のサブマクロブロックについてのブロック境界強度を計算するステップと、前記第1のサブマクロブロックについてのブロック境界強度が計算された後に、前記第1の参照ブロックに属する第3のサブ参照ブロックの動きベクトルを復号するステップと、前記第1の予測対象ブロックについてのブロック境界強度が計算された後に、前記第2の参照ブロックに属する第4のサブ参照ブロックの動きベクトルを復号するステップと、前記第3および第4のサブ参照ブロックの動きベクトルが復号された後に、前記第3および第4のサブ参照ブロックの位置に対応した第2のサブマクロブロックについてのブロック境界強度を計算するステップとを備えることを特徴とする動画像復号化方法を提供する。
以上説明したように、本発明によれば、回路規模の増大を抑制しつつ、デブロッキングフィルタ処理におけるブロック境界強度の計算時のサイクル数を削減することが可能となる。
以下、本発明の実施形態に係る動画像復号化装置について図面を参照しながら説明する。
(第1実施形態)
図1は、本発明の第1実施形態に係る動画像復号化装置の概略構成を示すブロック図である。なお、本願の明細書の実施形態では、フレーム内で分割された16×16画素のブロックをマクロブロックと言い、そのマクロブロックを分割した4×4画素のブロックをサブマクロブロックと言う。また、マクロブロックの予測画像を作成するために参照される16×16画素のブロックを参照ブロック、その参照ブロックを分割した4×4画素のブロックをサブ参照ブロックと言う。
図1において、動画像復号化装置には、入力ビットストリームImに含まれるエントロピー符号を復号化するエントロピー符号復号化部11、量子化された直交変換係数を逆量子化し、逆量子化された直交変換係数を逆整数変換する逆量子化逆整数変換部14、フレーム内予測およびフレーム間予測に基づいて復号画像を生成するフレーム内/フレーム間予測部15、復号対象のブロックについての動きベクトルに基づいて、参照フレームIsからフレーム間予測画像を生成する動き補償部16、ブロック境界の歪みが発生しやすいかどうかに基づいて復号画像に適応的に重み付けを行うデブロッキングフィルタ17が設けられている。
なお、入力ビットストリームImには、符号化された動画像データの他、動き補償フレーム間予測符号化(インター予測符号化)で用いられた動きベクトル情報、フレーム内予測符号化(イントラ予測符号化)で用いられたフレーム内予測情報などを含めることができる。
ここで、動き補償フレーム間予測符号化では、参照方向の異なる参照フレームにおいて、動きの分だけずらされた位置の画像が用いられることでフレーム間予測画像が生成され、そのフレーム間予測画像と入力画像との差分に対応したフレーム間誤差画像が符号化される。また、フレーム内予測符号化では、フレーム間予測を用いないマクロブロックに対して、上や左などに隣接するマクロブロックの隣接画素から補間によってフレーム内予測画像が生成され、そのフレーム内予測画像と入力画像との差分に対応したフレーム内誤差画像が符号化される。
また、H.264/AVC規格の直交変換では、4×4および8×8の整数精度のDCT(離散コサイン変換)およびDHT(離散アダマール変換)が用いられ、イントラおよびインターの予測方法や輝度および色差の信号内容に応じて使い分けられる。
また、動き補償に用いられる参照フレームIsとしては、デブロッキングフィルタ処理された複数のフレームを用いることができ、例えば、Bフレームについては、未来方向のフレームを使わずに過去の2フレームを参照フレームとして指定したり、別のBフレームを参照フレームとして指定したりすることができる。
また、デブロッキングフィルタ17は、マクロブロックに含まれている互いに隣接するサブマクロブロックの境界のうち、連続性が途絶えるような段差があるような箇所を対象として、その段差を解消して滑らかにする処理を行うことができ、ブロック境界の歪みが発生しやすいかどうかを判断する指標としてブロック境界強度bSを用いることができる。そして、ブロック境界強度bSの値に応じてフィルタリング強度を変更し、それぞれのブロック境界に適したフィルタリング処理を実行することができる。
また、エントロピー符号復号化部11には、動きベクトル復号化部12およびブロック境界強度計算部13が設けられている。ここで、動きベクトル復号化部12は、参照方向の異なる2つの参照ブロック間において、その参照ブロックに属するサブ参照ブロックの動きベクトルを交互に復号化することができる。ブロック境界強度計算部13は、2つの参照ブロック間でのサブ参照ブロックの動きベクトルが復号されるごとに、そのサブマクロブロックの位置に対応した今回処理対象となるサブマクロブロックについてのブロック境界強度bSを計算することができる。
そして、入力ビットストリームImがエントロピー符号復号化部11に入力されると、エントロピー符号復号化部11に対してエントロピー復号処理が行われ、量子化された直交変換係数、動きベクトル情報およびフレーム内予測情報などが入力ビットストリームImから抽出される。そして、エントロピー符号復号化部11にて抽出された直交変換係数およびフレーム内予測情報などは逆量子化逆整数変換部14に出力され、動きベクトル情報は動きベクトル復号化部12に出力される。
そして、エントロピー符号復号化部11にて抽出された直交変換係数が逆量子化逆整数変換部14に入力されると、逆量子化逆整数変換部14は、その直交変換係数を逆量子化し、さらに逆整数変換することで、フレーム内誤差画像およびフレーム間誤差画像を生成し、フレーム内/フレーム間予測部15に出力する。
一方、動きベクトル情報が動きベクトル復号化部12に入力されると、動きベクトル復号化部12は、参照方向の異なる2つの参照ブロック間において、その参照ブロックに属するサブ参照ブロックの動きベクトル情報を交互に復号化し、ブロック境界強度計算部13および動き補償部16に出力する。
そして、動き補償部16は、予測方向の異なる2つのサブ参照ブロックの動きベクトル情報を受け取ると、それらの動きベクトル情報に基づいて参照フレームIsを動き補償することで、フレーム間予測画像を生成し、フレーム内/フレーム間予測部15に出力する。
そして、フレーム内/フレーム間予測部15は、逆量子化逆整数変換部14から出力されたフレーム間誤差画像の画素値にフレーム間予測画像の画素値を加算することで、インターフレームを復号化し、デブロッキングフィルタ17に出力する。また、フレーム内/フレーム間予測部15は、復号対象のブロックに近接する復号済みの他のブロック内の画素値からフレーム内予測画像を生成する。そして、逆量子化逆整数変換部14から出力されたフレーム内誤差画像の画素値にフレーム内予測画像の画素値を加算することで、イントラフレームを復号化し、デブロッキングフィルタ17に出力する。
一方、ブロック境界強度計算部13は、参照方向の異なる2つのサブ参照ブロックの動きベクトル情報を受け取ると、今回のサブ参照ブロックの動きベクトル情報と、今回のサブマクロブロックの周辺の復号化済のサブマクロブロックの動きベクトル情報に基づいて、今回のサブマクロブロックについてのブロック境界強度bSを計算し、デブロッキングフィルタ17に出力する。ここで、ブロック境界強度計算部13は、参照方向の異なる今回の2つのサブ参照ブロックの動きベクトル情報が復号化されると、参照方向の異なる次回の2つのサブ参照ブロックの動きベクトル情報が復号化されるのを待つことなく、今回のサブマクロブロックについてのブロック境界強度bSを計算することができる。
そして、デブロッキングフィルタ17は、ブロック境界強度bSの値に応じてフィルタリング強度を変更し、フレーム内/フレーム間予測部15にて復号化された各フレームに対して、それぞれのブロック境界に適したフィルタリング処理を実行することで、出力画像OUTを生成する。
図2は、図1の動きベクトル復号化部12における動きベクトルの予測方法を示す図である。
図2において、今回の動きベクトルの復号対象となるサブマクロブロックをMBeとし、サブマクロブロックMBeの左にはサブマクロブロックMBaが隣接し、サブマクロブロックMBeの上にはサブマクロブロックMBbが隣接し、サブマクロブロックMBeの右斜め上にはサブマクロブロックMBcが隣接しているものとする。
そして、H.264/AVC規格では、サブマクロブロックMBeの動きベクトルMVeは、以下の(1)式にて求めることができる。
MVe=mve+Median(mvA,mvB,mvC) ・・・(1)
ただし、
mve:入力ビットストリームIm中に出現する隣接ブロックの動きベクトルとの差分値
mvA:サブマクロブロックMBaの動きベクトルMVaの値
mvB:サブマクロブロックMBbの動きベクトルMVbの値
mvC:サブマクロブロックMBcの動きベクトルMVcの値
Median:動きベクトルMVa、MVb、MVcの3つの値のうちの中間値
なお、サブマクロブロックMBeの動きベクトルMVeの復号時に、サブマクロブロックMBcの動きベクトルMVcが未だ復号されていない場合には、サブマクロブロックMBcの動きベクトルMVcの代わりに、サブマクロブロックMBeの左斜め上に隣接するサブマクロブロックMBdの動きベクトルMVdを用いることができる。
図3は、図1のブロック境界強度計算部13における境界強度計算時の対象画素を示す図である。
図3において、16×16画素のマクロブロックMBを4×4画素のサブマクロブロックに分割し、サブマクロブロックSPB、SQB間の境界LKのブロック境界強度bSを求めるものとする。この場合、サブマクロブロックSPBの画素p0〜p3およびサブマクロブロックSQBの画素q0〜q3が、以下の表1に示される条件を満たすかどうかによってブロック境界強度bSが設定される。
Figure 2009246432
この表1に示されるように、ブロック境界強度bSが1か0かを判断するには、動き補償に用いられる動きベクトルMVなどの隣接情報が参照され、今回復号対象となるサブマクロブロックの動きベクトル情報と、その周辺のサブマクロブロックの動きベクトル情報が必要となる。
図4−1は、本発明の一実施形態に係る入力ビットストリームにおけるサブマクロブロックの出現順序を示す図、図4−2は、本発明の一実施形態に係る境界強度計算時におけるサブマクロブロックの復号化の順序を示す図である。
図4−1において、マクロブロック内のサブマクロブロックの位置をi行j列(i=1、2、3、4,j=1、2、3、4)で特定するものとする。そして、L0方向の参照フレームに含まれる参照ブロック内のサブ参照ブロックの位置を(i,j)L0、L1方向の参照フレームに含まれる参照ブロック内のサブ参照ブロックの位置を(i,j)L1とすると、入力ビットストリームImdでは、サブマクロブロックは以下の順序で出現する。
(1,1)L1→(1,2)L1→(2,1)L1→(2,2)L1→(1,3)L1→(1,4)L1→(2,3)L1→(2,4)L1→(3,1)L1→(3,2)L1→(4,1)L1→(4,2)L1→(3,3)L1→(3,4)L1→(4,3)L1→(4,4)L1→(1,1)L2→(1,2)L2→(2,1)L2→(2,2)L2→(1,3)L2→(1,4)L2→(2,3)L2→(2,4)L2→(3,1)L2→(3,2)L2→(4,1)L2→(4,2)L2→(3,3)L2→(3,4)L2→(4,3)L2→(4,4)L2
これに対して、L0/L1方向のサブマクロブロックの動きベクトルの復号は、図4−2に示す順序で行うことができる。
すなわち、図4−2において、L0/L1方向のサブマクロブロックの動きベクトルの復号は以下の順序で行うことができる。
(1,1)L1→(1,1)L2→(1,2)L1→(1,2)L2→(2,1)L1→(2,1)L2→(2,2)L1→(2,2)L2→(1,3)L1→(1,3)L2→(1,4)L1→(1,4)L2→(2,3)L1→(2,3)L2→(2,4)L1→(2,4)L2→(3,1)L1→(3,1)L2→(3,2)L1→(3,2)L2→(4,1)L1→(4,1)L2→(4,2)L1→(4,2)L2→(3,3)L1→(3,3)L2→(3,4)L1→(3,4)L2→(4,3)L1→(4,3)L2→(4,4)L1→(4,4)L2
そして、今回のサブマクロブロックのブロック境界強度bSの計算は、L0/L1方向の今回のサブマクロブロックの動きベクトルがそれぞれ復号化された後、L0/L1方向の次回の2つのサブマクロブロックの動きベクトルがそれぞれ復号化される前に行うことができる。
すなわち、L0/L1方向のサブマクロブロックの動きベクトルの復号および今回のサブマクロブロックのブロック境界強度bSの計算は以下の順序で行うことができる。
(1,1)L1→(1,1)L2→(1,1)bS→(1,2)L1→(1,2)L2→(1,2)bS→(2,1)L1→(2,1)L2→(2,1)bS→(2,2)L1→(2,2)L2→(2,2)bS→(1,3)L1→(1,3)L2→(1,3)bS→(1,4)L1→(1,4)L2→(1,4)bS→(2,3)L1→(2,3)L2→(2,3)bS→(2,4)L1→(2,4)L2→(2,4)bS→(3,1)L1→(3,1)L2→(3,1)bS→(3,2)L1→(3,2)L2→(3,2)bS→(4,1)L1→(4,1)L2→(4,1)bS→(4,2)L1→(4,2)L2→(4,2)bS→(3,3)L1→(3,3)L2→(3,3)bS→(3,4)L1→(3,4)L2→(3,4)bS→(4,3)L1→(4,3)L2→(4,3)bS→(4,4)L1→(4,4)L2→(4,4)bS
図5は、本発明の一実施形態に係る動きベクトル復号化および境界強度計算の順序を示す図である。
図5において、(1,1)の位置のサブマクロブロックをB1、(1,2)の位置のサブマクロブロックをB2、(2,1)の位置のサブマクロブロックをB3、(2,2)の位置のサブマクロブロックをB4、(1,3)の位置のサブマクロブロックをB5、(1,3)の位置のサブマクロブロックをB6、(2,3)の位置のサブマクロブロックをB7、(2,4)の位置のサブマクロブロックをB8、(3,1)の位置のサブマクロブロックをB9、(3,2)の位置のサブマクロブロックをB10、(4,1)の位置のサブマクロブロックをB11、(4,2)の位置のサブマクロブロックをB12、(3,3)の位置のサブマクロブロックをB13、(3,3)の位置のサブマクロブロックをB14、(4,3)の位置のサブマクロブロックをB15、(4,4)の位置のサブマクロブロックをB16とすると、L0/L1方向のサブ参照ブロックの動きベクトルの復号および今回のサブマクロブロックのブロック境界強度bSの計算は、B1→B2→・・・→B16の順序で行うことができる。
ここで、各サブマクロブロックB1〜B16について、L0方向の各サブ参照ブロックの動きベクトルを計算するための周辺のサブマクロブロックのデータが読み出され、L0方向の各サブ参照ブロックの動きベクトルが復号される。また、各サブマクロブロックB1〜B16について、L1方向の各サブ参照ブロックの動きベクトルを計算するための周辺のサブマクロブロックのデータが読み出され、L1方向の各サブ参照ブロックの動きベクトルが復号される。そして、各サブマクロブロックB1〜B16について、今回のサブマクロブロックのブロック境界強度bSが計算される。
これにより、L0/L1方向それぞれについての16個分全てのサブマクロブロックB1〜B16の動きベクトルの復号を待つことなく、各サブマクロブロックB1〜B16についてのL0/L1方向の動きベクトルが復号されるごとに、今回のサブマクロブロックのブロック境界強度bSを計算することができる。このため、各サブマクロブロックB1〜B16についてのL0/L1方向の動きベクトルを復号するために使用される周辺のサブマクロブロックの動きベクトル情報をレジスタに保持することで、そのサブマクロブロックB1〜B16についてのブロック境界強度bSを計算することができ、L0/L1方向それぞれについての16個分全てのサブマクロブロックB1〜B16についての動きベクトル情報を一時メモリから再度読み出す必要がなくなることから、回路規模の増大を抑制しつつ、ブロック境界強度bSの計算時のサイクル数を削減することが可能となる。
(第2実施形態)
図6は、本発明の第2実施形態に係るブロック境界強度の計算に用いられるレジスタとの接続状態を示すブロック図である。
図6において、動画像復号化装置には、動きベクトル情報格納用レジスタ21および動きベクトル情報格納用メモリ22が設けられている。ここで、動きベクトル情報格納用メモリ22ではアドレスを指定してデータが読み出されるのに対して、動きベクトル情報格納用レジスタ21ではアドレスを指定することなくデータを読み出すことができ、動きベクトル情報格納用レジスタ21は、動きベクトル情報格納用メモリ22よりも容量は小さいが、データの読み出しを高速に行うことができる。なお、動きベクトル情報格納用メモリ22としては、例えば、SRAMを用いることができる。そして、動きベクトル情報格納用メモリ22は動きベクトル復号化部12に接続され、動きベクトル情報格納用レジスタ21は、動きベクトル復号化部12およびブロック境界強度計算部13に接続されている。
ここで、動きベクトル情報格納用レジスタ21は、今回動きベクトルが復号されるサブマクロブロックのL0/L1方向それぞれについての周辺のサブマクロブロックの動きベクトル情報を格納することができる。なお、動きベクトル情報格納用レジスタ21の容量は、4×4画素の1個分のサブマクロブロックB1〜B16の動きベクトル情報が31ビットであるとすると、各サブマクロブロックB1〜B16についてのブロック境界強度bSを計算するには、L0/L1方向それぞれについて3つの周辺のサブマクロブロックの動きベクトル情報が必要となることから、6×31=186ビット分で済ませることができる。また、動きベクトル情報格納用メモリ22は、各サブマクロブロックB1〜B16の動きベクトルを復号するために用いられるL0/L1方向それぞれについての16個分のサブマクロブロックB1〜B16の動きベクトル情報を格納することができる。
そして、動きベクトル復号化部12は、L0/L1方向それぞれについてのサブマクロブロックB1〜B16の動きベクトルを復号するために用いる周辺サブマクロブロックの動きベクトル情報を、動きベクトル情報格納用メモリ22から順次読み出す。そして、各サブマクロブロックB1〜B16について動きベクトル情報が動きベクトル情報格納用メモリ22から読み出されるごとに、L0/L1方向それぞれについての各サブマクロブロックB1〜B16の動きベクトル情報を復号化するとともに、動きベクトル情報格納用メモリ22から今回読み出した動きベクトル情報を動きベクトル情報格納用レジスタ21に格納する。
ここで、(1)式に示すように、今回のサブマクロブロックMBeの動きベクトルMVeを復号するためには、周辺サブマクロブロックの動きベクトル情報として、MVa、MVb、MVcの3つの動きベクトルの値が用いられる。このため、L0/L1方向それぞれについての各サブマクロブロックB1〜B16の動きベクトル情報を復号するには、L0/L1方向それぞれについてMVa、MVb、MVcの3つの動きベクトルの値が必要となることから、周辺のサブマクロブロックの動きベクトル情報として6つの動きベクトルの値が必要となる。
そして、ブロック境界強度計算部13は、L0/L1方向それぞれについての各サブマクロブロックB1〜B16の動きベクトル情報が動きベクトル復号化部12にて復号化されるごとに、今回のサブマクロブロックB1〜B16のブロック境界強度bSを計算するために用いる周辺のサブマクロブロックの動きベクトル情報を動きベクトル情報格納用レジスタ21から順次読み出す。
そして、今回のサブマクロブロックB1〜B16の動きベクトル情報と、今回のサブマクロブロックB1〜B16の周辺の復号化済のサブマクロブロックB1〜B16の動きベクトル情報に基づいて、今回のサブマクロブロックB1〜B16のブロック境界強度bSを順次計算し、図1のデブロッキングフィルタ17に順次出力する。
ここで、各サブマクロブロックB1〜B16のブロック境界強度bSを計算する場合に用いられる周辺のサブマクロブロックB1〜B16の動きベクトル情報は、そのサブマクロブロックB1〜B16の動き補償に用いられるL0/L1方向それぞれについての周辺のサブマクロブロックB1〜B16の動きベクトル情報と共通であることから、動きベクトル情報格納用レジスタ21に格納されている周辺のサブマクロブロックB1〜B16の動きベクトル情報をブロック境界強度bSの計算に共通に用いることができる。
このため、今回のサブマクロブロックB1〜B16の周辺のサブマクロブロックB1〜B16の動きベクトル情報を動きベクトル情報格納用レジスタ21に保持することで、そのサブマクロブロックB1〜B16の動きベクトル情報を動きベクトル情報の復号処理とブロック境界強度bSの計算処理に使い回すことができ、ブロック境界強度bSの計算時に周辺のサブマクロブロックB1〜B16の動きベクトル情報を動きベクトル情報格納用メモリ22から再度読み出す必要がなくなることから、回路規模の増大を抑制しつつ、ブロック境界強度bSの計算時のサイクル数を削減することが可能となる。
尚、図4−2において、境界強度計算時におけるサブマクロブロックの復号化の順序の一例を示したが、これに限らず、例えば、図7のような順序で行うようにしてもよい。
図7において、L0/L1方向のサブ参照ブロックの動きベクトルの復号は以下の順序になる。
(1,1)L1→(1,2)L1→(1,1)L2→(1,2)L2→(2,1)L1→(2,2)L1→(2,1)L2→(2,2)L2→(1,3)L1→(1,4)L1→(1,3)L2→(1,4)L2→(2,3)L1→(2,4)L1→(2,3)L2→(2,4)L2→(3,1)L1→(3,2)L1→(3,1)L2→(3,2)L2→(4,1)L1→(4,2)L1→(4,1)L2→(4,2)L2→(3,3)L1→(3,4)L1→(3,3)L2→(3,4)L2→(4,3)L1→(4,4)L1→(4,3)L2→(4,4)L2
そして、L0/L1方向のサブ参照ブロックの動きベクトルの復号および今回のサブマクロブロックのブロック境界強度bSの計算は以下の順序で行うようにしてもよい。
(1,1)L1→(1,2)L1→(1,1)L2→(1,2)L2→(1,1)bS→(1,2)bS→(2,1)L1→(2,2)L1→(2,1)L2→(2,2)L2→(2,1)bS→(2,2)bS→(1,3)L1→(1,4)L1→(1,3)L2→(1,4)L2→(1,3)bS→(1,4)bS→(2,3)L1→(2,4)L1→(2,3)L2→(2,4)L2→(2,3)bS→(2,4)bS→(3,1)L1→(3,2)L1→(3,1)L2→(3,2)L2→(3,1)bS→(3,2)bS→(4,1)L1→(4,2)L1→(4,1)L2→(4,2)L2→(4,1)bS→(4,2)bS→(3,3)L1→(3,4)L1→(3,3)L2→(3,4)L2→(3,3)bS→(3,4)bS→(4,3)L1→(4,4)L1→(4,3)L2→(4,4)L2→(4,3)bS→(4,4)bS
本発明の第1実施形態に係る動画像復号化装置の概略構成を示すブロック図。 図1の動きベクトル復号化部12における動きベクトルの予測方法を示す図。 図1のブロック境界強度計算部13における境界強度計算時の対象画素を示す図。 本発明の一実施形態に係る入力ビットストリームにおけるサブマクロブロックの出現順序を示す図。 本発明の一実施形態に係る境界強度計算時におけるサブマクロブロックの復号化の順序を示す図。 本発明の一実施形態に係る動きベクトル復号化および境界強度計算の順序を示す図。 本発明の第2実施形態に係るブロック境界強度の計算に用いられるレジスタとの接続状態を示すブロック図。 境界強度計算時におけるサブマクロブロックの復号化の順序の他の例を示す図。
符号の説明
11 エントロピー符号復号化部、12 動きベクトル復号化部、13 ブロック境界強度計算部、14 逆量子化逆整数変換部、15 フレーム内/フレーム間予測部、16 動き補償部、17 デブロッキングフィルタ、21 動きベクトル情報格納用レジスタ、22 動きベクトル情報格納用メモリ

Claims (5)

  1. マクロブロックの予測画像を作成するための2つの方向から生成される予測画像を示す参照ブロックに属し、サブマクロブロックごとの予測画像を示すサブ参照ブロックの動きベクトルを、2つの前記サブ参照ブロック間で交互に復号化する動きベクトル復号化部と、
    前記2つの参照ブロック間でサブ参照ブロックの動きベクトルが復号されるごとに、前記サブマクロブロックの位置に対応したブロック境界強度を計算するブロック境界強度計算部とを備えることを特徴とする動画像復号化装置。
  2. 今回処理対象となるサブマクロブロックの周辺のサブマクロブロックの動きベクトル情報を格納する動きベクトル情報格納用レジスタを更に備え、
    前記周辺のサブマクロブロックの動きベクトル情報は、前記2つの参照ブロック間で今回処理対象となるサブ参照ブロックの動きベクトルが復号されるごとに前記動きベクトル情報格納用レジスタに書き込まれるとともに、前記ブロック境界強度の計算時に前記動きベクトル情報格納用レジスタから読み出されることを特徴とする請求項1に記載の動画像復号化装置。
  3. 第1の参照ブロックに属する第1のサブ参照ブロックの動きベクトルを復号するステップと、
    前記第1の参照ブロックと参照方向の異なる第2の参照ブロックに属する第2のサブ参照ブロックの動きベクトルを復号するステップと、
    前記第1および第2のサブ参照ブロックの動きベクトルが復号された後に、前記第1および第2のサブ参照ブロックの位置に対応した第1のサブマクロブロックについてのブロック境界強度を計算するステップと、
    前記第1のサブマクロブロックについてのブロック境界強度が計算された後に、前記第1の参照ブロックに属する第3のサブ参照ブロックの動きベクトルを復号するステップと、
    前記第1の予測対象ブロックについてのブロック境界強度が計算された後に、前記第2の参照ブロックに属する第4のサブ参照ブロックの動きベクトルを復号するステップと、
    前記第3および第4のサブ参照ブロックの動きベクトルが復号された後に、前記第3および第4のサブ参照ブロックの位置に対応した第2のサブマクロブロックについてのブロック境界強度を計算するステップとを備えることを特徴とする動画像復号化方法。
  4. 前記マクロブロックは16×16画素から構成されるとともに、前記マクロブロックには4×4画素からなる16個のサブマクロブロックが含まれ、前記マクロブロック内のサブマクロブロックの位置をi行j列(i=1、2、3、4,j=1、2、3、4)で特定した場合に、前記マクロブロックの第1の参照ブロック上で動きベクトルが復号されるサブ参照ブロックの位置を(i,j)L1、前記第2の参照ブロック上で動きベクトルが復号されるサブ参照ブロックの位置を(i,j)L2、前記ブロック境界強度が計算される予測対象ブロックの位置を(i,j)bSと表すと、
    (1,1)L1→(1,1)L2→(1,1)bS→(1,2)L1→(1,2)L2→(1,2)bS→(2,1)L1→(2,1)L2→(2,1)bS→(2,2)L1→(2,2)L2→(2,2)bS→(1,3)L1→(1,3)L2→(1,3)bS→(1,4)L1→(1,4)L2→(1,4)bS→(2,3)L1→(2,3)L2→(2,3)bS→(2,4)L1→(2,4)L2→(2,4)bS→(3,1)L1→(3,1)L2→(3,1)bS→(3,2)L1→(3,2)L2→(3,2)bS→(4,1)L1→(4,1)L2→(4,1)bS→(4,2)L1→(4,2)L2→(4,2)bS→(3,3)L1→(3,3)L2→(3,3)bS→(3,4)L1→(3,4)L2→(3,4)bS→(4,3)L1→(4,3)L2→(4,3)bS→(4,4)L1→(4,4)L2→(4,4)bS
    という順序で動きベクトル情報の復号とブロック境界強度の計算を行うことを特徴とする請求項3に記載の動画像復号化方法。
  5. 前記マクロブロックは16×16画素から構成されるとともに、前記マクロブロックには4×4画素からなる16個のサブマクロブロックが含まれ、前記マクロブロック内のサブマクロブロックの位置をi行j列(i=1、2、3、4,j=1、2、3、4)で特定した場合に、前記マクロブロックの第1の参照ブロック上で動きベクトルが復号されるサブ参照ブロックの位置を(i,j)L1、前記第2の参照ブロック上で動きベクトルが復号されるサブ参照ブロックの位置を(i,j)L2、前記ブロック境界強度が計算される予測対象ブロックの位置を(i,j)bSと表すと、
    (1,1)L1→(1,2)L1→(1,1)L2→(1,2)L2→(1,1)bS→(1,2)bS→(2,1)L1→(2,2)L1→(2,1)L2→(2,2)L2→(2,1)bS→(2,2)bS→(1,3)L1→(1,4)L1→(1,3)L2→(1,4)L2→(1,3)bS→(1,4)bS→(2,3)L1→(2,4)L1→(2,3)L2→(2,4)L2→(2,3)bS→(2,4)bS→(3,1)L1→(3,2)L1→(3,1)L2→(3,2)L2→(3,1)bS→(3,2)bS→(4,1)L1→(4,2)L1→(4,1)L2→(4,2)L2→(4,1)bS→(4,2)bS→(3,3)L1→(3,4)L1→(3,3)L2→(3,4)L2→(3,3)bS→(3,4)bS→(4,3)L1→(4,4)L1→(4,3)L2→(4,4)L2→(4,3)bS→(4,4)bS
    という順序で動きベクトル情報の復号とブロック境界強度の計算を行うことを特徴とする請求項3に記載の動画像復号化方法。
JP2008087325A 2008-03-28 2008-03-28 動画像復号化装置および動画像復号化方法 Expired - Fee Related JP4896915B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008087325A JP4896915B2 (ja) 2008-03-28 2008-03-28 動画像復号化装置および動画像復号化方法
US12/404,514 US20090245351A1 (en) 2008-03-28 2009-03-16 Moving picture decoding apparatus and moving picture decoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008087325A JP4896915B2 (ja) 2008-03-28 2008-03-28 動画像復号化装置および動画像復号化方法

Publications (2)

Publication Number Publication Date
JP2009246432A true JP2009246432A (ja) 2009-10-22
JP4896915B2 JP4896915B2 (ja) 2012-03-14

Family

ID=41307926

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008087325A Expired - Fee Related JP4896915B2 (ja) 2008-03-28 2008-03-28 動画像復号化装置および動画像復号化方法

Country Status (1)

Country Link
JP (1) JP4896915B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013042923A1 (ko) * 2011-09-20 2013-03-28 엘지전자 주식회사 영상 정보 인코딩/디코딩 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005503737A (ja) * 2001-09-14 2005-02-03 シャープ株式会社 境界強度に基づく適応フィルタリング
JP2007536828A (ja) * 2004-05-06 2007-12-13 クゥアルコム・インコーポレイテッド 低ビットレート映像圧縮のための画像エンハンスメント方法及び装置
JP2008034951A (ja) * 2006-07-26 2008-02-14 Sony Corp 映像信号処理方法及び装置、並びに映像信号復号方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005503737A (ja) * 2001-09-14 2005-02-03 シャープ株式会社 境界強度に基づく適応フィルタリング
JP2007536828A (ja) * 2004-05-06 2007-12-13 クゥアルコム・インコーポレイテッド 低ビットレート映像圧縮のための画像エンハンスメント方法及び装置
JP2008034951A (ja) * 2006-07-26 2008-02-14 Sony Corp 映像信号処理方法及び装置、並びに映像信号復号方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013042923A1 (ko) * 2011-09-20 2013-03-28 엘지전자 주식회사 영상 정보 인코딩/디코딩 방법 및 장치
US8971419B2 (en) 2011-09-20 2015-03-03 Lg Electronics Inc. Method and apparatus for encoding/decoding image information
US9264739B2 (en) 2011-09-20 2016-02-16 Lg Electronics Inc. Method and apparatus for encoding/decoding image information
US9986263B2 (en) 2011-09-20 2018-05-29 Lg Electronics Inc. Method and apparatus for encoding/decoding image information
CN108989803A (zh) * 2011-09-20 2018-12-11 Lg 电子株式会社 用于编码/解码图像信息的方法和装置
US10298962B2 (en) 2011-09-20 2019-05-21 Lg Electronics Inc. Method and apparatus for encoding/decoding image information
US10666983B2 (en) 2011-09-20 2020-05-26 Lg Electronics Inc. Method and apparatus for encoding/decoding image information
CN108989803B (zh) * 2011-09-20 2021-05-28 Lg 电子株式会社 用于编码/解码图像信息的方法和装置
US11172234B2 (en) 2011-09-20 2021-11-09 Lg Electronics Inc. Method and apparatus for encoding/decoding image information

Also Published As

Publication number Publication date
JP4896915B2 (ja) 2012-03-14

Similar Documents

Publication Publication Date Title
JP6660074B2 (ja) 映像復号化方法及び装置
JP6574014B2 (ja) 映像復号化方法、映像符号化方法および記録媒体
JP5467637B2 (ja) マルチビュー・コード化ビデオにおける照度補償および/または色補償についてのコーディング・アーチファクトを低減する方法および装置
CN107079162B (zh) 在视频编码中用于帧内区块复制的去区块滤波方法和装置
JP5535485B2 (ja) 削減された分解能更新モードをマルチビュー・ビデオ符号化に提供する方法及び装置
JP5330647B2 (ja) 適応参照画像の発生
US20090245351A1 (en) Moving picture decoding apparatus and moving picture decoding method
JP5383914B2 (ja) デブロッキングフィルタリング装置及び方法
JP2015159574A (ja) 映像復号化装置
JP2013524669A (ja) 高効率な動画像符号化のためのスーパーブロック
KR20090095317A (ko) 영상 부호화 및 복호화 방법 및 장치
JP6607040B2 (ja) 動きベクトル探索装置、動きベクトル探索方法、及び動きベクトル探索プログラムを記憶する記録媒体
JP2007013298A (ja) 画像符号化装置
TW201328362A (zh) 影像編碼方法、裝置、影像解碼方法、裝置及該等之程式
JP2024503193A (ja) フレーム内予測方法、装置、及びデコーダとエンコーダ
US9077996B2 (en) Predicted motion vectors
JP2011010197A (ja) 画像符号化装置及び画像復号装置
JP4896915B2 (ja) 動画像復号化装置および動画像復号化方法
KR20170058870A (ko) 비선형 매핑을 통한 영상 부호화/복호화 방법 및 장치
JP5513333B2 (ja) 動画像符号化装置、動画像符号化方法、およびプログラム
JP2010035025A (ja) 符号化装置およびその方法
JP6234770B2 (ja) 動画像復号処理装置、動画像符号化処理装置およびその動作方法
JP2007184846A (ja) 動画像符号化装置
JP2007295333A (ja) 画像復号処理回路及び方法及びプログラム、並びに半導体集積回路
JP2013128319A (ja) 画像符号化装置及び画像復号装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100810

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110315

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111129

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111221

R151 Written notification of patent or utility model registration

Ref document number: 4896915

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150106

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees