JP2011171911A - 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法 - Google Patents
画像符号化装置、画像符号化方法、画像復号装置、画像復号方法 Download PDFInfo
- Publication number
- JP2011171911A JP2011171911A JP2010032500A JP2010032500A JP2011171911A JP 2011171911 A JP2011171911 A JP 2011171911A JP 2010032500 A JP2010032500 A JP 2010032500A JP 2010032500 A JP2010032500 A JP 2010032500A JP 2011171911 A JP2011171911 A JP 2011171911A
- Authority
- JP
- Japan
- Prior art keywords
- average value
- sub
- macroblock
- image
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】従来の方法では、最適モード選択制御が困難である。
【解決手段】画像符号化装置は、サブマクロブロックの面内予測画像の平均値を算出するイントラ予測信号平均値算出部114と、サブマクロブロックの面内予測画像にサブマクロブロックの逆量子化平均値とサブマクロブロックの面内予測画像の平均値の差を足し合わせることにより、平均値補正面内予測画像を算出する修正イントラ予測信号算出部109と、符号化対象原画像から平均値補正面内予測画像を減ずることにより、残差成分を算出する修正イントラ予測差分信号算出部110と、残差成分の近似信号を算出するイントラ予測差分信号線形補正部111と、残差成分から残差成分の近似信号を減ずることにより、残差補正信号を算出する補正予測差分信号算出部112とを有する。
【選択図】図1
【解決手段】画像符号化装置は、サブマクロブロックの面内予測画像の平均値を算出するイントラ予測信号平均値算出部114と、サブマクロブロックの面内予測画像にサブマクロブロックの逆量子化平均値とサブマクロブロックの面内予測画像の平均値の差を足し合わせることにより、平均値補正面内予測画像を算出する修正イントラ予測信号算出部109と、符号化対象原画像から平均値補正面内予測画像を減ずることにより、残差成分を算出する修正イントラ予測差分信号算出部110と、残差成分の近似信号を算出するイントラ予測差分信号線形補正部111と、残差成分から残差成分の近似信号を減ずることにより、残差補正信号を算出する補正予測差分信号算出部112とを有する。
【選択図】図1
Description
本発明は、動画像のエントロピー符号化、とくにイントラ予測処理に関するものである。
MPEG−4 AVC/H.264(以下AVC)では同一フレームの処理済み画素を参照するイントラ予測の採用により、フレーム内での符号化効率向上を図っている。AVCでは、符号化対象フレームをマクロブロック(16x16画素単位)に分割後、さらにマクロブロックを8x8画素単位もしくは4x4画素単位のサブブロックに分割し、処理を行う。図8に処理順を示す。801はマクロブロックの処理順、802は、4x4サブブロックの処理順、803は8x8サブブロックの処理順である。イントラ予測処理においては、各時刻において、処理が完了している、上側及び左側に位置するサブブロックの復号画素を用いてなされる。4x4サブブロックにおけるイントラ予測においては、図9の901に示す9つのモードがあらかじめ定義されており、各サブブロックに対し、このうち一つのモードを選択する。予測信号は、予測方向に対し一様な値を用いる。例を902に示す。903から906は、復号済みサブブロックであり、907は処理対象サブブロックである。907の予測モードとして水平方向モードを選択した場合は、予測信号(a〜p)は、
a=b=c=d=I、e=f=g=h=J、i=j=k=l=K、m=n=o=p=L
となり、垂直方向モードの場合は、
a=e=i=m=A、b=f=j=n=B、c=g=k=o=C、d=h=l=p=D
となる。
a=b=c=d=I、e=f=g=h=J、i=j=k=l=K、m=n=o=p=L
となり、垂直方向モードの場合は、
a=e=i=m=A、b=f=j=n=B、c=g=k=o=C、d=h=l=p=D
となる。
イントラ予測は単一方向に、同一の予測値を用いる。そのため、合理的なモードを選択した場合であっても、予測方向の変化をとらえることが出来ず、予測効率向上の妨げとなっている。
特許文献1には、常に対象画素に隣接した画素を予測信号とすることにより、面内予測効率を向上させる技術が開示されている。
しかしながら、特許文献1の手法を用いた場合、符号化装置においては、直交変換・量子化処理が予測処理の後段に位置するため、同一サブブロックに属し、かつ対象画素に隣接している復号済み画素を参照することは不可能であり、代わりに隣接位置の原信号を使って予測信号を作成することになる。
一方、復号装置においては、復号済み画素を使って予測を行うが、復号装置で取得する予測残差信号は、符号化装置において、復号装置で取得することのできない原信号を用いた予測信号に対するものである。
よって符号化装置と復号装置間で予測信号の作成に用いる信号が異なるために、符号化装置における最適モード選択制御が困難である。
また、対象サブブロックの予測信号の品質が該サブブロックの量子化パラメータに依存するために、サブブロック内で量子化誤差の伝播を伴い、予測信号品質が著しく劣化する可能性がある。
上記目的を達成するため、本発明の画像符号化装置は、サブブロック分割手段と、面内予測画像を作成する面内予測手段と、局所復号画像を格納する復号フレームバッファと、を有する装置であって、マクロブロックのサブマクロブロック単位の平均値を算出するサブマクロブロック平均値算出手段と、符号化対象マクロブロックの復号済み周辺領域の平均値を算出する対象領域平均値算出手段と、前記サブマクロブロック単位の平均値から前記復号済み周辺領域の平均値を減ずることによりサブマクロブロック平均値差分値を算出する手段と、サブマクロブロック平均値差分値を量子化、逆量子化して逆量子化平均値差分値を算出するサブマクロブロック平均値量子化/逆量子化手段と、サブマクロブロック逆量子化平均値差分値と前記復号済み周辺領域の平均値とを足し合わせ、サブマクロブロックの逆量子化平均値を算出する手段を有し、さらに、サブマクロブロックの面内予測画像の平均値を算出する予測画像平均値算出手段と、サブマクロブロックの面内予測画像に、前記サブマクロブロックの逆量子化平均値と前記サブマクロブロックの面内予測画像の平均値の差を足し合わせることにより、平均値補正面内予測画像を算出する手段と、符号化対象原画像から前記平均値補正面内予測画像を減ずることにより、残差成分を算出する手段と、前記残差成分の近似信号を算出する近似信号算出手段と、残差成分から残差成分の近似信号を減ずることにより、残差補正信号を算出する手段と、前記平均値補正面内予測画像と前記近似信号とを足し合わせることにより、補正面内予測画像を作成する手段と、前記残差補正信号を直交変換/量子化、逆量子化/逆変換し、復号残差補正信号を作成する手段と、前記補正面内予測画像と前記復号残差補正信号を足し合わせることによりサブブロックの局所復号画像を作成する手段と、を有する。
本発明の画像符号化方法は、サブブロック分割ステップと、面内予測画像を作成する面内予測ステップと、局所復号画像を格納するステップと、を有する方法であって、マクロブロックのサブマクロブロック単位の平均値を算出するサブマクロブロック平均値算出ステップと、符号化対象マクロブロックの復号済み周辺領域の平均値を算出する対象領域平均値算出ステップと、前記サブマクロブロック単位の平均値から前記復号済み周辺領域の平均値を減ずることによりサブマクロブロック平均値差分値を算出するステップと、サブマクロブロック平均値差分値を量子化、逆量子化して逆量子化平均値差分値を算出するサブマクロブロック平均値量子化/逆量子化ステップと、サブマクロブロック逆量子化平均値差分値と前記復号済み周辺領域の平均値とを足し合わせ、サブマクロブロックの逆量子化平均値を算出するステップを有し、さらに、サブマクロブロックの面内予測画像の平均値を算出する予測画像平均値算出ステップと、サブマクロブロックの面内予測画像に、前記サブマクロブロックの逆量子化平均値と前記サブマクロブロックの面内予測画像の平均値の差を足し合わせることにより、平均値補正面内予測画像を算出するステップと、符号化対象原画像から前記平均値補正面内予測画像を減ずることにより、残差成分を算出するステップと、前記残差成分の近似信号を算出する近似信号算出ステップと、残差成分から残差成分の近似信号を減ずることにより、残差補正信号を算出するステップと、前記平均値補正面内予測画像と前記近似信号とを足し合わせることにより、補正面内予測画像を作成するステップと、前記残差補正信号を直交変換/量子化、逆量子化/逆変換し、復号残差補正信号を作成するステップと、前記補正面内予測画像と復号残差補正信号を足し合わせることによりサブブロックの局所復号画像を作成するステップと、を有する。
本発明の画像復号装置は、面内予測画像を作成する面内予測手段と、局所復号画像を格納する復号フレームバッファと、を有する装置であって、マクロブロックのサブブロックの直交変換/量子化平均値差分値を逆量子化/逆変換し、サブマクロブロックの復号平均値差分値を算出する逆量子化/逆変換手段と、復号対象マクロブロックの周辺領域の復号済み平均値を算出する対象領域平均値算出手段と、前記サブマクロブロックの復号平均値差分値と前記復号対象マクロブロックの周辺領域の復号済み平均値とを足し合わせることにより、サブマクロブロックの復号平均値を算出する復号平均値算出手段と、サブマクロブロックの面内予測画像の平均値を算出する予測画像平均値算出手段と、サブマクロブロックの面内予測画像に、前記サブマクロブロックの復号平均値と前記サブマクロブロックの面内予測画像の平均値の差を足し合わせることにより、平均値補正面内予測画像を算出する手段と、近似信号を算出する近似信号算出手段と、平均値補正面内予測画像と前記近似信号とを足し合わせることにより、補正面内予測画像を作成する手段と、直交変換/量子化済み残差補正信号を逆量子化/逆変換し、復号残差補正信号を作成する手段と、前記補正面内予測画像と復号残差補正信号を足し合わせることによりサブブロックの局所復号画像を作成する手段と、を有する。
本発明の画像復号方法は、面内予測画像を作成する面内予測ステップと、局所復号画像を格納する復号フレームバッファと、を有する方法であって、マクロブロックのサブブロックの直交変換/量子化平均値差分値を逆量子化/逆変換し、サブマクロブロックの復号平均値差分値を算出する逆量子化/逆変換ステップと、復号対象マクロブロックの周辺領域の復号済み平均値を算出する対象領域平均値算出ステップと、前記サブマクロブロックの復号平均値差分値と前記復号対象マクロブロックの周辺領域の復号済み平均値とを足し合わせることにより、サブマクロックの復号平均値を算出するステップと、サブマクロブロックの面内予測画像の平均値を算出する予測画像平均値算出ステップと、サブマクロブロックの面内予測画像に、前記サブマクロブロックの復号平均値と前記サブマクロブロックの面内予測画像の平均値の差を足し合わせることにより、平均値補正面内予測画像を算出するステップと、近似信号を算出する近似信号算出ステップと、平均値補正面内予測画像と前記近似信号とを足し合わせることにより、補正面内予測画像を作成するステップと、直交変換/量子化済み残差補正信号を逆量子化/逆変換し、復号残差補正信号を作成するステップと、前記補正面内予測画像と復号残差補正信号を足し合わせることによりサブブロックの局所復号画像を作成するステップと、を有する。
本発明によれば、イントラ予測において、周辺画素からの外挿では予測し切れない成分の近似関数を作成し、直接伝送することにより品質の高い予測信号を作成すること、及び符号化対象ブロックの平均値をあらかじめ計算し、符号化・復号・伝送することにより、近似関数作成パラメータのうち、切片に係る情報の伝送を回避し、追加情報量の増加を抑えること、から、イントラ予測信号の品質を高めつつ、情報量の増加を抑えることにより、符号化効率向上を実現することが出来る。
(エンコーダの説明)
図1に本発明の符号化装置の実施形態の一例を示す。
図1に本発明の符号化装置の実施形態の一例を示す。
図1の符号化装置は、マクロブロックバッファ101と、サブブロック分割部102と、サブブロック平均値算出部103と、サブブロック平均値差分算出部104と、サブブロック平均値差分直交変換(DCT)/量子化部105と、サブブロック平均値差分逆量子化/逆直交変換(IDCT)部106と、復号サブブロック平均値算出部107と、イントラ予測部108と、修正イントラ予測信号算出部109と、修正イントラ予測差分信号算出部110と、イントラ予測差分信号線形補正部111と、補正予測差分信号算出部112と、補正予測信号算出部113と、イントラ予測信号平均値算出部114と、補正予測差分信号直交変換(DCT)/量子化部115と、エントロピー符号化部116と、補正予測差分信号逆量子化/逆直交変換(IDCT)部117と、復号信号算出部118と、復号フレームバッファ119と、参照画素平均値算出部120により構成される。
図1の符号化装置において、サブブロック平均値算出部103と、サブブロック平均値差分算出部104と、サブブロック平均値差分直交変換/量子化部105と、サブブロック平均値差分逆量子化/逆直交変換部106と、復号サブブロック平均値算出部107と、参照画素平均値算出部120はサブブロック平均値算出処理をなすためのブロックである。サブブロック平均値算出処理は、各サブブロックの符号化処理に先立ち、各サブブロックの平均値を符号化・復号し、処理対象マクロブロックの全てのサブブロックの復号サブブロック平均値を算出する。
また、イントラ予測部108と、修正イントラ予測信号算出部109と、修正イントラ予測差分信号算出部110と、イントラ予測差分信号線形補正部111と、補正予測差分信号算出部112と、補正予測信号算出部113と、イントラ予測信号平均値算出部114は、サブブロック予測処理をなすためのブロックである。サブブロック予測処理は、従来のイントラ予測処理に加え、線形近似関数による近似信号作成処理を行い、イントラ予測信号と線形関数近似信号とを合成することにより、従来のイントラ予測信号よりも品質の高い予測信号を作成することを目的とする。
次に、図1の符号化装置の動作手順を図2のフローチャートを用いて説明する。
まずマクロブロックバッファ101が、符号化対象フレームから、マクロブロック処理順に従い、符号化対象マクロブロック信号を取得する。マクロブロックバッファ101に記憶した符号化対象信号に対し、サブブロック平均値の符号化処理を行い、復号サブブロック平均値を算出する(ステップS201)。ステップS201の詳細を図3に示す。
(S201の詳細(図3))
参照画素平均値算出部120が、復号フレームバッファ119から復号済み参照画素平均値を算出する(S301)。
参照画素平均値算出部120が、復号フレームバッファ119から復号済み参照画素平均値を算出する(S301)。
サブブロック分割部102が、サブブロック処理順に従い、順次サブブロック平均値算出部103に処理対象サブブロック信号を送る(S302)。
サブブロック平均値算出部103は、サブブロック分割部102より処理対象サブブロックを取得し、サブブロックの平均値を算出する(S303)。
サブブロック平均値差分算出部104は、サブブロック平均値算出部103より取得したサブブロック平均値から、参照画素平均値算出部120より取得した復号済み参照画素平均値を減ずることにより、サブブロック平均値差分を算出する(S304)。
本構成における参照画素平均値算出対象とする画素を図11に示す。図11はマクロブロックを8x8サブブロックで処理する例である。1101は符号化対象マクロブロックであり、A、B、C、Dはそれぞれ8x8サブマクロブロックである。1102から1106は周辺の復号済みサブブロックである。マクロブロック1101の参照画素平均値算出対象は、図11の網掛け部分で表される、サブブロックAの復号済み隣接画素とする。ただし、参照画素の必要条件は復号済み画素であることであるため、例えば、サブブロックBの参照画素平均値をサブブロックBに隣接した1104の隣接画素の平均値とし、サブブロックCの参照画素平均値をサブブロックCに隣接した1106の隣接画素の平均値とするような構成をとることも可能である。上記の処理(ステップS302からステップS304)をすべてのサブブロックに行い、すべてのサブブロックのサブブロック平均値差分を得る。
サブブロック平均値差分直交変換/量子化部105が、サブブロック平均値差分に対し、直交変換/量子化を行い、サブブロック平均値の量子化直交変換係数をエントロピー符号化部116へ送る。エントロピー符号化部116はサブブロック平均値の量子化直交変換係数をエントロピー符号化する(S305)。
サブブロック平均値差分逆量子化/逆直交変換部106は、サブブロック平均値の量子化直交変換係数を逆量子化/逆直交変換し、復号サブブロック平均値差分を得る(S306)。
復号サブブロック平均値算出部107が、すべてのサブブロックに対し順次、復号サブブロック平均値差分と復号済み参照画素平均値を足すことにより、復号サブブロック平均値を得る(S307、S308)。図2のフローチャートに戻る。
サブブロック分割部102は、マクロブロックバッファ101から、サブブロック処理順に従い順次処理対象サブブロック信号に対する符号化処理を行う(ステップS202)。
イントラ予測部108は、サブブロック分割部102から処理対象サブブロック信号を取得し、復号フレームバッファ119から復号済み参照画素を取得し、所定のイントラ予測処理により、イントラ予測信号を作成する(ステップS203)。
次に、イントラ予測信号の補正処理を行う(ステップS204)。ステップS204の詳細を図4に示す。
(S204の詳細(図4))
サブブロック分割部102が、サブブロック処理順に従い、順次、処理対象サブブロック信号を、修正イントラ予測差分信号算出部110に送る(S401)。
サブブロック分割部102が、サブブロック処理順に従い、順次、処理対象サブブロック信号を、修正イントラ予測差分信号算出部110に送る(S401)。
イントラ予測信号平均値算出部114が、イントラ予測信号平均値を算出する。修正イントラ予測信号算出部109が、イントラ予測信号からイントラ予測信号平均値を減じ、さらに、復号サブブロック平均値算出部107からの復号サブブロック平均値を加えることにより、修正イントラ予測信号を算出する。修正イントラ予測信号の平均値は、復号サブブロック平均値と等しい信号である。次に、修正イントラ予測差分信号算出部110が、サブブロック分割部102からの処理対象サブブロック信号から修正イントラ予測信号を減じることにより、修正イントラ予測差分信号を算出する。ここで、処理対象サブブロック信号の平均値は、サブブロック平均値であり、修正イントラ予測信号の平均値は復号サブブロック平均値であることから、修正イントラ予測差分信号の平均値は、復号サブブロック平均値の量子化誤差を無視すれば、0となる(S402)。
線形補正部111が、修正イントラ予測差分信号に対し、線形近似関数による近似信号を得る。ここで用いる線形近似関数は、図10に示すように、s(x、y)=ax+by+cの形で表現する。ただし、x、yはそれぞれ、サブブロックの左上画素位置を(0,0)とした時の水平方向位置、垂直方向位置とし、s(x、y)は、座標(x、y)における線形近似関数による近似値とする。さらにaを水平方向の傾き、bを垂直方向の傾き、cを切片とする。本構成においては、近似値s(x、y)の各値と、修正イントラ予測差分信号r(x、y)の各値との二乗差の和が最小になる関数を最適な線形近似関数と設定し、最小二乗法により線形近似関数を決定する。すなわち、水平方向の傾きaは下記の式(1)とし、垂直方向の傾きbは下記の式(2)とし、切片cは下記の式(3)とする。
この線形近似関数は、ブロックの中心座標(nx/2,ny/2)において、修正イントラ予測差分信号の平均値を通る平面で表される。前述の通り、修正イントラ予測差分信号の平均値は、復号サブブロック平均値の量子化誤差を無視すれば、0となるため、s(x、y)=a×nx/2+b×ny/2+c=0から、簡単にc=−(a×nx/2+b×ny/2)とし、伝送を行わない。傾きa,bに対しては、図12に示す変換を行い、それぞれエントロピー符号化部116に伝送する(S403)。
補正予測差分信号算出部112が、修正イントラ予測差分信号算出部110の出力である修正イントラ予測差分信号から、線形補正部111の出力である近似信号を減ずることにより、補正予測差分信号を算出する。そして、この算出された補正予測差分信号を補正予測差分信号直交変換/量子化部115へ送る。
また、補正予測信号算出部113が、線形補正部111の出力である近似信号と、修正イントラ予測信号算出部109の出力である修正イントラ予測信号を足し合わせることにより、補正予測信号を算出する(S404)。図2のフローチャートに戻る。
補正予測差分信号直交変換/量子化部115が、補正予測差分信号を直交変換/量子化し、補正予測差分信号の量子化直交変換係数をエントロピー符号化部116へ送る(ステップS205)。
エントロピー符号化部116が、補正予測差分信号の量子化直交変換係数に対し所定のエントロピー符号化処理を行う(ステップS206)。
補正予測差分信号逆量子化/逆直交変換部117が、補正予測差分信号の量子化直交変換係数に対し、逆量子化/逆直交変換を行い、復号補正予測差分信号を作成する。さらに復号信号算出部118が、補正予測信号算出部113の出力である補正予測信号と、補正予測差分信号逆量子化/逆直交変換部117の出力である復号補正予測差分信号を足し合わせることにより、対象サブブロックの復号信号を作成する。作成した復号信号を復号フレームバッファ119に記憶する(ステップS207)。
以上の動作をフレームのすべてのマクロブロックに対し、所定の順序で行うことにより、フレームの符号化を行う。
(デコーダの説明)
図5に本発明の復号装置の実施形態の一例を示す。
図5に本発明の復号装置の実施形態の一例を示す。
図5の復号装置は、ストリームバッファ501と、エントロピー復号部502と、サブブロック平均値差分逆量子化/逆直交変換(IDCT)部503と、復号サブブロック平均値算出部504と、イントラ予測部505と、イントラ予測信号平均値算出部506と、修正イントラ予測信号算出部507と、イントラ予測差分信号線形補正部508と、補正予測信号算出部509と、復号信号算出部510と、補正予測差分信号逆量子化/逆直交変換(IDCT)部511と、復号フレームバッファ512と、参照画素平均値算出部513により構成される。
図5の復号装置において、サブブロック平均値差分逆量子化/逆直交変換部503と、復号サブブロック平均値算出部504と、参照画素平均値算出部513は、サブブロック平均値復号処理をなすためのブロックである。サブブロック平均値復号処理においては、復号対象マクロブロックの各サブブロックの復号に先立ち、各サブブロックの復号平均値を算出する。
また、図5の復号装置において、イントラ予測部505と、イントラ予測信号平均値算出部506と、修正イントラ予測信号算出部507と、イントラ予測差分信号線形補正部508と、補正予測信号算出部509は、サブブロック予測処理をなすためのブロックである。サブブロック予測処理は、従来のイントラ予測処理に加え、線形近似関数による近似信号作成処理を行い、イントラ予測信号と近似信号とを合成することにより、従来のイントラ予測信号よりも品質の高い予測信号を作成することを目的とする。
次に図5の復号装置の動作を図6のフローチャートを用いて説明する。
まず、サブブロック平均値差分の復号を行う(ステップS601)。詳細を図7に示す。
(S601の詳細(図7))
参照画素平均値算出部513が、復号フレームバッファ512から、処理対象マクロブロックの参照画素を取得し、参照画素値の平均を算出する(S701)。ここで参照する画素は符号化装置と同様、図11の網掛け部分である。符号化装置と同様に、例えば、サブブロックBの参照画素平均値をサブブロックBに隣接した1104の隣接画素の平均値とし、サブブロックCの参照画素平均値をサブブロックCに隣接した1106の隣接画素の平均値とするような構成をとることも可能である。ただし、図1の符号化装置と同一の画素を参照する構成でなければならない。
参照画素平均値算出部513が、復号フレームバッファ512から、処理対象マクロブロックの参照画素を取得し、参照画素値の平均を算出する(S701)。ここで参照する画素は符号化装置と同様、図11の網掛け部分である。符号化装置と同様に、例えば、サブブロックBの参照画素平均値をサブブロックBに隣接した1104の隣接画素の平均値とし、サブブロックCの参照画素平均値をサブブロックCに隣接した1106の隣接画素の平均値とするような構成をとることも可能である。ただし、図1の符号化装置と同一の画素を参照する構成でなければならない。
エントロピー復号部502が、ストリームバッファ501を復号し、サブブロック平均値差分の量子化直交変換係数を得る(S702)。
サブブロック平均値差分逆量子化/逆直交変換部503が、サブブロック平均値差分の量子化直交変換係数を直交変換/量子化し、復号サブブロック平均値差分を算出する(S703)。
復号サブブロック平均値算出部504が、すべてのサブブロックに対し、所定の順序で、サブブロック平均値差分逆量子化/逆直交変換部503の出力である復号サブブロック平均値差分と、参照画素平均値算出部513の出力である参照画素値の平均を足し合わせることにより、復号サブブロック平均値を算出する(S704、S705)。図6のフローチャートに戻る。
マクロブロックのすべてのサブブロックに対し、所定の順序で、以下の処理を行う(S602)。
エントロピー復号部502が、ストリームバッファ501を復号し、イントラ予測モード情報と、線形補正情報と、補正予測差分信号の量子化直交変換係数を得る。イントラ予測モード情報、補正予測差分信号の量子化変換係数は所定の手順に従う。線形補正情報は、水平方向の傾きaと垂直方向の傾きbの変換値(図12)をエントロピー復号し、さらに、図12の関数に従い逆変換を行い、傾きaと傾きbを得る(ステップS603)。
イントラ予測部505が、イントラ予測モード情報と、サブブロックの参照画素を元に、所定のイントラ予測処理を行い、イントラ予測信号を作成する(ステップS604)。
イントラ予測補正処理を行い、補正予測信号を作成する(ステップS605)。詳細を図4のフローチャートを用いて説明する。
(S605の詳細(図4))
サブブロック処理順に従い、順次、以下の処理を行う(S401)。
サブブロック処理順に従い、順次、以下の処理を行う(S401)。
イントラ予測信号平均値算出部506が、イントラ予測信号平均値を算出する。修正イントラ予測信号算出部507が、イントラ予測部505の出力であるイントラ予測信号から、イントラ予測信号平均値算出部506の出力であるイントラ予測信号平均値を減じ、さらに、復号サブブロック平均値算出部504の出力である復号サブブロック平均値を加えることにより、修正イントラ予測信号を算出する(S402)。
線形補正部508が、線形補正情報の傾きa、bを元に、線形近似関数を作成し、線形近似関数による近似信号を得る(S403)。ここで用いる線形近似関数は、図1の符号化装置で使用した関数と同一の関数、すなわち、s(x、y)=ax+by+cを用いる。
a、bはそれぞれエントロピー復号部502より取得し、cは、c=−(a×nx/2+b×ny/2)により算出する。ただし、nx、nyはそれぞれ水平方向、垂直方向のサブブロックサイズとする。
補正予測信号算出部509が、線形補正部508の出力である近似信号と、修正イントラ予測信号算出部507の出力である修正イントラ予測信号を足し合わせることにより、補正予測信号を算出する(S404)。図6のフローチャートに戻る。
補正予測差分信号逆量子化/逆直交変換部511が補正予測差分信号の量子化直交変換係数に対し逆量子化/逆変換を行い、復号補正予測差分信号を作成する。さらに、復号信号算出部510が、補正予測信号算出部509の出力である補正予測信号と、補正予測差分信号逆量子化/逆直交変換部511の出力である復号補正予測差分信号を足し合わせることにより、対象サブブロックの復号信号を作成する。そして、復号信号を復号フレームバッファ512に記憶する(S606)。
以上の動作を復号対象フレームのすべてのマクロブロックに対し繰り返すことにより復号フレームを作成する。
本構成では、近似信号をs(x、y)=ax+by+cの形の線形近似関数で定義した。これに限らず、異なる線形近似関数表現をとることもできるし、線形近似関数以外の形状を用いることも可能である。
本構成と異なる線形近似関数表現の例を図13に示す。
図13は、一つの傾きと切片で関数を表現する例である。予測方向に沿う方向のみの傾きを与える。1201は水平方向予測適用時の近似関数、1202は垂直方向予測適用時の近似関数、1203は右下方向予測適用時の近似関数の概念図である。
傾きをa、切片をbとすると、1201の近似関数は、s(x、y)=ax+bの形で与えられ、1202の近似関数は、s(x、y)=ay+bで与えられ、1203の近似関数は、s(x、y)=ax+ay+bの形で与えられる。
また、それぞれの関数は、座標(nx,ny)で0を通る平面として表現され、1201では、b=−a×nx/2、1202では、b=−a×ny/2、1203では、b=−a×(nx+ny)/2で表される。
このような構成にすることにより、イントラ予測で取り切れない、予測方向の変化をとらえることが出来ることと、伝送すべきパラメータの情報量を削減でき、効率のより補正が可能となる。
また、本構成で示した予測補正処理を行うか行わないかを、1つ以上の複数マクロブロック単位で切り替え、行わない場合は通常のイントラ予測のみにより予測信号を決定し、予測補正に係るパラメータの伝送を行わない構成をとることが出来る。その際は切り替え単位に対し1ビットずつの切り替えフラグを伝送すればよい。そのような構成をとることにより、補正の効果が低い平坦な信号で構成される信号領域に対して、過剰なビット伝送にかかる符号化効率低下を回避することが出来る。
101 マクロブロックバッファ
102 サブブロック分割部
103 サブブロック平均値算出部
104 サブブロック平均値差分算出部
105 サブブロック平均値差分直交変換/量子化部
106 サブブロック平均値差分逆量子化/逆直交変換部
107 復号サブブロック平均値算出部
108 イントラ予測部
109 修正イントラ予測信号算出部
110 修正イントラ予測差分信号算出部
111 イントラ予測差分信号線形補正部
112 補正予測差分信号算出部
113 補正予測信号算出部
114 イントラ予測信号平均値算出部
115 補正予測差分信号直交変換/量子化部
116 エントロピー符号化部
117 補正予測差分信号逆量子化/逆直交変換部
118 復号信号算出部
119 復号フレームバッファ
120 参照画素平均値算出部
501 ストリームバッファ
502 エントロピー復号部
503 サブブロック平均値差分逆量子化/逆直交変換部
504 復号サブブロック平均値算出部
505 イントラ予測部
506 イントラ予測信号平均値算出部
507 修正イントラ予測信号算出部
508 イントラ予測差分信号線形補正部
509 補正予測信号算出部
510 復号信号算出部
511 補正予測差分信号逆量子化/逆直交変換部
512 復号フレームバッファ
513 参照画素平均値算出部
102 サブブロック分割部
103 サブブロック平均値算出部
104 サブブロック平均値差分算出部
105 サブブロック平均値差分直交変換/量子化部
106 サブブロック平均値差分逆量子化/逆直交変換部
107 復号サブブロック平均値算出部
108 イントラ予測部
109 修正イントラ予測信号算出部
110 修正イントラ予測差分信号算出部
111 イントラ予測差分信号線形補正部
112 補正予測差分信号算出部
113 補正予測信号算出部
114 イントラ予測信号平均値算出部
115 補正予測差分信号直交変換/量子化部
116 エントロピー符号化部
117 補正予測差分信号逆量子化/逆直交変換部
118 復号信号算出部
119 復号フレームバッファ
120 参照画素平均値算出部
501 ストリームバッファ
502 エントロピー復号部
503 サブブロック平均値差分逆量子化/逆直交変換部
504 復号サブブロック平均値算出部
505 イントラ予測部
506 イントラ予測信号平均値算出部
507 修正イントラ予測信号算出部
508 イントラ予測差分信号線形補正部
509 補正予測信号算出部
510 復号信号算出部
511 補正予測差分信号逆量子化/逆直交変換部
512 復号フレームバッファ
513 参照画素平均値算出部
Claims (8)
- サブブロック分割手段と、
面内予測画像を作成する面内予測手段と、
局所復号画像を格納する復号フレームバッファと、
を有する画像符号化装置において、
マクロブロックのサブマクロブロック単位の平均値を算出するサブマクロブロック平均値算出手段と、
符号化対象マクロブロックの復号済み周辺領域の平均値を算出する対象領域平均値算出手段と、
前記サブマクロブロック単位の平均値から前記復号済み周辺領域の平均値を減ずることによりサブマクロブロック平均値差分値を算出する手段と、
サブマクロブロック平均値差分値を量子化、逆量子化して逆量子化平均値差分値を算出するサブマクロブロック平均値量子化/逆量子化手段と、
サブマクロブロック逆量子化平均値差分値と前記復号済み周辺領域の平均値とを足し合わせ、サブマクロブロックの逆量子化平均値を算出する手段を有し、
さらに、
サブマクロブロックの面内予測画像の平均値を算出する予測画像平均値算出手段と、
サブマクロブロックの面内予測画像に、前記サブマクロブロックの逆量子化平均値と前記サブマクロブロックの面内予測画像の平均値の差を足し合わせることにより、平均値補正面内予測画像を算出する手段と、
符号化対象原画像から前記平均値補正面内予測画像を減ずることにより、残差成分を算出する手段と、
前記残差成分の近似信号を算出する近似信号算出手段と、
残差成分から残差成分の近似信号を減ずることにより、残差補正信号を算出する手段と、
前記平均値補正面内予測画像と前記近似信号とを足し合わせることにより、補正面内予測画像を作成する手段と、
前記残差補正信号を直交変換/量子化、逆量子化/逆変換し、復号残差補正信号を作成する手段と、
前記補正面内予測画像と前記復号残差補正信号を足し合わせることによりサブブロックの局所復号画像を作成する手段と、
を有する画像符号化装置。 - 請求項1に記載の画像符号化装置において、
前記近似信号算出手段は、
近似信号と残差成分の各成分の差の二乗の和、または絶対値差分和を評価値とし、評価値を最小とするような傾き情報から線形近似信号を算出するものであること、さらに、前記傾き情報をエントロピー符号化し伝送する手段を有することを特徴とする画像符号化装置。 - サブブロック分割ステップと、
面内予測画像を作成する面内予測ステップと、
局所復号画像を格納するステップと、
を有する画像符号化方法において、
マクロブロックのサブマクロブロック単位の平均値を算出するサブマクロブロック平均値算出ステップと、
符号化対象マクロブロックの復号済み周辺領域の平均値を算出する対象領域平均値算出ステップと、
前記サブマクロブロック単位の平均値から前記復号済み周辺領域の平均値を減ずることによりサブマクロブロック平均値差分値を算出するステップと、
サブマクロブロック平均値差分値を量子化、逆量子化して逆量子化平均値差分値を算出するサブマクロブロック平均値量子化/逆量子化ステップと、
サブマクロブロック逆量子化平均値差分値と前記復号済み周辺領域の平均値とを足し合わせ、サブマクロブロックの逆量子化平均値を算出するステップを有し、
さらに、
サブマクロブロックの面内予測画像の平均値を算出する予測画像平均値算出ステップと、
サブマクロブロックの面内予測画像に、前記サブマクロブロックの逆量子化平均値と前記サブマクロブロックの面内予測画像の平均値の差を足し合わせることにより、平均値補正面内予測画像を算出するステップと、
符号化対象原画像から前記平均値補正面内予測画像を減ずることにより、残差成分を算出するステップと、
前記残差成分の近似信号を算出する近似信号算出ステップと、
残差成分から残差成分の近似信号を減ずることにより、残差補正信号を算出するステップと、
前記平均値補正面内予測画像と前記近似信号とを足し合わせることにより、補正面内予測画像を作成するステップと、
前記残差補正信号を直交変換/量子化、逆量子化/逆変換し、復号残差補正信号を作成するステップと、
前記補正面内予測画像と復号残差補正信号を足し合わせることによりサブブロックの局所復号画像を作成するステップと、
を有する画像符号化方法。 - 請求項3に記載の画像符号化方法において、
前記近似信号算出ステップは、
近似信号と残差成分の各成分の差の二乗の和、または絶対値差分和を評価値とし、評価値を最小とするような傾き情報から線形近似信号を算出するものであること、さらに、前記傾き情報をエントロピー符号化し伝送するステップを有することを特徴とする画像符号化方法。 - 面内予測画像を作成する面内予測手段と、
局所復号画像を格納する復号フレームバッファと、
を有する画像復号装置において、
マクロブロックのサブブロックの直交変換/量子化平均値差分値を逆量子化/逆変換し、サブマクロブロックの復号平均値差分値を算出する逆量子化/逆変換手段と、
復号対象マクロブロックの周辺領域の復号済み平均値を算出する対象領域平均値算出手段と、
前記サブマクロブロックの復号平均値差分値と前記復号対象マクロブロックの周辺領域の復号済み平均値とを足し合わせることにより、サブマクロブロックの復号平均値を算出する復号平均値算出手段と、
サブマクロブロックの面内予測画像の平均値を算出する予測画像平均値算出手段と、
サブマクロブロックの面内予測画像に、前記サブマクロブロックの復号平均値と前記サブマクロブロックの面内予測画像の平均値の差を足し合わせることにより、平均値補正面内予測画像を算出する手段と、
近似信号を算出する近似信号算出手段と、
平均値補正面内予測画像と前記近似信号とを足し合わせることにより、補正面内予測画像を作成する手段と、
直交変換/量子化済み残差補正信号を逆量子化/逆変換し、復号残差補正信号を作成する手段と、
前記補正面内予測画像と復号残差補正信号を足し合わせることによりサブブロックの局所復号画像を作成する手段と、
を有することを特徴とする画像復号装置。 - 請求項5に記載の画像復号装置において、
近似関数の傾き情報をエントロピー復号する手段を有し、
前記近似信号算出手段は、
前記傾き情報から近似関数を算出することを特徴とする画像復号装置。 - 面内予測画像を作成する面内予測ステップと、
局所復号画像を格納する復号フレームバッファと、
を有する画像復号方法において、
マクロブロックのサブブロックの直交変換/量子化平均値差分値を逆量子化/逆変換し、サブマクロブロックの復号平均値差分値を算出する逆量子化/逆変換ステップと、
復号対象マクロブロックの周辺領域の復号済み平均値を算出する対象領域平均値算出ステップと、
前記サブマクロブロックの復号平均値差分値と前記復号対象マクロブロックの周辺領域の復号済み平均値とを足し合わせることにより、サブマクロックの復号平均値を算出するステップと、
サブマクロブロックの面内予測画像の平均値を算出する予測画像平均値算出ステップと、
サブマクロブロックの面内予測画像に、前記サブマクロブロックの復号平均値と前記サブマクロブロックの面内予測画像の平均値の差を足し合わせることにより、
平均値補正面内予測画像を算出するステップと、
近似信号を算出する近似信号算出ステップと、
平均値補正面内予測画像と前記近似信号とを足し合わせることにより、補正面内予測画像を作成するステップと、
直交変換/量子化済み残差補正信号を逆量子化/逆変換し、復号残差補正信号を作成するステップと、
前記補正面内予測画像と復号残差補正信号を足し合わせることによりサブブロックの局所復号画像を作成するステップと、
を有することを特徴とする画像復号方法。 - 請求項7に記載の画像復号方法において、
近似関数の傾き情報をエントロピー復号するステップを有し、
前記近似信号算出ステップは、
前記傾き情報から近似関数を算出することを特徴とする画像復号方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010032500A JP2011171911A (ja) | 2010-02-17 | 2010-02-17 | 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010032500A JP2011171911A (ja) | 2010-02-17 | 2010-02-17 | 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011171911A true JP2011171911A (ja) | 2011-09-01 |
Family
ID=44685583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010032500A Pending JP2011171911A (ja) | 2010-02-17 | 2010-02-17 | 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011171911A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013183178A (ja) * | 2012-02-29 | 2013-09-12 | Axell Corp | 画像処理方法及び画像処理装置 |
-
2010
- 2010-02-17 JP JP2010032500A patent/JP2011171911A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013183178A (ja) * | 2012-02-29 | 2013-09-12 | Axell Corp | 画像処理方法及び画像処理装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6621511B2 (ja) | イントラ予測モードにおける映像復号化方法 | |
US11523133B2 (en) | Image encoding method using a skip mode, and a device using the method | |
KR20120012383A (ko) | 예측 블록 생성 장치 | |
KR20150091456A (ko) | 영상의 인트라 예측 부호화, 복호화 방법 및 장치 | |
JPWO2008126135A1 (ja) | 動画像符号化方法及び装置並びに動画像復号装置 | |
JPWO2006073116A1 (ja) | 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体 | |
JP2018501710A (ja) | イントラモードのコーディング | |
KR20190091422A (ko) | 복원 블록을 생성하는 방법 및 장치 | |
KR20110073263A (ko) | 인트라 예측 부호화 방법 및 부호화 방법, 그리고 상기 방법을 수행하는 인트라 예측 부호화 장치 및 인트라 예측 복호화 장치 | |
KR102231969B1 (ko) | 증가된 수의 가능한 코딩 모드를 이용한 공간 예측 | |
KR101596085B1 (ko) | 적응적인 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법 | |
JP5800077B2 (ja) | 動画像復号方法 | |
JP2011171911A (ja) | 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法 | |
KR20130098254A (ko) | 예측 블록 생성 장치 | |
JP7332385B2 (ja) | イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム | |
KR101537767B1 (ko) | 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치 | |
KR101483495B1 (ko) | 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치 | |
KR20190052022A (ko) | 인트라 기반의 로컬 인터-계층 예측을 위한 방법 | |
KR20090037578A (ko) | 영상 데이터 부호화 장치 및 방법, 그리고 영상 데이터복호화 장치 및 방법 | |
KR101534014B1 (ko) | 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치 | |
KR101464949B1 (ko) | 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치 | |
KR101464944B1 (ko) | 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치 | |
JP5790722B2 (ja) | 動画像符号化方法 | |
WO2012008180A1 (ja) | 画像符号化装置 | |
KR20130019736A (ko) | 모드 디펜던트 인트라 예측 스무딩 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120329 |
|
A072 | Dismissal of procedure |
Free format text: JAPANESE INTERMEDIATE CODE: A073 Effective date: 20130730 |