JP2004274411A - Picture encoder and picture decoder, and picture encoding method and picture decoding method - Google Patents
Picture encoder and picture decoder, and picture encoding method and picture decoding method Download PDFInfo
- Publication number
- JP2004274411A JP2004274411A JP2003062654A JP2003062654A JP2004274411A JP 2004274411 A JP2004274411 A JP 2004274411A JP 2003062654 A JP2003062654 A JP 2003062654A JP 2003062654 A JP2003062654 A JP 2003062654A JP 2004274411 A JP2004274411 A JP 2004274411A
- Authority
- JP
- Japan
- Prior art keywords
- block
- motion vector
- prediction
- inverse
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は画像符号化装置と画像復号装置および画像符号化方法と画像復号方法に関し、特に画像全体を所定のブロックに分割し、ブロックごとに予測処理を行なって符号化する画像符号化装置とその画像符号化方法と、符号化された符号化画像信号を復号する画像復号装置およびその画像復号方法に関する。
【0002】
【従来の技術】
従来、関係機関によって動画音声符号化方式の規格標準化作業が行なわれており、制定された規格に沿って順次実用化が進められている。
【0003】
このうち、ISO/IEC動画圧縮標準化グループ、MPEG(Moving Picture Experts Group)によってMPEG4が制定されている。MPEG4の規格は、規格書「ISO/IEC14496 Information Technology−Generic Coding of Audio−Visual Object」において定められ、標準化されている。しかし、上記の説明のMPEG4規格書は、規格自体が復号方法を規定するものであり、符号化の実装方法に関しての規定はない。また、書籍「MPEG−4のすべて (三木 弼一編著 1998、(株)工業調査会発行)」では、符号化の原理的な説明はなされているものの、実装方法についての説明はない。
【0004】
このように、規格書および参考書籍において、予測処理に使用するメモリ管理方法は規定されていないため、メモリ領域を自由に実装することができる。そこで、画像サイズ分のメモリ領域を確保する方法が考えられる。
【0005】
しかし、予測処理、逆予測処理を実現する画像符号化装置および画像復号装置では、無制限にメモリを搭載することはできない。さらに、装置として回路規模が小さく、消費電力が少ないものが望まれるため、メモリ容量を少なくすることが要求される。このため、離散コサイン変換(DCT;Discrete Cosine Transform)、量子化および可変長符号化により符号化されている符号化画像信号を復号する際の予測処理に用いられるメモリ容量を少なくする画像復号装置および画像復号方法が提案されている(例えば、特許文献1参照)。
【0006】
このような画像復号装置では、1ライン分の予測処理が終了するごとに、次の注目マクロブロックの予測処理に用いる参照値を格納する格納部にコピーしていくことにより、画像サイズ全体の直流(DC)成分および交流(AC)成分を格納する領域を削減し、メモリ容量を少なくしている。
【0007】
【特許文献1】
特開2002−118853号公報(第11頁〜第15頁、第7図〜第12図)
【0008】
【発明が解決しようとする課題】
しかし、従来の画像符号化装置および画像復号装置では、上記手法を行なってもまだメモリ容量が大きいという問題がある。
【0009】
MPEG4では、従来のマクロブロック単位の動き補償に加えて、マクロブロックを構成する4つの輝度成分(Y0、Y1、Y2、Y3)のブロックに対し、それぞれの動きベクトルを用いて予測信号を動き補償することができる。以下、このような動き補償で行なわれる予測処理および逆予測処理を、通常のインター(Inter)に対して、インターで4本のベクトル(Vector)があるINTER4V予測処理、INTER4V逆予測処理と呼ぶ。
【0010】
INTER4V予測処理および逆予測処理に必要なメモリ構成について説明する。図16は、INTER4V予測処理で用いるメモリ構成を示した図である。INTER4V予測処理では、予測対象となる注目マクロブロック100の動きベクトルが、マクロブロックを構成する4つの輝度成分に対して用意される。図の例では、輝度成分ごとにブロックB0(101)、ブロックB1(102)、ブロックB2(103)およびブロックB3(104)の動作ベクトルがメモリに格納されている。この注目マクロブロック100の予測動作ベクトルは、注目マクロブロック100と隣接する参照マクロブロック110、120、130に含まれる3つの参照動きベクトルの中央値を求める。このとき参照される動きベクトルは、予測対象となる注目マクロブロック100の輝度成分ブロック(B0(101)、B1(102)、B2(103)、B3(104))に応じて規定され、それぞれの輝度成分ブロックによって異なる。従って、予測動きベクトルを算出するため、隣接する参照マクロブロック110、120、130の動きベクトルを保持しておく必要がある。
【0011】
ところが、MPEG4の規格書には、INTER4V予測処理におけるメモリ管理方法は規定されていない。また、上記の説明の従来の画像復号装置は、DC/AC予測処理において用いられるメモリ容量を小さくする方法が述べられており、INTER4V予測に用いるメモリ容量については言及されていない。このため、必要なメモリ領域は、フレームに存在するマクロブロック数分実装することが考えられる。
【0012】
従って、INTER4V予測に使用する予測動きベクトルを記憶するメモリ領域は、フレームメモリ200として、フレームを構成するマクロブロック数分が実装される。
【0013】
なお、INTER4V予測処理では、参照マクロブロックの動きベクトルを用いて算出される予測動きベクトルと注目ブロックの動きベクトルとの差分動きベクトルを算出する。そして、この差分動きベクトルが、可変長符号化され、画像符号化信号が生成される。
【0014】
一方、INTER4V逆予測処理では、INTERV4予測処理と同じ参照マクロブロックの動きベクトルを用いて算出される予測動きベクトルと可変長復号された差分動きベクトルとから注目ブロックの動きベクトルを復元する。すなわち、参照するマクロブロックは、INTER4V予測処理およびINTER4V逆予測処理も同じになる。従って、INTER4V逆予測処理に用いるメモリ領域も、INTER4V予測処理と同様に実装される。
【0015】
しかしながら、従来の注目マクロブロックに隣接する参照マクロブロックの予測動きベクトルを記憶するメモリ領域を、フレームに存在するマクロブロック数分実装し、予測処理、逆予測処理を行なう方法では、符号化、復号するフレームが大きくなるほど、処理に必要とするメモリ容量が増大していく。メモリ容量が増大すれば、搭載するメモリを増加しなければならず、消費電力の増加やチップサイズが増加するという問題が生じる。この結果、画像符号化装置および画像復号装置のコストが増大するという問題が発生する。
【0016】
本発明はこのような点に鑑みてなされたものであり、予測処理および逆予測処理に用いるメモリ容量を少なくすることが可能な画像符号化装置と画像復号装置および画像符号化方法と画像復号方法を提供することを目的とする。
【0017】
【課題を解決するための手段】
本発明では上記課題を解決するために、画像全体を所定のブロックに分割し、前記ブロックごとに予測処理を施して符号化を行なう画像符号化装置において、予測対象となる注目ブロックに応じて規定される参照ブロックについて算出されている予測値を参照値として抽出し、抽出された前記予測値に基づいて前記注目ブロックの予測値を算出する予測手段と、前記予測手段において参照される前記予測値を規定に応じて必要となる前記参照ブロック分格納する予測値記憶手段と、を具備することを特徴とする画像符号化装置、が提供される。
【0018】
このような構成の画像符号化装置では、予測手段は、予測処理に用いる参照値として、予測対象の注目ブロックに応じて規定される参照ブロックについて格納されている予め算出されている予測値を抽出し、抽出された予測値に基づいて予測対象の注目ブロックの予測値を算出する。このため、予測値記憶手段は、予測処理において参照される予測値を、規定に応じて必要となる参照ブロック分格納することが可能な記憶領域を確保し、予測処理実行までに対象の予測値を格納しておく。
【0019】
また、上記課題を解決するために、上記の説明の画像符号化装置により符号化された画像符号化信号を復号する画像復号装置が提供される。この画像復号装置では、逆予測手段において、画像符号化装置と同様の規定に基づいて予測対象の注目ブロックに応じて規定される参照ブロックの逆予測値を抽出し、逆予測値に基づいて対象の注目ブロックの逆予測値を算出する。従って、予測値記憶手段として、画像符号化装置と同様に、規定に応じて必要となる参照ブロック分の逆予測値を格納することが可能な記憶領域が確保される。
【0020】
また、上記課題を解決するために、画像全体を所定のブロックに分割し、前記ブロックごとに予測処理を施して符号化を行なう画像符号化方法において、前記注目ブロックに応じて規定される参照ブロックについて算出されている予測値が規定に応じて参照される前記参照ブロック分格納されている予測値記憶手段から、前記規定に従って対象となる前記参照ブロックの予測値を抽出するステップと、抽出された前記参照ブロックの予測値に基づいて前記注目ブロックについての予測値を算出するステップと、算出された前記注目ブロックの予測値を前記注目ブロックに対応する前記予測値記憶手段の記憶領域に格納するステップと、を有し、前記注目ブロックの値と算出された前記予測値との差分に基づいて符号化処理を行なうことを特徴とする画像符号化方法、が提供される。
【0021】
このような手順の画像符号化方法では、予測処理に用いる予測記憶手段には、注目ブロックに応じて規定される参照ブロックについて算出されている予測値が、規定に応じて必要となる参照ブロック分格納されている。予測処理では、規定に応じて参照される参照ブロックの予測値を予測値記憶手段より抽出し、抽出された予測値に基づいて注目ブロックの予測値を算出する。算出された予測値は、注目ブロックに対応する予測値記憶手段の記憶領域に格納される。こうして算出されて格納された予測値が、続く注目ブロックの予測処理で参照される。なお、このようにして算出された注目ブロックの予測値と、注目ブロックの元値との差分を取ることにより、符号化を行なうことができる。
【0022】
また、上記課題を解決するために、上記の説明の画像符号化方法により符号化された画像符号化信号を復号する画像復号方法が提供される。
この画像復号方法では、画像符号化方法と同様の規定に基づいて逆予測対象の注目ブロックに応じて規定される参照ブロックの逆予測値が格納された予測値記憶手段から逆予測値を抽出し、逆予測値に基づいて対象の注目ブロックの逆予測値を算出する。算出された逆予測値は、注目ブロックに対応する予測値記憶手段の記憶領域に格納され、続く逆予測処理で参照される。
【0023】
【発明の実施の形態】
本発明の実施の形態を図面を参照して説明する。以下、実施の形態として、MPEG4の動き補償に用いられるINTER4V予測処理、逆予測処理の場合を例にとり、画像符号化装置について説明し、続いて画像復号装置について説明する。
【0024】
INTER4V予測処理を実現する画像符号化装置について説明する。図1は、本発明の実施の形態の画像符号化装置の構成図である。
本発明に係る画像符号化装置は、減算器1、離散コサイン変換(DCT)ブロック2、量子化器3、DC/AC予測器4、可変長符号化器5、逆量子化器6、逆離散コサイン変換(逆DCT)ブロック7、加算器8、ビデオメモリ9、動き検出ブロック10、動き補償ブロック11、動きベクトルを予測する予測手段である動きベクトル予測器12および動きベクトル予測時に参照される予測値を記憶する予測値記憶手段である動きベクトルメモリ13の各処理部を有する。
【0025】
減算器1は、外部から入力される外部入力信号(図の例では、輝度信号、色差信号)を第1の入力とし、動き補償ブロック11の出力信号を第2の入力信号とし、外部入力信号、または外部入力信号と動き補償ブロック11との差分をDCTブロック2へ出力する。DCTブロック2は、減算器1より入力された信号に対して離散コサイン変換を施し、量子化器3へ出力する。量子化器3は、DCT変換によって得られたDCT係数を量子化し、DC/AC予測器4および逆量子化器6に出力する。DC/AC予測器4は、量子化された信号に基づいて、直流(DC)成分、交流(AC)成分の量子化値を算出し、可変長符号化器5の第1入力に与える。ここで、可変長符号化器5は、量子化されたDCT係数と量子化幅を可変長符号化する。これが、イントラ(Intra)符号化であり、符号化されたVOP(Video Object Plane)をI−VOPと呼ぶ。なお、I−VOP処理では、減算器1の第2の入力は、ゼロが供給されている。
【0026】
一方、量子化器3の出力信号を逆量子化器6および逆DCTブロック7を通過させることにより、DCTブロック2入力前の信号が得られる。この信号は、加算器8の第1の入力に与えられる。加算器8によって元の画像信号が得られ、動き検出ブロック10および動き補償ブロック11の参照用画像信号としてビデオメモリ9に格納される。動き検出ブロック10は、画像の動き部分を検出し、動きベクトル情報を生成する。動きベクトル情報は、動き補償ブロック11および動きベクトル予測器12に送られる。動き補償ブロック11は、動きベクトル情報を使用して、動き補償した参照画像信号を生成し、減算器1および加算器8に出力する。減算器1では、画像信号と参照画像信号との差分(予測誤差信号)が算出される。この差分信号は、DCTブロック2、量子化器3、およびDC/AC予測器4を経て、可変長符号化器5に送られる。
【0027】
さらに、動きベクトル予測器12は、予測動きベクトルを記憶する動きベクトルメモリ13と接続し、動き検出ブロック10で検出された動きベクトル情報を使用してINTER4V予測処理を行なう。動きベクトルメモリ13は、8×8のマクロブロックの4つの輝度成分に対する予測動作ベクトルを、規格に応じて決まる参照ブロック分を記憶する領域を有している。動きベクトル予測器12によるINTER4V予測処理では、注目の輝度成分ブロックについて、MPEG4により規定される参照とする予測動きベクトルを動きベクトルメモリ13より抽出し、抽出された参照予測動きベクトルを用いて注目の輝度成分ブロックについての予測動きベクトルを算出する。算出された予測動きベクトルは、動きベクトルメモリ13の対応する領域に格納され、以降の注目ブロックの予測動きベクトル算出時に参照される。このように、算出された予測動きベクトルを順次動きベクトルメモリ13に格納し、次の参照値とすることにより、動きベクトルメモリ13の記憶容量を予測に必要な容量、例えば、1水平列マクロブロック分とすることが可能となる。処理の詳細については、後述する。
【0028】
最後に、注目輝度成分ブロックと予測動きベクトルとの差分動きベクトルが算出され、可変長符号化器5へ出力される。可変長符号化器5では、差分信号の量子化DCT係数を動きベクトルや量子化幅とともに可変長符号化する。これは、VOP間符号化またはインター(Inter)符号化と呼ばれる。
【0029】
上記の説明のように、本発明に係る画像符号化装置では、動きベクトル予測器12で使用する動きベクトルメモリ13の予測動きベクトル格納量は、従来の画像全体の予測動きベクトルを格納していた場合の格納量に比べて、ずっと小さくすることが可能となっている。
【0030】
次に、画像復号装置について説明する。図2は、本発明の実施の形態の画像復号装置の構成図である。
本発明に係る画像復号装置は、可変長復号器20、DC/AC逆予測器21、逆量子化器22、逆離散コサイン変換(逆DCT)ブロック23、加算器24、ビデオメモリ25、動き補償ブロック26、動きベクトルを逆予測する逆予測手段である動きベクトル逆予測器27および動きベクトル逆予測時に参照される逆予測値を記憶する動きベクトルメモリ28の各処理部を有する。
【0031】
可変長復号器20は、図1に示した画像符号化装置により符号化されたビデオビットストリームを入力とし、可変長復号を行なう。可変長復号器20により復号された信号は、DC/AC逆予測器21および動きベクトル逆予測器27へ出力される。
【0032】
DC/AC逆予測器21は、可変長復号器20により復号された信号の直流(DC)成分、交流(AC)成分について量子化値を逆予測し、逆量子化器22へ出力する。逆量子化器22は、算出された量子化値に対して逆量子化処理を施し、逆離散コサイン変換を行なう逆DCTブロック23に出力する。逆DCTブロック23、加算器24を経て復号された輝度信号および色差信号は、参照画像信号としてビデオメモリ25に格納される。
【0033】
動きベクトル逆予測器27は、逆予測された逆予測動きベクトルを記憶する動きベクトルメモリ28と接続し、可変長復号された信号に対してINTER4V逆予測を行なって、動きベクトルを復元する。動きベクトルメモリ28は、画像符号化装置の動きベクトルメモリ13と同様、8×8のマクロブロックの4つの輝度成分に対する予測動作ベクトルを、規格に応じて決まる参照ブロック分記憶している。動きベクトル逆予測器27によるINTER4V逆予測処理では、注目の輝度成分ブロックについて、MPEG4により規定される参照とする逆予測動きベクトルを動きベクトルメモリ28より抽出し、抽出された参照逆予測動きベクトルを用いて注目の輝度成分ブロックについての逆予測動きベクトルを算出する。算出された逆予測動きベクトルは、動きベクトルメモリ28の対応する領域に格納され、以降の注目ブロックの逆予測動きベクトル算出時に参照される。このように、算出された逆予測動きベクトルを順次動きベクトルメモリ28に格納し、次の参照値とすることにより、動きベクトルメモリ28の記憶容量を予測に必要な容量、例えば、1水平列マクロブロック分とすることが可能となる。処理の詳細については、後述する。
【0034】
そして、可変長復号された差分動きベクトルと逆予測動きベクトルとに基づいて、注目輝度成分ブロックの動きベクトルを復号し、動き補償ブロック26へ出力する。動き補償ブロック26は、動きベクトル情報に基づいて逆予測マクロブロックを取得し、加算器24へ出力する。この信号は、加算器24で、差分信号と加算されることにより、元の画像信号となる。
【0035】
図1に示した画像符号化装置の場合と同様に、動きベクトル逆予測器27で使用する動きベクトルメモリ28は、従来の画像全体の逆予測動きベクトルを格納していた場合の格納量に比べて、メモリ容量をずっと小さくすることが可能となっている。
【0036】
ここで、動きベクトル予測器12および動きベクトル逆予測器27によって参照されるマクロブロックについて説明する。なお、参照されるブロックは、どちらの場合も同じであるので、以降は動きベクトル予測処理の場合で説明する。図3は、動きベクトル予測処理で参照するマクロブロックを示した図である。
【0037】
注目ブロックの動きベクトルを予測するINTER4V予測処理では、1マクロブロック100を構成する4つの輝度成分に対応するブロック(B0、B1、B2、B3)に対する動きベクトルの予測動きベクトルを算出する。対象となる注目ブロックの予測動きベクトルとして、この動きベクトルを含むブロックに隣接するマクロブロック(左、上、右上)の動きベクトル(V0、V1、V2)を参照し、その中央値を求める。このとき参照する動きベクトルは、対象となる注目動きベクトルによって異なる。図に示したように、ブロック0(B0)の注目動きベクトル(101)が対象の場合、左に隣接するマクロブロックの動きベクトルV0(111)、上に隣接するマクロブロックの動きベクトルV1(112)、および右上に隣接するマクロブロックの動きベクトルV2(113)が参照される。また、ブロック1(B1)の注目動きベクトル(102)が対象の場合、動きベクトルV0(114)、動きベクトルV1(115)および動きベクトルV2(116)が参照される。同様に、ブロック2(B2)の注目動きベクトル103では、動きベクトルV0(117)、動きベクトルV1(118)および動きベクトルV2(119)が参照され、ブロック3(B3)の注目動きベクトル104では、動きベクトルV0(120)、動きベクトルV1(121)および動きベクトルV2(122)が参照される。
【0038】
本発明の第1の実施の形態では、上記説明の注目ブロックと注目ブロックに応じて規定される参照ブロックとの関係に着目し、動きベクトル予測器12および動きベクトル逆予測器27で参照する動きベクトルメモリ13、28のメモリ容量をマクロブロックの1水平列分とした。
【0039】
図4は、本発明の第1の実施の形態の動きベクトル記憶領域の構成図である。
動きベクトルメモリ13aは、マクロブロック100を構成する4つの輝度成分に対応する予測動きベクトルを格納する4つの領域、ブロックB0(101)、ブロックB1(102)、ブロックB2(103)、およびブロックB3(104)について、マクロブロックの1水平列分の予測動きベクトルを格納することが可能なメモリ領域を備える。すなわち、動きベクトルメモリ13aは、1水平列分のマクロブロック数をNとすると、ブロックごとにN個分の予測動きベクトルを格納するメモリ領域から構成される。図に示したように、ブロックB0に関するB0[0]、B0[1]、・・・、B0[n]、・・・、B0[N−1]のメモリ領域を有するブロックB0の水平列メモリ131、ブロックB1に関するB1[0]、B1[1]、・・・、B1[n]、・・・、B1[N−1]のメモリ領域を有するブロックB1の水平列メモリ132、ブロックB2に関するB2[0]、B2[1]、・・・、B2[n]、B2[N−1]のメモリ領域を有するブロックB2の水平列メモリ133、およびブロックB3に関するB3[0]、B3[1]、・・・、B3[n]、B3[N−1]のメモリ領域を有するブロックB3の水平列メモリ134から構成される。ここで、nは、任意の1ブロックを指す。
【0040】
次に、このような構成の動きベクトルメモリ13aのメモリ管理について説明する。図5は、本発明の第1の実施の形態の動きベクトルメモリの管理方法を示した図である。(A)は現在の注目マクロブロックとその参照マクロブロックを示しており、(B)は次の注目マクロブロックとその参照マクロブロックを示している。上記の説明のように、画像は所定のマクロブロック(以下、MB)に分割されている。図の例では、MBの水平列を0、1、・・・、n、・・・とし、垂直方向を0、1、・・・、m、・・・としている。
【0041】
(A)に示した現在の注目MB[n]301(水平列m+1のn番目のMB)についての予測動きベクトル処理を行なう場合、1水平列設けられた動作ベクトルメモリ13の記憶領域には、水平列mのMB[n]から順に、1水平列MB分の予測動きベクトルが格納されている。また、ブロックMB[n−1]に対応する領域には、前の処理における注目ブロックである水平列m+1のブロックMB[n−1]の予測動きベクトルが格納されている。図の例では、注目MB[n]を除く参照MBの予測動きベクトルが、参照MB[n−1]302、参照MB[n]303、参照MB[n+1]304、の順に格納されている。予測処理開始の際には、動作ベクトルメモリ13のメモリポインタは、nを指している。
【0042】
注目MB[n]301の予測動きベクトルを算出するため、注目MB[n]301に隣接する参照MB[n−1]302、参照MB[n]303、および参照MB[n+1]304の予測動きベクトルが参照予測動きベクトルとして選ばれる。こうして参照MBに存在する規定の予測動きベクトルを抽出し、その中央値を算出する。算出された中央値は、注目MB[n]301の予測動きベクトルとして、ポインタの示すブロック[n]の記憶領域に保存される。
【0043】
これが(B)の状態である。動きベクトルメモリ13のメモリポインタが1進み、nは次の注目MB[n]305を指す。前回の注目MB[n]301は、参照MB[n−1]301となる。また、MB304は、(A)では参照MB[n+1]であったが、ポインタが1進んだことにより、参照MB[n]となる。同様に、参照MB[n+1]は、隣のMB306を指す。
【0044】
このように、動きベクトル予測器12がマクロブロックの1水平列分設けられた予測動きベクトルの記憶領域(動きベクトルメモリ13a)を参照して予測動きベクトルを算出し、算出された予測動きベクトルを動きベクトルメモリ13aに格納し、次の注目ブロックで参照することにより、動きベクトルメモリ13aのメモリ容量を小さくすることができる。
【0045】
次に、動きベクトル予測器12の行なうINTER4V予測処理について説明する。図6および図7は、本発明の第1の実施の形態の画像符号化装置における動きベクトル予測処理の動作を示した図である。図6(A)はブロックB0、図6(B)はブロックB1、図7(C)はブロックB2、図7(D)はブロックB3の動きベクトル予測処理の動作を示している。なお、使用する動きベクトルメモリ13aのメモリ構造は、図4に示したものであるとする。
【0046】
動きベクトル予測器12における処理は、(A)、(B)、(C)、(D)の順に実行されるので、実行順に従って説明する。
(A)ブロックB0の動き予測処理12−1では、参照予測動きベクトルとして、ブロックB0の左隣のB1[n−1]、上のB2[n]、右上のB2[n+1]が選択されるので、これらの予測動きベクトルをブロックB1の水平列メモリ132およびブロックB2の水平列メモリ133から読み出し、中央値を算出する。算出されたブロックB0の予測動きベクトルは、ブロックB0の水平列メモリ131のB0[n]の位置に書き込まれる。
【0047】
続く(B)ブロックB1の動き予測処理12−2では、参照予測動きベクトルとして、ブロックB1の左隣であって、(A)の処理で算出されたB0[n]、上のB3[n]、右上のB2[n+1]が選択され、これらの予測動きベクトルがブロックB0の水平列メモリ131、ブロックB3の水平列メモリ134およびブロックB2の水平列メモリ133から読み出される。そして、予測動きベクトルとして中央値が算出され、算出された予測動きベクトルは、ブロックB1の水平列メモリ132のB1[n]の位置に書き込まれる。
【0048】
次の(C)ブロックB2の動き予測処理12−3では、参照予測動きベクトルとして、ブロックB2の左隣のB3[n−1]、上のB0[n]、右上であって(B)の処理で算出されたB1[n]の予測動きベクトルが、ブロックB3の水平列メモリ134、ブロックB0の水平列メモリ131およびブロックB1の水平列メモリ132より読み出される。これらの中央値が算出され、ブロックB2の予測動きベクトルとしてブロックB2の水平列メモリ133のB2[n]の位置に書き込まれる。
【0049】
最後の(D)ブロックB3の動き予測処理12−4では、参照予測動きベクトルとして、これまでの処理で算出された左隣のB2[n]、左上のB0[n]、上のB1[n]の予測動きベクトルが、ブロックB2の水平列メモリ133、ブロックB0の水平列メモリ131およびブロックB1の水平列メモリ132から読み出される。これらの中央値が算出され、ブロックB3の予測動きベクトルとして、ブロックB3の水平列メモリ134のB3[n]の位置に書き込まれる。
【0050】
以上のように、本発明の第1の実施の形態の画像符号化装置および画像復号装置によれば、INTER4V予測処理、逆予測処理において使用するメモリ容量を、マクロブロックの1水平列分とすることができ、メモリ容量を格段に小さくすることが可能となる。この結果、回路規模が小さく、消費電力の少ない装置を提供することができる。
【0051】
次に、本発明の第1の実施の形態の画像符号化方法および画像復号方法で用いるINTER4V予測処理、逆予測処理の処理手順について説明する。図8および図9は、本発明の第1の実施の形態の画像符号化装置における動きベクトル予測方法の処理手順を示したフローチャートである。図8は、ブロックB0およびブロックB1についての処理手順、図9は、ブロックB2およびブロックB3についての処理手順を示している。
【0052】
それぞれの動きベクトルが検出されて、処理が開始される。
[ステップS01] ブロックB0の処理が開始される。注目ブロックB0の参照ベクトルとして、B1[n−1]、B2[n]、B2[n+1]の3つの参照ブロックの予測動きベクトルをそれぞれのブロックの水平列メモリより読み出す。
[ステップS02] 注目ブロックB0の動き予測処理を行ない、読み出された参照ベクトルの中央値を算出し、ブロックB0の予測動きベクトルを得る。
[ステップS03] 以降の処理において参照ベクトルとなるブロックB0の予測動きベクトルをブロックB0の水平列メモリのB0[n]に書き込む。
[ステップS04] ブロックB1の処理が開始される。注目ブロックB1の参照ベクトルとして、B0[n]、B3[n]、B2[n+1]の3つの参照ブロックの予測動きベクトルをそれぞれのブロックの水平列メモリより読み出す。
[ステップS05] 注目ブロックB1の動き予測処理を行ない、読み出された参照ベクトルの中央値を算出し、ブロックB1の予測動きベクトルを得る。
[ステップS06] 以降の処理において参照ベクトルとなるブロックB1の予測動きベクトルをブロックB1の水平列メモリのB1[n]に書き込む。
【0053】
A点を経由して、図9の処理へ進む。
[ステップS07] ブロックB2の処理が開始される。注目ブロックB2の参照ベクトルとして、B3[n−1]、B0[n]、B1[n]の3つの参照ブロックの予測動きベクトルをそれぞれのブロックの水平列メモリより読み出す。
[ステップS08] 注目ブロックB2の動き予測処理を行ない、読み出された参照ベクトルの中央値を算出し、ブロックB2の予測動きベクトルを得る。
[ステップS09] 以降の処理において参照ベクトルとなるブロックB2の予測動きベクトルをブロックB2の水平列メモリのB2[n]に書き込む。
[ステップS10] ブロックB3の処理が開始される。注目ブロックB3の参照ベクトルとして、B2[n]、B0[n]、B1[n]の3つの参照ブロックの予測動きベクトルをそれぞれのブロックの水平列メモリより読み出す。
[ステップS11] 注目ブロックB3の動き予測処理を行ない、読み出された参照ベクトルの中央値を算出し、ブロックB3の予測動きベクトルを得る。
[ステップS12] 以降の処理において参照ベクトルとなるブロックB3の予測動きベクトルをブロックB3の水平列メモリのB3[n]に書き込む。
【0054】
なお、INTER4V逆予測の場合は、上記手順の動き予測処理が動き逆予測処理となる以外はINTER4V予測処理の場合と同じであるので、説明は省略する。
【0055】
以上のように、本発明の第1の実施の形態の画像符号化方法および画像復号方法によれば、INTER4V予測処理、逆予測処理において使用するメモリ容量を、マクロブロックの1水平列分とすることができる。
【0056】
ここで、注目ブロックと参照ブロックとの関係をさらに詳しく調べる。図10は、本発明の実施の形態における注目ブロックと参照ブロックとの関係を示した図である。
【0057】
予測対象を注目MB[n]301とすると、参照されるMBは、参照MB[n−1]302、参照MB[n]303、および参照MB[n+1]304が選択される。これを輝度成分ブロック単位で示すと、注目MB[n]301の8×8ブロックB0、B1、B2、B3についての予測動作ベクトルを算出するために、参照MB[n−1]302のB1[n−1]とB3[n−1]、参照MB[n]303のB2[n]とB3[n]、参照MB[n+1]304のB2[n+1]、および注目MB[n]301のB0、B1、B2とが用いられる。
【0058】
このことから、1つのMBについて参照される輝度成分ブロックは、ブロックB0ではB0、ブロックB1ではB1[n−1]であり、それぞれ1ブロック分の予測動きベクトルを記憶するメモリ領域が必要であることがわかる。また、ブロックB2ではB2とB2[n+1]、ブロックB3ではB3[n−1]とB3[n]、が参照されるため、それぞれ1水平列メモリの予測動きベクトルを記憶するメモリ領域が必要であることがわかる。
【0059】
以上のことから、本発明の第2の実施の形態では、INTER4V予測処理および逆予測処理に用いるメモリ構成を、1ブロック分の予測動きベクトルを記憶するメモリ2つと、1水平列分のブロックの予測動きベクトルを記憶するメモリ2つとする。
【0060】
図11は、本発明の第2の実施の形態の動きベクトル記憶領域の構成図である。図4と同じものには同じ番号を付し、説明は省略する。
第2の実施の形態の動きベクトルメモリ13bは、MB100を構成する4つのブロックB0(101)、B1(102)、B2(103)、B3(104)ごとに、予測動きベクトルを格納するメモリ領域を備える。具体的には、動きベクトルメモリ13bは、ブロックB0については、1ブロック分の予測動きベクトルを格納するB0の1ブロックメモリ135を備える。同様に、ブロックB1についても、1ブロック分の予測動きベクトルを格納するB1の1ブロックメモリ136を備える。一方、ブロックB2およびブロックB3については、第1の実施の形態と同様に、1水平列分のメモリ、B2の水平列メモリ133およびB3の水平列メモリ134を備える。
【0061】
このように、ブロックB0およびブロックB1については、1ブロックメモリ分のみを確保することにより、第1の実施の形態のメモリ容量をさらに半分程度まで削減することができる。
【0062】
次に、このような構成の動きベクトル記憶領域を用いた動きベクトル予測器12によるINTER4V予測処理について説明する。
図12および図13は、本発明の第2の実施の形態の画像符号化装置における動きベクトル予測処理の動作を示した図である。図12(A)はブロックB0、図12(B)はブロックB1、図13(C)はブロックB2、図13(D)はブロックB3の動きベクトル予測処理の動作を示している。また、処理は、(A)、(B)、(C)、(D)の順に実行される。
【0063】
(A)ブロックB0の動き予測処理12−5では、参照予測動きベクトルとして、ブロックB0の左隣のB1[n−1]、上のB2[n]、右上のB2[n+1]が選択されるので、これらの予測動きベクトルをブロックB1の1ブロックメモリ136(注目ブロックのB1処理前であるので、ブロックB1の1ブロックメモリ136には、前の注目MB[n−1]の予測動きベクトルが格納されている)およびブロックB2の水平列メモリ133から読み出し、中央値を算出する。算出されたブロックB0の予測動きベクトルは、ブロックB0の1ブロックメモリ135に書き込まれる。
【0064】
続く(B)ブロックB1の動き予測処理12−6では、参照予測動きベクトルとして、ブロックB1の左隣であって、(A)の処理で算出されたB0、上のB3[n]、右上のB2[n+1]が選択され、これらの予測動きベクトルがブロックB0の1ブロックメモリ135、ブロックB3の水平列メモリ134およびブロックB2の水平列メモリ133から読み出される。そして、予測動きベクトルとして中央値が算出され、算出された予測動きベクトルは、ブロックB1の1ブロックメモリ136に書き込まれる。
【0065】
次の(C)ブロックB2の動き予測処理12−7では、参照予測動きベクトルとして、ブロックB2の左隣のB3[n−1]、上のB0、右上であって(B)の処理で算出されたB1の予測動きベクトルが、ブロックB3の水平列メモリ134、ブロックB0の1ブロックメモリ135およびブロックB1の1ブロックメモリ136より読み出される。これらの中央値が算出され、ブロックB2の予測動きベクトルとしてブロックB2の水平列メモリ133のB2[n]の位置に書き込まれる。
【0066】
最後の(D)ブロックB3の動き予測処理12−8では、参照予測動きベクトルとして、これまでの処理で算出された左隣のB2[n]、左上のB0、上のB1の予測動きベクトルが、ブロックB2の水平列メモリ133、ブロックB0の1ブロックメモリ135およびブロックB1の1ブロックメモリ136から読み出される。これらの中央値が算出され、ブロックB3の予測動きベクトルとして、ブロックB3の水平列メモリ134のB3[n]の位置に書き込まれる。
【0067】
なお、INTER4V逆予測処理では、予測値の算出が逆予測値の算出となるのみで、参照するブロックの動作については同じであるので、説明は省略する。
以上のように、本発明の第2の実施の形態の画像符号化装置および画像復号装置によれば、INTER4V予測処理、逆予測処理において使用されるメモリを2つのブロックメモリと、2つの水平列メモリとから構成することができ、第1の実施の形態に比べて、メモリ容量をさらに削減することができる。この結果、回路規模が小さく、消費電力の少ない装置を提供することができる。
【0068】
次に、本発明の第2の実施の形態の画像符号化方法および画像復号方法で用いるINTER4V予測処理、逆予測処理の処理手順について説明する。図14および図15は、本発明の第2の実施の形態の画像符号化装置における動きベクトル予測方法の処理手順を示したフローチャートである。図14は、ブロックB0およびブロックB1についての処理手順、図15は、ブロックB2およびブロックB3についての処理手順を示している。
【0069】
それぞれの動きベクトルが検出されて、処理が開始される。
[ステップS21] ブロックB0の処理が開始される。注目ブロックB0の参照ベクトルとして、B1[n−1]、B2[n]、B2[n+1]の3つの参照ブロックの予測動きベクトルをそれぞれのブロックのブロックメモリおよび水平列メモリより読み出す。
[ステップS22] 注目ブロックB0の動き予測処理を行ない、読み出された参照ベクトルの中央値を算出し、ブロックB0の予測動きベクトルを得る。
[ステップS23] 以降の処理において参照ベクトルとなるブロックB0の予測動きベクトルをブロックB0の1ブロックメモリB0に書き込む。
[ステップS24] ブロックB1の処理が開始される。注目ブロックB1の参照ベクトルとして、B0、B3[n]、B2[n+1]の3つの参照ブロックの予測動きベクトルをそれぞれのブロックのブロックメモリおよび水平列メモリより読み出す。
[ステップS25] 注目ブロックB1の動き予測処理を行ない、読み出された参照ベクトルの中央値を算出し、ブロックB1の予測動きベクトルを得る。
[ステップS26] 以降の処理において参照ベクトルとなるブロックB1の予測動きベクトルをブロックB1の1ブロックメモリB1に書き込む。
【0070】
B点を経由して、図15の処理へ進む。
[ステップS27] ブロックB2の処理が開始される。注目ブロックB2の参照ベクトルとして、B3[n−1]、B0、B1の3つの参照ブロックの予測動きベクトルをそれぞれのブロックのブロックメモリおよび水平列メモリより読み出す。
[ステップS28] 注目ブロックB2の動き予測処理を行ない、読み出された参照ベクトルの中央値を算出し、ブロックB2の予測動きベクトルを得る。
[ステップS29] 以降の処理において参照ベクトルとなるブロックB2の予測動きベクトルをブロックB2の水平列メモリのB2[n]に書き込む。
[ステップS30] ブロックB3の処理が開始される。注目ブロックB3の参照ベクトルとして、B2[n]、B0、B1の3つの参照ブロックの予測動きベクトルをそれぞれのブロックのブロックメモリおよび水平列メモリより読み出す。
[ステップS31] 注目ブロックB3の動き予測処理を行ない、読み出された参照ベクトルの中央値を算出し、ブロックB3の予測動きベクトルを得る。
[ステップS32] 以降の処理において参照ベクトルとなるブロックB3の予測動きベクトルをブロックB3の水平列メモリのB3[n]に書き込む。
【0071】
なお、INTER4V逆予測の場合は、上記手順の動き予測処理が動き逆予測処理となる以外はINTER4V予測処理の場合と同じであるので、説明は省略する。
【0072】
以上のように、本発明の第2の実施の形態の画像符号化方法および画像復号方法によれば、INTER4V予測処理、逆予測処理において使用するメモリ容量を、第1の実施の形態よりさらに削減することができる。
【0073】
上記の説明では、MPEG4のINTER4V予測、逆予測を例にとり説明したが、本発明は、これに限定されることなく、前の処理で算出した予測値を参照して次の予測値を生成する画像信号処理において適用することができる。
【0074】
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、画像符号化装置および画像復号装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。プログラムを実行するコンピュータは、たとえば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。
【0075】
【発明の効果】
以上説明したように本発明の画像符号化装置では、予測対象の注目ブロックに応じて規定される参照ブロックについて算出された予測値を用いて予測を行なう。このとき、参照される予測値を保持する記憶手段として、参照ブロックを決める規定に基づいて、必要とされる参照ブロック分の予測値を格納することが可能な領域が確保される。このように、規定に基づいて予測に必要となる参照ブロックの予測値が確保されればよいことから、予測処理に必要な記憶領域を削減することができる。さらに、記憶領域が削減できるため、回路規模が小さく、消費電力の少ない画像符号化装置を実現することができる。
【0076】
また、本発明の画像復号装置では、上記の画像符号化装置により生成された画像符号化信号を同じように規定される参照ブロックの逆予測値を用いて逆予測を行なう。このため、参照される逆予測値を含む参照ブロックの記憶領域は、画像符号化装置と同じように構成される。この結果、逆予測処理に必要な記憶領域を削減することができ、回路規模が小さく、消費電力の少ない画像復号装置を実現することができる。
【0077】
また、本発明の画像符号化方法では、予測対象の注目ブロックに応じて規定される参照ブロックの予測値を用いて注目ブロックの予測値を算出し、算出された予測値を注目ブロックに対応する予測値格納領域に格納する。これは、続く処理の注目ブロックで参照される。このように、予測処理において必要とされる参照ブロック分の記憶領域を確保し、これを用いて予測処理を行なうとともに、算出された予測値をこの記憶領域に格納し、続く注目ブロックで参照する。これにより、予測処理に必要な記憶領域を削減することが可能となる。
【0078】
また、本発明の画像復号方法では、上記の画像符号化方法により生成された画像符号化信号を同じように規定される参照ブロックの逆予測値を用いて注目ブロックの逆予測値を算出し、算出された予測値を注目ブロックに対応する逆予測値格納領域に格納する。これは、続く処理の注目ブロックで参照される。このように、逆予測処理において必要とされる参照ブロック分の記憶領域を確保し、これを用いて予測処理を行なうとともに、算出された逆予測値をこの記憶領域に格納し、続く注目ブロックで参照する。これにより、逆予測処理に必要な記憶領域を削減することが可能となる。
【図面の簡単な説明】
【図1】本発明の実施の形態の画像符号化装置の構成図である。
【図2】本発明の実施の形態の画像復号装置の構成図である。
【図3】INTER4V予測処理で参照する動きベクトルを示した図である。
【図4】本発明の第1の実施の形態の動きベクトル記憶領域の構成図である。
【図5】本発明の第1の実施の形態の動きベクトルメモリの管理方法を示した図である。
【図6】本発明の第1の実施の形態の画像符号化装置における動きベクトル予測処理(ブロック0、ブロック1)の動作を示した図である。
【図7】本発明の第1の実施の形態の画像符号化装置における動きベクトル予測処理(ブロック2、ブロック3)の動作を示した図である。
【図8】本発明の第1の実施の形態の画像符号化装置における動きベクトル予測方法(ブロック0、ブロック1)の処理手順を示したフローチャートである。
【図9】本発明の第1の実施の形態の画像符号化装置における動きベクトル予測方法(ブロック2、ブロック3)の処理手順を示したフローチャートである。
【図10】本発明の実施の形態における注目ブロックと参照ブロックとの関係を示した図である。
【図11】本発明の第2の実施の形態の動きベクトル記憶領域の構成図である
【図12】本発明の第2の実施の形態の画像符号化装置における動きベクトル予測処理(ブロック0、ブロック1)の動作を示した図である。
【図13】本発明の第2の実施の形態の画像符号化装置における動きベクトル予測処理(ブロック2、ブロック3)の動作を示した図である。
【図14】本発明の第2の実施の形態の画像符号化装置における動きベクトル予測方法(ブロック0、ブロック1)の処理手順を示したフローチャートである。
【図15】本発明の第2の実施の形態の画像符号化装置における動きベクトル予測方法(ブロック2、ブロック3)の処理手順を示したフローチャートである。
【図16】INTER4V予測処理で用いるメモリ構成を示した図である。
【符号の説明】
1・・・減算器、2・・・離散コサイン変換(DCT)ブロック、3・・・量子化器、4・・・DC/AC予測器、5・・・可変長符号化器、6・・・逆量子化器、7・・・逆離散コサイン変換(逆DCT)ブロック、8・・・加算器、9・・・ビデオメモリ、10・・・動き検出ブロック、11・・・動き補償ブロック、12・・・動きベクトル予測器、13・・・動きベクトルメモリ、20・・・可変長復号器、21・・・DC/AC逆予測器、22・・・逆量子化器、23・・・逆離散コサイン変換(逆DCT)ブロック、24・・・加算器、25・・・ビデオメモリ、26・・・動き補償ブロック、27・・・動きベクトル逆予測器、28・・・動きベクトルメモリ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image encoding device, an image decoding device, an image encoding method, and an image decoding method, and more particularly to an image encoding device that divides an entire image into predetermined blocks, performs prediction processing for each block, and encodes the image. The present invention relates to an image encoding method, an image decoding device that decodes an encoded image signal, and an image decoding method thereof.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, related organizations have been working on standardization of a video / audio coding system, and practical use of the standard has been promoted in accordance with established standards.
[0003]
Of these, MPEG4 has been established by the ISO / IEC Moving Image Compression Standards Group, MPEG (Moving Picture Experts Group). The MPEG4 standard is defined and standardized in the standard document "ISO / IEC14496 Information Technology-Generic Coding of Audio-Visual Object". However, in the MPEG4 standard described above, the standard itself specifies a decoding method, and there is no specification regarding a method of implementing encoding. Further, in the book "MPEG-4 Everything (edited by Michiru Yuichi, 1998, published by the Industrial Research Institute, Inc.)", although the principle of encoding is explained, there is no explanation on the mounting method.
[0004]
As described above, in the standard book and the reference book, the memory management method used for the prediction processing is not specified, so that the memory area can be freely implemented. Therefore, a method of securing a memory area for an image size is conceivable.
[0005]
However, in the image encoding device and the image decoding device that realize the prediction process and the inverse prediction process, the memory cannot be mounted without limitation. Further, since a device having a small circuit scale and low power consumption is desired, a reduction in memory capacity is required. For this reason, an image decoding apparatus that reduces the memory capacity used for prediction processing when decoding an encoded image signal encoded by Discrete Cosine Transform (DCT), quantization, and variable-length encoding, and An image decoding method has been proposed (for example, see Patent Document 1).
[0006]
In such an image decoding device, every time the prediction process for one line is completed, the reference value used for the prediction process of the next target macroblock is copied to the storage unit for storing the DC value of the entire image size. The area for storing the (DC) component and the alternating current (AC) component is reduced, and the memory capacity is reduced.
[0007]
[Patent Document 1]
JP-A-2002-118853 (
[0008]
[Problems to be solved by the invention]
However, the conventional image encoding device and image decoding device have a problem that the memory capacity is still large even if the above method is performed.
[0009]
In MPEG4, in addition to the conventional motion compensation in units of macroblocks, motion compensation of a prediction signal is performed on each block of four luminance components (Y0, Y1, Y2, Y3) using a motion vector. can do. Hereinafter, the prediction processing and the inverse prediction processing performed by such motion compensation are referred to as INTER4V prediction processing and INTER4V inverse prediction processing in which four vectors (Vectors) are provided for the normal Inter.
[0010]
The memory configuration required for the INTER4V prediction process and the inverse prediction process will be described. FIG. 16 is a diagram showing a memory configuration used in the INTER4V prediction process. In the INTER4V prediction process, a motion vector of the
[0011]
However, the MPEG4 standard does not specify a memory management method in the INTER4V prediction process. Further, in the conventional image decoding device described above, a method for reducing the memory capacity used in the DC / AC prediction processing is described, and the memory capacity used for INTER4V prediction is not mentioned. For this reason, it is conceivable that the necessary memory area is mounted for the number of macro blocks existing in the frame.
[0012]
Therefore, the memory area for storing the predicted motion vector used for the INTER4V prediction is implemented as the frame memory 200 for the number of macro blocks constituting the frame.
[0013]
In the INTER4V prediction process, a difference motion vector between the predicted motion vector calculated using the motion vector of the reference macroblock and the motion vector of the target block is calculated. Then, the differential motion vector is subjected to variable-length encoding to generate an encoded image signal.
[0014]
On the other hand, in the INTER4V inverse prediction process, the motion vector of the block of interest is restored from the predicted motion vector calculated using the motion vector of the same reference macroblock as in the INTERV4 prediction process and the variable-length decoded difference motion vector. That is, the INTER4V prediction process and the INTER4V inverse prediction process are the same for the macroblock to be referred to. Therefore, the memory area used for the INTER4V reverse prediction processing is also mounted in the same manner as the INTER4V prediction processing.
[0015]
However, in the conventional method of implementing the memory area for storing the prediction motion vector of the reference macroblock adjacent to the macroblock of interest for the number of macroblocks existing in the frame and performing the prediction processing and the inverse prediction processing, encoding and decoding are performed. As the number of frames to be processed increases, the memory capacity required for processing increases. If the memory capacity increases, the number of mounted memories must be increased, which causes a problem that power consumption increases and a chip size increases. As a result, there arises a problem that the cost of the image encoding device and the image decoding device increases.
[0016]
The present invention has been made in view of such a point, and an image encoding apparatus, an image decoding apparatus, an image encoding method, and an image decoding method capable of reducing a memory capacity used for prediction processing and inverse prediction processing. The purpose is to provide.
[0017]
[Means for Solving the Problems]
In the present invention, in order to solve the above problem, in an image encoding apparatus that divides the entire image into predetermined blocks, performs prediction processing for each of the blocks, and performs encoding, the image encoding apparatus defines a prediction block according to a target block to be predicted. A prediction unit that extracts a prediction value calculated for a reference block to be calculated as a reference value, and calculates a prediction value of the block of interest based on the extracted prediction value; and the prediction value referred to by the prediction unit. And a predicted value storage unit for storing the reference blocks required according to a prescribed rule.
[0018]
In the image coding apparatus having such a configuration, the prediction unit extracts, as a reference value used in the prediction processing, a previously calculated prediction value stored for a reference block defined according to a target block to be predicted. Then, a predicted value of the target block of the prediction target is calculated based on the extracted predicted value. For this reason, the prediction value storage means secures a storage area capable of storing the prediction values referred to in the prediction processing for the reference blocks required according to the regulations, and sets the target prediction value by the time the prediction processing is executed. Is stored.
[0019]
Further, in order to solve the above-described problem, an image decoding device that decodes an image encoded signal encoded by the image encoding device described above is provided. In this image decoding apparatus, the inverse prediction means extracts an inverse prediction value of a reference block defined according to a target block to be predicted based on the same rule as that of the image encoding apparatus, and generates a target based on the inverse prediction value. Of the block of interest is calculated. Therefore, as the predicted value storage means, a storage area capable of storing the inverse predicted value for the reference block required according to the regulation is secured, as in the image encoding device.
[0020]
In order to solve the above-mentioned problem, in an image encoding method in which an entire image is divided into predetermined blocks, and a prediction process is performed for each of the blocks to perform encoding, a reference block defined according to the target block is provided. Extracting, from the predicted value storage means stored for the reference block for which the predicted value calculated for is referred to in accordance with the regulation, the predicted value of the reference block to be processed in accordance with the regulation; Calculating a predicted value of the target block based on the predicted value of the reference block; and storing the calculated predicted value of the target block in a storage area of the predicted value storage unit corresponding to the target block. And performing an encoding process based on a difference between the value of the block of interest and the calculated predicted value. Picture coding method for, is provided.
[0021]
In the image coding method of such a procedure, the prediction value calculated for the reference block defined according to the target block is stored in the prediction storage unit used for the prediction process for the reference block required according to the definition. Is stored. In the prediction processing, a predicted value of a reference block referred to in accordance with a rule is extracted from predicted value storage means, and a predicted value of a target block is calculated based on the extracted predicted value. The calculated predicted value is stored in the storage area of the predicted value storage means corresponding to the block of interest. The predicted value calculated and stored in this way is referred to in the subsequent prediction process of the target block. Note that encoding can be performed by taking the difference between the predicted value of the target block calculated in this way and the original value of the target block.
[0022]
Further, in order to solve the above problem, an image decoding method for decoding an image coded signal coded by the image coding method described above is provided.
In this image decoding method, an inverse prediction value is extracted from a prediction value storage unit that stores an inverse prediction value of a reference block defined according to a target block to be inversely predicted based on the same rule as the image encoding method. , The inverse prediction value of the target block of interest is calculated based on the inverse prediction value. The calculated inverse prediction value is stored in the storage area of the prediction value storage means corresponding to the target block, and is referred to in the subsequent inverse prediction processing.
[0023]
BEST MODE FOR CARRYING OUT THE INVENTION
An embodiment of the present invention will be described with reference to the drawings. Hereinafter, as an embodiment, an image encoding device will be described, followed by an image decoding device, taking an example of INTER4V prediction processing and inverse prediction processing used for MPEG4 motion compensation.
[0024]
An image encoding device that implements the INTER4V prediction process will be described. FIG. 1 is a configuration diagram of an image encoding device according to an embodiment of the present invention.
An image coding apparatus according to the present invention includes a
[0025]
The
[0026]
On the other hand, by passing the output signal of the
[0027]
Further, the
[0028]
Finally, a difference motion vector between the target luminance component block and the predicted motion vector is calculated, and output to the variable-
[0029]
As described above, in the image coding apparatus according to the present invention, the predicted motion vector storage amount of the motion vector memory 13 used in the
[0030]
Next, the image decoding apparatus will be described. FIG. 2 is a configuration diagram of the image decoding device according to the embodiment of the present invention.
The image decoding apparatus according to the present invention includes a
[0031]
The
[0032]
The DC / AC
[0033]
The motion vector
[0034]
Then, the motion vector of the luminance component block of interest is decoded based on the differential motion vector and the inverse prediction motion vector subjected to the variable length decoding, and output to the
[0035]
As in the case of the image encoding apparatus shown in FIG. 1, the
[0036]
Here, the macroblock referred to by the
[0037]
In the INTER4V prediction process of predicting the motion vector of the block of interest, a predicted motion vector of a motion vector for a block (B0, B1, B2, B3) corresponding to four luminance components forming one
[0038]
In the first embodiment of the present invention, focusing on the relationship between the target block described above and a reference block defined according to the target block, the motion vectors referred to by the
[0039]
FIG. 4 is a configuration diagram of a motion vector storage area according to the first embodiment of this invention.
The
[0040]
Next, the memory management of the
[0041]
When the predicted motion vector processing is performed on the current attention MB [n] 301 (the n-th MB in the horizontal column m + 1) shown in FIG. 3A, the storage area of the motion vector memory 13 provided in one horizontal column includes Predicted motion vectors for one horizontal column MB are stored in order from MB [n] in the horizontal column m. In the area corresponding to the block MB [n-1], the predicted motion vector of the block MB [n-1] of the horizontal column m + 1, which is the target block in the previous process, is stored. In the example of the figure, the predicted motion vectors of the reference MB except for the MB of interest [n] are stored in the order of the reference MB [n-1] 302, the reference MB [n] 303, and the reference MB [n + 1] 304. At the start of the prediction process, the memory pointer of the motion vector memory 13 points to n.
[0042]
To calculate the predicted motion vector of the MB [n] 301 of interest, the predicted motion of the reference MB [n-1] 302, the reference MB [n] 303, and the reference MB [n + 1] 304 adjacent to the MB [n] of
[0043]
This is the state of FIG. The memory pointer of the motion vector memory 13 advances by one, and n points to the next target MB [n] 305. The previous attention MB [n] 301 becomes the reference MB [n-1] 301. Further, the
[0044]
As described above, the
[0045]
Next, the INTER4V prediction processing performed by the
[0046]
Since the processing in the
(A) In the motion prediction process 12-1 of the block B0, B1 [n-1] on the left of the block B0, B2 [n] on the upper right, and B2 [n + 1] on the upper right of the block B0 are selected as the reference motion vectors. Therefore, these predicted motion vectors are read from the horizontal column memory 132 of the block B1 and the horizontal column memory 133 of the block B2, and the median value is calculated. The calculated predicted motion vector of the block B0 is written into the
[0047]
In the subsequent (B) motion prediction processing 12-2 of the block B1, as a reference prediction motion vector, B0 [n] on the left of the block B1 and calculated in the processing of (A), and B3 [n] above , B2 [n + 1] at the upper right are selected, and these predicted motion vectors are read from the
[0048]
In the next (C) motion prediction processing 12-3 of the block B2, as a reference prediction motion vector, B3 [n-1] on the left of the block B2, B0 [n] on the upper right, and B0 [n] on the upper right and The predicted motion vector of B1 [n] calculated by the processing is read from the horizontal column memory 134 of the block B3, the
[0049]
In the motion prediction processing 12-4 of the last (D) block B3, B2 [n] on the left side, B0 [n] on the upper left, and B1 [n on the upper left, which have been calculated in the previous processing, are used as reference prediction motion vectors. ] Are read from the horizontal column memory 133 of the block B2, the
[0050]
As described above, according to the image encoding device and the image decoding device of the first embodiment of the present invention, the memory capacity used in the INTER4V prediction processing and the inverse prediction processing is set to one horizontal row of a macroblock. And the memory capacity can be significantly reduced. As a result, a device with a small circuit size and low power consumption can be provided.
[0051]
Next, processing procedures of the INTER4V prediction processing and the inverse prediction processing used in the image encoding method and the image decoding method according to the first embodiment of the present invention will be described. FIGS. 8 and 9 are flowcharts showing the processing procedure of the motion vector prediction method in the image encoding device according to the first embodiment of the present invention. FIG. 8 shows a processing procedure for blocks B0 and B1, and FIG. 9 shows a processing procedure for blocks B2 and B3.
[0052]
The processing is started when each motion vector is detected.
[Step S01] The process of block B0 is started. As the reference vector of the block of interest B0, predicted motion vectors of three reference blocks B1 [n-1], B2 [n], and B2 [n + 1] are read from the horizontal column memory of each block.
[Step S02] The motion prediction processing of the block of interest B0 is performed, the median of the read reference vectors is calculated, and the predicted motion vector of the block B0 is obtained.
[Step S03] In the subsequent processing, the predicted motion vector of the block B0 serving as a reference vector is written to B0 [n] of the horizontal column memory of the block B0.
[Step S04] The process of block B1 is started. As the reference vector of the block of interest B1, predicted motion vectors of three reference blocks B0 [n], B3 [n], and B2 [n + 1] are read from the horizontal column memory of each block.
[Step S05] The motion prediction processing of the block of interest B1 is performed, the median of the read reference vectors is calculated, and the predicted motion vector of the block B1 is obtained.
[Step S06] The predicted motion vector of the block B1 serving as a reference vector in the subsequent processing is written to B1 [n] of the horizontal column memory of the block B1.
[0053]
The processing proceeds to the processing in FIG. 9 via the point A.
[Step S07] The process of the block B2 is started. As the reference vector of the block of interest B2, predicted motion vectors of three reference blocks B3 [n-1], B0 [n], and B1 [n] are read from the horizontal column memory of each block.
[Step S08] The motion prediction processing of the block of interest B2 is performed, the median of the read reference vectors is calculated, and the predicted motion vector of the block B2 is obtained.
[Step S09] The predicted motion vector of the block B2 serving as a reference vector in the subsequent processing is written to B2 [n] of the horizontal column memory of the block B2.
[Step S10] The process of the block B3 is started. As the reference vector of the block of interest B3, predicted motion vectors of three reference blocks B2 [n], B0 [n], and B1 [n] are read from the horizontal column memory of each block.
[Step S11] The motion prediction processing of the block of interest B3 is performed, the median of the read reference vectors is calculated, and the predicted motion vector of the block B3 is obtained.
[Step S12] In the subsequent processing, the predicted motion vector of the block B3 serving as a reference vector is written to B3 [n] of the horizontal column memory of the block B3.
[0054]
Note that the case of the INTER4V inverse prediction is the same as the case of the INTER4V prediction process, except that the motion prediction process of the above procedure is the motion inverse prediction process, and thus the description is omitted.
[0055]
As described above, according to the image encoding method and the image decoding method of the first embodiment of the present invention, the memory capacity used in the INTER4V prediction processing and the inverse prediction processing is set to one horizontal row of a macroblock. be able to.
[0056]
Here, the relationship between the block of interest and the reference block will be examined in more detail. FIG. 10 is a diagram illustrating a relationship between a target block and a reference block according to the embodiment of the present invention.
[0057]
Assuming that the prediction target is the target MB [n] 301, the reference MBs [n−1] 302, the reference MB [n] 303, and the reference MB [n + 1] 304 are selected as the referenced MBs. When this is expressed in units of luminance component blocks, B1 [of the reference MB [n-1] 302 is calculated in order to calculate a predicted motion vector for the 8 × 8 block B0, B1, B2, B3 of the MB [n] 301 of interest. n-1] and B3 [n-1], B2 [n] and B3 [n] of reference MB [n] 303, B2 [n + 1] of reference MB [n + 1] 304, and B0 of target MB [n] 301 , B1, and B2 are used.
[0058]
From this, the luminance component block referred to for one MB is B0 in the block B0 and B1 [n-1] in the block B1, and each requires a memory area for storing a predicted motion vector for one block. You can see that. Further, since the block B2 refers to B2 and B2 [n + 1], and the block B3 refers to B3 [n-1] and B3 [n], a memory area for storing a predicted motion vector of one horizontal column memory is required. You can see that there is.
[0059]
From the above, in the second embodiment of the present invention, the memory configuration used for the INTER4V prediction processing and the inverse prediction processing is divided into two memories for storing one block of predicted motion vectors and one horizontal column of blocks. There are two memories for storing the predicted motion vector.
[0060]
FIG. 11 is a configuration diagram of a motion vector storage area according to the second embodiment of this invention. The same components as those in FIG. 4 are denoted by the same reference numerals, and description thereof is omitted.
The
[0061]
As described above, by securing only one block memory for the blocks B0 and B1, the memory capacity of the first embodiment can be further reduced to about half.
[0062]
Next, the INTER4V prediction processing by the
FIG. 12 and FIG. 13 are diagrams illustrating the operation of the motion vector prediction process in the image encoding device according to the second embodiment of the present invention. 12 (A) shows the operation of the block B0, FIG. 12 (B) shows the operation of the block B1, FIG. 13 (C) shows the operation of the block B2, and FIG. 13 (D) shows the operation of the motion vector prediction process of the block B3. The processing is performed in the order of (A), (B), (C), and (D).
[0063]
(A) In the motion prediction process 12-5 of the block B0, B1 [n-1] on the left side of the block B0, B2 [n] on the upper side, and B2 [n + 1] on the upper right of the block B0 are selected as reference prediction motion vectors. Therefore, these predicted motion vectors are stored in the one block memory 136 of the block B1 (before the B1 processing of the block of interest, the one block memory 136 of the block B1 stores the predicted motion vector of the previous target MB [n-1]. Stored) and from the horizontal column memory 133 of the block B2 to calculate the median value. The calculated predicted motion vector of the block B0 is written to the one-block memory 135 of the block B0.
[0064]
In the following (B) motion prediction processing 12-6 of the block B1, as a reference prediction motion vector, B3 calculated on the processing B of FIG. B2 [n + 1] is selected, and these predicted motion vectors are read from one block memory 135 of block B0, horizontal column memory 134 of block B3, and horizontal column memory 133 of block B2. Then, the median is calculated as the predicted motion vector, and the calculated predicted motion vector is written to the one-block memory 136 of the block B1.
[0065]
In the next (C) motion prediction processing 12-7 of the block B2, the reference prediction motion vector is calculated by the processing of (B) in B3 [n-1] on the left of the block B2, on B0 on the upper right, and on the upper right. The predicted motion vector of B1 is read from the horizontal column memory 134 of block B3, the one block memory 135 of block B0, and the one block memory 136 of block B1. These median values are calculated and written as the predicted motion vector of the block B2 at the position of B2 [n] in the horizontal column memory 133 of the block B2.
[0066]
In the motion prediction processing 12-8 of the last (D) block B3, the prediction motion vectors of B2 [n] on the left side, B0 on the upper left, and B1 on the upper left calculated in the processing so far are used as reference prediction motion vectors. , The horizontal column memory 133 of the block B2, the one block memory 135 of the block B0, and the one block memory 136 of the block B1. These medians are calculated and written as the predicted motion vector of the block B3 at the position of B3 [n] in the horizontal column memory 134 of the block B3.
[0067]
In the INTER4V inverse prediction processing, the calculation of the predicted value is only the calculation of the inverse predicted value, and the operation of the referenced block is the same.
As described above, according to the image encoding device and the image decoding device of the second embodiment of the present invention, the memories used in the INTER4V prediction processing and the inverse prediction processing include two block memories and two horizontal columns. A memory can be configured, and the memory capacity can be further reduced as compared with the first embodiment. As a result, a device with a small circuit size and low power consumption can be provided.
[0068]
Next, the processing procedure of the INTER4V prediction processing and the inverse prediction processing used in the image encoding method and the image decoding method according to the second embodiment of the present invention will be described. FIGS. 14 and 15 are flowcharts showing processing procedures of a motion vector prediction method in the image encoding device according to the second embodiment of the present invention. FIG. 14 shows a processing procedure for blocks B0 and B1, and FIG. 15 shows a processing procedure for blocks B2 and B3.
[0069]
The processing is started when each motion vector is detected.
[Step S21] The process in block B0 is started. Predicted motion vectors of three reference blocks B1 [n-1], B2 [n], and B2 [n + 1] are read from the block memory and horizontal column memory of each block as reference vectors of the block of interest B0.
[Step S22] The motion prediction processing of the block of interest B0 is performed, the median of the read reference vectors is calculated, and the predicted motion vector of the block B0 is obtained.
[Step S23] The predicted motion vector of the block B0 serving as a reference vector in the subsequent processing is written to one block memory B0 of the block B0.
[Step S24] The process of block B1 is started. As the reference vector of the block of interest B1, predicted motion vectors of three reference blocks B0, B3 [n] and B2 [n + 1] are read from the block memory and the horizontal column memory of each block.
[Step S25] The motion prediction processing of the block of interest B1 is performed, the median of the read reference vectors is calculated, and the predicted motion vector of the block B1 is obtained.
[Step S26] In the subsequent processing, the predicted motion vector of the block B1 serving as a reference vector is written to one block memory B1 of the block B1.
[0070]
The processing proceeds to the processing in FIG. 15 via the point B.
[Step S27] The process of block B2 is started. As the reference vector of the block of interest B2, prediction motion vectors of three reference blocks B3 [n-1], B0, and B1 are read from the block memory and the horizontal column memory of each block.
[Step S28] The motion prediction processing of the block of interest B2 is performed, the median of the read reference vectors is calculated, and the predicted motion vector of the block B2 is obtained.
[Step S29] The predicted motion vector of the block B2 serving as a reference vector in the subsequent processing is written to B2 [n] of the horizontal column memory of the block B2.
[Step S30] The process of block B3 is started. As the reference vector of the block of interest B3, predicted motion vectors of three reference blocks B2 [n], B0, and B1 are read from the block memory and the horizontal column memory of each block.
[Step S31] The motion prediction processing of the block of interest B3 is performed, the median of the read reference vectors is calculated, and the predicted motion vector of the block B3 is obtained.
[Step S32] The predicted motion vector of the block B3 serving as a reference vector in the subsequent processing is written to B3 [n] of the horizontal column memory of the block B3.
[0071]
Note that the case of the INTER4V inverse prediction is the same as the case of the INTER4V prediction process, except that the motion prediction process in the above procedure is the motion inverse prediction process, and thus the description is omitted.
[0072]
As described above, according to the image encoding method and the image decoding method of the second embodiment of the present invention, the memory capacity used in the INTER4V prediction process and the inverse prediction process is further reduced as compared with the first embodiment. can do.
[0073]
In the above description, MPEG4 INTER4V prediction and inverse prediction have been described as examples, but the present invention is not limited to this, and generates the next prediction value by referring to the prediction value calculated in the previous processing. It can be applied in image signal processing.
[0074]
Note that the above processing functions can be realized by a computer. In that case, a program is provided that describes the processing contents of the functions that the image encoding device and the image decoding device should have. By executing the program on a computer, the above processing functions are realized on the computer. The program describing the processing content can be recorded on a computer-readable recording medium. The computer that executes the program stores, for example, the program recorded on the portable recording medium or the program transferred from the server computer in its own storage device. Then, the computer reads the program from its own storage device and executes processing according to the program.
[0075]
【The invention's effect】
As described above, the image coding apparatus according to the present invention performs prediction using the prediction value calculated for the reference block defined according to the target block to be predicted. At this time, an area capable of storing a required prediction value for the reference block is secured as a storage unit for holding the predicted value to be referenced, based on a rule for determining the reference block. As described above, since it is sufficient that the predicted value of the reference block required for the prediction based on the rule is secured, the storage area required for the prediction process can be reduced. Further, since the storage area can be reduced, it is possible to realize an image encoding device with a small circuit size and low power consumption.
[0076]
Further, the image decoding apparatus of the present invention performs inverse prediction on the coded image signal generated by the above-described image coding apparatus, using the reverse prediction value of the reference block defined in the same manner. For this reason, the storage area of the reference block including the inverse prediction value to be referred to is configured in the same manner as the image encoding device. As a result, it is possible to reduce the storage area required for the inverse prediction processing, and to realize an image decoding device with a small circuit size and low power consumption.
[0077]
Further, in the image encoding method of the present invention, the prediction value of the target block is calculated using the prediction value of the reference block defined according to the target block of the prediction target, and the calculated prediction value corresponds to the target block. Store in the predicted value storage area. This is referred to in the target block of the subsequent processing. As described above, the storage area for the reference block required in the prediction processing is secured, and the prediction processing is performed using the storage area. The calculated prediction value is stored in this storage area and referred to in the subsequent target block. . This makes it possible to reduce the storage area required for the prediction processing.
[0078]
Further, in the image decoding method of the present invention, the inverse prediction value of the block of interest is calculated using the inverse prediction value of the reference block defined in the same manner as the image encoded signal generated by the image encoding method, The calculated predicted value is stored in the inverse predicted value storage area corresponding to the block of interest. This is referred to in the target block of the subsequent processing. As described above, a storage area for the reference block required in the inverse prediction processing is secured, and the prediction processing is performed using the reserved area. The calculated inverse prediction value is stored in this storage area, refer. This makes it possible to reduce the storage area required for the inverse prediction processing.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of an image encoding device according to an embodiment of the present invention.
FIG. 2 is a configuration diagram of an image decoding device according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating a motion vector referred to in an INTER4V prediction process.
FIG. 4 is a configuration diagram of a motion vector storage area according to the first embodiment of this invention.
FIG. 5 is a diagram illustrating a method of managing a motion vector memory according to the first embodiment of this invention.
FIG. 6 is a diagram illustrating an operation of a motion vector prediction process (block 0, block 1) in the image encoding device according to the first embodiment of the present invention.
FIG. 7 is a diagram illustrating an operation of a motion vector prediction process (block 2, block 3) in the image encoding device according to the first embodiment of the present invention.
FIG. 8 is a flowchart showing a processing procedure of a motion vector prediction method (
FIG. 9 is a flowchart illustrating a processing procedure of a motion vector prediction method (
FIG. 10 is a diagram illustrating a relationship between a target block and a reference block according to the embodiment of the present invention.
FIG. 11 is a configuration diagram of a motion vector storage area according to the second embodiment of this invention;
FIG. 12 is a diagram illustrating an operation of a motion vector prediction process (block 0, block 1) in the image encoding device according to the second embodiment of the present invention.
FIG. 13 is a diagram illustrating an operation of a motion vector prediction process (block 2, block 3) in the image encoding device according to the second embodiment of the present invention.
FIG. 14 is a flowchart illustrating a processing procedure of a motion vector prediction method (
FIG. 15 is a flowchart illustrating a processing procedure of a motion vector prediction method (
FIG. 16 is a diagram showing a memory configuration used in INTER4V prediction processing.
[Explanation of symbols]
DESCRIPTION OF
Claims (8)
予測対象となる注目ブロックに応じて規定される参照ブロックについて算出されている予測値を参照値として抽出し、抽出された前記予測値に基づいて前記注目ブロックの予測値を算出する予測手段と、
前記予測手段において参照される前記予測値を規定に応じて必要となる前記参照ブロック分格納する予測値記憶手段と、
を具備することを特徴とする画像符号化装置。In an image encoding apparatus that divides the entire image into predetermined blocks and performs prediction processing for each of the blocks to perform encoding,
A prediction unit that extracts a prediction value calculated for a reference block defined according to a target block to be predicted as a reference value, and calculates a prediction value of the target block based on the extracted prediction value;
A prediction value storage unit that stores the prediction value referred to in the prediction unit for the reference block that is required according to a rule,
An image encoding device comprising:
前記予測値記憶手段は、前記輝度成分ブロックごとの予測動きベクトルを前記輝度成分ブロックごとに1水平列分記憶する領域を有することを特徴とする請求項1記載の画像符号化装置。The prediction unit is included in a unit that performs motion compensation using motion vectors corresponding to four luminance component blocks constituting the block, and includes a prediction motion vector of a reference luminance component block defined according to the luminance component block. To generate a predicted motion vector of the target luminance component block,
2. The image coding apparatus according to claim 1, wherein the predicted value storage unit has an area for storing a predicted motion vector for each luminance component block for one horizontal column for each luminance component block.
前記予測値記憶手段は、前記予測手段において前記注目ブロックおよび隣接する1つの前記ブロックのみが参照される前記輝度成分ブロックについて前記1つの輝度成分ブロックの前記予測動きベクトルを記憶する領域と、前記注目ブロックおよび隣接する複数の前記ブロックが参照される前記輝度成分ブロックについて前記輝度成分ブロックの前記予測動きベクトルを1水平列分記憶する領域と、から構成されることを特徴とする請求項1記載の画像符号化装置。The prediction unit is included in a unit that performs motion compensation using motion vectors corresponding to four luminance component blocks constituting the block, and includes a prediction motion vector of a reference luminance component block defined according to the luminance component block. To generate a predicted motion vector of the target luminance component block,
The prediction value storage unit includes an area that stores the predicted motion vector of the one luminance component block for the luminance component block in which the prediction unit refers only to the target block and one adjacent block; 2. An area for storing the predicted motion vector of the luminance component block for one horizontal column with respect to the luminance component block to which a plurality of adjacent blocks are referred to. Image coding device.
逆予測対象となる注目ブロックに応じて規定される参照ブロックについて算出されている逆予測値を参照値として抽出し、抽出された前記逆予測値に基づいて前記注目ブロックの逆予測値を算出する逆予測手段と、
前記逆予測手段において参照される前記逆予測値を規定に応じて必要となる前記参照ブロック分格納する逆予測値記憶手段と、
を具備することを特徴とする画像復号装置。In an image decoding device that is divided into predetermined blocks and decodes an encoded image signal that has been subjected to prediction processing for each block and encoded,
An inverse prediction value calculated for a reference block defined according to the target block to be inverse predicted is extracted as a reference value, and an inverse prediction value of the target block is calculated based on the extracted inverse prediction value. Inverse prediction means;
An inverse prediction value storage unit that stores the inverse prediction value referred to in the inverse prediction unit for the reference block required according to a rule;
An image decoding device comprising:
前記逆予測値記憶手段は、前記輝度成分ブロックごとの逆予測動きベクトルを前記輝度成分ブロックごとに1水平列分記憶する領域を有することを特徴とする請求項4記載の画像復号装置。The inverse prediction means is included in a means for inversely transforming a signal motion-compensated using motion vectors corresponding to four luminance component blocks constituting the block, and includes a reference luminance defined according to the luminance component block. Using the inverse prediction motion vector of the component block to generate an inverse prediction motion vector of the luminance component block of interest,
The image decoding apparatus according to claim 4, wherein the inverse prediction value storage unit has an area for storing an inverse prediction motion vector for each luminance component block for one horizontal column for each luminance component block.
前記逆予測値記憶手段は、前記逆予測手段において前記注目ブロックおよび隣接する1つの前記ブロックのみが参照される前記輝度成分ブロックについて前記1つの輝度成分ブロックの前記逆予測動きベクトルを記憶する領域と、前記注目ブロックおよび隣接する複数の前記ブロックが参照される前記輝度成分ブロックについて前記輝度成分ブロックの前記逆予測動きベクトルを1水平列分記憶する領域と、から構成されることを特徴とする請求項4記載の画像復号装置。The inverse prediction means is included in a means for inversely transforming a signal motion-compensated using motion vectors corresponding to four luminance component blocks constituting the block, and includes a reference luminance defined according to the luminance component block. Using the inverse prediction motion vector of the component block to generate an inverse prediction motion vector of the luminance component block of interest,
The inverse prediction value storage means includes an area for storing the inverse prediction motion vector of the one luminance component block for the luminance component block in which only the target block and one adjacent block are referred to in the inverse prediction means. And an area for storing one inverse column of the inverse prediction motion vector of the luminance component block for the luminance component block to which the plurality of adjacent blocks are referred. Item 5. The image decoding device according to Item 4.
前記注目ブロックに応じて規定される参照ブロックについて算出されている予測値が規定に応じて参照される前記参照ブロック分格納されている予測値記憶手段から、前記規定に従って対象となる前記参照ブロックの予測値を抽出するステップと、
抽出された前記参照ブロックの予測値に基づいて前記注目ブロックについての予測値を算出するステップと、
算出された前記注目ブロックの予測値を前記注目ブロックに対応する前記予測値記憶手段の記憶領域に格納するステップと、
を有し、前記注目ブロックの値と算出された前記予測値との差分に基づいて符号化処理を行なうことを特徴とする画像符号化方法。In an image encoding method in which an entire image is divided into predetermined blocks, and a prediction process is performed for each of the blocks to perform encoding,
The predicted value calculated for the reference block defined according to the target block is calculated from the predicted value storage unit stored for the reference block referred to according to the definition. Extracting a predicted value;
Calculating a predicted value for the target block based on the extracted predicted value of the reference block;
Storing the calculated predicted value of the target block in a storage area of the predicted value storage unit corresponding to the target block;
And performing an encoding process based on a difference between the value of the block of interest and the calculated predicted value.
注目ブロックに応じて規定される参照ブロックの予測値から算出される前記注目ブロックの予測値と前記注目ブロックの値の差分が符号化された前記符号化画像信号を復号する際に、
前記注目ブロックに応じて規定される参照ブロックについて算出されている逆予測値が規定に従って参照される前記参照ブロック分格納されている予測値記憶手段から、前記規定に従って対象となる前記参照ブロックの逆予測値を抽出するステップと、
抽出された前記参照ブロックの逆予測値に基づいて前記注目ブロックの逆予測値を算出するステップと、
算出された前記注目ブロックの逆予測値を前記注目ブロックに対応する前記予測値記憶手段の記憶領域に格納するステップと、
を有し、前記符号化画像信号より得られる注目ブロックの値と予測値との差分と、前記注目ブロックの逆予測値とに基づいて復号処理を行なうことを特徴とする画像復号方法。In an image decoding method for decoding an encoded image signal divided into predetermined blocks and subjected to prediction processing for each of the blocks,
When decoding the encoded image signal in which the difference between the predicted value of the target block and the value of the target block calculated from the predicted value of the reference block defined according to the target block is encoded,
The inverse prediction value calculated for the reference block defined according to the block of interest is referred to according to the regulation. Extracting a predicted value;
Calculating an inverse prediction value of the block of interest based on the extracted inverse prediction value of the reference block;
Storing the calculated inverse prediction value of the target block in a storage area of the prediction value storage unit corresponding to the target block;
And performing a decoding process based on a difference between a value of the block of interest and a predicted value obtained from the encoded image signal and an inverse prediction value of the block of interest.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003062654A JP4155063B2 (en) | 2003-03-10 | 2003-03-10 | Image encoding device, image decoding device, image encoding method, and image decoding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003062654A JP4155063B2 (en) | 2003-03-10 | 2003-03-10 | Image encoding device, image decoding device, image encoding method, and image decoding method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004274411A true JP2004274411A (en) | 2004-09-30 |
JP4155063B2 JP4155063B2 (en) | 2008-09-24 |
Family
ID=33124460
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003062654A Expired - Fee Related JP4155063B2 (en) | 2003-03-10 | 2003-03-10 | Image encoding device, image decoding device, image encoding method, and image decoding method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4155063B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007006399A (en) * | 2005-06-27 | 2007-01-11 | Fujitsu Ltd | Apparatus for encoding or decoding dynamic image data utilizing motion vector |
US7876830B2 (en) | 2005-03-17 | 2011-01-25 | Renesas Electronics Corporation | Video encoder and decoder for achieving inter-and intra-frame predictions with reduced memory resource |
CN102934444A (en) * | 2010-04-06 | 2013-02-13 | 三星电子株式会社 | Method and apparatus for video encoding and method and apparatus for video decoding |
-
2003
- 2003-03-10 JP JP2003062654A patent/JP4155063B2/en not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7876830B2 (en) | 2005-03-17 | 2011-01-25 | Renesas Electronics Corporation | Video encoder and decoder for achieving inter-and intra-frame predictions with reduced memory resource |
JP2007006399A (en) * | 2005-06-27 | 2007-01-11 | Fujitsu Ltd | Apparatus for encoding or decoding dynamic image data utilizing motion vector |
JP4519723B2 (en) * | 2005-06-27 | 2010-08-04 | 富士通セミコンダクター株式会社 | Encoding or decoding apparatus for moving image data using motion vectors |
CN102934444A (en) * | 2010-04-06 | 2013-02-13 | 三星电子株式会社 | Method and apparatus for video encoding and method and apparatus for video decoding |
Also Published As
Publication number | Publication date |
---|---|
JP4155063B2 (en) | 2008-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4927207B2 (en) | Encoding method, decoding method and apparatus | |
US20080187044A1 (en) | Method and apparatus for encoding and decoding based on inter prediction | |
JP5090158B2 (en) | VIDEO INFORMATION RECORDING DEVICE, VIDEO INFORMATION RECORDING METHOD, VIDEO INFORMATION RECORDING PROGRAM, AND RECORDING MEDIUM CONTAINING VIDEO INFORMATION RECORDING PROGRAM | |
JP2001292451A (en) | Moving picture signal compression device and method | |
KR101147744B1 (en) | Method and Apparatus of video transcoding and PVR of using the same | |
US9113174B2 (en) | Predictive coding apparatus, control method thereof, and computer program | |
US20110032988A1 (en) | Transcoder, method of transcoding, and digital recorder | |
JP2003116104A (en) | Information processing apparatus and information processing method | |
JP2009267689A (en) | Moving image coding device, and moving image coding method | |
US20070133689A1 (en) | Low-cost motion estimation apparatus and method thereof | |
KR100968371B1 (en) | Method and Apparatus of Decoding Image | |
US8699576B2 (en) | Method of and apparatus for estimating motion vector based on sizes of neighboring partitions, encoder, decoding, and decoding method | |
JP2003304538A (en) | Image encoder, image decoder, and method for them | |
US6271774B1 (en) | Picture data processor, picture data decoder and picture data encoder, and methods thereof | |
JP2010081498A (en) | Image compression coding method and apparatus | |
KR100364748B1 (en) | Apparatus for transcoding video | |
JP2002199392A (en) | Method and device for encoding image | |
JP2006246277A (en) | Re-encoding apparatus, re-encoding method, and re-encoding program | |
KR20050112587A (en) | Video encoding and decoding apparatus, and method thereof | |
JP4155063B2 (en) | Image encoding device, image decoding device, image encoding method, and image decoding method | |
JP2002058032A (en) | Apparatus and method for encoding image, apparatus and method for decoding image as well as image processor | |
JP2004120415A (en) | Device and method for converting moving picture data stream | |
JP5401909B2 (en) | Transcoding device and transcoding method | |
JP4747109B2 (en) | Calculation amount adjustment device | |
JP2006295502A (en) | Reencoding apparatus, re-encoding method and program for re-encoding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060308 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080318 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080617 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080630 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |