JP2007295333A - 画像復号処理回路及び方法及びプログラム、並びに半導体集積回路 - Google Patents
画像復号処理回路及び方法及びプログラム、並びに半導体集積回路 Download PDFInfo
- Publication number
- JP2007295333A JP2007295333A JP2006121555A JP2006121555A JP2007295333A JP 2007295333 A JP2007295333 A JP 2007295333A JP 2006121555 A JP2006121555 A JP 2006121555A JP 2006121555 A JP2006121555 A JP 2006121555A JP 2007295333 A JP2007295333 A JP 2007295333A
- Authority
- JP
- Japan
- Prior art keywords
- image
- target block
- decoding
- decoding target
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】コストの低減及び復号速度の向上が可能な画像復号処理回路を提供する。
【解決手段】この画像復号処理回路1は、可逆復号器2と、逆量子化器3と、IDCT器4と、加算器5と、デブロックフィルタ6と、フレームメモリ7と、動き予測補償器8とを有する。可逆復号器2は、入力データに可変長復号処理を施す。逆量子化器3は、変換係数を逆量子化する。IDCT器4は、変換係数にIDCT処理を施して差分画像を生成し記録部10に記録する。さらに、IDCT器4は、復号対象ブロックに隣接する幾つかの画素の中のイントラ予測モードに応じた幾つかの画素をフレームメモリ7から読み出して予測画像を生成し、生成した予測画像を記録部10に記録されている差分画像に加算する。加算器5は、再生画像をそのままデブロックフィルタ6に供給する。デブロックフィルタ6は、デブロックフィルタリング処理を施す。
【選択図】図1
【解決手段】この画像復号処理回路1は、可逆復号器2と、逆量子化器3と、IDCT器4と、加算器5と、デブロックフィルタ6と、フレームメモリ7と、動き予測補償器8とを有する。可逆復号器2は、入力データに可変長復号処理を施す。逆量子化器3は、変換係数を逆量子化する。IDCT器4は、変換係数にIDCT処理を施して差分画像を生成し記録部10に記録する。さらに、IDCT器4は、復号対象ブロックに隣接する幾つかの画素の中のイントラ予測モードに応じた幾つかの画素をフレームメモリ7から読み出して予測画像を生成し、生成した予測画像を記録部10に記録されている差分画像に加算する。加算器5は、再生画像をそのままデブロックフィルタ6に供給する。デブロックフィルタ6は、デブロックフィルタリング処理を施す。
【選択図】図1
Description
本発明は、1つのフレームを複数のブロックに分割しブロック単位で直交変換を施した画像圧縮情報に逆直交変換を施して復号する画像復号処理回路、及びそのような画像復号処理回路を具備する半導体集積回路に関する。さらに、本発明は、そのような画像復号処理方法及び画像復号処理プログラムに関する。
近年、放送、ネットワークを介して画像データを送受信したり、画像データを蓄積したりすることが広く行なわれるようになってきている。その際、効率の高い情報の伝送、蓄積を目的として、画像データの符号化が行われている。このような画像データの符号化の一例として、ITU−T勧告の国際標準規格であるH.264動画像符号化方式(以下、「H.264」という)が用いられている。なお、H.264は、ISO/IEC 14496−10(MPEG−4 AVC)と同等である。
H.264ではイントラ予測が採用されており、イントラ予測のブロックのサイズとしては、4×4画素、8×8画素、16×16画素の3通りがある。ブロックとしてどのサイズが利用されるかは、成分(輝度(Y)、色差(Cb,Cr))とプロファイルによって定まる。
図3(a)及び図4は、4×4画素のブロックのイントラ予測の概要を示す図である。
図3(a)において、処理対象ブロックY1の左斜め上方に隣接するブロックをブロックX0とし、同様に上側に隣接するブロックをブロックX1とし、右斜め上方に隣接するブロックをブロックX2とし、左側に隣接するブロックをブロックX3とする。また、ブロックX1の最下行にある再生画素を左から順にA,B,C,Dとし、ブロックX2の最下行にある再生画素を左から順にE,F,G,Hとし、ブロックX3の最右列にある再生画素を上から順にI,J,K,Lとする。また、ブロックX0の右下隅にある再生画素をMとする。さらに、処理対象ブロックY1における予測画像の画素をラスタ走査順にa,b,c,d,e,f,g,h,i,j,k,l,m,n,o,pとする。
図3(a)において、処理対象ブロックY1の左斜め上方に隣接するブロックをブロックX0とし、同様に上側に隣接するブロックをブロックX1とし、右斜め上方に隣接するブロックをブロックX2とし、左側に隣接するブロックをブロックX3とする。また、ブロックX1の最下行にある再生画素を左から順にA,B,C,Dとし、ブロックX2の最下行にある再生画素を左から順にE,F,G,Hとし、ブロックX3の最右列にある再生画素を上から順にI,J,K,Lとする。また、ブロックX0の右下隅にある再生画素をMとする。さらに、処理対象ブロックY1における予測画像の画素をラスタ走査順にa,b,c,d,e,f,g,h,i,j,k,l,m,n,o,pとする。
次に、図4を参照して、4×4画素ブロック符号化モードにおける9種類の予測モード0〜8について説明する。
図4(a)に示す予測モード0は、処理対象ブロックの上側に隣接する4個の再生画素A,B,C,Dを下方向にコピーすることにより予測画像を生成するモードである。
図4(a)に示す予測モード0は、処理対象ブロックの上側に隣接する4個の再生画素A,B,C,Dを下方向にコピーすることにより予測画像を生成するモードである。
図4(b)に示す予測モード1は、処理対象ブロックの左側に隣接する4個の再生画素I,J,K,Lを右方向にコピーすることにより予測画像を生成するモードである。
図4(c)に示す予測モード2は、周辺画素A〜D及び/又はI〜Lの平均値を利用することにより予測画像を生成するモードである。
図4(c)に示す予測モード2は、周辺画素A〜D及び/又はI〜Lの平均値を利用することにより予測画像を生成するモードである。
図4(d)に示す予測モード3は、処理対象ブロックの上側及び右斜め上方に隣接する画素A〜Hを左斜め下方向に、直線的に伸長することにより予測画像を生成するモードである。
図4(e)に示す予測モード4は、処理対象ブロックの左側、左斜め上方、及び、上側に隣接する画素A〜D、I〜L、及び、Mを右斜め下方向に、直線的に伸長することにより予測画像を生成するモードである。
図4(e)に示す予測モード4は、処理対象ブロックの左側、左斜め上方、及び、上側に隣接する画素A〜D、I〜L、及び、Mを右斜め下方向に、直線的に伸長することにより予測画像を生成するモードである。
図4(f)に示す予測モード5は、処理対象ブロックの左側、左斜め上方、及び、上側に隣接する画素A〜D、I〜K、及び、Mを下方右側に、直線的に伸長することにより予測画像を生成するモードである。
図4(g)に示す予測モード6は、処理対象ブロックの左側、左斜め上方、及び、上側に隣接する画素A〜C、I〜L、及び、Mを右方下側に、直線的に伸長することにより予測画像を生成するモードである。
図4(g)に示す予測モード6は、処理対象ブロックの左側、左斜め上方、及び、上側に隣接する画素A〜C、I〜L、及び、Mを右方下側に、直線的に伸長することにより予測画像を生成するモードである。
図4(h)に示す予測モード7は、処理対象ブロックの上側及び右斜め上方に隣接する画素A〜Gを下方左側に、直線的に伸長することにより予測画像を生成するモードである。
図4(i)に示す予測モード8は、処理対象ブロックの左側に隣接する画素I〜Lを右方上側に、直線的に伸長することにより予測画像を生成するモードである。
図4(i)に示す予測モード8は、処理対象ブロックの左側に隣接する画素I〜Lを右方上側に、直線的に伸長することにより予測画像を生成するモードである。
このように、4×4画素のブロックのイントラ予測においては、処理対象ブロックY1に隣接する13個の再生画素A〜Mの中の予測モードに応じた幾つかの再生画素が用いられる。これらの予測モードの詳細については、H.264の規格書のほか、下記の特許文献1にも掲載されている。
なお、8×8画素のブロックのイントラ予測においては、図3(b)に示すように、処理対象ブロックY2の左斜め上方に隣接するブロックX4の右下隅の再生画素、処理対象ブロックY2の上側に隣接するブロックX5の最下行にある8個の再生画素、及び、処理対象ブロックY2の左側に隣接するブロックX6の最右列にある8個の再生画素の計17個の再生画素(図3(b)中においてハッチングが施されている)の中の予測モードに応じた幾つかの再生画素が用いられる。
また、16×16画素のブロックのイントラ予測においては、図5に示すように、処理対象ブロックY3の左斜め上方に隣接するブロックX7の右下隅の再生画素、処理対象ブロックY3の上側に隣接するブロックX8の最下行にある16個の再生画素、及び、処理対象ブロックY3の左側に隣接するブロックX9の最右列にある16個の再生画素の計33個の再生画素(図5中においてハッチングが施されている)の中の予測モードに応じた幾つかの再生画素が用いられる。
図6は、H.264に従って符号化された画像データを復号化するための従来の画像復号処理回路の例を示す図である。なお、このような画像復号処理回路の例は、下記の特許文献2にも掲載されている。
また、ここでは、ブロックサイズを4×4画素とする。
また、ここでは、ブロックサイズを4×4画素とする。
図6に示すように、この画像復号処理回路21は、可逆復号器22と、逆量子化器23と、IDCT(逆離散コサイン変換)器24と、加算器25と、デブロックフィルタ26と、フレームメモリ27と、動き予測補償器28と、イントラ予測器29とを有している。IDCT器24は、4×4画素のブロックを一時記録するための記録部(内部メモリ、レジスタ等)31を有している。また、イントラ予測器29は、4×4画素のブロックを一時記録するための記録部(内部メモリ、レジスタ等)32を有している。
可逆復号器22は、入力されるデータに対して可変長復号又は算術復号等の処理を施し、量子化された変換係数を逆量子化器23に供給する。また、可逆復号器22は、復号対象ブロックがフレーム間予測符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き予測補償器28に供給する。さらに、可逆復号器22は、復号対象ブロックがイントラ予測符号化されたものである場合には、画像圧縮情報のヘッダ部に格納されたイントラ予測モードについても復号し、その情報をイントラ予測器29に供給する。
逆量子化器23は、可逆復号器22から供給された量子化後の変換係数を逆量子化し、変換係数をIDCT器24に供給する。IDCT器24は、定められた画像圧縮情報のフォーマットに基づき、変換係数に対してIDCT処理を施し、IDCT処理の結果として得られた4×4画素のデータを記録部31に記録する。
ここで、復号対象ブロックがフレーム間予測符号化されたものである場合には、動き予測補償器28は、可逆復号処理が施された動きベクトル情報とフレームメモリ27に格納された画像情報とに基づいて参照画像を生成し、加算器25に供給する。加算器25は、この参照画像とIDCT器24の出力とを加算して、デブロックフィルタ26に供給する。
デブロックフィルタ26は、加算器25から供給される再生画像(ブロック)に対して、隣接する画像(ブロック)との境界における歪みを低減するデブロックフィルタリング処理を施して、フレームメモリ27に格納するとともに、外部に出力する。フレームメモリ27に格納された再生画像(ブロック)は、他のブロックの動き予測及びイントラ予測に使用される。
デブロックフィルタ26は、加算器25から供給される再生画像(ブロック)に対して、隣接する画像(ブロック)との境界における歪みを低減するデブロックフィルタリング処理を施して、フレームメモリ27に格納するとともに、外部に出力する。フレームメモリ27に格納された再生画像(ブロック)は、他のブロックの動き予測及びイントラ予測に使用される。
次に、復号対象ブロックがイントラ予測符号化されたものである場合における画像復号処理回路21の処理について、図7を参照しながら詳細に説明する。
図7は、復号対象ブロックがイントラ予測符号化されたものである場合における画像復号処理回路21の処理を示すフローチャートである。
図7は、復号対象ブロックがイントラ予測符号化されたものである場合における画像復号処理回路21の処理を示すフローチャートである。
まず、可逆復号器22が、入力されるデータに対して可変長復号等の処理を施し、量子化された変換係数を逆量子化器23に供給する。また、可逆復号器22は、画像圧縮情報のヘッダ部に格納されたイントラ予測モードについても復号し、その情報をイントラ予測器29に供給する(ステップS11)。
次に、イントラ予測器29が、可逆復号器22において可逆復号処理が施されたイントラ予測モードに従って、復号対象ブロックに隣接する13個の再生画素の中の予測モードに応じた幾つかの再生画素をフレームメモリ27から読み出して予測画像を生成し、生成した予測画像を記録部32に記録する。そして、イントラ予測器29は、記録部32に記録されている予測画像を加算器25に供給する(ステップS12)。
一方、逆量子化器23は、可逆復号器22から供給された量子化後の変換係数を逆量子化し、変換係数をIDCT器24に供給する(ステップS13)。
次に、IDCT器24が、定められた画像圧縮情報のフォーマットに基づき、変換係数に対してIDCT処理を施して差分画像を生成し、差分画像を記録部31に記録する。そして、IDCT器24は、記録部31に記録されている予測画像を加算器25に供給する(ステップS14)。
次に、IDCT器24が、定められた画像圧縮情報のフォーマットに基づき、変換係数に対してIDCT処理を施して差分画像を生成し、差分画像を記録部31に記録する。そして、IDCT器24は、記録部31に記録されている予測画像を加算器25に供給する(ステップS14)。
次に、加算器25が、イントラ予測器29から供給されるイントラ予測画像とIDCT器24から供給される差分画像とを加算して、デブロックフィルタ26に供給する(ステップS15)。
そして、デブロックフィルタ26が、加算器25から供給される画像に対して、デブロックフィルタリング処理を施して、フレームメモリ27に格納するとともに、外部に出力する(ステップS16)。
そして、デブロックフィルタ26が、加算器25から供給される画像に対して、デブロックフィルタリング処理を施して、フレームメモリ27に格納するとともに、外部に出力する(ステップS16)。
上記のようにイントラ予測復号を行う場合に、IDCT器24は、差分画像(4×4画素)を一時記録するために16画素分の記録容量を有する記録部31を必要とするが、これとは別に、イントラ予測器29が、予測画像(4×4画素)を一時記録するために16画素分の記録容量を有する記録部32を必要とする。すなわち、従来の画像復号回路21には、ハードウェア量が多いという問題があった。
また、上記においてはブロックのサイズが4×4画素である場合について説明したが、ブロックのサイズが8×8画素である場合には、IDCT器24は、差分画像(8×8画素)を一時記録するために64画素分の記録容量を有する記録部を必要とするが、これとは別に、イントラ予測器29が、予測画像(8×8画素)を一時記録するために64画素分の記録容量を有する記録部をさらに必要とする。すなわち、従来の画像復号回路21には、ハードウェア量が多いという問題があった。
さらに、ブロックのサイズが16×16画素である場合には、IDCT器24は、差分画像(16×16画素)を一時記録するために256画素分の記録容量を有する記録部を必要とするが、これとは別に、イントラ予測器29が、予測画像(16×16画素)を一時記録するために256画素分の記録容量を有する記録部を必要とする。すなわち、従来の画像復号回路21には、ハードウェア量が多いという問題があった。
ところで、再び図3(a)を参照すると、ブロックのサイズが4×4画素である場合、イントラ予測器29は、復号対象ブロックY1のイントラ予測処理を行うために、復号対象ブロックY1に隣接する13個の再生画素A〜Mの中の予測モードに応じた幾つかの再生画素をフレームメモリ27から読み出す。そして、イントラ予測器29は、生成した予測画像(4×4画素)を加算器25に供給する(図7のステップS12参照)。
すなわち、1つの復号対象ブロックのイントラ予測復号を行うために、予測モードに応じた幾つかの画素データの転送がフレームメモリ27〜イントラ予測器29の間で行われ、さらに、予測画像を構成する4×4個の画素データの転送がイントラ予測器29〜加算器25の間で行われる。
すなわち、1つの復号対象ブロックのイントラ予測復号を行うために、予測モードに応じた幾つかの画素データの転送がフレームメモリ27〜イントラ予測器29の間で行われ、さらに、予測画像を構成する4×4個の画素データの転送がイントラ予測器29〜加算器25の間で行われる。
ブロックのサイズが8×8画素又は16×16画素の場合には、更に多くの画素データの転送が、イントラ予測器29〜加算器25の間で行われることになる。
このようなイントラ予測器29〜加算器25の間のデータ転送が、復号速度の低下を招いているという問題があった。
このようなイントラ予測器29〜加算器25の間のデータ転送が、復号速度の低下を招いているという問題があった。
図6に示す可逆復号器22、逆量子化器23、IDCT器24、加算器25、デブロックフィルタ26、動き予測補償器28、及び、イントラ予測器29をCPUとプログラム(ソフトウェア)で実現することも行われている。この場合、CPUとプログラムで実現されるイントラ予測器29からCPUとプログラムで実現される加算器25への予測画像(4×4画素)の転送は、外部メモリ(DRAM、SRAM等)のヒープ領域(ワークエリア)を介して実現されていた。すなわち、イントラ予測器29(CPU)〜ヒープ領域(外部メモリ)の間で16個の画素データの転送が行われ、さらに、ヒープ領域(外部メモリ)〜加算器25(CPU)の間で16個の画素データの転送が行われる。
ブロックのサイズが8×8画素又は16×16画素の場合には、更に多くの画素データの転送が、イントラ予測器29(CPU)〜ヒープ領域(外部メモリ)〜加算器25(CPU)の経路で行われることになる。
このようなイントラ予測器29(CPU)〜ヒープ領域(外部メモリ)〜加算器25(CPU)の経路のデータ転送が、復号速度の低下を招いているという問題があった。
このようなイントラ予測器29(CPU)〜ヒープ領域(外部メモリ)〜加算器25(CPU)の経路のデータ転送が、復号速度の低下を招いているという問題があった。
そこで、上記の点に鑑み、本発明は、ハードウェア量を低減することができるとともに、データ転送量を低減することができる画像復号処理回路を提供することを第1の目的とする。また、本発明は、そのような画像復号処理回路を具備する半導体集積回路を提供することを第2の目的とする。また、本発明は、そのような画像復号処理方法を提供することを第3の目的とする。また、本発明は、そのような画像復号処理プログラムを提供することを第4の目的とする。
上記の課題を解決するため、本発明に係る画像復号処理回路は、1つのフレームを複数のブロックに分割しブロック単位で直交変換を施すことにより生成された画像圧縮情報に逆直交変換を施して復号する画像復号処理回路であって、画像圧縮情報に逆直交変換を施して得られた画像を記録するための記録手段を具備し、復号対象ブロックが復号対象ブロックの周囲に位置する複数の画素に基づいてイントラ予測符号化されている場合に、復号対象ブロックの画像圧縮情報に逆直交変換を施して差分画像を生成し、生成した差分画像を記録手段に記録し、復号対象ブロックの周囲に位置する複数の画素に基づいてイントラ予測画像を生成し、生成したイントラ予測画像を記録手段に記録されている差分画像に加算することにより、復号対象ブロックの再生画像を記録手段において生成することを特徴とする。
また、上記の課題を解決するため、本発明に係る半導体集積回路は、上記画像復号処理回路を具備する。
また、上記の課題を解決するため、本発明に係る画像復号処理方法は、1つのフレームを複数のブロックに分割しブロック単位で直交変換を施すことにより生成された画像圧縮情報に逆直交変換を施して復号する画像復号処理方法であって、復号対象ブロックが復号対象ブロックの周囲に位置する複数の画素に基づいてイントラ予測符号化されている場合に、復号対象ブロックの画像圧縮情報に逆直交変換を施して差分画像を生成するステップ(a)と、ステップ(a)にて生成した差分画像を記録手段に記録するステップ(b)と、復号対象ブロックの周囲に位置する複数の画素に基づいてイントラ予測画像を生成するステップ(d)と、ステップ(d)にて生成したイントラ予測画像を記録手段に記録されている差分画像に加算することにより、復号対象ブロックの再生画像を記録手段において生成するステップ(e)とを具備する。
また、上記の課題を解決するため、本発明に係る画像復号処理プログラムは、1つのフレームを複数のブロックに分割しブロック単位で直交変換を施すことにより生成された画像圧縮情報に逆直交変換を施して復号するためにCPUに実行させるための画像復号処理プログラムであって、復号対象ブロックが復号対象ブロックの周囲に位置する複数の画素に基づいてイントラ予測符号化されている場合に、復号対象ブロックの画像圧縮情報に逆直交変換を施して差分画像を生成する手順(a)と、手順(a)にて生成した差分画像をCPU内部の記録手段に記録する手順(b)と、復号対象ブロックの周囲に位置する複数の画素に基づいてイントラ予測画像を生成する手順(d)と、手順(d)にて生成したイントラ予測画像を記録手段に記録されている差分画像に加算することにより、復号対象ブロックの再生画像を記録手段において生成する手順(e)とをCPUに実行させる。
本発明によれば、イントラ予測画像を一時記録するための記録手段を不要とすることができる。これにより、ハードウェア量を低減し、コストを低減することが可能となる。また、本発明によれば、イントラ予測画像の転送を不要とすることができる。これにより、復号速度を向上させることが可能となる。
以下、図面を参照しながら、本発明の実施の形態について説明する。なお、同一の構成要素については、同一の参照番号で示している。
なお、本実施形態においては、入力される画像データがH.264に従って圧縮されているものとし、さらに、ブロックサイズが4×4画素であるものとして説明するが、他の画像圧縮方式や他のブロックサイズの場合にも本発明を適用可能である。
なお、本実施形態においては、入力される画像データがH.264に従って圧縮されているものとし、さらに、ブロックサイズが4×4画素であるものとして説明するが、他の画像圧縮方式や他のブロックサイズの場合にも本発明を適用可能である。
図1は、本発明の一実施形態に係る画像復号処理回路の回路構成の概要を示す図である。この画像復号処理回路1は、可逆復号器2と、逆量子化器3と、IDCT(逆離散コサイン変換)器4と、加算器5と、デブロックフィルタ6と、フレームメモリ7と、動き予測補償器8とを有している。IDCT器24は、4×4画素のブロックを一時記録するための記録部(内部メモリ、レジスタ等)10を有している。なお、画像復号処理回路1を半導体集積回路として実現することとしても良い。
画像復号処理回路1の詳細については後に説明するが、ここで、画像復号処理回路1と従来の画像復号処理回路21との構成上の差異について簡単に説明する。従来の画像復号処理回路21は、イントラ予測処理を実行するためのイントラ予測器29を有している。これに対し、画像復号処理回路1においては、後に説明するように、IDCT器4が、IDCT処理に加えてイントラ予測処理をも実行する。そのため、画像復号処理回路1は、イントラ予測器を有していない。
次に、画像復号処理回路1の詳細について説明する。
可逆復号器2は、入力されるデータに対して可変長復号又は算術復号等の処理を施し、量子化された変換係数を逆量子化器3に供給する。また、可逆復号器2は、復号対象ブロックがフレーム間予測符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き予測補償器8に供給する。さらに、可逆復号器2は、復号対象ブロックがイントラ予測符号化されたものである場合には、画像圧縮情報のヘッダ部に格納されたイントラ予測モードについても復号し、その情報をIDCT器4に供給する。
可逆復号器2は、入力されるデータに対して可変長復号又は算術復号等の処理を施し、量子化された変換係数を逆量子化器3に供給する。また、可逆復号器2は、復号対象ブロックがフレーム間予測符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き予測補償器8に供給する。さらに、可逆復号器2は、復号対象ブロックがイントラ予測符号化されたものである場合には、画像圧縮情報のヘッダ部に格納されたイントラ予測モードについても復号し、その情報をIDCT器4に供給する。
逆量子化器3は、可逆復号器2から供給された量子化後の変換係数を逆量子化し、変換係数をIDCT器4に供給する。IDCT器4は、定められた画像圧縮情報のフォーマットに基づき、変換係数に対してIDCT処理を施し、IDCT処理の結果として得られた4×4画素のデータを記録部10に記録する。
ここで、復号対象ブロックがフレーム間予測符号化されたものである場合には、動き予測補償器8は、可逆復号処理が施された動きベクトル情報とフレームメモリ7に格納された画像情報とに基づいて参照画像を生成し、加算器5に供給する。加算器5は、この参照画像とIDCT器4の出力とを加算して、デブロックフィルタ6に供給する。
デブロックフィルタ6は、加算器5から供給される再生画像(ブロック)に対して、隣接する画像(ブロック)との境界における歪みを低減するデブロックフィルタリング処理を施して、フレームメモリ7に格納するとともに、外部に出力する。フレームメモリ7に格納された再生画像(ブロック)は、他のブロックの動き予測及びイントラ予測に使用される。
デブロックフィルタ6は、加算器5から供給される再生画像(ブロック)に対して、隣接する画像(ブロック)との境界における歪みを低減するデブロックフィルタリング処理を施して、フレームメモリ7に格納するとともに、外部に出力する。フレームメモリ7に格納された再生画像(ブロック)は、他のブロックの動き予測及びイントラ予測に使用される。
次に、復号対象ブロックがイントラ予測符号化されたものである場合における画像復号処理回路1の処理について、図2を参照しながら詳細に説明する。
図2は、復号対象ブロックがイントラ予測符号化されたものである場合における画像復号処理回路1の処理を示すフローチャートである。
図2は、復号対象ブロックがイントラ予測符号化されたものである場合における画像復号処理回路1の処理を示すフローチャートである。
まず、可逆復号器2が、入力されるデータに対して可変長復号等の処理を施し、量子化された変換係数を逆量子化器3に供給する。また、可逆復号器2は、画像圧縮情報のヘッダ部に格納されたイントラ予測モードについても復号し、その情報をIDCT器4に供給する(ステップS1)。
次に、逆量子化器3が、可逆復号器2から供給された量子化後の変換係数を逆量子化し、変換係数をIDCT器4に供給する(ステップS2)。
次に、逆量子化器3が、可逆復号器2から供給された量子化後の変換係数を逆量子化し、変換係数をIDCT器4に供給する(ステップS2)。
次に、IDCT器4が、定められた画像圧縮情報のフォーマットに基づき、変換係数に対してIDCT処理を施して差分画像(4×4画素)を生成し、差分画像を記録部10に記録する。さらに、IDCT器4は、可逆復号器2において可逆復号処理が施されたイントラ予測モードに従って、復号対象ブロックに隣接する13個の再生画素の中の予測モードに応じた幾つかの再生画素(図3(a)及び図4参照)をフレームメモリ7から読み出して予測画像を生成し、生成した予測画像を記録部10に記録されている差分画像に加算する。これにより、記録部10には、差分画像と予測画像とを加算した再生画像が記録されていることとなる。そして、IDCT器4は、記録部10に記録されている再生画像を加算器5に供給する(ステップS3)。このイントラ予測復号処理の場合、加算器5は、IDCT器4から供給される再生画像に加算処理を行うことなく、そのままデブロックフィルタ6に供給する。
そして、デブロックフィルタ6が、加算器5から供給される再生画像に対して、デブロックフィルタリング処理を施して、フレームメモリ7に格納するとともに、外部に出力する(ステップS4)。
以上により、イントラ予測復号が行われる。
以上により、イントラ予測復号が行われる。
ここで、画像復号処理回路1と従来の画像復号処理回路21とを比較する。
従来の画像復号処理回路21(図6参照)は、イントラ予測画像を生成するためのイントラ予測器29を有しており、イントラ予測器29は、予測画像を一時記録するために記録部32を有している。
従来の画像復号処理回路21(図6参照)は、イントラ予測画像を生成するためのイントラ予測器29を有しており、イントラ予測器29は、予測画像を一時記録するために記録部32を有している。
一方、画像復号処理回路1においては、IDCT器4が、IDCT処理のほか、イントラ予測処理をも行う。そのため、画像復号処理回路1は、イントラ予測器を有していない。
このように、本実施形態によれば、イントラ予測器及びその内部の記録部を不要とすることができる。これにより、ハードウェア量を低減し、ひいてはコストを低減することができる。
このように、本実施形態によれば、イントラ予測器及びその内部の記録部を不要とすることができる。これにより、ハードウェア量を低減し、ひいてはコストを低減することができる。
また、従来の画像復号処理回路21において、イントラ予測器29は、復号対象ブロックに隣接する13個の再生画素の中の予測モードに応じた幾つかの再生画素をフレームメモリ27から読み出す(図3(a)及び図4参照)。そして、イントラ予測器29は、生成した予測画像を加算器25に供給する。すなわち、復号対象ブロックに隣接する13個の再生画素の中の予測モードに応じた幾つかの画素データの転送がフレームメモリ27〜イントラ予測器29の間で行われ、さらに、16個の画素データの転送がイントラ予測器29〜加算器25の間で行われる。
一方、画像復号処理回路1において、IDCT器4は、復号対象ブロックに隣接する13個の再生画素の中の予測モードに応じた幾つかの再生画素をフレームメモリ7から読み出す(図3(a)及び図4参照)。そして、IDCT器4は、フレームメモリ7から読み出した画素に基づいて生成した予測画像を、記録部10に記録されている差分画像に加算する。
フレームメモリ7〜IDCT器4の間で行われる画素の転送は、従来の画像復号処理回路21のフレームメモリ27〜イントラ予測器29の間で行われる画素の転送と同等である。しかしながら、画像復号処理回路1においては、IDCT器4がイントラ予測処理を行うため、画像復号処理回路1がイントラ予測器を有しておらず、従来の画像復号処理回路21(図6参照)のイントラ予測器29〜加算器25の間で行われている予測画像(4×4画素)の転送が不要となる。
このように、本実施形態によれば、従来の画像復号処理回路21のイントラ予測器29〜加算器25の間で行われている予測画像(4×4画素)の転送を不要とすることができるので、復号速度を向上することができる。
なお、図1に示す可逆復号器2、逆量子化器3、IDCT器4、加算器5、デブロックフィルタ6、及び、動き予測補償器8をCPUとプログラム(ソフトウェア)で実現することも可能である。この場合、CPUとプログラムで実現されるIDCT器4の記録部10として、CPU内部のレジスタやキャッシュメモリ等を利用することとすれば良い。
また、本実施形態においてはブロックのサイズが4×4画素である場合について説明したが、ブロックのサイズが8×8画素である場合には、IDCT器4内の記録部10の記録容量を8×8画素分とすれば良い。さらに、ブロックのサイズが16×16画素である場合には、IDCT器4内の記録部10の記録容量を16×16画素分とすれば良い。
本発明は、1つのフレームを複数のブロックに分割しブロック単位で直交変換を施した画像圧縮情報に逆直交変換を施して復号する画像復号処理回路、そのような画像復号処理回路を具備する半導体集積回路、画像復号処理方法、及び、画像復号処理プログラムに利用可能である。また、本発明は、1つのフレームを複数のブロックに分割しブロック単位で直交変換を施す画像符号処理回路等の局部復号回路等にも利用可能である。
1,21 画像復号処理回路、 2,22 可逆復号器、 3,23 逆量子化器、 4,24 IDCT器、 5,25 加算器、 6,26 デブロックフィルタ、 7,27 フレームメモリ、 8,28 動き予測補償器、 10,31,32 記録部、 29 イントラ予測器
Claims (4)
- 1つのフレームを複数のブロックに分割しブロック単位で直交変換を施すことにより生成された画像圧縮情報に逆直交変換を施して復号する画像復号処理回路であって、
画像を記録するための記録手段を具備し、
復号対象ブロックが前記復号対象ブロックの周囲に位置する複数の画素に基づいてイントラ予測符号化されている場合に、前記復号対象ブロックの画像圧縮情報に逆直交変換を施して差分画像を生成し、生成した前記差分画像を前記記録手段に記録し、前記復号対象ブロックの周囲に位置する複数の画素に基づいてイントラ予測画像を生成し、生成した前記イントラ予測画像を前記記録手段に記録されている前記差分画像に加算することにより、前記復号対象ブロックの再生画像を前記記録手段において生成すること
を特徴とする、画像復号処理回路。 - 請求項1記載の逆直交変換処理回路を具備する半導体集積回路。
- 1つのフレームを複数のブロックに分割しブロック単位で直交変換を施すことにより生成された画像圧縮情報に逆直交変換を施して復号する画像復号処理方法であって、
復号対象ブロックが前記復号対象ブロックの周囲に位置する複数の画素に基づいてイントラ予測符号化されている場合に、
前記復号対象ブロックの画像圧縮情報に逆直交変換を施して差分画像を生成するステップ(a)と、
ステップ(a)にて生成した前記差分画像を記録手段に記録するステップ(b)と、
前記復号対象ブロックの周囲に位置する複数の画素に基づいてイントラ予測画像を生成するステップ(d)と、
ステップ(d)にて生成した前記イントラ予測画像を前記記録手段に記録されている前記差分画像に加算することにより、前記復号対象ブロックの再生画像を前記記録手段において生成するステップ(e)と、
を具備する、画像復号処理方法。 - 1つのフレームを複数のブロックに分割しブロック単位で直交変換を施すことにより生成された画像圧縮情報に逆直交変換を施して復号するためにCPUに実行させるための画像復号処理プログラムであって、
復号対象ブロックが前記復号対象ブロックの周囲に位置する複数の画素に基づいてイントラ予測符号化されている場合に、
前記復号対象ブロックの画像圧縮情報に逆直交変換を施して差分画像を生成する手順(a)と、
手順(a)にて生成した前記差分画像を前記CPU内部の記録手段に記録する手順(b)と、
前記復号対象ブロックの周囲に位置する複数の画素に基づいてイントラ予測画像を生成する手順(d)と、
手順(d)にて生成した前記イントラ予測画像を前記記録手段に記録されている前記差分画像に加算することにより、前記復号対象ブロックの再生画像を前記記録手段において生成する手順(e)と、
を前記CPUに実行させるための画像復号処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006121555A JP2007295333A (ja) | 2006-04-26 | 2006-04-26 | 画像復号処理回路及び方法及びプログラム、並びに半導体集積回路 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006121555A JP2007295333A (ja) | 2006-04-26 | 2006-04-26 | 画像復号処理回路及び方法及びプログラム、並びに半導体集積回路 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007295333A true JP2007295333A (ja) | 2007-11-08 |
Family
ID=38765498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006121555A Withdrawn JP2007295333A (ja) | 2006-04-26 | 2006-04-26 | 画像復号処理回路及び方法及びプログラム、並びに半導体集積回路 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007295333A (ja) |
-
2006
- 2006-04-26 JP JP2006121555A patent/JP2007295333A/ja not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6660074B2 (ja) | 映像復号化方法及び装置 | |
JP5756537B2 (ja) | 適応型走査を用いる動画像復号化方法 | |
TWI382764B (zh) | 用於儲存中間迴路過濾資料之暫存記憶體(scratch pad) | |
TWI527438B (zh) | 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置及其程式產品 | |
JP6315911B2 (ja) | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム | |
US20090060049A1 (en) | Method and system for calculating flag parameter of image block | |
US20240056581A1 (en) | Encoding method, decoding method, and decoder | |
JPWO2008120434A1 (ja) | 復号化回路、復号化方法、符号化回路及び符号化方法 | |
JP2006157925A (ja) | パイプラインデブロッキングフィルタ | |
JP4945513B2 (ja) | 可変長復号装置およびそれを用いた動画復号装置 | |
JP2007013298A (ja) | 画像符号化装置 | |
JP2024019495A (ja) | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法 | |
JP2013146038A (ja) | 画像量子化装置、画像量子化方法及びプログラム、画像逆量子化装置、画像逆量子化方法及びプログラム | |
WO2007091588A1 (ja) | 動画像復号装置、復号画像記録装置、それらの方法及びプログラム | |
JP2008182527A (ja) | 画像符号化装置及び方法、並びに撮像システム | |
CN111034198B (zh) | 图像编码和解码方法、编码和解码设备及对应计算机程序 | |
JP4735471B2 (ja) | 復号処理装置及び復号処理方法並びに復号処理プログラム | |
JP2024019496A (ja) | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法 | |
JP2007258882A (ja) | 画像復号装置 | |
JP6469277B2 (ja) | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム | |
JP4290972B2 (ja) | 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置,画像符号化プログラム,画像復号プログラム,画像符号化プログラムを記録した記録媒体および画像復号プログラムを記録した記録媒体 | |
WO2010021153A1 (ja) | 動き検出装置 | |
WO2020059341A1 (ja) | 画像復号装置、画像符号化装置、画像処理システム及びプログラム | |
JP5206070B2 (ja) | 復号装置および復号方法 | |
JP2010035025A (ja) | 符号化装置およびその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20090707 |