JP2014204311A - カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法 - Google Patents
カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法 Download PDFInfo
- Publication number
- JP2014204311A JP2014204311A JP2013079494A JP2013079494A JP2014204311A JP 2014204311 A JP2014204311 A JP 2014204311A JP 2013079494 A JP2013079494 A JP 2013079494A JP 2013079494 A JP2013079494 A JP 2013079494A JP 2014204311 A JP2014204311 A JP 2014204311A
- Authority
- JP
- Japan
- Prior art keywords
- block
- prediction
- intra
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】YUV4:2:2信号の符号化を行う場合でも、少ない回路規模で輝度信号と色差信号の符号化効率を高めることができるようにする。【解決手段】 YUV4:2:2である場合、変換・量子化部7が、符号化制御部2の指示の下、輝度信号における符号化ブロックを変換ブロックに分割する際の分割状態と同じ分割状態で、色差信号の符号化ブロックを変換ブロックに分割したのち、分割後の変換ブロックである各々の長方形ブロックを正方形ブロックに2分割する一方、イントラ予測部4が、予測ブロックに相当する上記長方形ブロックの単位で、フレーム内予測処理を実施して予測画像を生成する。【選択図】図1
Description
この発明は、カラー動画像を高効率で符号化を行うカラー画像符号化装置及びカラー画像符号化方法と、高効率で符号化されているカラー動画像を復号するカラー画像復号装置及びカラー画像復号方法とに関するものである。
例えば、以下の非特許文献1に記載されている従来のカラー画像符号化装置では、入力されたカラー画像を所定の大きさの最大符号化ブロックに分割し、さらに、最大符号化ブロックをより細かい符号化ブロックに階層分割する。
また、その符号化ブロックをさらに細かい予測ブロックに分割し、その予測ブロックに対する画面内予測や動き補償予測を実施することで予測誤差を生成する。
また、その予測誤差を符号化ブロック内で階層的に変換ブロックに分割し、それぞれの変換係数をエントロピー符号化することで高い圧縮率を達成している。
また、その符号化ブロックをさらに細かい予測ブロックに分割し、その予測ブロックに対する画面内予測や動き補償予測を実施することで予測誤差を生成する。
また、その予測誤差を符号化ブロック内で階層的に変換ブロックに分割し、それぞれの変換係数をエントロピー符号化することで高い圧縮率を達成している。
従来のカラー画像符号化装置では、YUV4:2:0信号の符号化を行う場合、色差信号の予測ブロック及び変換ブロックのサイズを、輝度信号の変換ブロックサイズの縦横半分のサイズに固定することで、色差信号の変換ブロックサイズに係る情報を符号化する必要を無くすとともに、変換係数のエントロピー符号化を輝度信号と共通する変換係数エントロピー符号化手段で圧縮することで、少ない回路規模で色差信号の符号化効率を高めている。
B. Bross,W.-J. Han,J.-R. Ohm,G. J. Sullivan,Y.-K. Wang and T. Wiegand,"High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Consent)",doc. JCTVC-L1003,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,12th Meeting,2013
従来のカラー画像符号化装置は以上のように構成されているので、YUV4:2:0信号の符号化を行う場合、色差信号の変換ブロックのエントロピー符号化手段を輝度信号のエントロピー符号化手段と共有することができる。このため、少ない回路規模で色差信号を効率よく符号化することができるが、YUV4:2:2信号の符号化を行う場合、色差信号の形状が、垂直方向が横方向の2倍となる長方形であるため、輝度信号と同様のブロック分割を行うと、色差信号の変換ブロックの変換・量子化手段、逆変換・逆変換手段及びエントロピー符号化手段を輝度信号の変換・量子化手段、逆変換・逆変換手段及びエントロピー符号化手段と共有することができなくなり、回路規模が増大してしまうなどの課題があった。
この発明は上記のような課題を解決するためになされたもので、YUV4:2:2信号の符号化を行う場合でも、少ない回路規模で輝度信号と色差信号の符号化効率を高めることができるカラー画像符号化装置及びカラー画像符号化方法を得ることを目的とする。
また、この発明は、符号化効率の改善が図られている符号化データから正確にカラー画像を復号することができるカラー画像復号装置及びカラー画像復号方法を得ることを目的とする。
また、この発明は、符号化効率の改善が図られている符号化データから正確にカラー画像を復号することができるカラー画像復号装置及びカラー画像復号方法を得ることを目的とする。
この発明に係るカラー画像符号化装置は、カラー画像が分割された符号化ブロック内の予測ブロック毎に設定されているイントラ予測パラメータを用いて、各予測ブロックに対するフレーム内予測処理を実施して予測画像を生成するイントラ予測手段を備え、符号化ブロックに対する変換処理の単位となる変換ブロックが、予測ブロックから更に分割されたブロックである場合でも、予測ブロックの単位で、フレーム内予測処理を実施して予測画像を生成するようにしたものである。
この発明によれば、イントラ予測手段が、符号化ブロックに対する変換処理の単位となる変換ブロックが、予測ブロックから更に分割されたブロックである場合でも、予測ブロックの単位で、フレーム内予測処理を実施して予測画像を生成するように構成したので、YUV4:2:2信号の符号化を行う場合でも、少ない回路規模で輝度信号と色差信号の符号化効率を高めることができる効果がある。
実施の形態1.
図1はこの発明の実施の形態1によるカラー画像符号化装置を示す構成図である。
この実施の形態1のカラー画像符号化装置が処理対象とする映像信号は、輝度信号と2つの色差信号からなるYUV信号や、ディジタル撮像素子から出力されるRGB信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直2次元のディジタルサンプル(画素)列から構成される任意の映像信号である。
各画素の階調は8ビットでもよいし、10ビット、12ビットなどの階調であってもよい。
また、入力信号は映像信号ではなく静止画像信号でもよいことは、静止画像信号を1フレームのみで構成される映像信号と解釈できることから当然である。
図1はこの発明の実施の形態1によるカラー画像符号化装置を示す構成図である。
この実施の形態1のカラー画像符号化装置が処理対象とする映像信号は、輝度信号と2つの色差信号からなるYUV信号や、ディジタル撮像素子から出力されるRGB信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直2次元のディジタルサンプル(画素)列から構成される任意の映像信号である。
各画素の階調は8ビットでもよいし、10ビット、12ビットなどの階調であってもよい。
また、入力信号は映像信号ではなく静止画像信号でもよいことは、静止画像信号を1フレームのみで構成される映像信号と解釈できることから当然である。
以下の説明においては、便宜上、特に断らない限り、入力される映像信号が、2つの色差成分U,Vが輝度成分Yに対して、縦横ともに2分の1にサブサンプルされたYUV4:2:0フォーマット、2つの色差成分U,Vが輝度成分Yに対して、横方向に2分の1にサブサンプルされたYUV4:2:2フォーマット、あるいは、2つの色差成分U,Vが輝度成分Yと同じサンプル数であるYUV4:4:4フォーマットの信号であるものとする。また、赤色(R)、緑色(G)、青色(B)の三原色の信号からなるRGB4:4:4フォーマットの信号については、それぞれの信号をYUV4:4:4フォーマットの信号とみなしてYUV4:4:4フォーマットと同一の符号化を行う。ただし、RGB4:4:4フォーマットの各信号(RGB)のYUV4:4:4フォーマットの各信号(YUV)への対応付けについては限定しない(任意に設定できる)。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態1では、「ピクチャ」は順次走査(プログレッシブスキャン)された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態1では、「ピクチャ」は順次走査(プログレッシブスキャン)された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
図1において、スライス分割部14は入力画像として映像信号を入力すると、その入力画像を符号化制御部2により決定されたスライス分割情報にしたがって1以上の“スライス”という部分画像に分割する処理を実施する。スライスの分割単位は、後述する符号化ブロック単位まで細かくすることができる。
ブロック分割部1はスライス分割部14により分割されたスライスを入力する毎に、そのスライスを符号化制御部2により決定された最大サイズの符号化ブロックである最大符号化ブロックに分割するとともに、符号化制御部2により決定された上限の階層数に至るまで、その最大符号化ブロックを階層的に各符号化ブロックへ分割する処理を実施する。
即ち、ブロック分割部1はスライスを符号化制御部2により決定された分割に応じて各符号化ブロックに分割して、その符号化ブロックを出力する処理を実施する。また、各符号化ブロックは予測処理単位となる1つないし複数の予測ブロックに分割される。
即ち、ブロック分割部1はスライスを符号化制御部2により決定された分割に応じて各符号化ブロックに分割して、その符号化ブロックを出力する処理を実施する。また、各符号化ブロックは予測処理単位となる1つないし複数の予測ブロックに分割される。
符号化制御部2は符号化処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定することで、各々の符号化ブロックのサイズを決定する処理を実施する。
また、符号化制御部2は選択可能な1以上の符号化モード(予測処理単位を示す予測ブロックのサイズなどが異なる1以上のイントラ符号化モード、予測ブロックのサイズなどが異なる1以上のインター符号化モード)の中から、ブロック分割部1から出力される符号化ブロックに適用する符号化モードを選択する処理を実施する。選択手法の例としては、選択可能な1以上の符号化モードの中から、ブロック分割部1から出力される符号化ブロックに対する符号化効率が最も高い符号化モードを選択する手法がある。
また、符号化制御部2は選択可能な1以上の符号化モード(予測処理単位を示す予測ブロックのサイズなどが異なる1以上のイントラ符号化モード、予測ブロックのサイズなどが異なる1以上のインター符号化モード)の中から、ブロック分割部1から出力される符号化ブロックに適用する符号化モードを選択する処理を実施する。選択手法の例としては、選択可能な1以上の符号化モードの中から、ブロック分割部1から出力される符号化ブロックに対する符号化効率が最も高い符号化モードを選択する手法がある。
また、符号化制御部2は、符号化ブロック毎に、イントラ符号化モード又はインター符号化モードのいずれで符号化するかを決定するとともに、符号化モードがイントラ符号化モードであると決定した符号化ブロックに対して、イントラ予測処理を実施する際に用いるイントラ予測パラメータを上記イントラ符号化モードが示す予測処理単位である予測ブロック毎に決定し、符号化モードがインター符号化モードであると決定した符号化ブロックに対して、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを上記インター符号化モードが示す予測処理単位である予測ブロック毎に決定する処理を実施する。
さらに、符号化制御部2は変換・量子化部7及び逆量子化・逆変換部8に与える予測差分符号化パラメータを決定する処理を実施する。予測差分符号化パラメータには、符号化ブロックにおける直交変換処理単位となる変換ブロックの分割情報を示す変換ブロック分割情報や、変換係数の量子化を行う際の量子化ステップサイズを規定する量子化パラメータなどが含まれる。
さらに、符号化制御部2は変換・量子化部7及び逆量子化・逆変換部8に与える予測差分符号化パラメータを決定する処理を実施する。予測差分符号化パラメータには、符号化ブロックにおける直交変換処理単位となる変換ブロックの分割情報を示す変換ブロック分割情報や、変換係数の量子化を行う際の量子化ステップサイズを規定する量子化パラメータなどが含まれる。
ここで、図20は4:2:0フォーマットの信号における輝度信号及び色差信号の圧縮処理(変換処理、量子化処理)を実施する際の変換ブロックサイズを示す説明図である。
変換ブロックサイズは、図20に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。
変換ブロックサイズは、図20に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。
輝度信号については、例えば、図20に示すように、符号化ブロックが1つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
色差信号については、図20に示すように、入力信号フォーマットがYUV4:2:0信号である場合、輝度信号と同様に、符号化ブロックが1つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに1/2のサイズとなる。輝度成分と色差成分の分割状態は、サイズが1/2であるものの同じ分割状態となる。
ただし、N回分割した輝度成分の変換ブロックサイズが変換ブロックサイズの下限に等しい場合、その輝度成分の変換ブロックに対応する色差成分の変換ブロックは、N回目の分割を行わず、N−1回の分割で留めるように構成する。この制御により変換ブロックサイズを輝度成分と色差成分で共通化することができる。
ただし、N回分割した輝度成分の変換ブロックサイズが変換ブロックサイズの下限に等しい場合、その輝度成分の変換ブロックに対応する色差成分の変換ブロックは、N回目の分割を行わず、N−1回の分割で留めるように構成する。この制御により変換ブロックサイズを輝度成分と色差成分で共通化することができる。
図21に示すように、入力信号フォーマットがYUV4:2:2信号である場合、輝度信号と同様の四分木状の階層分割を行う。また、4分木分割の葉にあたるブロックの形状が、垂直方向の画素数が水平方向の画素数の2倍となる長方形となるため、さらに、分割後のブロックを上下に二分することで、YUV4:2:0信号での色差信号と同じブロックサイズ(輝度信号の変換ブロックの縦横ともに半分のサイズ)の変換ブロック2つで構成するようにする。
このYUV4:2:2信号における色差信号の変換ブロックの上下2分割は、カラー画像符号化装置側と、対応するカラー画像復号装置側で常に実施する共通な動作として構成するため、変換ブロック分割情報には、上下2分割を示す情報を含む必要はない。即ち、YUV4:2:0信号と全く同じデータ構造の変換ブロック分割情報を用いることができる。
なお、YUV4:2:2信号の色差信号の変換ブロックにおいて、4分木分割の葉にあたる長方形のブロックを「分割前長方形変換ブロック」と呼ぶことにする。
このYUV4:2:2信号における色差信号の変換ブロックの上下2分割は、カラー画像符号化装置側と、対応するカラー画像復号装置側で常に実施する共通な動作として構成するため、変換ブロック分割情報には、上下2分割を示す情報を含む必要はない。即ち、YUV4:2:0信号と全く同じデータ構造の変換ブロック分割情報を用いることができる。
なお、YUV4:2:2信号の色差信号の変換ブロックにおいて、4分木分割の葉にあたる長方形のブロックを「分割前長方形変換ブロック」と呼ぶことにする。
また、図22に示すように、入力信号フォーマットがYUV4:4:4信号である場合、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。または、各色成分に対して独立に分割状態を決定するようにしてもよい。
輝度信号の変換ブロックの分割情報は、例えば、階層毎に分割するか否かを示す変換ブロック分割情報として可変長符号化部13に出力する。
なお、色差成分の分割状態は、上述のように、輝度成分の分割状態と対応付けられているため、変換ブロック分割情報は、輝度成分と色差成分で共通の情報を一つだけ出力すればよい。ただし、入力信号フォーマットがYUV4:4:4信号であり、各色成分が独立に分割状態を決定する場合には、成分毎に個別の変換ブロック分割状態を出力する。
輝度信号の変換ブロックの分割情報は、例えば、階層毎に分割するか否かを示す変換ブロック分割情報として可変長符号化部13に出力する。
なお、色差成分の分割状態は、上述のように、輝度成分の分割状態と対応付けられているため、変換ブロック分割情報は、輝度成分と色差成分で共通の情報を一つだけ出力すればよい。ただし、入力信号フォーマットがYUV4:4:4信号であり、各色成分が独立に分割状態を決定する場合には、成分毎に個別の変換ブロック分割状態を出力する。
切換スイッチ3は符号化制御部2により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部1から出力された符号化ブロックをイントラ予測部4に出力し、符号化制御部2により決定された符号化モードがインター符号化モードであれば、ブロック分割部1から出力された符号化ブロックを動き補償予測部5に出力する処理を実施する。
イントラ予測部4は切換スイッチ3から出力された符号化ブロックに対応する符号化モードとして、符号化制御部2によりイントラ符号化モードが選択された場合、イントラ予測用メモリ10に格納されている局所復号画像を参照しながら、符号化制御部2により決定されたイントラ予測パラメータを用いたイントラ予測処理(フレーム内予測処理)を実施してイントラ予測画像を生成する処理を実施する。
ただし、イントラ予測部4は、符号化ブロックに対する変換処理の単位となる変換ブロックが、予測ブロックから更に分割されたブロックである場合でも、予測ブロックの単位で、フレーム内予測処理を実施して予測画像を生成する。なお、イントラ予測部4はイントラ予測手段を構成している。
ただし、イントラ予測部4は、符号化ブロックに対する変換処理の単位となる変換ブロックが、予測ブロックから更に分割されたブロックである場合でも、予測ブロックの単位で、フレーム内予測処理を実施して予測画像を生成する。なお、イントラ予測部4はイントラ予測手段を構成している。
即ち、イントラ予測部4は、輝度信号については、輝度信号のイントラ予測パラメータを用いたイントラ予測処理(フレーム内予測処理)を実施して、輝度信号の予測画像を生成する。
一方、色差信号については、色差信号のイントラ予測パラメータが、輝度信号に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合(イントラ予測パラメータが輝度色差共通イントラ予測モード(DMモード)を示している場合)、輝度信号と同じフレーム内予測を実施して、色差信号の予測画像を生成する。
一方、色差信号については、色差信号のイントラ予測パラメータが、輝度信号に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合(イントラ予測パラメータが輝度色差共通イントラ予測モード(DMモード)を示している場合)、輝度信号と同じフレーム内予測を実施して、色差信号の予測画像を生成する。
また、色差信号のイントラ予測パラメータが、垂直方向予測モード又は水平方向予測モードを示している場合、色差信号に対する方向性予測を実施して、色差信号の予測画像を生成する。
また、色差信号のイントラ予測パラメータが、輝度相関利用色差信号予測モード(LMモード)を示している場合、予測画像の生成対象ブロックの上及び左に隣接している複数の画素の輝度信号及び色差信号を用いて、輝度信号と色差信号の相関を示す相関パラメータを算出し、その相関パラメータと予測処理対象の色差信号のブロックに対応する輝度信号を用いて、色差信号の予測画像を生成する。
また、色差信号のイントラ予測パラメータが、輝度相関利用色差信号予測モード(LMモード)を示している場合、予測画像の生成対象ブロックの上及び左に隣接している複数の画素の輝度信号及び色差信号を用いて、輝度信号と色差信号の相関を示す相関パラメータを算出し、その相関パラメータと予測処理対象の色差信号のブロックに対応する輝度信号を用いて、色差信号の予測画像を生成する。
なお、入力信号フォーマットがYUV4:4:4信号である場合には、上記DMモード又は上記LMモードの処理を実施し、その他の予測モードは選択しないように構成してもよい。
YUV4:4:4信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
YUV4:4:4信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
動き補償予測部5は切換スイッチ3から出力された符号化ブロックに対応する符号化モードとして、符号化制御部2によりインター符号化モードが選択された場合、符号化ブロックと動き補償予測フレームメモリ12に格納されている1フレーム以上の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部2により決定された参照するフレーム番号などのインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理(動き補償予測処理)を実施してインター予測画像を生成する処理を実施する。
減算部6はブロック分割部1より出力された符号化ブロックから、イントラ予測部4により生成されたイントラ予測画像、または、動き補償予測部5により生成されたインター予測画像を減算して、その減算結果である差分画像を示す予測差分信号を変換・量子化部7に出力する処理を実施する。
減算部6はブロック分割部1より出力された符号化ブロックから、イントラ予測部4により生成されたイントラ予測画像、または、動き補償予測部5により生成されたインター予測画像を減算して、その減算結果である差分画像を示す予測差分信号を変換・量子化部7に出力する処理を実施する。
変換・量子化部7は符号化制御部2により決定された予測差分符号化パラメータに含まれる変換ブロック分割情報を参照して、減算部6から出力された予測差分信号のブロックを変換ブロックに分割する。特に、カラー画像の信号フォーマットがYUV4:2:2である場合、輝度信号における予測差分信号のブロックを変換ブロックに分割する際の分割状態と同じ分割状態で、色差信号における予測差分信号のブロックを変換ブロックに分割したのち、分割後の変換ブロックである各々の長方形ブロックを正方形ブロックに2分割する。
また、変換・量子化部7は分割後の変換ブロックに対する直交変換処理(例えば、DCT(離散コサイン変換)やDST(離散サイン変換)、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を実施して変換係数を算出するとともに、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する処理を実施する。
なお、符号化制御部2及び変換・量子化部7から変換ブロック分割手段が構成されている。
また、変換・量子化部7は分割後の変換ブロックに対する直交変換処理(例えば、DCT(離散コサイン変換)やDST(離散サイン変換)、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を実施して変換係数を算出するとともに、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する処理を実施する。
なお、符号化制御部2及び変換・量子化部7から変換ブロック分割手段が構成されている。
変換・量子化部7は変換係数を量子化する際、上記量子化パラメータから算出される量子化ステップサイズを変換係数毎にスケーリングする量子化マトリクスを用いて、変換係数の量子化処理を実施するようにしてもよい。
ここで、図10は4×4DCTの量子化マトリクスの一例を示す説明図である。
図中の数字は、各変換係数の量子化ステップサイズのスケーリング値を示している。
例えば、符号化ビットレートを抑制するために、図10に示すように、高域の変換係数程、量子化ステップサイズを大きな値にスケーリングすることで、複雑な画像領域等で発生する高域の変換係数を抑制して符号量を抑えつつ、主観品質に大きく影響する低域の係数の情報を落とさずに符号化することができる。
このように、変換係数毎の量子化ステップサイズを制御したい場合には量子化マトリクスを用いればよい。
ここで、図10は4×4DCTの量子化マトリクスの一例を示す説明図である。
図中の数字は、各変換係数の量子化ステップサイズのスケーリング値を示している。
例えば、符号化ビットレートを抑制するために、図10に示すように、高域の変換係数程、量子化ステップサイズを大きな値にスケーリングすることで、複雑な画像領域等で発生する高域の変換係数を抑制して符号量を抑えつつ、主観品質に大きく影響する低域の係数の情報を落とさずに符号化することができる。
このように、変換係数毎の量子化ステップサイズを制御したい場合には量子化マトリクスを用いればよい。
また、量子化マトリクスは、各直交変換サイズで色信号や符号化モード(イントラ符号化かインター符号化か)毎に独立したマトリクスを使用することができ、初期値として予めカラー画像符号化装置及びカラー画像復号装置で予め共通に用意されている量子化マトリクスや既に符号化された量子化マトリクスの中から選択するか、新しい量子化マトリクスを用いるかをそれぞれ選択することができる。
したがって、変換・量子化部7は、各直交変換サイズに対して色信号や符号化モード毎に、新しい量子化マトリクスを用いるか否かを示すフラグ情報を符号化すべき量子化マトリクスパラメータに設定する。
したがって、変換・量子化部7は、各直交変換サイズに対して色信号や符号化モード毎に、新しい量子化マトリクスを用いるか否かを示すフラグ情報を符号化すべき量子化マトリクスパラメータに設定する。
さらに、新しい量子化マトリクスを用いる場合には、図10に示すような量子化マトリクスの各スケーリング値を符号化すべき量子化マトリクスパラメータに設定する。
一方、新しい量子化マトリクスを用いない場合には、初期値として、カラー画像符号化装置及びカラー画像復号装置で、予め共通に用意されている量子化マトリクス、または、既に符号化された量子化マトリクスの中から、使用するマトリクスを特定するインデックスを符号化すべき量子化マトリクスパラメータに設定する。ただし、参照可能な既に符号化された量子化マトリクスが存在しない場合、カラー画像符号化装置及びカラー画像復号装置で、予め共通に用意されている量子化マトリクスのみ選択可能となる。
一方、新しい量子化マトリクスを用いない場合には、初期値として、カラー画像符号化装置及びカラー画像復号装置で、予め共通に用意されている量子化マトリクス、または、既に符号化された量子化マトリクスの中から、使用するマトリクスを特定するインデックスを符号化すべき量子化マトリクスパラメータに設定する。ただし、参照可能な既に符号化された量子化マトリクスが存在しない場合、カラー画像符号化装置及びカラー画像復号装置で、予め共通に用意されている量子化マトリクスのみ選択可能となる。
逆量子化・逆変換部8は符号化制御部2により決定された予測差分符号化パラメータに含まれる量子化パラメータ及び変換ブロック分割情報を参照して、変換ブロック単位に変換・量子化部7から出力された圧縮データを逆量子化するとともに、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、減算部6から出力された予測差分信号に相当する局所復号予測差分信号を算出する処理を実施する。なお、変換・量子化部7が量子化マトリクスを用いて、量子化処理を実施している場合には、逆量子化処理時においても、その量子化マトリクスを参照して、対応する逆量子化処理を実施する。
加算部9は逆量子化・逆変換部8により算出された局所復号予測差分信号と、イントラ予測部4により生成されたイントラ予測画像、または、動き補償予測部5により生成されたインター予測画像とを加算して、ブロック分割部1から出力された符号化ブロックに相当する局所復号画像を算出する処理を実施する。
加算部9は逆量子化・逆変換部8により算出された局所復号予測差分信号と、イントラ予測部4により生成されたイントラ予測画像、または、動き補償予測部5により生成されたインター予測画像とを加算して、ブロック分割部1から出力された符号化ブロックに相当する局所復号画像を算出する処理を実施する。
イントラ予測用メモリ10は加算部9により算出された局所復号画像を格納する記録媒体である。
ループフィルタ部11は加算部9により算出された局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を出力する処理を実施する。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ(デブロッキングフィルタ)処理、画素単位に適応的にオフセットを加算する(画素適応オフセット)処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ループフィルタ部11は加算部9により算出された局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を出力する処理を実施する。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ(デブロッキングフィルタ)処理、画素単位に適応的にオフセットを加算する(画素適応オフセット)処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ただし、ループフィルタ部11は、上記のデブロッキングフィルタ処理、画素適応オフセット処理及び適応フィルタ処理のそれぞれについて、処理を行うか否かを決定し、各処理の有効フラグをヘッダ情報として可変長符号化部13に出力する。なお、上記のフィルタ処理を複数使用する際は、各フィルタ処理を順番に実施する。図11は複数のフィルタ処理を用いる場合のループフィルタ部11の構成例を示している。
一般に使用するフィルタ処理の種類が多いほど、画像品質は向上するが、一方で処理負荷は高くなる。即ち、画像品質と処理負荷はトレードオフの関係にある。また、各フィルタ処理の画像品質改善効果はフィルタ処理対象画像の特性によって異なる。
したがって、カラー画像符号化装置が許容する処理負荷や符号化処理対象画像の特性にしたがって使用するフィルタ処理を決めればよい。例えば、図11の構成よりも処理不可を削減したい場合、デブロッキングフィルタ処理と画素適応オフセット処理のみで構成するといったことが考えられる。
一般に使用するフィルタ処理の種類が多いほど、画像品質は向上するが、一方で処理負荷は高くなる。即ち、画像品質と処理負荷はトレードオフの関係にある。また、各フィルタ処理の画像品質改善効果はフィルタ処理対象画像の特性によって異なる。
したがって、カラー画像符号化装置が許容する処理負荷や符号化処理対象画像の特性にしたがって使用するフィルタ処理を決めればよい。例えば、図11の構成よりも処理不可を削減したい場合、デブロッキングフィルタ処理と画素適応オフセット処理のみで構成するといったことが考えられる。
ここで、デブロッキングフィルタ処理では、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更することができる。変更する場合には、そのパラメータをヘッダ情報として可変長符号化部13に出力する。
画素適応オフセット処理では、最初に、画像を複数のブロックに分割し、そのブロック単位に、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、予め用意されている複数のクラス分類手法の中から、1つのクラス分類手法を選択する。
次に、選択したクラス分類手法によって、ブロック内の各画素をクラス分類し、クラス毎に符号化歪みを補償するオフセット値を算出する。
最後に、局所復号画像の輝度値に対して、そのオフセット値を加算する処理を行うことで局所復号画像の画像品質を改善する。
画素適応オフセット処理では、最初に、画像を複数のブロックに分割し、そのブロック単位に、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、予め用意されている複数のクラス分類手法の中から、1つのクラス分類手法を選択する。
次に、選択したクラス分類手法によって、ブロック内の各画素をクラス分類し、クラス毎に符号化歪みを補償するオフセット値を算出する。
最後に、局所復号画像の輝度値に対して、そのオフセット値を加算する処理を行うことで局所復号画像の画像品質を改善する。
したがって、画素適応オフセット処理では、ブロック分割情報、各ブロックのクラス分類手法を示すインデックス、ブロック単位の各クラスのオフセット値を特定するオフセット情報をヘッダ情報として可変長符号化部13に出力する。
なお、画素適応オフセット処理において、例えば、最大符号化ブロックといった固定サイズのブロック単位に常に分割して、そのブロック毎にクラス分類手法を選択して、クラス毎の適応オフセット処理を行ってもよい。この場合、上記ブロック分割情報が不要となり、ブロック分割情報に要する符号量分だけ符号量が削減され、符号化効率を高めることができる。
なお、画素適応オフセット処理において、例えば、最大符号化ブロックといった固定サイズのブロック単位に常に分割して、そのブロック毎にクラス分類手法を選択して、クラス毎の適応オフセット処理を行ってもよい。この場合、上記ブロック分割情報が不要となり、ブロック分割情報に要する符号量分だけ符号量が削減され、符号化効率を高めることができる。
適応フィルタ処理では、局所復号画像を所定の手法でクラス分類し、各クラスに属する領域(局所復号画像)毎に、重畳されている歪みを補償するフィルタを設計し、そのフィルタを用いて、当該局所復号画像のフィルタ処理を実施する。
そして、クラス毎に設計したフィルタをヘッダ情報として可変長符号化部13に出力する。
クラス分類手法としては、画像を空間的に等間隔に区切る簡易な手法や、ブロック単位に画像の局所的な特性(分散など)に応じて分類する手法がある。
また、適応フィルタ処理で使用するクラス数は、予めカラー画像符号化装置及びカラー画像復号装置に共通の値として設定してもよいし、符号化すべきパラメータとしてもよい。
前者と比較して後者の方が、使用するクラス数を自由に設定することができるため、画像品質改善効果が上がるが、一方でクラス数を符号化するために、その分の符号量が増加する。
そして、クラス毎に設計したフィルタをヘッダ情報として可変長符号化部13に出力する。
クラス分類手法としては、画像を空間的に等間隔に区切る簡易な手法や、ブロック単位に画像の局所的な特性(分散など)に応じて分類する手法がある。
また、適応フィルタ処理で使用するクラス数は、予めカラー画像符号化装置及びカラー画像復号装置に共通の値として設定してもよいし、符号化すべきパラメータとしてもよい。
前者と比較して後者の方が、使用するクラス数を自由に設定することができるため、画像品質改善効果が上がるが、一方でクラス数を符号化するために、その分の符号量が増加する。
なお、画素適応オフセット処理及び適応フィルタ処理を行う場合には、図11に示すように、映像信号をループフィルタ部11で参照する必要があるため、映像信号がループフィルタ部11に入力されるように、図1のカラー画像符号化装置を変更する必要がある。
動き補償予測フレームメモリ12はループフィルタ部11のフィルタ処理後の局所復号画像を格納する記録媒体である。
可変長符号化部13は変換・量子化部7から出力された圧縮データと、符号化制御部2の出力信号(最大符号化ブロック内のブロック分割情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ又はインター予測パラメータ)と、動き補償予測部5から出力された動きベクトル(符号化モードがインター符号化モードである場合)とを可変長符号化して符号化データを生成する。
また、可変長符号化部13は、図13に例示するように、符号化ビットストリームのヘッダ情報として、シーケンスレベルヘッダ、ピクチャレベルヘッダを符号化し、ピクチャデータと共に符号化ビットストリームを生成する。
可変長符号化部13は変換・量子化部7から出力された圧縮データと、符号化制御部2の出力信号(最大符号化ブロック内のブロック分割情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ又はインター予測パラメータ)と、動き補償予測部5から出力された動きベクトル(符号化モードがインター符号化モードである場合)とを可変長符号化して符号化データを生成する。
また、可変長符号化部13は、図13に例示するように、符号化ビットストリームのヘッダ情報として、シーケンスレベルヘッダ、ピクチャレベルヘッダを符号化し、ピクチャデータと共に符号化ビットストリームを生成する。
ただし、ピクチャデータは1以上のスライスデータから構成され、各スライスデータはスライスレベルヘッダと当該スライス内にある上記符号化データをまとめたものである。
シーケンスレベルヘッダは、画像サイズ、色信号フォーマット、輝度信号や色差信号の信号値のビット深度、シーケンス単位でのループフィルタ部11における各フィルタ処理(適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理)の有効フラグ情報、量子化マトリクスの有効フラグ情報など、一般的にシーケンス単位に共通となるヘッダ情報をまとめたものである。
ピクチャレベルヘッダは、参照するシーケンスレベルヘッダのインデックスや動き補償時の参照ピクチャ数、エントロピー符号化の確率テーブル初期化フラグ、量子化マトリクスパラメータなど、ピクチャ単位で設定するヘッダ情報をまとめたものである。
シーケンスレベルヘッダは、画像サイズ、色信号フォーマット、輝度信号や色差信号の信号値のビット深度、シーケンス単位でのループフィルタ部11における各フィルタ処理(適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理)の有効フラグ情報、量子化マトリクスの有効フラグ情報など、一般的にシーケンス単位に共通となるヘッダ情報をまとめたものである。
ピクチャレベルヘッダは、参照するシーケンスレベルヘッダのインデックスや動き補償時の参照ピクチャ数、エントロピー符号化の確率テーブル初期化フラグ、量子化マトリクスパラメータなど、ピクチャ単位で設定するヘッダ情報をまとめたものである。
スライスレベルヘッダは、当該スライスがピクチャのどの位置にあるかを示す位置情報、どのピクチャレベルヘッダを参照するかを示すインデックス、スライスの符号化タイプ(オールイントラ符号化、インター符号化など)、ループフィルタ部11における各フィルタ処理(適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理)を行うか否かを示すフラグ情報などのスライス単位のパラメータをまとめたものである。
図1の例では、カラー画像符号化装置の構成要素であるブロック分割部1、符号化制御部2、切換スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換・量子化部7、逆量子化・逆変換部8、加算部9、イントラ予測用メモリ10、ループフィルタ部11、動き補償予測フレームメモリ12、可変長符号化部13及びスライス分割部14のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路や、ワンチップマイコンなど)で構成されているものを想定しているが、カラー画像符号化装置がコンピュータで構成される場合、ブロック分割部1、符号化制御部2、切換スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換・量子化部7、逆量子化・逆変換部8、加算部9、ループフィルタ部11、可変長符号化部13及びスライス分割部14の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
図2はこの発明の実施の形態1によるカラー画像符号化装置の処理内容(画像符号化方法)を示すフローチャートである。
図2はこの発明の実施の形態1によるカラー画像符号化装置の処理内容(画像符号化方法)を示すフローチャートである。
図3はこの発明の実施の形態1によるカラー画像復号装置を示す構成図である。
図3において、可変長復号部31は図1のカラー画像符号化装置により生成された符号化ビットストリームを入力すると、そのビットストリームからシーケンスレベルヘッダ、ピクチャレベルヘッダ、スライスレベルヘッダなどの各ヘッダ情報を復号するとともに、そのビットストリームから、階層的に分割されている各々の符号化ブロックの分割状況を示すブロック分割情報を可変長復号する。
このとき、上記ヘッダ情報に含まれる量子化マトリクスの有効フラグ情報が“有効”を示す場合、可変長復号部31は量子化マトリクスパラメータを可変長復号し、量子化マトリクスを特定する。
具体的には、各直交変換サイズの色信号や符号化モード毎に、量子化マトリクスパラメータが初期値として、カラー画像符号化装置及びカラー画像復号装置で、予め共通に用意されている量子化マトリクス、または、既に復号された量子化マトリクスである(新しい量子化マトリクスでない)ことを示す場合は、上記マトリクスの内のどの量子化マトリクスであるかを特定するインデックス情報を参照して量子化マトリクスを特定し、量子化マトリクスパラメータが新しい量子化マトリクスを用いることを示す場合は、量子化マトリクスパラメータに含まれる量子化マトリクスを使用する量子化マトリクスとして特定する。
図3において、可変長復号部31は図1のカラー画像符号化装置により生成された符号化ビットストリームを入力すると、そのビットストリームからシーケンスレベルヘッダ、ピクチャレベルヘッダ、スライスレベルヘッダなどの各ヘッダ情報を復号するとともに、そのビットストリームから、階層的に分割されている各々の符号化ブロックの分割状況を示すブロック分割情報を可変長復号する。
このとき、上記ヘッダ情報に含まれる量子化マトリクスの有効フラグ情報が“有効”を示す場合、可変長復号部31は量子化マトリクスパラメータを可変長復号し、量子化マトリクスを特定する。
具体的には、各直交変換サイズの色信号や符号化モード毎に、量子化マトリクスパラメータが初期値として、カラー画像符号化装置及びカラー画像復号装置で、予め共通に用意されている量子化マトリクス、または、既に復号された量子化マトリクスである(新しい量子化マトリクスでない)ことを示す場合は、上記マトリクスの内のどの量子化マトリクスであるかを特定するインデックス情報を参照して量子化マトリクスを特定し、量子化マトリクスパラメータが新しい量子化マトリクスを用いることを示す場合は、量子化マトリクスパラメータに含まれる量子化マトリクスを使用する量子化マトリクスとして特定する。
また、可変長復号部31は、各ヘッダ情報を参照して、スライス分割状態を特定するとともに、各スライスのスライスデータに含まれる最大符号化ブロックを特定し、ブロック分割情報を参照して、最大符号化ブロックを階層的に分割して復号処理を行う単位である符号化ブロックを特定し、各々の符号化ブロックに係る圧縮データ、符号化モード、イントラ予測パラメータ(符号化モードがイントラ符号化モードである場合)、インター予測パラメータ(符号化モードがインター符号化モードである場合)、動きベクトル(符号化モードがインター符号化モードである場合)及び予測差分符号化パラメータを可変長復号する処理を実施する。
逆量子化・逆変換部32は可変長復号部31により可変長復号された予測差分符号化パラメータに含まれる変換ブロック分割情報を参照して、可変長復号部31により可変長復号された圧縮データのブロックを変換ブロックに分割する。特に、カラー画像の信号フォーマットがYUV4:2:2である場合、輝度信号における圧縮データのブロックを変換ブロックに分割する際の分割状態と同じ分割状態で、色差信号における圧縮データのブロックを変換ブロックに分割したのち、分割後の変換ブロックである各々の長方形ブロックを正方形ブロックに2分割する。
また、逆量子化・逆変換部32は可変長復号部31により可変長復号された予測差分符号化パラメータに含まれる量子化パラメータを参照して、分割後の変換ブロックに係る圧縮データを逆量子化するとともに、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図1の逆量子化・逆変換部8から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する処理を実施する。
なお、逆量子化・逆変換部32は変換ブロック分割手段を構成している。
また、逆量子化・逆変換部32は可変長復号部31により可変長復号された予測差分符号化パラメータに含まれる量子化パラメータを参照して、分割後の変換ブロックに係る圧縮データを逆量子化するとともに、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図1の逆量子化・逆変換部8から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する処理を実施する。
なお、逆量子化・逆変換部32は変換ブロック分割手段を構成している。
ここで、上記変換ブロック分割情報から、符号化ブロックにおける変換ブロックの分割状態を特定する。例えば、4:2:0フォーマットの信号の場合、変換ブロックサイズは、図20に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
輝度信号については、例えば、図20に示すように、符号化ブロックが1つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
色差信号については、上述したように、入力信号フォーマットがYUV4:2:0信号である場合、輝度信号と同様に、符号化ブロックが1つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
上述したように、入力信号フォーマットがYUV4:2:2信号である場合、輝度信号と同様の四分木状の階層分割を行う。また、4分木分割の葉にあたるブロックの形状が、垂直方向の画素数が水平方向の画素数の2倍となる長方形となるため、さらに、分割後のブロックを上下に二分することで、YUV4:2:0信号での色差信号と同じブロックサイズ(輝度信号の変換ブロックの縦横ともに半分のサイズ)の変換ブロック2つで構成するようにする。
上述したように、入力信号フォーマットがYUV4:4:4信号である場合、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
上述したように、入力信号フォーマットがYUV4:4:4信号である場合、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
また、可変長復号部31により可変長復号された各ヘッダ情報が、当該スライスで量子化マトリクスを用いて、逆量子化処理を実施することを示している場合、量子化マトリクスを用いて逆量子化処理を行う。
具体的には、各ヘッダ情報から特定される量子化マトリクスを用いて逆量子化処理を行う。
具体的には、各ヘッダ情報から特定される量子化マトリクスを用いて逆量子化処理を行う。
切換スイッチ33は可変長復号部31により可変長復号された符号化モードがイントラ符号化モードであれば、可変長復号部31により可変長復号されたイントラ予測パラメータをイントラ予測部34に出力し、可変長復号部31により可変長復号された符号化モードがインター符号化モードであれば、可変長復号部31により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部35に出力する処理を実施する。
イントラ予測部34は可変長復号部31により可変長復号されたブロック分割情報から特定される符号化ブロックに係る符号化モードがイントラ符号化モードである場合、イントラ予測用メモリ37に格納されている復号画像を参照しながら、切換スイッチ33から出力されたイントラ予測パラメータを用いたイントラ予測処理(フレーム内予測処理)を実施してイントラ予測画像を生成する処理を実施する。
ただし、イントラ予測部34は、符号化ブロックに対する逆変換処理の単位となる変換ブロックが、予測ブロックから更に分割されたブロックである場合でも、予測ブロックの単位で、フレーム内予測処理を実施して予測画像を生成する。なお、イントラ予測部34はイントラ予測を構成している。
ただし、イントラ予測部34は、符号化ブロックに対する逆変換処理の単位となる変換ブロックが、予測ブロックから更に分割されたブロックである場合でも、予測ブロックの単位で、フレーム内予測処理を実施して予測画像を生成する。なお、イントラ予測部34はイントラ予測を構成している。
即ち、イントラ予測部34は、輝度信号については、輝度信号に対するイントラ予測パラメータを用いたイントラ予測処理(フレーム内予測処理)を実施して、輝度信号の予測画像を生成する。
一方、色差信号については、色差信号に対するイントラ予測パラメータが、輝度信号に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合(イントラ予測パラメータが輝度色差共通イントラ予測モード(DMモード)を示している場合)、輝度信号と同じフレーム内予測を実施して、色差信号の予測画像を生成する。
一方、色差信号については、色差信号に対するイントラ予測パラメータが、輝度信号に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合(イントラ予測パラメータが輝度色差共通イントラ予測モード(DMモード)を示している場合)、輝度信号と同じフレーム内予測を実施して、色差信号の予測画像を生成する。
また、色差信号に対するイントラ予測パラメータが、垂直方向予測モード又は水平方向予測モードを示している場合、色差信号に対する方向性予測を実施して、色差信号の予測画像を生成する。
また、色差信号に対するイントラ予測パラメータが、輝度相関利用色差信号予測モード(LMモード)を示している場合、予測画像の生成対象ブロックの上及び左に隣接している複数の画素の輝度信号及び色差信号を用いて、輝度信号と色差信号の相関を示す相関パラメータを算出し、その相関パラメータと予測処理対象の色差信号のブロックに対応する輝度信号を用いて、色差信号の予測画像を生成する。
また、色差信号に対するイントラ予測パラメータが、輝度相関利用色差信号予測モード(LMモード)を示している場合、予測画像の生成対象ブロックの上及び左に隣接している複数の画素の輝度信号及び色差信号を用いて、輝度信号と色差信号の相関を示す相関パラメータを算出し、その相関パラメータと予測処理対象の色差信号のブロックに対応する輝度信号を用いて、色差信号の予測画像を生成する。
なお、入力信号フォーマットがYUV4:4:4信号である場合、上記DMモード又は上記LMモードの処理を実施し、その他の予測モードは選択しないようにカラー画像符号化装置が構成されている場合、そのカラー画像符号化装置から生成されるビットストリームが復号できるようにカラー画像復号装置も同様の構成とする。YUV4:4:4信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
動き補償部35は可変長復号部31により可変長復号されたブロック分割情報から特定される符号化ブロックに係る符号化モードがインター符号化モードである場合、動き補償予測フレームメモリ39に格納されている復号画像を参照しながら、切換スイッチ33から出力された動きベクトルとインター予測パラメータを用いたインター予測処理(動き補償予測処理)を実施してインター予測画像を生成する処理を実施する。
加算部36は逆量子化・逆変換部32により算出された復号予測差分信号と、イントラ予測部34により生成されたイントラ予測画像、または、動き補償部35により生成されたインター予測画像とを加算して、図1の加算部9から出力された局所復号画像と同一の復号画像を算出する処理を実施する。
加算部36は逆量子化・逆変換部32により算出された復号予測差分信号と、イントラ予測部34により生成されたイントラ予測画像、または、動き補償部35により生成されたインター予測画像とを加算して、図1の加算部9から出力された局所復号画像と同一の復号画像を算出する処理を実施する。
イントラ予測用メモリ37は加算部36により算出された復号画像をイントラ予測処理で用いる参照画像として格納する記録媒体である。
ループフィルタ部38は加算部36により算出された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を出力する処理を実施する。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ(デブロッキングフィルタ)処理、画素単位に適応的にオフセットを加算する(画素適応オフセット)処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ループフィルタ部38は加算部36により算出された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を出力する処理を実施する。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ(デブロッキングフィルタ)処理、画素単位に適応的にオフセットを加算する(画素適応オフセット)処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ただし、ループフィルタ部38は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理のそれぞれについて、可変長復号部31により可変長復号された各ヘッダ情報を参照して、当該スライスで行うか否かを特定する。
このとき、2つ以上のフィルタ処理を行う場合において、例えば、カラー画像符号化装置のループフィルタ部11が図11のように構成されていれば、図12に示すように、ループフィルタ部38が構成される。当然、カラー画像符号化装置のループフィルタ部11がデブロッキングフィルタ処理と画素適応オフセット処理から構成されていれば、ループフィルタ部38もデブロッキングフィルタ処理と画素適応オフセット処理で構成される。
このとき、2つ以上のフィルタ処理を行う場合において、例えば、カラー画像符号化装置のループフィルタ部11が図11のように構成されていれば、図12に示すように、ループフィルタ部38が構成される。当然、カラー画像符号化装置のループフィルタ部11がデブロッキングフィルタ処理と画素適応オフセット処理から構成されていれば、ループフィルタ部38もデブロッキングフィルタ処理と画素適応オフセット処理で構成される。
ここで、デブロッキングフィルタ処理では、可変長復号部31により可変長復号されたヘッダ情報を参照し、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更する情報が存在する場合、その変更情報に基づいて、デブロッキングフィルタ処理を実施する。変更情報がない場合は、予め定められた手法に従って行う。
画素適応オフセット処理では、可変長復号部31により可変長復号された画素適応オフセット処理のブロック分割情報に基づいて復号画像を分割し、そのブロック単位に、可変長復号部31により可変長復号されたブロック単位のクラス分類手法を示すインデックスを参照して、そのインデックスが“オフセット処理を行わない”ことを示すインデックスでない場合、ブロック単位にブロック内の各画素を上記インデックスが示すクラス分類手法に従ってクラス分類する。
なお、クラス分類手法の候補として、ループフィルタ部11の画素適応オフセット処理のクラス分類手法の候補と同一のものが予め用意されている。
そして、ブロック単位の各クラスのオフセット値を特定するオフセット情報を参照して、復号画像の輝度値にオフセットを加算する処理を行う。
なお、クラス分類手法の候補として、ループフィルタ部11の画素適応オフセット処理のクラス分類手法の候補と同一のものが予め用意されている。
そして、ブロック単位の各クラスのオフセット値を特定するオフセット情報を参照して、復号画像の輝度値にオフセットを加算する処理を行う。
ただし、カラー画像符号化装置のループフィルタ部11の画素適応オフセット処理において、ブロック分割情報は符号化せずに、常に画像を固定サイズのブロック単位(例えば、最大符号化ブロック単位)に分割し、そのブロック毎にクラス分類手法を選択して、クラス毎の適応オフセット処理を行うように構成されている場合、ループフィルタ部38においても、ループフィルタ部11と同一の固定サイズのブロック単位に画素適応オフセット処理を実施する。
適応フィルタ処理では、可変長復号部31により可変長復号されたクラス毎のフィルタを用いて、図1のカラー画像符号化装置と同一の手法でクラス分類した後に、そのクラス分類情報に基づいてフィルタ処理を行う。
動き補償予測フレームメモリ39はループフィルタ部38のフィルタ処理後の復号画像をインター予測処理(動き補償予測処理)で用いる参照画像として格納する記録媒体である。
動き補償予測フレームメモリ39はループフィルタ部38のフィルタ処理後の復号画像をインター予測処理(動き補償予測処理)で用いる参照画像として格納する記録媒体である。
図3の例では、カラー画像復号装置の構成要素である可変長復号部31、逆量子化・逆変換部32、切換スイッチ33、イントラ予測部34、動き補償部35、加算部36、イントラ予測用メモリ37、ループフィルタ部38及び動き補償予測フレームメモリ39のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路や、ワンチップマイコンなど)で構成されているものを想定しているが、カラー画像復号装置がコンピュータで構成される場合、可変長復号部31、逆量子化・逆変換部32、切換スイッチ33、イントラ予測部34、動き補償部35、加算部36及びループフィルタ部38の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
図4はこの発明の実施の形態1によるカラー画像復号装置の処理内容(画像復号方法)を示すフローチャートである。
図4はこの発明の実施の形態1によるカラー画像復号装置の処理内容(画像復号方法)を示すフローチャートである。
次に動作について説明する。
この実施の形態1では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行って符号化ビットストリームを生成するカラー画像符号化装置と、そのカラー画像符号化装置から出力される符号化ビットストリームを復号するカラー画像復号装置について説明する。
この実施の形態1では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行って符号化ビットストリームを生成するカラー画像符号化装置と、そのカラー画像符号化装置から出力される符号化ビットストリームを復号するカラー画像復号装置について説明する。
図1のカラー画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。
この実施の形態1では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。
最初に、図1のカラー画像符号化装置の処理内容を説明する。
まず、符号化制御部2は、符号化対象となるピクチャ(カレントピクチャ)のスライス分割状態を決めると共に、ピクチャの符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する(図2のステップST1)。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
まず、符号化制御部2は、符号化対象となるピクチャ(カレントピクチャ)のスライス分割状態を決めると共に、ピクチャの符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する(図2のステップST1)。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定する方法などがある。
なお、上記最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限はシーケンスレベルヘッダなどに符号化してもよいし、符号化せずにカラー画像復号装置側も同一の決定処理を行うようにしてもよい。
前者はヘッダ情報の符号量が増加するが、カラー画像復号装置側で上記決定処理を行わずに済むため、カラー画像復号装置の処理負荷を抑えることができる上、カラー画像符号化装置側で最適な値を探索して送ることができる。
後者は反対に、カラー画像復号装置側で上記決定処理を行うため、カラー画像復号装置の処理負荷が増加するものの、ヘッダ情報の符号量は増加しない。
なお、上記最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限はシーケンスレベルヘッダなどに符号化してもよいし、符号化せずにカラー画像復号装置側も同一の決定処理を行うようにしてもよい。
前者はヘッダ情報の符号量が増加するが、カラー画像復号装置側で上記決定処理を行わずに済むため、カラー画像復号装置の処理負荷を抑えることができる上、カラー画像符号化装置側で最適な値を探索して送ることができる。
後者は反対に、カラー画像復号装置側で上記決定処理を行うため、カラー画像復号装置の処理負荷が増加するものの、ヘッダ情報の符号量は増加しない。
上記最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限をシーケンスレベルヘッダなどに符号化する場合、分割階層数の上限の代わりに、符号化ブロックの最小ブロックサイズを符号化するようにしてもよい。即ち、最大符号化ブロックを分割階層数の上限まで分割した時のブロックのサイズが符号化ブロックの最小ブロックサイズであるため、カラー画像復号装置側において、最大符号化ブロックのサイズと符号化ブロックの最小ブロックサイズから分割階層数の上限を特定することができる。
また、符号化制御部2は、利用可能な1以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する(ステップST2)。
即ち、符号化制御部2は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
符号化モードには、1つないし複数のイントラ符号化モード(総称して「INTRA」と称する)と、1つないし複数のインター符号化モード(総称して、「INTER」と称する)とがあり、符号化制御部2は、当該ピクチャで利用可能な全ての符号化モード、または、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。
即ち、符号化制御部2は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
符号化モードには、1つないし複数のイントラ符号化モード(総称して「INTRA」と称する)と、1つないし複数のインター符号化モード(総称して、「INTER」と称する)とがあり、符号化制御部2は、当該ピクチャで利用可能な全ての符号化モード、または、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。
ただし、後述するブロック分割部1により階層的に分割される各々の符号化ブロックは、さらに予測処理を行う単位である1つないし複数の予測ブロックに分割され、予測ブロックの分割状態も符号化モードの中に情報として含まれる。即ち、符号化モードは、どのような予測ブロック分割を持つイントラまたはインター符号化モードかを識別するインデックスである。
符号化制御部2による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
符号化制御部2による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
また、符号化制御部2は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロック分割状態を決定するとともに、予測処理が実施される際に用いられる予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を決定する。
ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を選択する。
ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を選択する。
ここで、図20は4:2:0フォーマットの信号における輝度信号及び色差信号の圧縮処理(変換処理、量子化処理)を実施する際の変換ブロックサイズを示す説明図である。
変換ブロックサイズは、図20に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。
変換ブロックサイズは、図20に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。
輝度信号については、例えば、図20に示すように、符号化ブロックが1つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
色差信号については、図20に示すように、入力信号フォーマットがYUV4:2:0信号である場合には、輝度信号と同様に、符号化ブロックが1つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
図21に示すように、入力信号フォーマットがYUV4:2:2信号である場合、輝度信号と同様の四分木状の階層分割を行う。また、4分木分割の葉にあたるブロックの形状が、垂直方向の画素数が水平方向の画素数の2倍となる長方形となるため、さらに、分割後のブロックを上下に二分することで、YUV4:2:0信号での色差信号と同じブロックサイズ(輝度信号の変換ブロックの縦横ともに半分のサイズ)の変換ブロック2つで構成するようにする。
また、図22に示すように、入力信号フォーマットがYUV4:4:4信号である場合、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
また、図22に示すように、入力信号フォーマットがYUV4:4:4信号である場合、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
符号化制御部2は、符号化ブロックにおける変換ブロックの分割情報を示す変換ブロック分割情報や、変換係数の量子化を行う際の量子化ステップサイズを規定する量子化パラメータなどを含む予測差分符号化パラメータを変換・量子化部7、逆量子化・逆変換部8及び可変長符号化部13に出力する。
また、符号化制御部2は、イントラ予測パラメータを必要に応じてイントラ予測部4に出力する。
また、符号化制御部2は、インター予測パラメータを必要に応じて動き補償予測部5に出力する。
また、符号化制御部2は、イントラ予測パラメータを必要に応じてイントラ予測部4に出力する。
また、符号化制御部2は、インター予測パラメータを必要に応じて動き補償予測部5に出力する。
スライス分割部14は、入力画像として映像信号を入力すると、その入力画像を符号化制御部2により決定されたスライス分割情報にしたがって1以上の部分画像であるスライスに分割する。
ブロック分割部1は、スライス分割部14から各スライスを入力する毎に、そのスライスを符号化制御部2により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部2により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。
ブロック分割部1は、スライス分割部14から各スライスを入力する毎に、そのスライスを符号化制御部2により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部2により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。
ここで、図5は最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。
図5において、最大符号化ブロックは、「第0階層」と記されている輝度成分が(L0,M0)のサイズを有する符号化ブロックである。
最大符号化ブロックを出発点として、4分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
深さnにおいては、符号化ブロックはサイズ(Ln,Mn)の画像領域である。
ただし、LnとMnは、同じであってもよいし、異なっていてもよいが、図5では、Ln=Mnのケースを示している。
図5において、最大符号化ブロックは、「第0階層」と記されている輝度成分が(L0,M0)のサイズを有する符号化ブロックである。
最大符号化ブロックを出発点として、4分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
深さnにおいては、符号化ブロックはサイズ(Ln,Mn)の画像領域である。
ただし、LnとMnは、同じであってもよいし、異なっていてもよいが、図5では、Ln=Mnのケースを示している。
以降、符号化制御部2により決定される符号化ブロックサイズは、符号化ブロックの輝度成分におけるサイズ(Ln,Mn)と定義する。また、特に断らない限り、輝度成分におけるサイズはLn=Mnであるものとして説明を行う。
4分木分割を行うため、常に、(Ln+1,Mn+1)=(Ln/2,Mn/2)が成立する。
RGB信号など、全ての色成分が同一サンプル数を有するカラー映像信号(4:4:4フォーマット)を扱う場合、全ての色成分に対する符号化ブロックサイズが共通の(Ln,Mn)と決定されるように構成してもよいし、全ての色成分の符号化ブロックサイズが独立に決定されるように構成してもよい。
4:2:2フォーマットのカラー映像信号を扱う場合、輝度成分の符号化ブロックサイズが(Ln,Mn)であった場合、対応する色差成分の符号化ブロックサイズは(Ln/2,Mn)になる。4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは(Ln/2,Mn/2)になる。
4分木分割を行うため、常に、(Ln+1,Mn+1)=(Ln/2,Mn/2)が成立する。
RGB信号など、全ての色成分が同一サンプル数を有するカラー映像信号(4:4:4フォーマット)を扱う場合、全ての色成分に対する符号化ブロックサイズが共通の(Ln,Mn)と決定されるように構成してもよいし、全ての色成分の符号化ブロックサイズが独立に決定されるように構成してもよい。
4:2:2フォーマットのカラー映像信号を扱う場合、輝度成分の符号化ブロックサイズが(Ln,Mn)であった場合、対応する色差成分の符号化ブロックサイズは(Ln/2,Mn)になる。4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは(Ln/2,Mn/2)になる。
以降、第n階層の符号化ブロックをBnで表し、符号化ブロックBnで選択可能な符号化モードをm(Bn)で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードm(Bn)は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、YUV信号、4:2:2フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。
複数の色成分からなるカラー映像信号の場合、符号化モードm(Bn)は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、YUV信号、4:2:2フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。
符号化ブロックBnは、図5に示すように、ブロック分割部1によって、予測処理単位を表す1つないし複数の予測ブロックに分割される。
以降、符号化ブロックBnに属する予測ブロックをPi n(iは、第n階層における予測ブロック番号)と表記する。図5にはP0 0とP1 0の例を示している。
符号化ブロックBn内の予測ブロックの分割が、どのようになされているかは、符号化モードm(Bn)の中に情報として含まれる。
予測ブロックPi nは、全て符号化モードm(Bn)に従って予測処理が行われるが、予測ブロックPi n毎に、個別の予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を選択することができる。
以降、符号化ブロックBnに属する予測ブロックをPi n(iは、第n階層における予測ブロック番号)と表記する。図5にはP0 0とP1 0の例を示している。
符号化ブロックBn内の予測ブロックの分割が、どのようになされているかは、符号化モードm(Bn)の中に情報として含まれる。
予測ブロックPi nは、全て符号化モードm(Bn)に従って予測処理が行われるが、予測ブロックPi n毎に、個別の予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を選択することができる。
符号化制御部2は、最大符号化ブロックに対して、例えば、図6に示すようなブロック分割状態を生成して、符号化ブロックを特定する。
図6(a)の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
図6(b)は、図6(a)の例について、階層分割によって符号化モードm(Bn)が割り当てられる状況を4分木グラフで示したものである。図6(b)の□で囲まれているノードは、符号化モードm(Bn)が割り当てられたノード(符号化ブロック)である。
この4分木グラフの情報は、符号化モードm(Bn)と共に符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
図6(a)の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
図6(b)は、図6(a)の例について、階層分割によって符号化モードm(Bn)が割り当てられる状況を4分木グラフで示したものである。図6(b)の□で囲まれているノードは、符号化モードm(Bn)が割り当てられたノード(符号化ブロック)である。
この4分木グラフの情報は、符号化モードm(Bn)と共に符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
切換スイッチ3は、符号化制御部2により決定された符号化モードm(Bn)がイントラ符号化モードである場合(m(Bn)∈INTRAの場合)、ブロック分割部1から出力された符号化ブロックBnをイントラ予測部4に出力する。
一方、符号化制御部2により決定された符号化モードm(Bn)がインター符号化モードである場合(m(Bn)∈INTERの場合)、ブロック分割部1から出力された符号化ブロックBnを動き補償予測部5に出力する。
一方、符号化制御部2により決定された符号化モードm(Bn)がインター符号化モードである場合(m(Bn)∈INTERの場合)、ブロック分割部1から出力された符号化ブロックBnを動き補償予測部5に出力する。
イントラ予測部4は、符号化制御部2により決定された符号化モードm(Bn)がイントラ符号化モードであり(m(Bn)∈INTRAの場合)、切換スイッチ3から符号化ブロックBnを受けると(ステップST3)、イントラ予測用メモリ10に格納されている局所復号画像を参照しながら、符号化制御部2により決定されたイントラ予測パラメータおよび変換ブロック分割情報を用いて、その符号化ブロックBn内の各予測ブロックPi nに対するイントラ予測処理を実施して、イントラ予測画像PINTRAi nを生成する(ステップST4)。
符号化モードm(Bn)がイントラ符号化モードである場合、符号化ブロックBnは、符号化制御部2により決定された変換ブロック分割情報に基づき、Pi nを起点として、4分木分割などの特定の分割手段により1つ以上の変換ブロックTj nに分割される。よって、イントラ符号化モードの場合、変換ブロックが複数の予測ブロックを跨ることはなく、また、予測ブロックPi n内に複数の変換ブロックが存在する場合がある。
符号化モードm(Bn)がイントラ符号化モードである場合、符号化ブロックBnは、符号化制御部2により決定された変換ブロック分割情報に基づき、Pi nを起点として、4分木分割などの特定の分割手段により1つ以上の変換ブロックTj nに分割される。よって、イントラ符号化モードの場合、変換ブロックが複数の予測ブロックを跨ることはなく、また、予測ブロックPi n内に複数の変換ブロックが存在する場合がある。
ここで、予測ブロックPi n内において、予測画像を生成する単位となる矩形領域を予測画像生成ブロックとすると、イントラ予測画像を生成する処理には、予測画像生成ブロックに隣接する局所復号済みの画素を用いる。
輝度信号における予測画像生成ブロックは、変換ブロックに一致する。また、YUV4:2:0フォーマット及びYUV4:2:0フォーマットにおける色差信号の予測画像生成ブロックも変換ブロックに一致する。
ただし、YUV4:2:2フォーマットにおける予測画像生成ブロックは、変換ブロックではなく、長方形の予測ブロックを輝度値と同様に4分木分割していった結果である分割前長方形変換ブロックと一致させるようにする。
輝度信号における予測画像生成ブロックは、変換ブロックに一致する。また、YUV4:2:0フォーマット及びYUV4:2:0フォーマットにおける色差信号の予測画像生成ブロックも変換ブロックに一致する。
ただし、YUV4:2:2フォーマットにおける予測画像生成ブロックは、変換ブロックではなく、長方形の予測ブロックを輝度値と同様に4分木分割していった結果である分割前長方形変換ブロックと一致させるようにする。
なお、カラー画像復号装置がイントラ予測画像PINTRAi nと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像PINTRAi nの生成に用いられたイントラ予測パラメータ及び変換ブロック分割情報は、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
イントラ予測部4の処理内容の詳細は後述する。
イントラ予測部4の処理内容の詳細は後述する。
動き補償予測部5は、符号化制御部2により決定された符号化モードm(Bn)がインター符号化モードであり(m(Bn)∈INTERの場合)、切換スイッチ3から符号化ブロックBnを受けると(ステップST3)、その符号化ブロックBn内の各予測ブロックPi nと動き補償予測フレームメモリ12に格納されているフィルタ処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部2により決定されたインター予測パラメータを用いて、その符号化ブロックBn内の各予測ブロックPi nに対するインター予測処理を実施して、インター予測画像PINTERi nを生成する(ステップST5)。
符号化モードm(Bn)がインター符号化モードである場合、符号化ブロックBnは、符号化制御部2により決定された変換ブロック分割情報に基づき、Bnを起点として、4分木分割などの特定の分割手段により1つ以上の変換ブロックに分割される。よってインター符号化モードの場合、変換ブロックが複数の予測ブロックを跨る場合があり、また、予測ブロックPi n内に複数の変換ブロックが存在する場合がある。
なお、カラー画像復号装置がインター予測画像PINTERi nと全く同じインター予測画像を生成する必要があるため、インター予測画像PINTERi nの生成に用いられたインター予測パラメータ及び変換ブロック分割情報は、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
また、動き補償予測部5により探索された動きベクトルも可変長符号化部13に出力されて、ビットストリームに多重化される。
なお、カラー画像復号装置がインター予測画像PINTERi nと全く同じインター予測画像を生成する必要があるため、インター予測画像PINTERi nの生成に用いられたインター予測パラメータ及び変換ブロック分割情報は、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
また、動き補償予測部5により探索された動きベクトルも可変長符号化部13に出力されて、ビットストリームに多重化される。
減算部6は、ブロック分割部1から符号化ブロックBnを受けると、その符号化ブロックBn内の予測ブロックPi nから、イントラ予測部4により生成されたイントラ予測画像PINTRAi n、または、動き補償予測部5により生成されたインター予測画像PINTERi nのいずれか一方を減算して、その減算結果である差分画像を示す予測差分信号ei nを変換・量子化部7に出力する(ステップST6)。
変換・量子化部7は、減算部6から予測差分信号ei nを受けると、符号化制御部2により決定された予測差分符号化パラメータに含まれる変換ブロック分割情報を参照して、減算部6から出力された予測差分信号ei nのブロックを変換ブロックに分割する。
特に、カラー画像の信号フォーマットがYUV4:2:2である場合、輝度信号における予測差分信号ei nのブロックを変換ブロックに分割する際の分割状態と同じ分割状態で、色差信号における予測差分信号ei nのブロックを変換ブロックに分割したのち、分割後の変換ブロックである各々の長方形ブロックを正方形ブロックに2分割する。
特に、カラー画像の信号フォーマットがYUV4:2:2である場合、輝度信号における予測差分信号ei nのブロックを変換ブロックに分割する際の分割状態と同じ分割状態で、色差信号における予測差分信号ei nのブロックを変換ブロックに分割したのち、分割後の変換ブロックである各々の長方形ブロックを正方形ブロックに2分割する。
変換・量子化部7は、分割後の変換ブロックに対する直交変換処理(例えば、DCT(離散コサイン変換)やDST(離散サイン変換)、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を実施して変換係数を算出する。
また、変換・量子化部7は、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する(ステップST7)。このとき、上記量子化パラメータから算出される量子化ステップサイズを変換係数毎にスケーリングする量子化マトリクスを用いて量子化処理を実施するようにしてもよい。
また、変換・量子化部7は、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する(ステップST7)。このとき、上記量子化パラメータから算出される量子化ステップサイズを変換係数毎にスケーリングする量子化マトリクスを用いて量子化処理を実施するようにしてもよい。
量子化マトリクスは、各直交変換サイズで色信号や符号化モード(イントラ符号化かインター符号化か)毎に独立しているマトリクスを使用することができ、初期値として、カラー画像符号化装置及びカラー画像復号装置で、予め共通に用意されている量子化マトリクスや既に符号化された量子化マトリクスの中から選択するか、新しい量子化マトリクスを用いるかをそれぞれ選択することができる。
したがって、変換・量子化部7は、各直交変換サイズに対して色信号や符号化モード毎に、新しい量子化マトリクスを用いるか否かを示すフラグ情報を符号化すべき量子化マトリクスパラメータに設定する。
したがって、変換・量子化部7は、各直交変換サイズに対して色信号や符号化モード毎に、新しい量子化マトリクスを用いるか否かを示すフラグ情報を符号化すべき量子化マトリクスパラメータに設定する。
さらに、新しい量子化マトリクスを用いる場合には、図10に示すような量子化マトリクスの各スケーリング値を符号化すべき量子化マトリクスパラメータに設定する。
一方、新しい量子化マトリクスを用いない場合には、初期値として、カラー画像符号化装置及びカラー画像復号装置で、予め共通に用意されている量子化マトリクス、または、既に符号化された量子化マトリクスの中から、使用するマトリクスを特定するインデックスを符号化すべき量子化マトリクスパラメータに設定する。ただし、参照可能な既に符号化された量子化マトリクスが存在しない場合、カラー画像符号化装置及びカラー画像復号装置で、予め共通に用意されている量子化マトリクスのみ選択可能となる。
そして、変換・量子化部7は、設定した量子化マトリクスパラメータを可変長符号化部13に出力する。
一方、新しい量子化マトリクスを用いない場合には、初期値として、カラー画像符号化装置及びカラー画像復号装置で、予め共通に用意されている量子化マトリクス、または、既に符号化された量子化マトリクスの中から、使用するマトリクスを特定するインデックスを符号化すべき量子化マトリクスパラメータに設定する。ただし、参照可能な既に符号化された量子化マトリクスが存在しない場合、カラー画像符号化装置及びカラー画像復号装置で、予め共通に用意されている量子化マトリクスのみ選択可能となる。
そして、変換・量子化部7は、設定した量子化マトリクスパラメータを可変長符号化部13に出力する。
逆量子化・逆変換部8は、変換・量子化部7から圧縮データを受けると、符号化制御部2により決定された予測差分符号化パラメータに含まれる量子化パラメータ及び変換ブロック分割情報を参照して、変換ブロック単位にその圧縮データを逆量子化する。
変換・量子化部7が量子化処理に量子化マトリクスを用いている場合には、逆量子化処理時においても、その量子化マトリクスを参照して、対応した逆量子化処理を実施する。
また、逆量子化・逆変換部8は、変換ブロック単位に逆量子化後の圧縮データである変換係数に対する逆直交変換処理(例えば、逆DCT、逆DST、逆KL変換など)を実施して、減算部6から出力された予測差分信号ei nに相当する局所復号予測差分信号を算出して加算部9に出力する(ステップST8)。
変換・量子化部7が量子化処理に量子化マトリクスを用いている場合には、逆量子化処理時においても、その量子化マトリクスを参照して、対応した逆量子化処理を実施する。
また、逆量子化・逆変換部8は、変換ブロック単位に逆量子化後の圧縮データである変換係数に対する逆直交変換処理(例えば、逆DCT、逆DST、逆KL変換など)を実施して、減算部6から出力された予測差分信号ei nに相当する局所復号予測差分信号を算出して加算部9に出力する(ステップST8)。
加算部9は、逆量子化・逆変換部8から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部4により生成されたイントラ予測画像PINTRAi n、または、動き補償予測部5により生成されたインター予測画像PINTERi nのいずれか一方を加算することで、局所復号画像を算出する(ステップST9)。
なお、加算部9は、その局所復号画像をループフィルタ部11に出力するとともに、その局所復号画像をイントラ予測用メモリ10に格納する。
この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。
なお、加算部9は、その局所復号画像をループフィルタ部11に出力するとともに、その局所復号画像をイントラ予測用メモリ10に格納する。
この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。
ループフィルタ部11は、加算部9から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を動き補償予測フレームメモリ12に格納する(ステップST10)。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ(デブロッキングフィルタ)処理、画素単位に適応的にオフセットを加算する(画素適応オフセット)処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ(デブロッキングフィルタ)処理、画素単位に適応的にオフセットを加算する(画素適応オフセット)処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ただし、ループフィルタ部11は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理のそれぞれについて、処理を行うか否かを決定し、各処理の有効フラグをシーケンスレベルヘッダの一部及びスライスレベルヘッダの一部として可変長符号化部13に出力する。なお、上記のフィルタ処理を複数使用する際は、各フィルタ処理を順番に実施する。図11は複数のフィルタ処理を用いる場合のループフィルタ部11の構成例を示している。
一般に使用するフィルタ処理の種類が多いほど、画像品質は向上するが、一方で処理負荷は高くなる。即ち、画像品質と処理負荷はトレードオフの関係にある。また、各フィルタ処理の画像品質改善効果はフィルタ処理対象画像の特性によって異なる。したがって、カラー画像符号化装置が許容する処理負荷や符号化処理対象画像の特性にしたがって使用するフィルタ処理を決めればよい。
一般に使用するフィルタ処理の種類が多いほど、画像品質は向上するが、一方で処理負荷は高くなる。即ち、画像品質と処理負荷はトレードオフの関係にある。また、各フィルタ処理の画像品質改善効果はフィルタ処理対象画像の特性によって異なる。したがって、カラー画像符号化装置が許容する処理負荷や符号化処理対象画像の特性にしたがって使用するフィルタ処理を決めればよい。
ここで、デブロッキングフィルタ処理では、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更することができる。変更する場合には、そのパラメータをヘッダ情報として可変長符号化部13に出力する。
画素適応オフセット処理では、最初に、画像を複数のブロックに分割し、そのブロック単位に、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、予め用意している複数のクラス分類手法の中から、1つのクラス分類手法を選択する。
次に、選択したクラス分類手法によってブロック内の各画素をクラス分類し、クラス毎に符号化歪みを補償するオフセット値を算出する。
最後に、局所復号画像の輝度値に対して、そのオフセット値を加算する処理を行うことで局所復号画像の画像品質を改善する。
次に、選択したクラス分類手法によってブロック内の各画素をクラス分類し、クラス毎に符号化歪みを補償するオフセット値を算出する。
最後に、局所復号画像の輝度値に対して、そのオフセット値を加算する処理を行うことで局所復号画像の画像品質を改善する。
クラス分類手法としては、局所復号画像の輝度値の大きさで分類する手法(BO手法と呼ぶ)や、エッジの方向毎に各画素の周囲の状況(エッジ部か否か等)に応じて分類する手法(EO手法と呼ぶ)がある。
これらの手法は、予めカラー画像符号化装置及びカラー画像復号装置で共通に用意されており、例えば、図14に示すように、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、これらの手法のうち、どの手法でクラス分類を行うかを示すインデックスを上記ブロック単位に選択する。
これらの手法は、予めカラー画像符号化装置及びカラー画像復号装置で共通に用意されており、例えば、図14に示すように、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、これらの手法のうち、どの手法でクラス分類を行うかを示すインデックスを上記ブロック単位に選択する。
したがって、画素適応オフセット処理は、ブロックの分割情報、ブロック単位のクラス分類手法を示すインデックス、ブロック単位のオフセット情報をヘッダ情報として可変長符号化部13に出力する。
なお、画素適応オフセット処理において、例えば、最大符号化ブロックといった固定サイズのブロック単位に常に分割して、そのブロック毎にクラス分類手法を選択して、クラス毎の適応オフセット処理を行ってもよい。この場合、上記ブロック分割情報が不要となり、ブロック分割情報に要する符号量分だけ符号量が削減され、符号化効率を高めることができる。
なお、画素適応オフセット処理において、例えば、最大符号化ブロックといった固定サイズのブロック単位に常に分割して、そのブロック毎にクラス分類手法を選択して、クラス毎の適応オフセット処理を行ってもよい。この場合、上記ブロック分割情報が不要となり、ブロック分割情報に要する符号量分だけ符号量が削減され、符号化効率を高めることができる。
また、適応フィルタ処理では、局所復号画像を所定の手法でクラス分類し、各クラスに属する領域(局所復号画像)毎に、重畳されている歪みを補償するフィルタを設計し、そのフィルタを用いて、当該局所復号画像のフィルタ処理を実施する。
そして、クラス毎に設計したフィルタをヘッダ情報として可変長符号化部13に出力する。
ここで、クラス分類手法としては、画像を空間的に等間隔に区切る簡易な手法や、ブロック単位に画像の局所的な特性(分散など)に応じて分類する手法がある。また、適応フィルタ処理で使用するクラス数は、予めカラー画像符号化装置及びカラー画像復号装置で共通の値に設定してもよいし、符号化すべきパラメータの一つとしてもよい。
前者と比較して後者の方が、使用するクラス数を自由に設定することができるため、画像品質改善効果が上がるが、一方でクラス数を符号化するために、その分の符号量が増加する。
そして、クラス毎に設計したフィルタをヘッダ情報として可変長符号化部13に出力する。
ここで、クラス分類手法としては、画像を空間的に等間隔に区切る簡易な手法や、ブロック単位に画像の局所的な特性(分散など)に応じて分類する手法がある。また、適応フィルタ処理で使用するクラス数は、予めカラー画像符号化装置及びカラー画像復号装置で共通の値に設定してもよいし、符号化すべきパラメータの一つとしてもよい。
前者と比較して後者の方が、使用するクラス数を自由に設定することができるため、画像品質改善効果が上がるが、一方でクラス数を符号化するために、その分の符号量が増加する。
ステップST3〜ST9の処理は、階層的に分割された全ての符号化ブロックBnに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックBnに対する処理が完了すると、ステップST13の処理に移行する(ステップST11,ST12)。
可変長符号化部13は、変換・量子化部7から出力された圧縮データと、符号化制御部2から出力された最大符号化ブロック内のブロック分割情報(図6(b)を例とする4分木情報)、符号化モードm(Bn)及び予測差分符号化パラメータと、符号化制御部2から出力されたイントラ予測パラメータ(符号化モードがイントラ符号化モードである場合)又はインター予測パラメータ(符号化モードがインター符号化モードである場合)と、動き補償予測部5から出力された動きベクトル(符号化モードがインター符号化モードである場合)とを可変長符号化し、それらの符号化結果を示す符号化データを生成する(ステップST13)。
その際、量子化された直交変換係数である圧縮データの符号化手法として、変換ブロックを更にCoefficient Group(CG)と呼ばれる4×4画素単位のブロック(符号化サブブロック)に分割して、CG単位に係数の符号化処理を実施する。
図15は16×16画素の変換ブロックにおける係数の符号化順(スキャン順)を示している。
このように4×4画素単位の16個のCGを右下のCGから順に符号化処理し、さらに各CGはCG内の16個の係数を右下の係数から順に符号化する。具体的には、まず、CG内の16個の係数の中に有意(非零)係数が存在するか否かのフラグ情報を符号化し、次にCG内に有意(非零)係数が存在する場合のみCG内の各係数が有意(非零)係数であるかを上記順に符号化し、最後に有意(非零)係数に対して、その係数値情報を順に符号化する。これをCG単位に上記順に行う。
図15は16×16画素の変換ブロックにおける係数の符号化順(スキャン順)を示している。
このように4×4画素単位の16個のCGを右下のCGから順に符号化処理し、さらに各CGはCG内の16個の係数を右下の係数から順に符号化する。具体的には、まず、CG内の16個の係数の中に有意(非零)係数が存在するか否かのフラグ情報を符号化し、次にCG内に有意(非零)係数が存在する場合のみCG内の各係数が有意(非零)係数であるかを上記順に符号化し、最後に有意(非零)係数に対して、その係数値情報を順に符号化する。これをCG単位に上記順に行う。
その際、有意(非零)係数がなるべく連続で発生するように偏るスキャン順とした方がエントロピー符号化による符号化効率を高めることができる。直交変換後の係数は左上に位置する直流成分をはじめとして左上に近い程、低い周波数成分の低い係数を表すことから、図16に示す例のように、一般的に左上に近い程、有意(非零)係数が多く発生するために、図15に示すように、右下から順に符号化することで効率的に符号化することができる。
なお、上記では16×16画素の変換ブロックについて説明したが、8×8画素や32×32画素の変換ブロック等、16×16画素以外のブロックサイズにおいても、CG(符号化サブブロック)単位の符号化処理を実施するものとする。
なお、上記では16×16画素の変換ブロックについて説明したが、8×8画素や32×32画素の変換ブロック等、16×16画素以外のブロックサイズにおいても、CG(符号化サブブロック)単位の符号化処理を実施するものとする。
また、可変長符号化部13は、図13に例示するように、符号化ビットストリームのヘッダ情報として、シーケンスレベルヘッダ、ピクチャレベルヘッダを符号化し、ピクチャデータと共に符号化ビットストリームを生成する。
ただし、ピクチャデータは1以上のスライスデータから構成され、各スライスデータはスライスレベルヘッダと当該スライス内にある上記符号化データをまとめたものである。
ただし、ピクチャデータは1以上のスライスデータから構成され、各スライスデータはスライスレベルヘッダと当該スライス内にある上記符号化データをまとめたものである。
シーケンスレベルヘッダは、画像サイズ、色信号フォーマット、輝度信号や色差信号の信号値のビット深度、シーケンス単位でのループフィルタ部11における各フィルタ処理(適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理)の有効フラグ情報、量子化マトリクスの有効フラグ情報、フィールド符号化か否かを示すフラグなど、一般的にシーケンス単位に共通となるヘッダ情報をまとめたものである。
ピクチャレベルヘッダは、参照するシーケンスレベルヘッダのインデックスや動き補償時の参照ピクチャ数、エントロピー符号化の確率テーブル初期化フラグ等のピクチャ単位で設定するヘッダ情報をまとめたものである。
スライスレベルヘッダは、当該スライスがピクチャのどの位置にあるかを示す位置情報、どのピクチャレベルヘッダを参照するかを示すインデックス、スライスの符号化タイプ(オールイントラ符号化、インター符号化など)、ループフィルタ部11における各フィルタ処理(適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理)を行うか否かを示すフラグ情報などといったスライス単位のパラメータをまとめたものである。
ピクチャレベルヘッダは、参照するシーケンスレベルヘッダのインデックスや動き補償時の参照ピクチャ数、エントロピー符号化の確率テーブル初期化フラグ等のピクチャ単位で設定するヘッダ情報をまとめたものである。
スライスレベルヘッダは、当該スライスがピクチャのどの位置にあるかを示す位置情報、どのピクチャレベルヘッダを参照するかを示すインデックス、スライスの符号化タイプ(オールイントラ符号化、インター符号化など)、ループフィルタ部11における各フィルタ処理(適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理)を行うか否かを示すフラグ情報などといったスライス単位のパラメータをまとめたものである。
次に、イントラ予測部4の処理内容を詳細に説明する。
イントラ予測部4は、上述したように、予測ブロックPi nのイントラ予測パラメータを参照して、その予測ブロックPi nに対するイントラ予測処理を実施して、イントラ予測画像PINTRAi nを生成する。まずは、輝度成分における予測ブロックPi nのイントラ予測画像を生成するイントラ処理について説明する。
イントラ予測部4は、上述したように、予測ブロックPi nのイントラ予測パラメータを参照して、その予測ブロックPi nに対するイントラ予測処理を実施して、イントラ予測画像PINTRAi nを生成する。まずは、輝度成分における予測ブロックPi nのイントラ予測画像を生成するイントラ処理について説明する。
図7は符号化ブロックBn内の各予測ブロックPi nが選択可能なイントラ予測モードの一例を示す説明図であり、イントラ予測モードのインデックス値と、そのイントラ予測モードが示す予測方向ベクトルを示している。上記イントラ予測モードのインデックス値がイントラ予測パラメータを示している。
なお、イントラ予測モード数は、処理対象となるブロックのサイズに応じて異なるように構成してもよい。
一般に、予測対象ブロックのサイズが大きくなるほど、イントラ予測の効率が低下するため、小さいサイズのブロックでは、選択できるイントラ予測モード数を多くし、大きいサイズのブロックでは、選択できるイントラ予測モード数を少なくするように構成することで、予測方向数を決定するための演算量を抑制するとともに、イントラ予測モードをカラー画像復号装置に伝送するための符号量を削減することができる。
なお、イントラ予測モード数は、処理対象となるブロックのサイズに応じて異なるように構成してもよい。
一般に、予測対象ブロックのサイズが大きくなるほど、イントラ予測の効率が低下するため、小さいサイズのブロックでは、選択できるイントラ予測モード数を多くし、大きいサイズのブロックでは、選択できるイントラ予測モード数を少なくするように構成することで、予測方向数を決定するための演算量を抑制するとともに、イントラ予測モードをカラー画像復号装置に伝送するための符号量を削減することができる。
イントラ予測部4は、符号化制御部2より上記選択可能なイントラ予測モードの中から決定されたイントラ予測モードに従い、以下の手段でイントラ予測画像を生成する。
イントラ予測画像は、予測ブロック内に1つ以上含まれる予測画像生成ブロック単位に実施される。
ある予測画像生成ブロックに対するイントラ予測画像生成処理は、以下の手段で行われる。
イントラ予測画像は、予測ブロック内に1つ以上含まれる予測画像生成ブロック単位に実施される。
ある予測画像生成ブロックに対するイントラ予測画像生成処理は、以下の手段で行われる。
予測画像生成ブロックのサイズをli n×mi n画素とする。
図8はli n=mi n=4の場合の予測画像生成ブロック内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図8では、予測画像生成ブロックの上の符号化済みの画素(2×li n+1)個と、左の符号化済みの画素(2×mi n)個を予測に用いる画素としているが、予測に用いる画素は、図8に示す画素より多くても少なくてもよい。
また、図8では、予測画像生成ブロックの近傍の1行又は1列分の画素を予測に用いているが、2行又は2列、あるいは、それ以上の画素を予測に用いてもよい。
図8はli n=mi n=4の場合の予測画像生成ブロック内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図8では、予測画像生成ブロックの上の符号化済みの画素(2×li n+1)個と、左の符号化済みの画素(2×mi n)個を予測に用いる画素としているが、予測に用いる画素は、図8に示す画素より多くても少なくてもよい。
また、図8では、予測画像生成ブロックの近傍の1行又は1列分の画素を予測に用いているが、2行又は2列、あるいは、それ以上の画素を予測に用いてもよい。
予測画像生成ブロックが属する予測ブロックPi nに対するイントラ予測モードのインデックス値が0(平面(Planar)予測)の場合には、予測画像生成ブロックの上に隣接する符号化済み画素と予測画像生成ブロックの左に隣接する局所復号済み画素を用いて、これら画素と予測画像生成ブロック内の予測対象画素との距離に応じて内挿した値を予測値として予測画像を生成する。
予測画像生成ブロックが属する予測ブロックPi nに対するイントラ予測モードのインデックス値が1(平均値(DC)予測)の場合には、予測画像生成ブロックの上に隣接する符号化済み画素と予測画像生成ブロックの左に隣接する符号化済み画素の平均値を予測画像生成ブロック内の画素の予測値として予測画像を生成する(図19を参照)。
さらに、予測画像生成ブロックの上端及び左端に位置する図17の領域A,B,Cに対して、ブロック境界を平滑化するフィルタ処理を行って最終的な予測画像とする。
さらに、予測画像生成ブロックの上端及び左端に位置する図17の領域A,B,Cに対して、ブロック境界を平滑化するフィルタ処理を行って最終的な予測画像とする。
予測画像生成ブロックの属する予測ブロックPi nに対するイントラ予測モードのインデックス値が26(垂直方向予測)の場合、下記の式(1)から予測画像生成ブロック内の画素の予測値を算出して予測画像を生成する。
ただし、座標(x,y)は予測画像生成ブロック内の左上画素を原点とする相対座標(図9を参照)であり、S’(x,y)は座標(x,y)における予測値、S(x,y)は座標(x,y)における符号化済み画素の輝度値(復号された輝度値)である。
また、算出した予測値が輝度値の取り得る値の範囲を超えている場合、予測値がその範囲内に収まるように値を丸めるようにする。
ただし、座標(x,y)は予測画像生成ブロック内の左上画素を原点とする相対座標(図9を参照)であり、S’(x,y)は座標(x,y)における予測値、S(x,y)は座標(x,y)における符号化済み画素の輝度値(復号された輝度値)である。
また、算出した予測値が輝度値の取り得る値の範囲を超えている場合、予測値がその範囲内に収まるように値を丸めるようにする。
なお、式(1)の1行目の式は、MPEG−4 AVC/H.264における垂直方向予測の予測値であるS(x,−1)に対し、隣接する符号化済み画素の垂直方向の輝度値の変化量S(−1,y)−S(−1,−1)を1/2にした値を加算することで、ブロック境界が平滑化されるようにフィルタ処理したものを予測値とすることを意味しており、式(1)の2行目の式は、MPEG−4 AVC/H.264における垂直方向予測と同じ予測式を示している。
予測画像生成ブロックの属する予測ブロックPi nに対するイントラ予測モードのインデックス値が10(水平方向予測)の場合、下記の式(2)から予測画像生成ブロック内の画素の予測値を算出して予測画像を生成する。
ただし、座標(x,y)は予測画像生成ブロック内の左上画素を原点とする相対座標(図9を参照)であり、S’(x,y)は座標(x,y)における予測値、S(x,y)は座標(x,y)における符号化済み画素の輝度値(復号された輝度値)である。
また、算出した予測値が輝度値の取り得る値の範囲を超えている場合、予測値がその範囲内に収まるように値を丸めるようにする。
ただし、座標(x,y)は予測画像生成ブロック内の左上画素を原点とする相対座標(図9を参照)であり、S’(x,y)は座標(x,y)における予測値、S(x,y)は座標(x,y)における符号化済み画素の輝度値(復号された輝度値)である。
また、算出した予測値が輝度値の取り得る値の範囲を超えている場合、予測値がその範囲内に収まるように値を丸めるようにする。
なお、式(2)の1行目の式は、MPEG−4 AVC/H.264における水平方向予測の予測値であるS(−1,y)に対し、隣接する符号化済み画素の水平方向の輝度値の変化量S(x,−1)−S(−1,−1)を1/2にした値を加算することで、ブロック境界が平滑化されるようにフィルタ処理したものを予測値とすることを意味しており、式(2)の2行目の式は、MPEG−4 AVC/H.264における水平方向予測と同じ予測式を示している。
なお、上記の動作は、平均値予測の場合、垂直方向予測の場合、水平方向予測の場合について説明したが、これら以外の予測を用いた場合も、同様の効果を得ることができる。
イントラ予測モードのインデックス値が0(平面予測)、1(平均値予測)、26(垂直方向予測)、10(水平方向予測)以外の場合には、インデックス値が示す予測方向ベクトルυp=(dx,dy)に基づいて、予測画像生成ブロック内の画素の予測値を生成する。
図9に示すように、予測画像生成ブロックの左上画素を原点として、予測画像生成ブロック内の相対座標を(x,y)と設定すると、予測に用いる参照画素の位置は、下記のLと隣接画素の交点になる。
ただし、kは負の実数である。
図9に示すように、予測画像生成ブロックの左上画素を原点として、予測画像生成ブロック内の相対座標を(x,y)と設定すると、予測に用いる参照画素の位置は、下記のLと隣接画素の交点になる。
ただし、kは負の実数である。
参照画素が整数画素位置にある場合には、その整数画素を予測対象画素の予測値とし、参照画素が整数画素位置にない場合には、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図8の例では、参照画素が整数画素位置にないので、参照画素に隣接する2画素から内挿したものを予測値とする。なお、隣接する2画素のみではなく、隣接する2画素以上の画素から補間画素を生成して予測値としてもよい。
補間処理に用いる画素を多くすることで、補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求するカラー画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。
図8の例では、参照画素が整数画素位置にないので、参照画素に隣接する2画素から内挿したものを予測値とする。なお、隣接する2画素のみではなく、隣接する2画素以上の画素から補間画素を生成して予測値としてもよい。
補間処理に用いる画素を多くすることで、補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求するカラー画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。
以上に述べた処理によって、予測画像生成ブロック単位に予測ブロックPi n内の輝度信号の全ての画素に対する予測画素を生成して、イントラ予測画像PINTRAi nを出力する。
なお、イントラ予測画像PINTRAi nの生成に用いられたイントラ予測パラメータ(イントラ予測モード)は、ビットストリームに多重化するために可変長符号化部13に出力される。
なお、イントラ予測画像PINTRAi nの生成に用いられたイントラ予測パラメータ(イントラ予測モード)は、ビットストリームに多重化するために可変長符号化部13に出力される。
なお、先に説明したMPEG−4 AVC/H.264における8×8画素のブロックのイントラ予測時に参照画素に対して施される平滑化処理と同様に、イントラ予測部4において、予測画像生成ブロックの予測画像を生成する際の参照画素を、予測画像生成ブロックに隣接する符号化済み画素を平滑化処理した画素とするように構成した場合であっても、上述の例と同様の予測画像に対するフィルタ処理を行うことができる。このようにすることで参照画素へのフィルタ処理による参照画素のノイズが除去され、これを用いて予測を行うことで予測の精度を高めることができる。
あるいは、上記参照画素へのフィルタ処理は予測画像へのフィルタ処理を行う平均値予測、垂直方向予測、水平方向予測以外の予測の際のみ実施するようにしてもよい。このようにすることで、各予測モードに対して最大で1つのフィルタ処理しか行わずに済み、演算量の増加を抑えることができる。
あるいは、上記参照画素へのフィルタ処理は予測画像へのフィルタ処理を行う平均値予測、垂直方向予測、水平方向予測以外の予測の際のみ実施するようにしてもよい。このようにすることで、各予測モードに対して最大で1つのフィルタ処理しか行わずに済み、演算量の増加を抑えることができる。
ここで、輝度信号のイントラ予測における予測画像生成ブロックは、変換ブロックに一致させるようにする。これは以下に示す理由による。
一般に、自然画像に含まれる画素同士の相関は、画素間の距離が近いほど高くなる。よってイントラ予測の精度も、参照する局所復号済み画素の距離が近いほど高くなる。よって予測画像生成ブロックのサイズは小さい方がイントラ予測の精度が向上する。
よって、符号化効率の向上という観点からは、イントラ予測画像生成ブロックのサイズを小さくするため、予測画像生成ブロックを変換ブロックと一致させることが望ましい。
なぜならば、局所復号画像を作成するには、予測処理に加えて、予測誤差計算・予測誤差信号の変換・量子化・逆量子化・逆変換の処理を行う必要があるが、変換・量子化などの処理は、変換ブロック単位に実施されるため、局所復号画像を作成する最小の単位は変換ブロックとなるためである。よって、隣接する局所復号済み画素を必要とする予測画像生成ブロックは、最小の単位(最もイントラ予測の精度が高い単位)が変換ブロックとなる。
一般に、自然画像に含まれる画素同士の相関は、画素間の距離が近いほど高くなる。よってイントラ予測の精度も、参照する局所復号済み画素の距離が近いほど高くなる。よって予測画像生成ブロックのサイズは小さい方がイントラ予測の精度が向上する。
よって、符号化効率の向上という観点からは、イントラ予測画像生成ブロックのサイズを小さくするため、予測画像生成ブロックを変換ブロックと一致させることが望ましい。
なぜならば、局所復号画像を作成するには、予測処理に加えて、予測誤差計算・予測誤差信号の変換・量子化・逆量子化・逆変換の処理を行う必要があるが、変換・量子化などの処理は、変換ブロック単位に実施されるため、局所復号画像を作成する最小の単位は変換ブロックとなるためである。よって、隣接する局所復号済み画素を必要とする予測画像生成ブロックは、最小の単位(最もイントラ予測の精度が高い単位)が変換ブロックとなる。
以上より、予測画像生成ブロックを変換ブロックに一致させることで、高い精度のイントラ予測を実現している。
ただし、変換ブロック単位にイントラ予測画像を生成する場合、予測の参照元となる位置の隣接変換ブロックの局所復号処理(予測誤差計算・予測誤差変換・量子化・逆量子化・逆変換・予測画像との加算の一連の処理)が完了している必要があるため、予測ブロック内が複数の変換ブロックに分割されている場合、イントラ予測画像生成処理に要する時間が大きくなってしまう。
よって、符号化効率よりも、符号化処理又は復号処理において、処理のスループットを重視するような用途においては、予測ブロック内の変換ブロック分割を少なくするなどの制御によりスループットを向上させることが可能である。
ただし、変換ブロック単位にイントラ予測画像を生成する場合、予測の参照元となる位置の隣接変換ブロックの局所復号処理(予測誤差計算・予測誤差変換・量子化・逆量子化・逆変換・予測画像との加算の一連の処理)が完了している必要があるため、予測ブロック内が複数の変換ブロックに分割されている場合、イントラ予測画像生成処理に要する時間が大きくなってしまう。
よって、符号化効率よりも、符号化処理又は復号処理において、処理のスループットを重視するような用途においては、予測ブロック内の変換ブロック分割を少なくするなどの制御によりスループットを向上させることが可能である。
次に、色差成分に対するイントラ予測画像生成について説明する。
予測ブロックPi nの色差信号に対して、色差成分のイントラ予測パラメータ(イントラ予測モード)に基づくイントラ予測処理を実施して色差成分のイントラ予測画像PINTRAi nを生成する。
図25は、入力信号がYUV4:2:0フォーマットである場合において、イントラ符号化モード時における色差成分に対する符号化ブロック、予測ブロック及び変換ブロックの分割状態の例を示している。
予測ブロックPi nの色差信号に対して、色差成分のイントラ予測パラメータ(イントラ予測モード)に基づくイントラ予測処理を実施して色差成分のイントラ予測画像PINTRAi nを生成する。
図25は、入力信号がYUV4:2:0フォーマットである場合において、イントラ符号化モード時における色差成分に対する符号化ブロック、予測ブロック及び変換ブロックの分割状態の例を示している。
符号化ブロックのサイズは、輝度成分の符号化ブロックのサイズの1/2になっているが、分割状態は輝度成分と同じ分割状態を用いている。
また、図25の場合、色差成分では、イントラスプリットを禁止するように構成されており、予測ブロックは常に符号化ブロックと一致する。色差成分はイントラスプリットしないように構成することで、色差成分の予測画像生成処理の演算量を低減することが可能になる。
変換ブロックは、輝度成分と同じ分割状態を用いるものの、変換ブロックサイズの下限より小さくなるような分割は行わない。変換ブロックサイズの下限を輝度成分と色差成分で同じサイズにすることで、輝度成分と色差成分の変換に用いるモジュールを共通化することが可能となる。
ここでいう「モジュール」とは、予測誤差信号の変換・量子化・逆量子化・逆変換及び量子化係数のエントロピー符号化を行う機能モジュールである。
イントラ予測画像生成処理は、前述の輝度成分に対するイントラ予測画像生成処理と同様に、予測画像生成ブロック単位に実施され、また、予測画像生成ブロックは変換ブロックと一致させる。
また、図25の場合、色差成分では、イントラスプリットを禁止するように構成されており、予測ブロックは常に符号化ブロックと一致する。色差成分はイントラスプリットしないように構成することで、色差成分の予測画像生成処理の演算量を低減することが可能になる。
変換ブロックは、輝度成分と同じ分割状態を用いるものの、変換ブロックサイズの下限より小さくなるような分割は行わない。変換ブロックサイズの下限を輝度成分と色差成分で同じサイズにすることで、輝度成分と色差成分の変換に用いるモジュールを共通化することが可能となる。
ここでいう「モジュール」とは、予測誤差信号の変換・量子化・逆量子化・逆変換及び量子化係数のエントロピー符号化を行う機能モジュールである。
イントラ予測画像生成処理は、前述の輝度成分に対するイントラ予測画像生成処理と同様に、予測画像生成ブロック単位に実施され、また、予測画像生成ブロックは変換ブロックと一致させる。
図26は、入力信号がYUV4:2:2フォーマットである場合において、イントラ符号化モード時における色差成分に対する符号化ブロック、予測ブロック及び変換ブロックの分割状態の例を示している。
符号化ブロックの形状は、輝度成分の符号化ブロックを横方向のみ1/2とした長方形状となっているが、分割状態は輝度成分と同じ分割状態を用いている。
また、図26の場合、色差成分では、イントラスプリットを禁止するように構成されており、予測ブロックは常に符号化ブロックに一致する。
変換ブロックは、まず輝度成分と同じ分割状態にしたがって分割し、分割の葉にあたる長方形(分割前長方形変換ブロック)を更に上下に等分割する。最終的に上下分割することで、変換ブロックの形状が輝度成分と色差成分で等しくなる。
また、入力信号がYUV4:2:0の場合と同様に、変換ブロックサイズの下限より小さくなるような分割を行わないように構成することで、輝度成分と色差成分の変換に用いるモジュールを共通化することが可能になる。
ここでいう「モジュール」とは、予測誤差信号の変換・量子化・逆量子化・逆変換及び量子化係数のエントロピー符号化を行う機能モジュールである。
イントラ予測画像生成処理は、前述の輝度成分に対するイントラ予測画像生成処理と同様に、予測画像生成ブロック単位に実施される。ここで、YUV4:2:2フォーマットの色差信号の場合、予測画像生成ブロックを変換ブロックではなく、分割前長方形変換ブロックと一致させる。
符号化ブロックの形状は、輝度成分の符号化ブロックを横方向のみ1/2とした長方形状となっているが、分割状態は輝度成分と同じ分割状態を用いている。
また、図26の場合、色差成分では、イントラスプリットを禁止するように構成されており、予測ブロックは常に符号化ブロックに一致する。
変換ブロックは、まず輝度成分と同じ分割状態にしたがって分割し、分割の葉にあたる長方形(分割前長方形変換ブロック)を更に上下に等分割する。最終的に上下分割することで、変換ブロックの形状が輝度成分と色差成分で等しくなる。
また、入力信号がYUV4:2:0の場合と同様に、変換ブロックサイズの下限より小さくなるような分割を行わないように構成することで、輝度成分と色差成分の変換に用いるモジュールを共通化することが可能になる。
ここでいう「モジュール」とは、予測誤差信号の変換・量子化・逆量子化・逆変換及び量子化係数のエントロピー符号化を行う機能モジュールである。
イントラ予測画像生成処理は、前述の輝度成分に対するイントラ予測画像生成処理と同様に、予測画像生成ブロック単位に実施される。ここで、YUV4:2:2フォーマットの色差信号の場合、予測画像生成ブロックを変換ブロックではなく、分割前長方形変換ブロックと一致させる。
以下、YUV4:2:2フォーマットの色差信号の場合、予測画像生成ブロックを分割前長方形変換ブロックと一致させる理由を説明する。
上述のとおり、変換ブロック単位に予測画像を生成することは、予測ブロック内が複数の変換ブロックに分割されていた場合、スループットの低下を招くことになる。
輝度信号の場合、符号化効率よりもスループットを重視したければ、変換ブロックの分割を行わないことで対処が可能である。しかし、上述のとおり、YUV4:2:2フォーマットの色差信号における分割前長方形変換ブロックを上下2つに2等分割することは、モジュールの共通化を目的として常に実施される動作となっている。
よって、変換ブロック単位に予測画像を生成した場合、図27(a)に示すように、変換ブロックの分割を最も少なくした場合であっても、予測ブロック内に2つの変換ブロックが存在するため、同じ分割の輝度信号の予測画像生成処理と比較すると、2倍程度の処理時間を要することになる。
上述のとおり、変換ブロック単位に予測画像を生成することは、予測ブロック内が複数の変換ブロックに分割されていた場合、スループットの低下を招くことになる。
輝度信号の場合、符号化効率よりもスループットを重視したければ、変換ブロックの分割を行わないことで対処が可能である。しかし、上述のとおり、YUV4:2:2フォーマットの色差信号における分割前長方形変換ブロックを上下2つに2等分割することは、モジュールの共通化を目的として常に実施される動作となっている。
よって、変換ブロック単位に予測画像を生成した場合、図27(a)に示すように、変換ブロックの分割を最も少なくした場合であっても、予測ブロック内に2つの変換ブロックが存在するため、同じ分割の輝度信号の予測画像生成処理と比較すると、2倍程度の処理時間を要することになる。
なお、YUV4:2:2フォーマットの色差信号に対して、予測画像生成ブロックを分割前長方形変換ブロックに一致させる場合、長方形の予測画像を生成しなければならない。(N,2N)予測画像生成ブロックに対するイントラ予測画像生成手段としては、例えば以下のような手法が考えられる。
1.サイズが(2N,2N)の予測画像生成ブロックに対するイントラ予測手段と同様の
手段を使用して予測を行い、(2N,2N)の予測画像生成ブロックの左半分の(N
,2N)領域と同じ結果を予測結果とする(図28(a))。なお、予測のための参
照画素位置の画素が局所復号されていなかった場合は、何らかの内挿または外挿手段
により当該画素を補間して使用する。補間手段としては、例えば当該画素の左側また
は上側で最も近接する局所復号済み画素をコピーする手段などが考えられる。
2.1の手段を用いるが、更に、DC予測、PLANAR予測、水平予測、垂直予測など
、予測参照画素が必ず存在する特定の予測モードを用いて予測を行う。
3.上部(N,N)正方形領域はYUV4:2:0フォーマットの色差信号の(N,N)
予測画像生成ブロックに対するイントラ予測画像生成手段と同様の手段で予測する。
下部(N,N)正方領域は、同じく(N,N)予測画像生成ブロックに対するイント
ラ予測画像生成手段と同様の手段で予測するものの、予測参照画素を予測モードに応
じた適切な位置から取得する(図28(b))。取得先の画素が局所復号されていな
かった場合は、何らかの内挿または外挿手段により当該画素を補間して使用する。
4.上部(N,N)正方形領域はYUV4:2:0フォーマットの色差信号の(N,N)
予測画像生成ブロックに対するイントラ予測画像生成手段と同様の手段で予測し、下
部(N,N)正方領域は、上部正方形領域の予測画像をコピーしたものとする(図2
8(c))。すなわち、下部(N,N)正方領域は、上部(N,N)正方領域と同じ
予測参照画素を用いて予測を行うと考えることができる。
5.上部(N,N)正方形領域はYUV4:2:0フォーマットの色差信号の(N,N)
予測画像生成ブロックに対するイントラ予測画像生成手段と同様の手段で予測し、下
部(N,N)正方領域は、YUV4:2:0フォーマットの色差信号の(N,N)予
測画像生成ブロックに対するイントラ予測画像生成手段のうち、DC予測、PLAN
AR予測、水平予測、垂直予測など、予測のための参照画素位置が必ず存在する特定
の予測モードを用いて予測を行う。
1.サイズが(2N,2N)の予測画像生成ブロックに対するイントラ予測手段と同様の
手段を使用して予測を行い、(2N,2N)の予測画像生成ブロックの左半分の(N
,2N)領域と同じ結果を予測結果とする(図28(a))。なお、予測のための参
照画素位置の画素が局所復号されていなかった場合は、何らかの内挿または外挿手段
により当該画素を補間して使用する。補間手段としては、例えば当該画素の左側また
は上側で最も近接する局所復号済み画素をコピーする手段などが考えられる。
2.1の手段を用いるが、更に、DC予測、PLANAR予測、水平予測、垂直予測など
、予測参照画素が必ず存在する特定の予測モードを用いて予測を行う。
3.上部(N,N)正方形領域はYUV4:2:0フォーマットの色差信号の(N,N)
予測画像生成ブロックに対するイントラ予測画像生成手段と同様の手段で予測する。
下部(N,N)正方領域は、同じく(N,N)予測画像生成ブロックに対するイント
ラ予測画像生成手段と同様の手段で予測するものの、予測参照画素を予測モードに応
じた適切な位置から取得する(図28(b))。取得先の画素が局所復号されていな
かった場合は、何らかの内挿または外挿手段により当該画素を補間して使用する。
4.上部(N,N)正方形領域はYUV4:2:0フォーマットの色差信号の(N,N)
予測画像生成ブロックに対するイントラ予測画像生成手段と同様の手段で予測し、下
部(N,N)正方領域は、上部正方形領域の予測画像をコピーしたものとする(図2
8(c))。すなわち、下部(N,N)正方領域は、上部(N,N)正方領域と同じ
予測参照画素を用いて予測を行うと考えることができる。
5.上部(N,N)正方形領域はYUV4:2:0フォーマットの色差信号の(N,N)
予測画像生成ブロックに対するイントラ予測画像生成手段と同様の手段で予測し、下
部(N,N)正方領域は、YUV4:2:0フォーマットの色差信号の(N,N)予
測画像生成ブロックに対するイントラ予測画像生成手段のうち、DC予測、PLAN
AR予測、水平予測、垂直予測など、予測のための参照画素位置が必ず存在する特定
の予測モードを用いて予測を行う。
それぞれの手法は、以下のような利点を持つ。
1は、最も精度の高い予測画像を生成することが可能となる。また輝度の予測画像生成ブロックの最大サイズが(2N,2N)であった場合、色差の予測画像生成ブロックの最大サイズが(N,2N)であるため、輝度のイントラ予測画像生成手段と同じ処理回路を流用することが可能であり、回路規模を効率化できる。
2は、1よりも予測の精度が低下するものの、予測のための参照画素の補間が不要となるため、補間のための回路が不要となり、1よりも回路規模を削減できる。
3は、YUV4:2:0フォーマットの色差信号の予測画像生成用の回路を流用できるため、回路規模を効率化できる。
4は、3よりも予測の精度が低下するものの、上部正方領域と下部正方領域で同じ回路および同じ予測参照画素を用いることにより、予測参照画素の取得位置を上部正方領域と下部正方領域で切り替える必要がないため、3よりも回路規模を削減できる。
5は、4と同様の利点を持つが、4の手法では下部正方領域の予測精度が大きく低下する可能性があるため、ある程度の予測精度が保てる予測モードを使用することで予測精度の低下を抑える効果を奏する。
当然、1〜5に示す手段以外の手段を用いてもよい。また1〜5の手段を含む複数の手段を特定の処理区分で切り替え、かつ処理手段をフラグ情報で復号側に伝送するように構成しても良い。また、予測対象ブロックの左下、左、左上、上の予測参照画素を用いて予測する予測モードの場合には1の手段を用いるが、右上の予測参照画素を用いて予測する予測モードの場合には2の手段を用いるなど、輝度や近接ブロック・予測対象ブロックの符号化モード、予測モードなどに応じて、1〜5の手段を含む複数の手段を適応的に切り替えられるように構成しても良い。
なお、上記に示す予測手段は、復号装置側でも全く同じ手法を用いることで符号化装置と全く同じ予測画像を生成する必要がある。
1は、最も精度の高い予測画像を生成することが可能となる。また輝度の予測画像生成ブロックの最大サイズが(2N,2N)であった場合、色差の予測画像生成ブロックの最大サイズが(N,2N)であるため、輝度のイントラ予測画像生成手段と同じ処理回路を流用することが可能であり、回路規模を効率化できる。
2は、1よりも予測の精度が低下するものの、予測のための参照画素の補間が不要となるため、補間のための回路が不要となり、1よりも回路規模を削減できる。
3は、YUV4:2:0フォーマットの色差信号の予測画像生成用の回路を流用できるため、回路規模を効率化できる。
4は、3よりも予測の精度が低下するものの、上部正方領域と下部正方領域で同じ回路および同じ予測参照画素を用いることにより、予測参照画素の取得位置を上部正方領域と下部正方領域で切り替える必要がないため、3よりも回路規模を削減できる。
5は、4と同様の利点を持つが、4の手法では下部正方領域の予測精度が大きく低下する可能性があるため、ある程度の予測精度が保てる予測モードを使用することで予測精度の低下を抑える効果を奏する。
当然、1〜5に示す手段以外の手段を用いてもよい。また1〜5の手段を含む複数の手段を特定の処理区分で切り替え、かつ処理手段をフラグ情報で復号側に伝送するように構成しても良い。また、予測対象ブロックの左下、左、左上、上の予測参照画素を用いて予測する予測モードの場合には1の手段を用いるが、右上の予測参照画素を用いて予測する予測モードの場合には2の手段を用いるなど、輝度や近接ブロック・予測対象ブロックの符号化モード、予測モードなどに応じて、1〜5の手段を含む複数の手段を適応的に切り替えられるように構成しても良い。
なお、上記に示す予測手段は、復号装置側でも全く同じ手法を用いることで符号化装置と全く同じ予測画像を生成する必要がある。
図27(b)に示すように、予測画像生成ブロックを分割前長方形変換ブロックと一致させた場合、分割前長方形変換ブロックの上下の変換ブロックは、独立かつ並列に、変換・量子化・逆量子化・逆変換処理の実施が可能であるため、イントラ予測の精度は低下するが、イントラ予測画像生成処理のスループットを向上させることができる。
入力信号フォーマットがYUV4:4:4信号である場合には、各種ブロックの分割は、上記輝度信号に対する分割と同様の手段で行われる。この際、色差成分の分割には、輝度成分と共通の分割状態を用いてもよいし、それぞれ個別の分割状態を用いてもよい。
入力信号フォーマットがYUV4:4:4信号である場合には、各種ブロックの分割は、上記輝度信号に対する分割と同様の手段で行われる。この際、色差成分の分割には、輝度成分と共通の分割状態を用いてもよいし、それぞれ個別の分割状態を用いてもよい。
図23は色差成分のイントラ予測パラメータ(インデックス値)と色差イントラ予測モードの対応例を示す説明図である。
色差信号に対するイントラ予測パラメータが、輝度信号に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合(イントラ予測パラメータが輝度色差共通イントラ予測モード(DMモード)を示している場合)、対応する輝度成分の予測ブロックと同じイントラ予測モードを意味するイントラ予測モードに従い、イントラ予測画像生成処理を実施して、色差信号の予測画像を生成する。
ここで、色差信号でイントラスプリットを実施しないように構成されており、かつ、対応する輝度成分の符号化ブロックがイントラスプリットされている場合、イントラスプリットされている輝度成分の予測ブロックのうち、特定の位置の予測ブロックをDMモードの参照先として使用する。
色差信号に対するイントラ予測パラメータが、輝度信号に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合(イントラ予測パラメータが輝度色差共通イントラ予測モード(DMモード)を示している場合)、対応する輝度成分の予測ブロックと同じイントラ予測モードを意味するイントラ予測モードに従い、イントラ予測画像生成処理を実施して、色差信号の予測画像を生成する。
ここで、色差信号でイントラスプリットを実施しないように構成されており、かつ、対応する輝度成分の符号化ブロックがイントラスプリットされている場合、イントラスプリットされている輝度成分の予測ブロックのうち、特定の位置の予測ブロックをDMモードの参照先として使用する。
また、色差信号のイントラ予測パラメータが、垂直方向予測モード又は水平方向予測モードを示している場合、色差信号に対する方向性予測を実施して、色差信号の予測画像を生成する。
また、色差信号のイントラ予測パラメータが、輝度相関利用色差信号予測モード(LMモード)を示している場合、予測画像の生成対象ブロックの上及び左に隣接している複数の画素の輝度信号及び色差信号を用いて、輝度信号と色差信号の相関を示す相関パラメータを算出し、その相関パラメータと予測処理対象の色差信号のブロックに対応する輝度信号を用いて、色差信号の予測画像を生成する。
また、色差信号のイントラ予測パラメータが、輝度相関利用色差信号予測モード(LMモード)を示している場合、予測画像の生成対象ブロックの上及び左に隣接している複数の画素の輝度信号及び色差信号を用いて、輝度信号と色差信号の相関を示す相関パラメータを算出し、その相関パラメータと予測処理対象の色差信号のブロックに対応する輝度信号を用いて、色差信号の予測画像を生成する。
なお、入力信号フォーマットがYUV4:4:4信号である場合には、上記DMモード又は上記LMモードの処理を実施し、その他の予測モードは選択しないように構成してもよい。YUV4:4:4信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
当然、YUV4:4:4信号の場合においても、色差信号に対して、輝度信号とは異なる方向性予測モードを選択できるように構成してもよい。
当然、YUV4:4:4信号の場合においても、色差信号に対して、輝度信号とは異なる方向性予測モードを選択できるように構成してもよい。
また、色差信号に対して上記LMモードを行わないように構成してもよい。このときの色差信号のイントラ予測パラメータ(インデックス値)と色差イントラ予測モードの対応例として、図24が挙げられる。このようにLMモードも用いないようにすることで、予測対象画素の輝度信号と色差信号の依存性がなくなるため、輝度信号と色差信号の予測処理の並列化が可能となり高速な演算処理を実現することができる。
さらに、色差信号では、色差信号の垂直方向予測及び水平方向予測についてはブロック境界のフィルタ処理を行わずに、MPEG−4 AVC/H.264と同様の予測手法としてもよい。このようにフィルタ処理を行わないことで、予測処理の低演算化を図ることができる。
カラー画像復号装置が輝度信号、色差信号いずれにおいても、イントラ予測画像PINTRAi nと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像PINTRAi nの生成に用いられたイントラ予測パラメータ及び変換ブロック分割情報は、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
カラー画像復号装置が輝度信号、色差信号いずれにおいても、イントラ予測画像PINTRAi nと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像PINTRAi nの生成に用いられたイントラ予測パラメータ及び変換ブロック分割情報は、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
また、入力画像フォーマットがYUV4:2:2である場合に色差信号の予測画像生成単位を変換ブロックではなく分割前長方形変換ブロックに一致させるという動作を上述したが、この動作を、特定の条件で、入力画像フォーマットがYUV4:2:2である場合でも色差信号の予測画像生成単位を他の信号と同じように変換ブロックに一致させるという従来通りの動作に切り替えてもよい。
例えば、符号化制御部2から「イントラ予測画像共通フラグ」がイントラ予測部4に出力されるように構成し、イントラ予測画像共通フラグが予測画像生成単位を分割前長方形変換ブロックに一致させるように指示している場合は、YUV4:2:2の色差信号の予測画像生成単位を分割前長方形変換ブロックに一致させ、イントラ予測画像共通フラグが予測画像生成単位を変換ブロックに一致させるように指示している場合は、YUV4:2:2の色差信号の予測画像生成単位を変換ブロックに一致させるように構成してもよい。
また、この場合、イントラ予測画像共通フラグは、符号化制御部2から可変長符号化部13に出力され、ビットストリームに多重化され、復号装置側に伝送される。イントラ予測画像共通フラグは例えばSPSに多重化されてストリーム全体に効果を持つように構成しても良いし、PPSやスライスヘッダ、色差信号別など、更に細かい単位に多重化してもよい。
例えば、符号化制御部2から「イントラ予測画像共通フラグ」がイントラ予測部4に出力されるように構成し、イントラ予測画像共通フラグが予測画像生成単位を分割前長方形変換ブロックに一致させるように指示している場合は、YUV4:2:2の色差信号の予測画像生成単位を分割前長方形変換ブロックに一致させ、イントラ予測画像共通フラグが予測画像生成単位を変換ブロックに一致させるように指示している場合は、YUV4:2:2の色差信号の予測画像生成単位を変換ブロックに一致させるように構成してもよい。
また、この場合、イントラ予測画像共通フラグは、符号化制御部2から可変長符号化部13に出力され、ビットストリームに多重化され、復号装置側に伝送される。イントラ予測画像共通フラグは例えばSPSに多重化されてストリーム全体に効果を持つように構成しても良いし、PPSやスライスヘッダ、色差信号別など、更に細かい単位に多重化してもよい。
次に、図3のカラー画像復号装置の処理内容を具体的に説明する。
可変長復号部31は、図1のカラー画像符号化装置により生成された符号化ビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して(図4のステップST21)、1フレーム以上のピクチャから構成されるシーケンス単位のヘッダ情報(シーケンスレベルヘッダ)及びピクチャ単位のヘッダ情報(ピクチャレベルヘッダ)、ループフィルタ部38で使用するフィルタパラメータや量子化マトリクスパラメータを復号する。
可変長復号部31は、図1のカラー画像符号化装置により生成された符号化ビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して(図4のステップST21)、1フレーム以上のピクチャから構成されるシーケンス単位のヘッダ情報(シーケンスレベルヘッダ)及びピクチャ単位のヘッダ情報(ピクチャレベルヘッダ)、ループフィルタ部38で使用するフィルタパラメータや量子化マトリクスパラメータを復号する。
このとき、上記ヘッダ情報に含まれる量子化マトリクスの有効フラグ情報が“有効”を示す場合、可変長復号部31は、量子化マトリクスパラメータを可変長復号し、量子化マトリクスを特定する。
具体的には、各直交変換サイズの色信号や符号化モード毎に、量子化マトリクスパラメータが初期値として、カラー画像符号化装置及びカラー画像復号装置で、予め共通に用意されている量子化マトリクス、または、既に復号された量子化マトリクスである(新しい量子化マトリクスでない)ことを示す場合は、量子化マトリクスパラメータに含まれる上記マトリクスの内のどの量子化マトリクスであるかを特定するインデックス情報を参照して量子化マトリクスを特定し、量子化マトリクスパラメータが新しい量子化マトリクスを用いることを示す場合は、量子化マトリクスパラメータに含まれる量子化マトリクスを使用する量子化マトリクスとして特定する。
そして、ピクチャ単位のデータを構成するスライスデータから、スライス分割情報等のスライス単位のヘッダ情報(スライスレベルヘッダ)を復号し、各スライスの符号化データを復号する。
具体的には、各直交変換サイズの色信号や符号化モード毎に、量子化マトリクスパラメータが初期値として、カラー画像符号化装置及びカラー画像復号装置で、予め共通に用意されている量子化マトリクス、または、既に復号された量子化マトリクスである(新しい量子化マトリクスでない)ことを示す場合は、量子化マトリクスパラメータに含まれる上記マトリクスの内のどの量子化マトリクスであるかを特定するインデックス情報を参照して量子化マトリクスを特定し、量子化マトリクスパラメータが新しい量子化マトリクスを用いることを示す場合は、量子化マトリクスパラメータに含まれる量子化マトリクスを使用する量子化マトリクスとして特定する。
そして、ピクチャ単位のデータを構成するスライスデータから、スライス分割情報等のスライス単位のヘッダ情報(スライスレベルヘッダ)を復号し、各スライスの符号化データを復号する。
また、可変長復号部31は、図1のカラー画像符号化装置の符号化制御部2により決定された最大符号化ブロックサイズ及び分割階層数の上限をカラー画像符号化装置と同様の手順で決定する(ステップST22)。
例えば、最大符号化ブロックサイズや分割階層数の上限が映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、カラー画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数の上限が、カラー画像符号化装置側で、シーケンスレベルヘッダなどに多重化されている場合には、上記ヘッダから復号した値を用いる。ただし、分割階層数の上限の代わりに、符号化ブロックの最小ブロックサイズが符号化されている場合、これを復号することで分割階層数の上限を決定する。即ち、最大符号化ブロックを上記最小ブロックサイズまで分割した場合が分割階層数の上限となる。
可変長復号部31は、決定された最大符号化ブロック単位に、図6で示されるような最大符号化ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に符号化ブロックを特定する(ステップST23)。
例えば、最大符号化ブロックサイズや分割階層数の上限が映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、カラー画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数の上限が、カラー画像符号化装置側で、シーケンスレベルヘッダなどに多重化されている場合には、上記ヘッダから復号した値を用いる。ただし、分割階層数の上限の代わりに、符号化ブロックの最小ブロックサイズが符号化されている場合、これを復号することで分割階層数の上限を決定する。即ち、最大符号化ブロックを上記最小ブロックサイズまで分割した場合が分割階層数の上限となる。
可変長復号部31は、決定された最大符号化ブロック単位に、図6で示されるような最大符号化ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に符号化ブロックを特定する(ステップST23)。
次に、可変長復号部31は、符号化ブロックに割り当てられている符号化モードを復号する。復号した符号化モードに含まれる情報に基づき、符号化ブロックをさらに1つないし複数の予測処理単位である予測ブロックに分割し、予測ブロック単位に割り当てられている予測パラメータを復号する(ステップST24)。
即ち、可変長復号部31は、符号化ブロックに割り当てられている符号化モードがイントラ符号化モードである場合、符号化ブロックに含まれており、予測処理単位となる1つ以上の予測ブロック毎にイントラ予測パラメータを復号する。
一方、符号化ブロックに割り当てられている符号化モードがインター符号化モードである場合、符号化ブロックに含まれており、予測処理単位となる1つ以上の予測ブロック毎にインター予測パラメータ及び動きベクトルを復号する(ステップST24)。
一方、符号化ブロックに割り当てられている符号化モードがインター符号化モードである場合、符号化ブロックに含まれており、予測処理単位となる1つ以上の予測ブロック毎にインター予測パラメータ及び動きベクトルを復号する(ステップST24)。
さらに、可変長復号部31は、予測差分符号化パラメータに含まれる変換ブロック分割情報に基づき、変換ブロック毎に圧縮データ(変換・量子化後の変換係数)を復号する(ステップST24)。
その際、図1のカラー画像符号化装置の可変長符号化部13での圧縮データの符号化処理と同様に、CG単位の係数の復号処理を実施する。したがって、図15に示すように、4×4画素単位の16個のCGを右下のCGから順に復号処理し、さらに各CGはCG内の16個の係数を右下の係数から順に復号していくことになる。
具体的には、まず、CG内の16個の係数の中に有意(非零)係数が存在するか否かのフラグ情報を復号し、次に復号したフラグ情報がCG内に有意(非零)係数が存在することを示す場合のみCG内の各係数が有意(非零)係数であるかを上記順に復号し、最後に有意(非零)係数を示す係数に対して、その係数値情報を順に復号する。これをCG単位に上記順に行う。
その際、図1のカラー画像符号化装置の可変長符号化部13での圧縮データの符号化処理と同様に、CG単位の係数の復号処理を実施する。したがって、図15に示すように、4×4画素単位の16個のCGを右下のCGから順に復号処理し、さらに各CGはCG内の16個の係数を右下の係数から順に復号していくことになる。
具体的には、まず、CG内の16個の係数の中に有意(非零)係数が存在するか否かのフラグ情報を復号し、次に復号したフラグ情報がCG内に有意(非零)係数が存在することを示す場合のみCG内の各係数が有意(非零)係数であるかを上記順に復号し、最後に有意(非零)係数を示す係数に対して、その係数値情報を順に復号する。これをCG単位に上記順に行う。
切換スイッチ33は、可変長復号部31により可変長復号された符号化モードm(Bn)がイントラ符号化モードであれば(m(Bn)∈INTRAの場合)、可変長復号部31により可変長復号された予測ブロック単位のイントラ予測パラメータおよび変換ブロック分割情報をイントラ予測部34に出力する。
一方、可変長復号部31により可変長復号された符号化モードm(Bn)がインター符号化モードであれば(m(Bn)∈INTERの場合)、可変長復号部31により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償部35に出力する。
一方、可変長復号部31により可変長復号された符号化モードm(Bn)がインター符号化モードであれば(m(Bn)∈INTERの場合)、可変長復号部31により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償部35に出力する。
イントラ予測部34は、可変長復号部31により可変長復号された符号化モードm(Bn)がイントラ符号化モード(m(Bn)∈INTRA)である場合(ステップST25)、切換スイッチ33から出力された予測ブロック単位のイントラ予測パラメータおよび変換ブロック分割情報を受け取って、図1のイントラ予測部4と同様の手順で、イントラ予測用メモリ37に格納されている復号画像を参照しながら、上記イントラ予測パラメータおよび変換ブロック分割情報を用いた符号化ブロックBn内の各予測ブロックPi nに対するイントラ予測処理を実施して、イントラ予測画像PINTRAi nを生成する(ステップST26)。
イントラ予測画像を生成する際に、イントラ予測画像を生成する単位であるイントラ予測画像生成ブロックは、図1のイントラ予測部4と同様に変換ブロックに一致させるようにする。
イントラ予測画像を生成する際に、イントラ予測画像を生成する単位であるイントラ予測画像生成ブロックは、図1のイントラ予測部4と同様に変換ブロックに一致させるようにする。
また、イントラ予測部34は、輝度信号については、輝度信号に対する上記イントラ予測パラメータを用いたイントラ予測処理(フレーム内予測処理)を実施して、予測画像生成ブロック単位に輝度信号の予測画像を生成する。
一方、色差信号については、色差信号のイントラ予測パラメータに基づくイントラ予測処理を実施して、イントラ予測画像生成ブロック単位に色差信号の予測画像を生成する。
ここで、色差信号について、入力信号がYUV4:2:0である場合、予測画像生成ブロックを変換ブロックに一致させ、入力信号がYUV4:2:2である場合、分割前長方形変換ブロックに一致させるようにする。
符号化装置側が、イントラ予測画像共通フラグの値に基づいて、YUV4:2:2の色差信号の予測画像生成単位を分割前長方形変換ブロックに一致させるか、変換ブロックに一致させるかを切り替えるように構成されている場合、符号化装置が出力するビットストリームに多重化されているイントラ予測画像共通フラグを可変長復号部31が復号してイントラ予測部34に出力し、イントラ予測部34は、イントラ予測画像共通フラグの値に基づいて、符号化装置と同様に、予測画像生成単位を分割前長方形変換ブロックに一致させるか、変換ブロックに一致させるかを切り替える。
一方、色差信号については、色差信号のイントラ予測パラメータに基づくイントラ予測処理を実施して、イントラ予測画像生成ブロック単位に色差信号の予測画像を生成する。
ここで、色差信号について、入力信号がYUV4:2:0である場合、予測画像生成ブロックを変換ブロックに一致させ、入力信号がYUV4:2:2である場合、分割前長方形変換ブロックに一致させるようにする。
符号化装置側が、イントラ予測画像共通フラグの値に基づいて、YUV4:2:2の色差信号の予測画像生成単位を分割前長方形変換ブロックに一致させるか、変換ブロックに一致させるかを切り替えるように構成されている場合、符号化装置が出力するビットストリームに多重化されているイントラ予測画像共通フラグを可変長復号部31が復号してイントラ予測部34に出力し、イントラ予測部34は、イントラ予測画像共通フラグの値に基づいて、符号化装置と同様に、予測画像生成単位を分割前長方形変換ブロックに一致させるか、変換ブロックに一致させるかを切り替える。
なお、入力信号フォーマットがYUV4:2:0である場合、図25に示すように、色差信号の符号化ブロック、予測ブロック及び変換ブロックは、図1に示すカラー画像符号化装置と同じ手段により実施する。
即ち、符号化ブロックのサイズは、輝度成分の符号化ブロックのサイズの1/2となっているが、分割状態は輝度成分と同じ分割状態を用いるようにする。色差信号の予測ブロックは、イントラスプリットを実施せず、常に符号化ブロックに一致する。また、変換ブロックの分割は、基本的には輝度信号の分割と等しいが、変換ブロックサイズが下限値を下回るような分割は行われない。
即ち、符号化ブロックのサイズは、輝度成分の符号化ブロックのサイズの1/2となっているが、分割状態は輝度成分と同じ分割状態を用いるようにする。色差信号の予測ブロックは、イントラスプリットを実施せず、常に符号化ブロックに一致する。また、変換ブロックの分割は、基本的には輝度信号の分割と等しいが、変換ブロックサイズが下限値を下回るような分割は行われない。
入力信号フォーマットがYUV4:2:2である場合、図26に示すように、色差信号の符号化ブロック、予測ブロック及び変換ブロックは、図1に示すカラー画像符号化装置と同じ手段により実施する。
即ち、符号化ブロックの形状は、輝度成分の符号化ブロックを横方向のみ1/2とした長方形状となっているが、分割状態は輝度成分と同じ分割状態を用いるようにする。色差信号の予測ブロックは、イントラスプリットを実施せず、常に符号化ブロックに一致する。変換ブロックは、まず輝度成分と同じ分割状態にしたがって分割し、分割の葉にあたる長方形を更に上下に等分割する。4:2:0の場合と同様に、変換ブロックサイズの下限値を下回る分割は行わない。
即ち、符号化ブロックの形状は、輝度成分の符号化ブロックを横方向のみ1/2とした長方形状となっているが、分割状態は輝度成分と同じ分割状態を用いるようにする。色差信号の予測ブロックは、イントラスプリットを実施せず、常に符号化ブロックに一致する。変換ブロックは、まず輝度成分と同じ分割状態にしたがって分割し、分割の葉にあたる長方形を更に上下に等分割する。4:2:0の場合と同様に、変換ブロックサイズの下限値を下回る分割は行わない。
図23は色差信号のイントラ予測パラメータ(インデックス値)と色差イントラ予測モードの対応例を示す説明図である。
色差信号のイントラ予測パラメータが、輝度信号に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合(イントラ予測パラメータが輝度色差共通イントラ予測モード(DMモード)を示している場合)、輝度信号と同じフレーム内予測を実施して、色差信号の予測画像を生成する。
色差信号のイントラ予測パラメータが、輝度信号に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合(イントラ予測パラメータが輝度色差共通イントラ予測モード(DMモード)を示している場合)、輝度信号と同じフレーム内予測を実施して、色差信号の予測画像を生成する。
また、色差信号のイントラ予測パラメータが、垂直方向予測モード又は水平方向予測モードを示している場合、色差信号に対する方向性予測を実施して、色差信号の予測画像を生成する。
また、色差信号のイントラ予測パラメータが、輝度相関利用色差信号予測モード(LMモード)を示している場合、予測画像の生成対象ブロックの上及び左に隣接している複数の画素の輝度信号及び色差信号を用いて、輝度信号と色差信号の相関を示す相関パラメータを算出し、その相関パラメータと予測処理対象の色差信号のブロックに対応する輝度信号を用いて、色差信号の予測画像を生成する。
また、色差信号のイントラ予測パラメータが、輝度相関利用色差信号予測モード(LMモード)を示している場合、予測画像の生成対象ブロックの上及び左に隣接している複数の画素の輝度信号及び色差信号を用いて、輝度信号と色差信号の相関を示す相関パラメータを算出し、その相関パラメータと予測処理対象の色差信号のブロックに対応する輝度信号を用いて、色差信号の予測画像を生成する。
動き補償部35は、可変長復号部31により可変長復号された符号化モードm(Bn)がインター符号化モード(m(Bn)∈INTER)である場合(ステップST25)、切換スイッチ33から出力された予測ブロック単位の動きベクトルとインター予測パラメータを受け取って、動き補償予測フレームメモリ39に格納されているフィルタ処理後の復号画像を参照しながら、その動きベクトルとインター予測パラメータを用いた符号化ブロックBn内の各予測ブロックPi nに対するインター予測処理を実施してインター予測画像PINTERi nを生成する(ステップST27)。
逆量子化・逆変換部32は、可変長復号部31から圧縮データ及び予測差分符号化パラメータを受けると、図1の逆量子化・逆変換部8と同様の手順で、その予測差分符号化パラメータに含まれる量子化パラメータ及び変換ブロック分割情報を参照して、変換ブロック単位にその圧縮データを逆量子化する。
このとき、可変長復号部31により可変長復号された各ヘッダ情報を参照し、各ヘッダ情報が、当該スライスで量子化マトリクスを用いて、逆量子化処理を実施することを示している場合は、量子化マトリクスを用いて逆量子化処理を行う。
このとき、可変長復号部31により可変長復号された各ヘッダ情報を参照し、各ヘッダ情報が、当該スライスで量子化マトリクスを用いて、逆量子化処理を実施することを示している場合は、量子化マトリクスを用いて逆量子化処理を行う。
この際、可変長復号部31により可変長復号された各ヘッダ情報を参照して、各直交変換サイズで色信号や符号化モード(イントラ符号化かインター符号化か)毎に使用する量子化マトリクスを特定する。
また、逆量子化・逆変換部32は、変換ブロック単位に逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図1の逆量子化・逆変換部8から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する(ステップST28)。
また、逆量子化・逆変換部32は、変換ブロック単位に逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図1の逆量子化・逆変換部8から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する(ステップST28)。
加算部36は、逆量子化・逆変換部32により算出された復号予測差分信号と、イントラ予測部34により生成されたイントラ予測画像PINTRAi n、または、動き補償部35により生成されたインター予測画像PINTERi nのいずれか一方を加算して復号画像を算出し、その復号画像をループフィルタ部38に出力するとともに、その復号画像をイントラ予測用メモリ37に格納する(ステップST29)。
この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。
この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。
ループフィルタ部38は、全ての符号化ブロックBnに対するステップST23〜ST29の処理が完了すると(ステップST30)、加算部36から出力された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を動き補償予測フレームメモリ39に格納する(ステップST31)。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ(デブロッキングフィルタ)処理、画素単位に適応的にオフセットを加算する(画素適応オフセット)処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ(デブロッキングフィルタ)処理、画素単位に適応的にオフセットを加算する(画素適応オフセット)処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ただし、ループフィルタ部38は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理のそれぞれについて、可変長復号部31により可変長復号された各ヘッダ情報を参照して、当該スライスで処理を行うか否かを特定する。
このとき、2つ以上のフィルタ処理を行う場合に、例えば、カラー画像符号化装置のループフィルタ部11が図11のように構成されている場合には、図12に示すようにループフィルタ部38が構成される。
このとき、2つ以上のフィルタ処理を行う場合に、例えば、カラー画像符号化装置のループフィルタ部11が図11のように構成されている場合には、図12に示すようにループフィルタ部38が構成される。
ここで、デブロッキングフィルタ処理では、可変長復号部31により可変長復号されたヘッダ情報を参照し、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更する情報が存在する場合には、その変更情報に基づいて、デブロッキングフィルタ処理を実施する。変更情報がない場合は、予め定められた手法に従って行う。
画素適応オフセット処理では、可変長復号部31により可変長復号された画素適応オフセット処理のブロック分割情報に基づいて分割し、そのブロック単位に、可変長復号部31により可変長復号されたブロック単位のクラス分類手法を示すインデックスを参照して、そのインデックスが“オフセット処理を行わない”ことを示すインデックスでない場合、ブロック単位にブロック内の各画素を上記インデックスが示すクラス分類手法に従ってクラス分類する。
なお、クラス分類手法の候補として、ループフィルタ部11の画素適応オフセット処理のクラス分類手法の候補と同一のものが予め用意されている。
なお、クラス分類手法の候補として、ループフィルタ部11の画素適応オフセット処理のクラス分類手法の候補と同一のものが予め用意されている。
そして、ループフィルタ部38は、ブロック単位の各クラスのオフセット値を特定する可変長復号部31により可変長復号されたオフセット情報を参照して、復号画像の輝度値にオフセットを加算する処理を行う。
適応フィルタ処理では、可変長復号部31により可変長復号されたクラス毎のフィルタを用いて、図1のカラー画像符号化装置と同一の手法でクラス分類した後に、そのクラス分類情報に基づいてフィルタ処理を行う。
このループフィルタ部38によるフィルタ処理後の復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。
このループフィルタ部38によるフィルタ処理後の復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。
以上で明らかなように、この実施の形態1によれば、カラー画像の信号フォーマットがYUV4:2:2である場合、変換・量子化部7が、符号化制御部2の指示の下、輝度信号における符号化ブロックを変換ブロックに分割する際の分割状態と同じ分割状態で、色差信号の符号化ブロックを変換ブロックに分割したのち、分割後の変換ブロックである各々の長方形ブロックを正方形ブロックに2分割する一方、カラー画像の信号フォーマットがYUV4:2:2である場合、イントラ予測部4が、予測ブロックに相当する上記長方形ブロックの単位で、フレーム内予測処理を実施して予測画像を生成するように構成したので、4:2:2フォーマットのカラー映像信号に対して、変換・量子化・逆変換・逆量子化の処理を、輝度信号と色差信号で共通のモジュールを用いた少ない回路規模で実施可能であり、かつ、予測画像を生成する際の処理のスループットを向上させることができる効果を奏する。
また、この実施の形態1によれば、カラー画像復号装置側でも、カラー画像の信号フォーマットがYUV4:2:2である場合、逆量子化・逆変換部32が、輝度信号における符号化ブロックを変換ブロックに分割する際の分割状態と同じ分割状態で、色差信号の符号化ブロックを変換ブロックに分割したのち、分割後の変換ブロックである各々の長方形ブロックを正方形ブロックに2分割する一方、カラー画像の信号フォーマットがYUV4:2:2である場合、イントラ予測部34が、予測ブロックに相当する上記長方形ブロックの単位で、フレーム内予測処理を実施して予測画像を生成するように構成したので、カラー画像符号化装置で符号化されたビットストリームを正しく復号することができる効果を奏する。
また、4:2:2フォーマットのカラー映像信号に対して、逆変換・逆量子化の処理を、輝度信号と色差信号で共通のモジュールを用いた少ない回路規模で実施可能であり、かつ、予測画像を生成する際の処理のスループットを向上させることができる効果を奏する。
また、4:2:2フォーマットのカラー映像信号に対して、逆変換・逆量子化の処理を、輝度信号と色差信号で共通のモジュールを用いた少ない回路規模で実施可能であり、かつ、予測画像を生成する際の処理のスループットを向上させることができる効果を奏する。
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
1 ブロック分割部、2 符号化制御部(変換ブロック分割手段)、3 切換スイッチ、4 イントラ予測部(イントラ予測手段)、5 動き補償予測部、6 減算部、7 変換・量子化部(変換ブロック分割手段)、8 逆量子化・逆変換部、9 加算部、10 イントラ予測用メモリ、11 ループフィルタ部、12 動き補償予測フレームメモリ、13 可変長符号化部、14 スライス分割部、31 可変長復号部、32 逆量子化・逆変換部(変換ブロック分割手段)、33 切換スイッチ、34 イントラ予測部(イントラ予測手段)、35 動き補償部、36 加算部、37 イントラ予測用メモリ、38 ループフィルタ部、39 動き補償予測フレームメモリ。
Claims (6)
- カラー画像が分割された符号化ブロック内の予測ブロック毎に設定されているイントラ予測パラメータを用いて、各予測ブロックに対するフレーム内予測処理を実施して予測画像を生成するイントラ予測手段を備え、
上記イントラ予測手段は、上記符号化ブロックに対する変換処理の単位となる変換ブロックが、上記予測ブロックから更に分割されたブロックである場合、上記予測ブロックの単位で、フレーム内予測処理を実施して予測画像を生成することを特徴とするカラー画像符号化装置。 - カラー画像の信号フォーマットがYUV4:2:2である場合、輝度信号における符号化ブロックを変換ブロックに分割する際の分割状態と同じ分割状態で、色差信号の符号化ブロックを変換ブロックに分割したのち、分割後の変換ブロックである各々の長方形ブロックを正方形ブロックに2分割する変換ブロック分割手段を備え、
上記イントラ予測手段は、上記カラー画像の信号フォーマットがYUV4:2:2である場合、予測ブロックに相当する上記長方形ブロックの単位で、フレーム内予測処理を実施して予測画像を生成することを特徴とする請求項1記載のカラー画像符号化装置。 - 可変長復号された符号化ブロック内の予測ブロック毎に設定されているイントラ予測パラメータを用いて、各予測ブロックに対するフレーム内予測処理を実施して予測画像を生成するイントラ予測手段を備え、
上記イントラ予測手段は、上記符号化ブロックに対する逆変換処理の単位となる変換ブロックが、上記予測ブロックから更に分割されたブロックである場合、上記予測ブロックの単位で、フレーム内予測処理を実施して予測画像を生成することを特徴とするカラー画像復号装置。 - 複数の符号化ブロックからなるカラー画像の信号フォーマットがYUV4:2:2である場合、輝度信号における符号化ブロックを変換ブロックに分割する際の分割状態と同じ分割状態で、色差信号の符号化ブロックを変換ブロックに分割したのち、分割後の変換ブロックである各々の長方形ブロックを正方形ブロックに2分割する変換ブロック分割手段を備え、
上記イントラ予測手段は、上記カラー画像の信号フォーマットがYUV4:2:2である場合、予測ブロックに相当する上記長方形ブロックの単位で、フレーム内予測処理を実施して予測画像を生成することを特徴とする請求項3記載のカラー画像復号装置。 - イントラ予測手段が、カラー画像が分割された符号化ブロック内の予測ブロック毎に設定されているイントラ予測パラメータを用いて、各予測ブロックに対するフレーム内予測処理を実施して予測画像を生成するイントラ予測処理ステップを備え、
上記イントラ予測処理ステップでは、上記符号化ブロックに対する変換処理の単位となる変換ブロックが、上記予測ブロックから更に分割されたブロックである場合、上記予測ブロックの単位で、フレーム内予測処理を実施して予測画像を生成することを特徴とするカラー画像符号化方法。 - イントラ予測手段が、可変長復号された符号化ブロック内の予測ブロック毎に設定されているイントラ予測パラメータを用いて、各予測ブロックに対するフレーム内予測処理を実施して予測画像を生成するイントラ予測処理ステップを備え、
上記イントラ予測処理ステップでは、上記符号化ブロックに対する逆変換処理の単位となる変換ブロックが、上記予測ブロックから更に分割されたブロックである場合、上記予測ブロックの単位で、フレーム内予測処理を実施して予測画像を生成することを特徴とするカラー画像復号方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013079494A JP2014204311A (ja) | 2013-04-05 | 2013-04-05 | カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013079494A JP2014204311A (ja) | 2013-04-05 | 2013-04-05 | カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014204311A true JP2014204311A (ja) | 2014-10-27 |
Family
ID=52354386
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013079494A Pending JP2014204311A (ja) | 2013-04-05 | 2013-04-05 | カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014204311A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016157924A1 (ja) * | 2015-03-27 | 2016-10-06 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
WO2019167994A1 (ja) * | 2018-02-28 | 2019-09-06 | 株式会社Jvcケンウッド | 画像復号化装置、画像復号化方法及び画像復号化プログラム |
CN114727104A (zh) * | 2019-03-22 | 2022-07-08 | 华为技术有限公司 | 对经编码视频码流进行编/解码的方法及相关设备 |
-
2013
- 2013-04-05 JP JP2013079494A patent/JP2014204311A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016157924A1 (ja) * | 2015-03-27 | 2016-10-06 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
JPWO2016157924A1 (ja) * | 2015-03-27 | 2018-01-18 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
US10362305B2 (en) | 2015-03-27 | 2019-07-23 | Sony Corporation | Image processing device, image processing method, and recording medium |
WO2019167994A1 (ja) * | 2018-02-28 | 2019-09-06 | 株式会社Jvcケンウッド | 画像復号化装置、画像復号化方法及び画像復号化プログラム |
CN114727104A (zh) * | 2019-03-22 | 2022-07-08 | 华为技术有限公司 | 对经编码视频码流进行编/解码的方法及相关设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6573689B2 (ja) | 画像符号化装置および画像符号化方法 | |
JP6580185B2 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP6226863B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
JP6147368B2 (ja) | 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法 | |
KR101749855B1 (ko) | 컬러 화상 부호화 장치, 컬러 화상 복호 장치, 컬러 화상 부호화 방법 및 컬러 화상 복호 방법 | |
KR102272564B1 (ko) | 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체 | |
WO2014049981A1 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP6362370B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
JP6373008B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
JP2014204311A (ja) | カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法 | |
JP2014090327A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP2014090326A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
WO2014049982A1 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
WO2013108882A1 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP2013098713A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP2018166329A (ja) | 画像符号化装置および画像復号装置 |