JP2012222417A

JP2012222417A - 画像符号化装置

Info

Publication number: JP2012222417A
Application number: JP2011083290A
Authority: JP
Inventors: Daisuke Sakamoto; 大輔坂本
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-04-05
Filing date: 2011-04-05
Publication date: 2012-11-12

Abstract

【課題】
少ない演算量で、符号化効率が良い予測モードを決定する。
【解決手段】
特徴抽出部（１１６）は、入力画像の特徴を抽出し、画像特徴情報をイントラ予測部（１０５）に供給する。ＱＰ制御部（１１７）は、量子化部（１０７）の量子化パラメータを制御し、その量子化パラメータをイントラ予測部（１０５）に供給する。イントラ予測部（１０５）は、画像特徴情報と量子化パラメータに従いイントラマクロブロックパーティションを決定し、決定したイントラマクロブロックパーティションに従って、符号化に適用すべき予測モードを決定する。
【選択図】図１

Description

本発明は、画像符号化装置に関し、特に画像をブロック化して圧縮符号化する符号化装置に関する。

近年、音声信号及び映像信号など所謂マルチメディアに関連する情報のデジタル化が急進しており、これに対応して映像信号の圧縮符号化復号化技術が注目されている。圧縮符号化及び復号化技術により、映像信号の格納に必要な記憶容量や伝送に必要な帯域を低減できるので、マルチメディア産業には極めて重要な技術である。

これらの圧縮符号化復号化技術は、多くの映像信号が有する自己相関性の高さ（すなわち、冗長性）を利用して情報量／データ量を圧縮している。映像信号が有する冗長性には、時間冗長性及び二次元の空間冗長性がある。時間冗長性は、ブロック単位の動き検出及び動き補償を用いて低減でき、空間冗長性は、離散コサイン変換（ＤＣＴ）を用いて低減できる。

これらの技術を用いた符号化方式の中で現状、最も高能率符号化を実現しているといわれるのが、Ｈ．２６４／ＭＰＥＧ−４ＰＡＲＴ１０（ＡＶＣ）（以下、Ｈ．２６４と呼ぶ）である。この圧縮符号化方式に導入された技術のひとつとして、フレーム内の相関を利用し、フレーム内画素値を用いて同一フレーム内の画素値を予測するイントラ予測がある。

Ｈ．２６４におけるイントラ予測には複数の予測ブロックサイズ・予測方向（以下、イントラ予測モード）が存在する。例えば、１６×１６画素のブロックデータを基に予測方向を決定するイントラ１６×１６予測には、４種類の予測方向がある。また、８×８画素のブロックデータを基に予測方向を決定するイントラ８×８予測には、９種類の予測方向がある。４×４画素のブロックデータを基に予測方向を決定するイントラ４×４予測には、９種類の予測方向がある。

Ｈ．２６４では、これらのイントラ予測モードから適切なものを選択することで高能率な符号化を実現している。イントラ予測モードの選択方法として、特許文献１には、撮影情報を用いて最適なイントラ予測モードを選択する技術が記載されている。

特開２００６−２１７１５８号公報

ＩＴＵ−ＴＳＧ１６やＩＳＯ／ＩＥＣが提供するＨ．２６４のリファレンスソフトモデルＪＭ（ＪｏｉｎｔＭｏｄｅｌ）では、全てのイントラ予測モードに対して演算を行って、最適なイントラ予測モードを選択している。

しかし、この方法では、符号化対象ブロックに対してイントラ１６×１６予測、イントラ８×８予測及びイントラ４×４予測で定められる全てのイントラ予測モードに対して演算を行うので、膨大な処理時間を必要とする。

演算負荷の増大は消費電力の増大に結びつく。従って、ビデオカメラなどのモバイル機器の場合には、機器の動作可能時間が短くなってしまう。

さらに、特許文献１に記載の技術では、撮影情報の入手が必須であり、撮影情報を入手できない環境では利用できない。

本発明は、これらの問題点に鑑みてなされたものであり、従来よりも少ない演算量によって符号化効率が良いイントラ予測モードで符号化できる画像符号化装置を提示することを目的とする。

本発明の請求項１記載の画像符号化装置は、動画像のフレームをブロック単位で符号化する符号化手段であって、各ブロックについて、周辺の画素値を用いてイントラ予測を行うイントラ予測手段と、前記イントラ予測された後の画像データを量子化パラメータに従って量子化する量子化手段とを有する符号化手段と、符号化対象ブロックの画像データから画像特徴情報を抽出する特徴抽出手段と、前記特徴抽出手段により抽出される前記画像特徴情報と前記符号化対象ブロックに対する前記量子化パラメータとに従い、前記符号化対象ブロックの前記イントラ予測のためのイントラマクロブロックパーティションを決定するイントラマクロブロックパーティション決定手段とを有することを特徴とする。

本発明によれば、すべてのイントラ予測モードに対して演算を行うことなく適切なイントラ予測モードを選択することができる。これにより、演算処理を削減しながらも符号化効率が良い予測モードで符号化することが可能となり、消費電力を削減することができる。

本発明の一実施例の概略構成ブロック図である。イントラマクロブロックパーティション決定部の動作を示すフローチャートである。イントラマクロブロックパーティション決定部の動作を示すフローチャートである。イントラ予測部の概略構成ブロック図である。量子化パラメータ及び画像特徴情報とマクロブロックパーティションとの対応表である。イントラマクロブロックパーティション決定部の別の動作を示すフローチャートである。イントラマクロブロックパーティション決定部の別の動作を示すフローチャートである。図５Ａ及び図５Ｂに対応する、量子化パラメータ及び画像特徴情報とマクロブロックパーティションとの対応表である。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の一実施例の概略構成ブロック図を示す。図１に示す画像符号化装置は、動画像のフレームをブロック単位に符号化する。フレームメモリ１０１には表示順に入力画像（原画像）が格納され、符号化順に符号化対象ブロックが、動き予測部１０３、イントラ予測部１０５、減算器１１２及び特徴抽出部１１６に順次、読み出される。

フィルタ後参照フレームメモリ１０２には、フィルタ処理された符号化済み画像が参照画像として格納され、符号化順に符号化対象ブロックの参照画像が動き予測部１０３及に動き補償部１０４に順次読み出される。

減算器１１２は、フレームメモリ１０１からの符号化対象ブロックからスイッチ１１１からの予測画像ブロックを減算し、画像残差データを出力する。直交変換部１０６は、減算器１１２から出力された画像残差データを直交変換処理し、変換係数を量子化部１０７に供給する。

特徴抽出部１１６は、フレームメモリ１０１からの符号化対象ブロックの画像の特徴を解析し、平坦部、エッジ部、肌色部、分散値が高いが劣化が目立つ画像部、テクスチャ部、及びその他の画像部の特徴情報に分類する。特徴抽出部１１６は、分類した特徴情報に応じた量子化パラメータ修正情報をＱＰ制御部１１７に供給し、画像特徴情報をイントラ予測部１０５に供給する。

なお、各特徴情報を検出する方法は、特定の方法に限定されない。例えば、平坦部は、符号化対象ブロックの分散値が小さいかどうかで判定できる。エッジ部は、空間フィルタや周波数変換で検出できる。肌色部は、色差情報を使って検出できる。分散値が高いが劣化が目立つ画像部は、分散値は高いが動き検出を行った際の差分が少ないかどうかで検出できる。テクスチャ部は、これらのいずれにも当てはまらない分散値が高い領域に当てはめる。

量子化パラメータを修正する際には、画像の視覚特性に応じて値を上げ下げする。具体的には、平坦部、エッジ部及び肌色部などは、画質の劣化が視覚的に目立つので、量子化パラメータを下げる方向に修正する。テクスチャ部は、画質の劣化が視覚的に目立たないので、量子化パラメータを上げる方向に修正する。

符号量制御部１１８は、ビットレート及びピクチャタイプなどに応じてピクチャの目標符号量を設定し、ＱＰ制御部１１７に供給する。

ＱＰ制御部１１７は、ピクチャの目標符号量と量子化パラメータ修正情報を基に符号化対象マクロブロックの量子化パラメータを決定し、量子化部１０７及びイントラ予測部１０５に供給する。

量子化部１０７は、直交変換部１０６からの変換係数をＱＰ制御部１１７から供給される量子化パラメータを用いて量子化し、エントロピー符号化部１０８及び逆量子化部１０９に供給する。

エントロピー符号化部１０８は、量子化部１０７で量子化された変換係数にＣＡＶＬＣ又はＣＡＢＡＣなどのエントロピー符号化を施し、その結果を符号化データとして出力する。

量子化部１０７で量子化された変換係数を用いて参照画像データを生成する手順を説明する。逆量子化部１０９は、量子化部１０７からの量子化された変換係数を逆量子化する。逆直交変換部１１０は、逆量子化部１０９で逆量子化された変換係数を逆直交変換し、得られた復号残差データを加算器１１３に供給する。加算器１１３は、復号残差データに後述する予測画像データを加算して参照画像データを生成し、フィルタ前参照フレームメモリ１１４に格納する。ループフィルタ１１５は、フィルタ前参照フレームメモリ１１４からの参照画像データをフィルタリングしてノイズを除去する。ループフィルタ１１５の出力は、フィルタ後の参照画像データとしてフィルタ後参照フレームメモリ１０２に格納される。

入力画像データ、フィルタ前参照画像データ及フィルタ後参照画像データを用いて予測画像データを生成する手順を説明する。

動き予測部１０３は、フレームメモリ１０１からの符号化対象ブロックと、フィルタ後参照フレームメモリ１０２からのフィルタ後参照画像データとから動きベクトルを検出する。動き予測部１０３は、検出した動きベクトルをフィルタ後参照フレーム画像データ番号と共に動き補償部１０４に供給する。

動き補償部１０４は、動き予測部１０３からの動きベクトルを用いて、フィルタ後参照フレームメモリ１０２中のフィルタ後参照フレーム画像データ番号で示される参照フレーム画像を参照し、各ブロックの予測画像データを生成する。動き補償部１０４は、生成した予測画像データをスイッチ１１１に供給する。

イントラ予測部１０５は、符号化対象ブロック周辺の復号化済みデータ（周辺の画素値）を用いてイントラ予測モード別にイントラ予測画像データを生成する。イントラ予測部１０５は、フレームメモリ１０１からの符号化対象ブロックと生成した予測画像データとを用いてイントラ予測を行い、適切なイントラ予測モードを選択し、予測画像データをスイッチ１１１に供給する。適切なイントラ予測モードの選択手順は、後で詳細に説明する。

スイッチ１１１は、動き補償部１０４からの予測画像データとイントラ予測部１０５からの予測画像データのうち、適切な予測画像データを選択して減算器１１２に供給する。

図２Ａ及び図２Ｂは、イントラ予測部１０５のマクロブロックパーティション決定手順及びイントラ予測モードの決定手順のフローチャートを示す。図３は、イントラ予測部１０５の概略構成ブロック図を示す。以下、イントラマクロブロックパーティションを、ＭＢパーティションと略す。

イントラマクロブロックパーティション決定部３０１は、特徴抽出部１１６から特徴情報とＱＰ制御部１１７からの量子化パラメータ（以下、ＱＰと略す）からＭＢパーティションを決定する。ＱＰが小さいときは、画像の差分値の符号量（以下、ｃｏｅｆｆ符号量と言う。）がマクロブロック全体の符号量に占める割合が大きくなる。逆にＱＰが大きいときは、イントラ予測モードなど画像の差分値以外の符号量（以下、ｃｏｅｆｆ以外の符号量という。）がマクロブロック全体の符号量に占める割合が大きくなる。さらに、画像の特徴に応じてｃｏｅｆｆ符号量とｃｏｅｆｆ以外の符号量のマクロブロック全体の符号量に占める割合が変動する。

これらを考慮し、イントラマクロブロックパーティション決定部３０１は、図４に示す条件に従って、イントラマクロブロックパーティションを決定する。一般的には、イントラマクロブロックパーティション決定部３０１は、量子化パラメータが大きいほど、ＭＢパーティションのサイズを大きくする。

画像特徴情報が平坦を示すとき、ｃｏｅｆｆ符号量のマクロブロック全体の符号量に占める割合が小さく、また、パーティションを細かく分割しなくても予測が当たりやすい。そのため、ｃｏｅｆｆ以外の符号量の占める割合が小さく、ＱＰが小さいうちは、ＭＢパーティションとして８×８を選択し、ＱＰが中以上のときには、ＭＢパーティションとして１６×１６を選択する（Ｓ２０１〜Ｓ２０４）。

画像特徴情報がエッジを示すとき、ｃｏｅｆｆ符号量のマクロブロック全体の符号量に占める割合が大きく、また、パーティションを細かく分割しないと予測が当たりにくい。そこで、ＱＰが小又は中まではＭＢパーティションとして４×４を選択し、ｃｏｅｆｆ以外の符号量の占める割合が大きくなり、ＱＰが大以上の場合には、ＭＢパーティションとして８×８を選択する（Ｓ２０５〜Ｓ２０８）。

画像特徴情報がテクスチャを示すとき、ｃｏｅｆｆ符号量のマクロブロック全体の符号量に占める割合が大きく、また、パーティションを細かく分割しないと予測が当たりにくい。ＱＰが小又は中まではＭＢパーティションとして４×４を選択し、ＱＰが大以上の場合にはＭＢパーティションとして８×８を選択する（Ｓ２０９〜Ｓ２１２）。

画像特徴情報が、分散値が高く劣化が目立つ画像を示すとき、ｃｏｅｆｆ符号量のマクロブロック全体の符号量に占める割合が大きく、また、パーティションを細かく分割しないと予測が当たりにくい。ＱＰが小又は中まではＭＢパーティションとして４×４を選択し、ＱＰが大以上の場合にはＭＢパーティションとして８×８を選択する（Ｓ２１３〜Ｓ２１６）。

画像特徴情報が肌色を示す場合、人間の顔であることが多いので、平坦に近い。この場合、ｃｏｅｆｆ符号量のマクロブロック全体の符号量に占める割合が小さく、また、パーティションを細かく分割しなくても予測が比較的当たりやすい。ＱＰが小又は中まではＭＢパーティションとして８×８を選択し、ＱＰが大以上の場合にはＭＢパーティションとして１６×１６を選択する（Ｓ２１７〜Ｓ２２０）。

画像特徴情報がその他を示す場合、ＱＰが小又は中まではＭＢパーティションとして８×８を選択し、ＱＰが大以上のときにはＭＢパーティションとして１６×１６を選択する（Ｓ２２１〜Ｓ２２３）。

イントラマクロブロックパーティション決定部３０１で決定したＭＢパーティションが４×４である場合、イントラ４×４予測モード決定部３０２は、予測モードごとに予測画像を生成する。イントラ４×４予測モード決定部３０２は、符号化対象マクロブロック画像を４×４単位に分割した対応ブロックとの差分絶対値和が最も小さくなる予測モードをイントラ４×４予測モードとして決定する。

イントラマクロブロックパーティション決定部３０１で決定したＭＢパーティションが８×８である場合、イントラ８×８予測モード決定部３０３は、予測モードごとに予測画像を生成する。イントラ８×８予測モード決定部３０３は、符号化対象マクロブロック画像を８×８単位に分割した対応ブロックとの差分絶対値和が最も小さくなる予測モードをイントラ８×８予測モードとして決定する。

イントラマクロブロックパーティション決定部３０１で決定したＭＢパーティションが１６×１６である場合、イントラ１６×１６予測モード決定部３０４は、予測モードごとに予測画像を生成する。イントラ１６×１６予測モード決定部３０４は、符号化対象マクロブロック画像を１６×１６単位に分割した対応ブロックとの差分絶対値和が最も小さくなる予測モードをイントラ１６×１６予測モードとして決定する。

本実施例では、全てのＭＢブロックに対して予測モードを演算する必要がなくなるので、処理を削減でき、リアルタイムの符号化も可能となる。また、消費電力を削減することができる。ＱＰを決定する際に用いる特徴抽出部で求めた特徴情報を用いているので、回路規模の増加も少ない。

本実施例では、画像特徴情報の例として、平坦、エッジ、肌色、分散値が高いが劣化が目立つ領域及びテクスチャを挙げたが、その他の特徴を用いて適切なＭＢパーティションを設定しても良い。ＱＰの値として大まかに、大、中及び小と３種のみ設定しているが、特徴ごとにより細かく設定しても良い。

イントラマクロブロックパーティション決定部３０１は、全特徴情報に対して、ＭＢパーティションの決定に全部の特徴情報を考慮しているが、特徴情報の内容によってはその決定に考慮しなくてもよい。例えば、その他の特徴に含まれる画像については、画像の特徴が曖昧でＭＢパーティションを決め辛いことがある。このような場合には、全ＭＢパーティションに対して演算を行い、適切なパーティションを決定してもよい。その際でも、他の特徴、すなわち、平坦、エッジ、肌色、分散値が高いが劣化が目立つ領域、及びテクスチャについては、予測モード決定の演算を削減することにより、全体として演算量を大幅に削減できる。

イントラ予測部１０５の別の動作を説明する。図５Ａ及び図５Ｂは、イントラ予測部１０５のマクロブロックパーティション決定手順及びイントラ予測モードの決定手順の別のフローチャートを示す。

イントラマクロブロックパーティション決定部３０１は、特徴抽出部１１６からの画像特徴情報とＱＰ制御部１１７からのＱＰを用いて、後述するようにＭＢパーティションを決定する。ＱＰが小さいときは、ｃｏｅｆｆ符号量がマクロブロック全体の符号量に占める割合が大きくなる。逆にＱＰが大きいときは、イントラ予測モードなど画像の差分値以外の符号量（以下、ｃｏｅｆｆ以外の符号量という。）がマクロブロック全体の符号量に占める割合が大きくなる。さらに、画像の特徴に応じてｃｏｅｆｆ符号量とｃｏｅｆｆ以外の符号量のマクロブロック全体の符号量に占める割合が変動する。図５Ａ及び図５Ｂに示すフローでは、更に、画像の特徴には、符号化劣化が目立つ特徴と目立たない特徴があることも考慮する。すなわち、本実施例では、画像の特徴により視覚的な劣化が目立つかどうかといった主観画質的な観点を取り入れて、ＭＢパーティションを決定する。

図６は、符号量的な観点と主観画質的な観点を複合的に取り入れたＭＢパーティション決定条件を示す。図５Ａ及び図５Ｂに示すフローは、図６の条件に従って、ＭＢパーティションを決定する。

画像特徴情報が平坦を示すとき、ｃｏｅｆｆ符号量のマクロブロック全体の符号量に占める割合が小さく、また、パーティションを細かく分割しなくても予測が当たりやすい。そのため、ｃｏｅｆｆ以外の符号量の占める割合が小さく、ＱＰが小さいうちは、ＭＢパーティションとして８×８を選択し、ＱＰが中以上のときには、ＭＢパーティションとして１６×１６を選択する（Ｓ５０１〜Ｓ５０４）。

画像特徴情報がエッジを示すとき、ｃｏｅｆｆ符号量のマクロブロック全体の符号量に占める割合が大きく、また、パーティションを細かく分割しないと予測が当たりにくい。また、視覚的に劣化が目立ちやすい特徴であるので、符号量が多少、多くなっても、ＭＢパーティションを細かくする。そこで、ＱＰが小又は中まではＭＢパーティションとして４×４を選択し、ＱＰが大以上の場合には、ＭＢパーティションとして８×８を選択する（Ｓ５０５〜Ｓ５０８）。

画像特徴情報がテクスチャを示すとき、ｃｏｅｆｆ符号量のマクロブロック全体の符号量に占める割合が大きく、また、パーティションを細かく分割しないと予測が当たりにくい。しかし、視覚的に劣化が目立ちにくい特徴であるので、予測が多少、外れても、符号量が少なくなるようにパーティションを選択するのが良い。ＱＰが小ではＭＢパーティションとして４×４を選択し、ｃｏｅｆｆ以外の符号量の占める割合が大きくなってくるＱＰが中ではＭＢパーティションとして８×８を選択し、ＱＰが大以上ではＭＢパーティションとして１６×１６を選択する（Ｓ５０９〜Ｓ５１２）。

画像特徴情報が、分散値が高く劣化が目立つ画像を示すとき、ｃｏｅｆｆ符号量のマクロブロック全体の符号量に占める割合が大きく、また、パーティションを細かく分割しないと予測が当たりにくい。また、エッジ程では無いが劣化が視覚的に目立つことが多い。そこで、ＱＰが小まではＭＢパーティションとして４×４を選択し、ＱＰが中以上の場合にはＭＢパーティションとして８×８を選択する（Ｓ５１３〜Ｓ５１６）。

画像特徴情報が肌色を示す場合、人間の顔であることが多いので、平坦に近い。この場合、ｃｏｅｆｆ符号量のマクロブロック全体の符号量に占める割合が小さく、また、パーティションを細かく分割しなくても予測が比較的当たりやすい。ところが、顔は注目領域であるので、劣化があると目立ちやすい。そこで、ｃｏｅｆｆ以外の符号量が多少増えても、ＱＰが小又は中まではＭＢパーティションとして４×４を選択し、ＱＰが大以上のＭＢパーティションとして８×８を選択する（Ｓ５１７〜Ｓ５２０）。

画像特徴情報がその他を示す場合、ＱＰが小又は中まではＭＢパーティションとして８×８を選択し、ＱＰが大以上のときには、ＭＢパーティションとして１６×１６を選択する（Ｓ５２１〜Ｓ５２３）。

各決定部３０２，３０３，３０４は、イントラマクロブロックパーティション決定部３０１の決定に従い、実施例１で説明資したように、それぞれの予測モードを決定する。

符号量のみならず、画像の特徴が劣化の目立つものか否かを考慮して、ＭＢパーティションを決定することで、主観画質をより向上させることが出来る。なお、画像特徴情報の例として、平坦、エッジ、肌色、分散値が高いが劣化が目立つ領域及びテクスチャを挙げたが、その他の特徴を用いて適切なＭＢパーティションを設定しても良い。ＱＰの値として大まかに、大、中及び小と３種のみ設定しているが、特徴ごとにより細かく設定しても良い。

ピクチャタイプ又はスライスタイプに応じて画質重視か符号量重視かを設定しても良い。例えば、参照ピクチャになるＩピクチャ又はＰピクチャでは画質を重視し、参照ピクチャにならないＢピクチャでは符号量を重視することなどが考えられる。

Claims

動画像のフレームをブロック単位で符号化する符号化手段であって、各ブロックについて、周辺の画素値を用いてイントラ予測を行うイントラ予測手段と、前記イントラ予測された後の画像データを量子化パラメータに従って量子化する量子化手段とを有する符号化手段と、
符号化対象ブロックの画像データから画像特徴情報を抽出する特徴抽出手段と、
前記特徴抽出手段により抽出される前記画像特徴情報と前記符号化対象ブロックに対する前記量子化パラメータとに従い、前記符号化対象ブロックの前記イントラ予測のためのイントラマクロブロックパーティションを決定するイントラマクロブロックパーティション決定手段
とを有することを特徴とする画像符号化装置。
前記特徴情報が、エッジ部を示す情報、平坦部を示す情報、肌色部を示す情報、及びテクスチャ部を示す情報の何れかを含むことを特徴とする請求項１に記載の画像符号化装置。
前記イントラマクロブロックパーティション決定手段は、前記エッジ部を示す情報に従い、画質を上げるように前記イントラマクロブロックパーティションを決定することを特徴とする請求項２に記載の画像符号化装置。
前記イントラマクロブロックパーティション決定手段は、前記平坦部を示す情報に従い、画質を上げるように前記イントラマクロブロックパーティションを決定することを特徴とする請求項２に記載の画像符号化装置。
前記イントラマクロブロックパーティション決定手段は、前記肌色部を示す情報に従い、画質を上げるように前記イントラマクロブロックパーティションを決定することを特徴とする請求項２に記載の画像符号化装置。
前記イントラマクロブロックパーティション決定手段は、前記テクスチャ部を示す情報に従い、符号量を減らすように前記イントラマクロブロックパーティションを決定することを特徴とする請求項２に記載の画像符号化装置。
前記イントラマクロブロックパーティション決定手段は、前記量子化パラメータが大きいほど前記イントラマクロブロックパーティションのサイズを大きくすることを特徴とする請求項１乃至５の何れか１項に記載の画像符号化装置。