JP2009224854A - 画像符号化装置及び方法 - Google Patents

Abstract

【課題】符号化歪を効果的に検出及び改善可能な画像符号化装置を提供する。
【解決手段】符号化パラメータに従って原画像の予測符号化を行う画像符号化装置において、前記原画像の予測を行って予測画像を生成する予測部１０１及び１０３と；前記原画像に対する前記予測画像の予測残差を符号化して符号化データを得る符号化部１０７と；前記予測画像及び前記予測残差から復号画像を得る復号部１０９と；前記復号画像におけるフリッカ、解像度感の低下及びブロック歪の少なくとも１つを含む符号化歪を評価するための画質劣化尺度を算出する算出部１３０と；前記画質劣化尺度によって評価される前記符号化歪が所定値以上であれば、前記符号化歪が小さくなるように前記符号化パラメータを前記原画像の再符号化のために再設定する符号化制御部１４０と；を具備する。
【選択図】 図１

Description

本発明は、符号化歪を効果的に改善する画像符号化装置及び方法に関する。

一般に、画像を符号化して得られる符号化データを復号すると、原画像には見られないフリッカ、解像度感の低下（ぼけ）またはブロック歪などの符号化歪が発生する。このような符号化歪は、主観画質に悪影響を与える。

そこで、例えば映画タイトルを符号化する場合には、（ａ）全編の原画像を所定の符号化パラメータ下で一旦符号化し、（ｂ）符号化データを復号し、（ｃ）編集者が目視により復号画像から主観画質の低いシーンを探し出し、（ｄ）編集者が主観画質の低いシーンに対する符号化パラメータを調整して再度符号化を行う、という作業を所望の主観画質が得られるまで繰り返すことが行われる。

このような再符号化に要する時間は、特に、符号化歪の発生シーン、符号化歪の種別（フリッカ、解像度感の低下またはブロック歪など）及びその改善の方針が予め明らかでない場合には、膨大である。

特許文献１には、原画像を所定の符号化パラメータの下で一旦符号化し、当該符号化における発生符号量を考慮して各シーンに割り当てる符号量を調整し、再度符号化する映像信号符号化方法が記載されている。特許文献１記載の映像信号符号化方法によれば、符号化効率の向上及び高画質な（ＰＳＮＲの高い）復号画像の再生を期待できる。
特開２００２−１４２２１８号公報

特許文献１記載の映像信号符号化方法では、客観的な画質評価指標であるＰＳＮＲの改善を目的としている。しかしながら、前述したフリッカ、解像度感の低下及びブロック歪などの符号化歪は、主観的に知覚されるものであり、ＰＳＮＲの改善と符号化歪の改善とは必ずしも相関しない。また、シーン毎の割り当て符号量の調整も同様に、符号化歪の改善に必ずしも結び付かない。

従って、本発明は符号化歪を効果的に検出及び改善可能な画像符号化装置を提供することを目的とする。

本発明の一態様に係る画像符号化装置は、符号化パラメータに従って原画像の予測符号化を行う画像符号化装置において、前記原画像の予測を行って予測画像を生成する予測部と；前記原画像に対する前記予測画像の予測残差を符号化して符号化データを得る符号化部と；前記予測画像及び前記予測残差から復号画像を得る復号部と；前記復号画像におけるフリッカ、解像度感の低下及びブロック歪の少なくとも１つを含む符号化歪を評価するための画質劣化尺度を算出する算出部と；前記画質劣化尺度によって評価される前記符号化歪が所定値以上であれば、前記符号化歪が小さくなるように前記符号化パラメータを前記原画像の再符号化のために再設定する符号化制御部と；を具備する。

本発明によれば、符号化歪を効果的に検出及び改善可能な画像符号化装置を提供することができる。

以下、図面を参照して、本発明の実施形態について説明する。
（第１の実施形態）
図１に示すように、本発明の第１の実施形態に係る画像符号化装置は、画像符号化部１００及び符号化制御部１４０を有する。画像符号化部１００は、イントラ予測部１０１、動き検出部１０２、インター予測部１０３、モード判定部１０４、変換部１０５、量子化部１０６、エントロピー符号化部１０７、逆量子化部１０８、逆変換部１０９、局所復号部１１０、参照フレームメモリ１１１、レート制御部１１２、時間フィルタリング部１２０及び画質劣化尺度算出部１３０を含む。

イントラ予測部１０１は、原画像１０の符号化対象領域（例えばマクロブロック）と同一フレームの符号化済み画像の局所復号画像１２を参照フレームメモリ１１１から読み出し、フレーム内予測画像（イントラ予測画像）を生成する。イントラ予測部１０１はイントラ予測画像及び予測モード情報（例えば、予測方向が垂直（Vertical）方向であるか水平（Horizontal）方向であるか、あるいはDC予測か等を示す情報）をモード判定部１０４に渡す。

動き検出部１０２は、原画像１０と、参照フレームメモリ１１１に保存されている局所復号画像（参照画像）１２とを用いて、動き検出を行って最適な動き補償パラメータを得る。動き検出部１０２は、最適な動き補償パラメータをインター予測部１０３に渡す。ここで、動き補償パラメータは、動きベクトル、動き補償予測ブロックの形状及び参照画像の選択方法を含む。

インター予測部１０３は、参照フレームメモリ１１１からの局所復号画像（参照画像）１２及び動き検出部１０２からの最適な動き補償パラメータを用いて、フレーム間予測画像（インター予測画像）を生成する。即ち、インター予測部１０３は、参照画像に対する重み係数の乗算やオフセットの加算等の処理によりフレーム間の振幅補償処理を行う。尚、動き検出部１０２は、より精度の高いインター予測画像を生成するために、参照画像に補間処理を用いて小数画素を参照したり、複数のフレームを参照したりすることもできる。インター予測部１０３は、インター予測画像及び予測モード情報（最適な動き補償パラメータを含む）をモード判定部１０４に渡す。

モード判定部１０４は、イントラ予測部１０１及びインター予測部１０３から少なくとも１つの予測モードにおける予測画像の原画像１０に対する予測残差を取得し、このうち１つの予測モードを最適な予測モードと判定する。例えば、モード判定部１０４は発生符号量及び符号化歪の加重和である符号化コストに基づいて最適な予測モードを判定する。モード判定部１０４からの最適な予測モードにおける予測画像の原画像１０に対する予測残差は、変換部１０５に渡される。また、モード判定部１０４からの最適な予測モードにおける予測画像は、局所復号部１１０に渡される。

変換部１０５は、モード判定部１０４で判定された最適な予測モードにおける予測残差に対して、例えば離散コサイン変換（ＤＣＴ）などの直交変換処理を行って、変換係数を得る。変換部１０５からの変換係数は、量子化部１０６に渡される。

量子化部１０６は、変換部１０５からの変換係数を、レート制御部１１２によって与えられる量子化パラメータに従って量子化し、量子化係数を得る。量子化部１０６からの量子化係数は、エントロピー符号化部１０７及び逆量子化部１０８に渡される。

エントロピー符号化部１０７は、量子化部１０６から量子化係数に対して可変長符号化または算術符号化などのエントロピー符号化を行い、符号化データ１１を得る。エントロピー符号化部１０７は、さらにモード判定部１０４で判定された最適な予測モードの予測モード情報に対しても符号化を行い、符号化結果を符号化データ１１に付加して出力する。

逆量子化部１０８は、量子化部１０６からの量子化係数を、量子化部１０６と同一の量子化パラメータに従って逆量子化し、復号変換係数を得る。逆量子化部１０８からの復号変換係数は、逆変換部１０９に渡される。逆変換部１０９は、逆量子化部１０８からの復号変換係数に対して、変換部１０５における直交変換の逆変換を行って、復号予測残差を得る。逆変換部１０９から復号予測残差は、加算部１１０に渡される。逆量子化部１０８、逆変換部１０９及び加算部１１０は、局所復号部を形成している。

加算部１１０は、逆変換部１０９からの復号予測残差と、モード判定部１０４で判定された最適な予測モードにおける予測画像とを加算し、局所復号画像１２を得る。加算部１１０から局所復号画像１２は、参照フレームメモリ１１１に参照画像として保存される。尚、局所復号画像１２は参照フレームメモリ１１１に保存される前に、ブロック歪を除去する（ブロック境界をぼかす）ためのデブロッキングフィルタ処理が行われてもよい。尚、上記デブロッキングフィルタ処理の強度は、符号化パラメータの一部であるフィルタ強度に従う。

レート制御部１１２は、エントロピー符号化部１０７で発生するマクロブロック単位の符号量に基づいて、フィードバック制御によって符号化レートを制御する。具体的には、レート制御部１１２は、マクロブロック単位で量子化パラメータを決定し、量子化部１０６及び逆量子化部１０８に与える。

時間フィルタリング部１２０は、例えばεフィルタなどのノイズリダクションフィルタであり、動き補償を伴う適応フィルタであることが望ましい。時間フィルタリング部１２０は、符号化パラメータの一部であるフィルタ強度に従って、原画像１０に対して局所復号画像１２を用いて時間フィルタリングを行う。

画質劣化尺度算出部１３０は、原画像１０及び局所復号画像１２から、再符号化単位（セグメント）毎の符号化歪を評価するための尺度として、画質劣化尺度１３を算出する。画質劣化尺度１３によって評価される符号化歪は、フリッカ、解像度感の低下及びブロック歪の少なくとも１つを含む。ここで、再符号化単位は、例えば少なくとも１つの画素ブロックもしくはスライスで構成される領域、または、少なくとも１つのフレームで構成されるシーンを表すものとする。画質劣化尺度算出部１３０は、画質劣化尺度１３を符号化制御部１４０に渡す。尚、画質劣化尺度１３の算出手法の具体的説明は、後述する。

符号化制御部１４０は、符号化部１００を構成する各構成要素の符号化パラメータをユーザからの入力によって、または、自動的に設定する。特に、符号化制御部１４０は、画質劣化尺度１３が主観画質の低い再符号化単位を示す場合には、当該再符号化単位について再符号化を行うために当該画質劣化尺度１３によって評価される符号化歪の種別に応じて各符号化パラメータを再設定し、再符号化を行わせる。尚、各符号化歪の改善のために各パラメータをどのように再設定するかについての具体的説明は、後述する。尚、符号化制御部１４０は、符号化ログに画質劣化尺度１３を記録してもよい。ユーザは、この符号化ログを参考にして再符号化の要否や再設定する符号化パラメータを判断できる。

以下、画質劣化尺度算出部１３０における画質劣化尺度１３の算出手法について具体的に説明する。画質劣化尺度１３は、評価対象とする符号化歪の種別に応じて算出手法が異なる。以下の説明では、フリッカを評価するための画質劣化尺度FlickingMeasure1及びFlickingMeasure2、解像度感の低下を評価するための画質劣化尺度BlurringMeasure及びブロック歪を評価するための画質劣化尺度BlockingMeasureの算出手法を順に述べる。

（FlickingMeasure1の算出）
中〜高周波数帯域にパワーの大きなランダムノイズ成分が含まれる原画像１０を符号化する場合に、同一シーン内のフレーム間で量子化パラメータまたは予測モードが異なると、復号画像において再現される上記ノイズ成分の量が変動するおそれがある。再現されるノイズ成分の量の変動は、ちらつき即ちフリッカとして観者に知覚される。尚、このようなフリッカは、特に輝度の低い領域で目立つことが知られている。

また、前述したように画質劣化尺度１３は再符号化単位毎に算出されるが、フリッカは複数のフレームを連続して目視することにより知覚されるため、FlickingMeasure1を画質劣化尺度１３として算出する場合には、再符号化単位を２以上のフレームを含むシーンと定めることが望ましい。以下、再符号化単位を２以上のフレームを含むシーンと定めた場合の、FlickingMeasure1の算出例について図７に示すフローチャートを用いて説明する。

画質劣化尺度算出部１３０は、処理対象のシーンを構成するフレーム毎に以下のステップＳ５０１〜５０７を繰り返す。当該シーンを構成する全てのフレームに対する処理が終了していなければ（ステップＳ５０１）、画質劣化尺度算出部１３０は原画像１０中の処理対象のフレームから平均輝度が所定の閾値以下である画素ブロックを抽出する（ステップＳ５０２）。

次に、画質劣化尺算出部１３０はステップＳ５０２において抽出された画素ブロックのうち、中〜高周波数成分におけるパワーが所定の閾値以上である画素ブロックを更に抽出する（ステップＳ５０３）。具体的には、画質劣化尺度算出部１３０は、例えばＤＣＴを行って、ステップＳ５０２で抽出された各画素ブロックを周波数成分に変換し、得られた中〜高周波数成分のパワーの平均値または最小値等と、所定の閾値とを比較する。

尚、以下の説明では、周波数成分に変換後の画素ブロックを、水平方向周波数または垂直方向周波数に応じて直流、低周波数成分、中周波数成分及び高周波数成分に分類する。例えば、８×８画素ブロックは、図３に示すように、直流（塗りつぶし）、低周波数成分（網掛け）、中周波数成分（縦線）及び高周波数成分（斜線）に分類される。

次に、画質劣化尺度算出部１３０は、ステップＳ５０３において抽出された画素ブロックの中〜高周波数成分のパワーの、当該フレームにおける平均値Ｐorgを算出する（ステップＳ５０４）。画質劣化尺度算出部１３０は、ステップＳ５０３において抽出された画素ブロックに対応する局所復号画像１２について、同様に中〜高周波数成分のパワーの、当該フレームにおける平均値Ｐdecを算出する（ステップＳ５０５）。画質劣化尺度算出部１３０は、ステップＳ５０３において抽出された画素ブロック数が、当該フレームを構成する全画素ブロック数を占める割合Ｒを算出する（ステップＳ５０６）。

尚、以上のステップＳ５０４〜Ｓ５０６の処理順序は、図７に示すものに限られず、並行して行われてもよいし、逆順に行われてもよい。

次に、画質劣化尺度算出部１３０は原画像１０に関して得られたパワー平均値Ｐorgに対する、局所復号画像１２に関して得られたパワー平均値Ｐdecの比率Ｄ（＝Ｐdec／Ｐorg）を算出し、処理はステップＳ５０１に戻る（ステップＳ５０７）。尚、Ｄ＝Ｐdec−Ｐorgとしてもよい。

当該シーンを構成する全てのフレームに対して、以上のステップＳ５０１〜５０７の処理が終了すれば（ステップＳ５０１）、処理はステップＳ５１１に進む。ステップＳ５１１では、画質劣化尺度算出部１３０は、当該シーンにおけるＤの時間変動（振幅）の大きさＭを算出する。具体的には、当該シーンを構成する各フレームにおいて算出されたＤの最大値をmax(Ｄ)、最小値をmin(Ｄ)とすると、Ｍ＝max(Ｄ)−min(Ｄ)である。画質劣化尺度算出部１３０は、当該シーンを構成する各フレームにおいて算出されたＲの平均値Ｒavgを算出する（ステップＳ５１２）。

次に、画質劣化尺度算出部１３０は画質劣化尺度FlickingMeasure1を算出し（ステップＳ５１３）、処理は終了する。具体的には、FlickingMeasure1は、ステップＳ５１１で算出されたＭと、ステップＳ５１２で算出されたＲavgの積である。

尚、この算出手法の変形例として、画質劣化尺度算出部１３０は、前述したステップＳ５０４及びＳ５０５においてＰorg及びＰdecとしてパワーの平均値ではなくパワーの総和を算出し、ステップＳ５０６及びＳ５１２を省略し、ステップＳ５１３においてFlickingMeasure1＝Ｍとして算出してもよい。

（FlickingMeasure2の算出）
原画像１０に非可逆符号化を行うと、復号画像の空間的形状が周期的に変化するフリッカが発生することがある。特に、フレーム間予測において他のフレームから参照される参照画像（参照ピクチャ）間における空間的形状の変動が、このフリッカに対して大きく影響する。

尚、フリッカは複数のフレームを連続して目視することにより知覚されるため、再符号化単位は、２以上の参照画像を含むシーンと定めることが望ましい。以下、再符号化単位を２以上の参照画像を含むシーンと定めた場合の、FlickingMeasure2の算出例について図８に示すフローチャートを用いて説明する。

画質劣化尺度算出部１３０は、処理対象のシーンに含まれる参照画像毎に以下のステップＳ６０１〜６０４を繰り返す。当該シーンに含まれる全ての参照画像に対する処理が終了していなければ（ステップＳ６０１）、処理はステップＳ６０２に進む。

画質劣化尺度算出部１３０は、原画像１０に関して、表示順または符号化順で隣接する（互いに最も近い）２つの参照画像間の類似度Ｓorgを算出する（ステップＳ６０２）。ここで、参照画像間の類似度は、例えば構造的類似指標（ＳＳＩＭ(Structural SIMilarity)）であってもよいし、単純類似度であってもよい。

次に、画質劣化尺度算出部１３０は、ステップＳ６０２において算出した各参照画像の局所復号画像１２に関して、同様に類似度Ｓdecを算出する（ステップＳ６０３）。次に、画質劣化尺度算出部１３０は、原画像１０に関する類似度Ｓorgに対する、局所復号画像１２に関する類似度Ｓdecの変化量Ｃを算出し、処理はステップＳ６０１に戻る（ステップＳ６０４）。尚、変化量Ｃ＝Ｓdec−Ｓorgであってもよいし、Ｃ＝Ｓdec／Ｓorgであってもよい。

当該シーンに含まれる全ての参照画像に対して、以上のステップＳ６０１〜６０４の処理が終了すれば（ステップＳ６０１）、処理はステップＳ６１１に進む。ステップＳ６１１では、画質劣化尺度算出部１３０は、当該シーンにおけるＣの時間変動（振幅）の大きさを画質劣化尺度FlickingMeasure2として算出する。例えば、当該シーンに含まれる各参照画像において算出されたＣの最大値をmax(Ｃ)、最小値をmin(Ｃ)とすると、FlickingMeasure2＝max(Ｃ)−min(Ｃ)としてもよい。

（BlurringMeasureの算出）
原画像１０の中〜高周波数成分が符号化過程において失われると、解像度感の低下が発生する。従って、画質劣化尺度BlurringMeasureは、このような比較的高い周波数成分の局所復号画像１２における減衰量から導出できる。但し、局所復号画像１２の高周波数成分には、符号化過程で発生するノイズ成分が含まれやすいため、画質劣化尺度BlurringMeasureは原画像１０及び局所復号画像１２の中周波数成分のみに基づいて算出されることが望ましい。以下、再符号化単位を少なくとも１つの画素ブロックまたはスライスから構成される領域と定めた場合の、BlurringMeasureの算出例について説明する。

まず、画像劣化尺度算出部１３０は、原画像１０及び局所復号画像１２に関して当該領域を構成する各画素ブロックを周波数成分に変換し、中周波数成分のパワーの平均値を算出する。画質劣化尺度算出部１３０は、原画像１０に関してＰorg、局所復号画像１２に関してＰdecを夫々算出する。尚、上記Ｐorg及びＰdecは平均値ではなく、総和であってもよい。

次に、画質劣化尺度算出部１３０は、原画像１０に対する局所復号画像１２のパワーの減衰量（＝１−Ｐdec／Ｐorg）を、画質劣化尺度BlurringMeasureとして算出する。尚、BlurringMeasure＝Ｐorg−Ｐdecでもよい。

尚、上記例では再符号化単位を少なくとも１つの画素ブロックまたはスライスから構成される領域としたが、再符号化単位を１シーンとしてもよい。この場合、画質劣化尺度算出部１３０は、フレームを１つの領域とみなして上記例と同様の手法でフレーム毎にBlurringMeasureを算出し、当該シーン内における平均値、最大値または中央値を当該シーンのBlurringMeasureとしてもよい。また、画質劣化尺度算出部１３０は、シーンを１つの領域とみなして上記例と同様の手法でBlurringMeasureを算出してもよい。

（BlockingMeasureの算出）
原画像１０を画素ブロック単位に分割して非可逆符号化を行うと、ブロック歪が発生する。以下、再符号化単位をマクロブロックと定めた場合の、BlockingMeasureの算出例について説明する。

画質劣化尺度算出部１３０は、原画像１０のマクロブロックを、周波数成分に変換するブロック単位で分割する。具体的には、図４に示すように、画質劣化尺度算出部１３０は原画像１０の１６画素×１６画素のマクロブロックを、周波数成分に変換する８画素×８画素のブロック単位で分割する。尚、分割後の各ブロック間の境界をブロック境界と呼ぶ。

画質劣化尺度算出部１３０は、分割後のブロックのうち任意の１つ（例えば、図４において斜線で指定されるブロック）に関してアクティビティＣ１を算出する。尚、アクティビティＣ１は、例えば当該ブロック中の画素値の分散であってもよいし、画素値の平均値をＡとした時の当該ブロック中の各画素値とＡとの差分の絶対値和（ＳＡＤ）であってもよい。

また、画質劣化尺度算出部１３０は、少なくとも１つのブロック境界を跨ぎ、かつ、当該分割後のブロックと同じサイズの小領域（例えば、図４において点線で指定される小領域）に関して、アクティビティＣ１と同様のアクティビティＣ２を算出する。

画質劣化尺度算出部１３０は、原画像１０におけるアクティビティＣ１及びＣ２の比率Ｒorg＝Ｃ２／Ｃ１を算出する。更に、画質劣化尺度算出部１３０は、局所復号画像１２においても同様にアクティビティＣ'１及びＣ'２を算出して、これらの比率Ｒdec＝Ｃ'２／Ｃ'１を算出する。

画質劣化尺度算出部１３０は、Ｒdec／Ｒorgを画質劣化尺度BlockingMeasureとして算出する。尚、画質劣化尺度算出部１３０は、Ｒdec−Ｒorgを画質劣化尺度BlockingMeasureとして算出してもよい。

尚、上記例では再符号化単位をマクロブロックとしたが、再符号化単位を複数の画素ブロックから構成される領域としてもよい。この場合、画質劣化尺度算出部１３０は、各画素ブロックのBlockingMeasureを算出し、当該領域内における平均値、最大値または中央値を当該領域のBlockingMeasureとしてもよい。また、再符号化単位をシーンとする場合には、画質劣化尺度算出部１３０は、シーンを１つの領域とみなして上記例と同様の手法でBlockingMeasureを算出してもよい。また、画質劣化尺度算出部１３０は、フレームを１つの領域とみなして、フレーム内の各画素ブロックのBlockingMeasureの平均値、最大値または中央値を各フレームのBlockingMeasureとし、当該シーン内の各フレームのBlockingMesaureの平均値、最大値または中央値を当該シーンのBlockingMeasureとしてもよい。

以上の説明では、画質劣化尺度FlickingMeasure1、FlickingMeasure2、BlurringMeasure及びBlockingMeasureの大小は、フリッカ、解像度感の低下及びブロック歪の大小に夫々対応している。しかしながら、各画質劣化尺度と各符号化歪との対応関係はこれに限られず、各画質劣化尺度から各符号化歪の大小が評価できればよい。

以下、前述した画質劣化尺度FlickingMeasure1、FlickingMeasure2、BlurringMeasure及びBlockingMeasureに対応する符号化歪の各々の改善のために、符号化制御部１４０はどのように符号化パラメータを再設定するかについて具体的に説明する。

（FlickingMeasure1の改善）
符号化制御部１４０は、フレーム間の量子化パラメータの変動を抑制させる。例えば、ピクチャタイプ毎の割り当て符号量を調整してもよいし、符号化対象とする領域毎に量子化パラメータを直接設定してもよい。具体的には、同一フレーム内の量子化パラメータの平均値が、フレーム間で±１程度の変動幅に抑えられることが望ましい。

また、双方向予測モードは他の予測モードに比べてノイズ成分が失われやすいので、符号化制御部１４０は符号化パラメータの一部であるモード情報を制御することにより、双方向予測モードの使用頻度を低くしてもよいし、双方向フレームの使用を禁止してもよい。

符号化制御部１４０が、このような改善手法の少なくとも１つを行えば、復号画像において再現されるノイズ成分の変動が抑えられるので、フリッカの発生が抑えられる。

（FlickingMeasure2の改善）
符号化制御部１４０は、未だ符号化されていない１フレーム分の原画像Ｏに対して、既に符号化されている１フレーム分の局所復号画像Ｄを用いて、時間フィルタリング部１２０によって時間フィルタリングを行わせる。尚、上記原画像Ｏ及び局所復号画像Ｄは共に参照画像であるものとする。符号化制御部１４０は、時間フィルタリング部１２０における時間フィルタリングによって得られたフィルタ画像Ｍを上記原画像Ｏと置き換える。また、符号化制御部１４０は、上記フィルタ画像Ｍに対する量子化パラメータを、原画像Ｏのデフォルトの量子化パラメータよりも小さくすることにより、フィルタ画像Ｍの再現性を高めさせてもよい。尚、この手法は上記FlickingMeasure1の改善にも有効である。

符号化制御部１４０が、このような改善手法の少なくとも１つを行えば、参照画像間の空間的形状の変動が緩和されるため、復号画像の空間的形状が周期的に変化するフリッカの発生が抑えられる。

（BlurringMeasureの改善）
符号化制御部１４０は、画像をぼかす効果のある双方向予測モードの使用頻度を低くさせたり、小数画素精度の動き補償の使用頻度を低くさせたりしてもよい。また、符号化制御部１４０は、画像符号化部１００中に画素ブロック境界をぼかすためのフィルタが含まれていれば、当該フィルタの効力を弱くしてもよい。

また、符号化制御部１４０は、量子化丸め方向を切り上げ方向に調整することにより、原画像１０に含まれる精細な信号を失われにくくしてもよい。尚、丸め方向の調整は、量子化変換係数が零となる領域（デッドゾーン）のみで行ってもよい。

符号化制御部１４０が、これら改善手法のうち少なくとも１つを行えば、画像がぼかされにくくなったり、精細な信号が失われにくくなったりするため、解像度感の低下が抑制される。

（BlockingMeasureの改善）
符号化制御部１４０は、画像符号化部１００中に画素ブロック境界をぼかすためのフィルタが含まれていれば、当該フィルタの効力を強くする。上記フィルタの効力を強くすれば、画素ブロック境界がぼかされるため、ブロック歪が低減される。

以上説明したように、符号化制御部１４０は、画質劣化尺度１３から評価される符号化歪の種別に応じて再符号化のためのパラメータを再設定することが望ましい。更に、符号化制御部１４０は、量子化パラメータを微細化する、割り当て符号量を増やすなど、画質の一般的な改善手法を前述した符号化歪の種別に応じた改善手法に併せて行ってもよい。

以下、図２に示すフローチャートを用いて図１の画像符号化装置の動作の一例を説明する。
まず、符号化制御部１４０は、最初の符号化パラメータを決定する（ステップＳ２０１）。最初の符号化パラメータは、例えばデフォルトの符号化パラメータである。ステップＳ２０１において決定された符号化パラメータは、画像符号化部１００の各構成要素に与えられる。画像符号化装置は、入力される原画像１０を全て符号化し、符号化データ１１を得る（ステップＳ２０２）。

次に、画質劣化尺度算出部１３０は、原画像１０と、対応する局所復号画像１２とを用いて、再符号化単位毎に画質劣化尺度１３を算出し、符号化制御部１４０に渡す（ステップＳ２０３）。

以降、全ての再符号化単位に対して、ステップＳ２１１〜２１４の処理が繰り返される。
まず、符号化制御部１４０は、処理対象の再符号化単位の再符号化の要否を判断する（ステップＳ２１１）。具体的には、符号化制御部１４０は、例えば画質劣化尺度１３から再符号化単位に含まれる符号化歪を評価し、当該符号化歪が一定以上であれば当該再符号化単位の再符号化が必要であると判断する。尚、当該再符号化単位について既に再符号化が行われている場合には、画質劣化尺度１３から評価される符号化歪に関わらず、符号化制御部１４０は再符号化が不要であると判断してもよい。

また、符号化制御部１４０は、符号化ログに記録した画質劣化尺度１３をユーザに提示してこれに対するユーザの入力に応じて再符号化の要否を判断してもよいし、ユーザに当該再符号化単位の局所復号画像１２を提示してこれに対するユーザの入力に応じて再符号化の要否を判断してもよい。

符号化制御部１４０が、処理対象の再符号化単位の再符号化が必要であると判断すれば（ステップＳ２１１）、処理はステップＳ２１２に進む。一方、符号化制御部１４０が、処理対象の再符号化単位の再符号化が不要であると判断すれば（ステップＳ２１１）、未処理の再符号化単位を対象として同様の処理が行われる。

ステップＳ２１２では、符号化制御部１４０は、処理対象の再符号化単位の再符号化パラメータを決定する。具体的には、符号化制御部１４０は、画質劣化尺度１３から評価される符号化歪に応じて、前述したように再符号化パラメータを決定する。また、符号化制御部１４０は、ユーザの入力に応じて再符号化パラメータを決定してもよい。

ステップＳ２１２において決定された再符号化パラメータは、画像符号化部１００の各構成要素に与えられる。画像符号化装置は、処理対象の再符号化単位を再符号化し、再符号化データを得る（ステップＳ２１３）。

次に、画質劣化尺度算出部１３０は、処理対象の再符号化単位の原画像１０と、対応する局所復号画像１２とを用いて、再符号化単位毎に画質劣化尺度１３を改めて算出し、符号化制御部１４０に渡す（ステップＳ２１４）。

全ての再符号化単位について上記ステップＳ２１１〜２１４の処理が行われると、処理はステップＳ２２０に進む。ステップＳ２２０では、ステップＳ２０２において得られた符号化データ１１のうち、ステップＳ２１３において再符号化された部分を当該再符号化データに置き換えて、最終的な符号化データ１１として出力する。尚、ステップＳ２０２における符号化データの置換は、再符号化単位における再符号化を行う度に行われてもよい。即ち、符号化データの置換は、ステップＳ２１３またはＳ２１４に続いて行われてもよい。

以上説明したように、本実施形態に係る画像符号化装置は、各種符号化歪を評価するための画質劣化尺度を算出し、当該画質劣化尺度によって評価された符号化歪の種別に応じた再符号化を行う。従って、本実施形態に係る画像符号化装置によれば、符号化歪を容易に検出し、改善できる。即ち、符号化過程において主観画質の低いシーンを目視で探し出す手間や、再符号化における手間を削減することが可能となる。

（第２の実施形態）
本発明の第２の実施形態に係る画像符号化装置は、図１の画像符号化装置と同様の構成であるが、動作の流れが異なる。以下、図５に示すフローチャートを用いて、本実施形態に係る画像符号化装置の動作例を説明する。

まず、全ての再符号化単位に対して、ステップＳ３０１〜３０４の処理が繰り返される。
ステップＳ３０１では、符号化制御部１４０は、処理対象の再符号化単位の符号化パラメータを決定する。具体的には、符号化制御部１４０は、処理対象の再符号化単位が一度も符号化されていなければ、デフォルトの符号化パラメータを最初の符号化パラメータとして決定する。一方、処理対象の再符号化単位が既に符号化され画質劣化尺度１３が算出されていれば、符号化制御部１４０は画質劣化尺度１３から評価される符号化歪に応じて、前述したように符号化パラメータを決定する。また、符号化制御部１４０は、ユーザの入力に応じて符号化パラメータを決定してもよい。

ステップＳ３０１において決定された符号化パラメータは、画像符号化部１００の各構成要素に与えられる。画像符号化装置は、処理対象の再符号化単位を符号化し、符号化データを得る（ステップＳ３０２）。

次に、画質劣化尺度算出部１３０は、処理対象の再符号化単位の原画像１０と、対応する局所復号画像１２とを用いて、再符号化単位毎に画質劣化尺度１３を算出し、符号化制御部１４０に渡す（ステップＳ３０３）。

次に、符号化制御部１４０は、処理対象の再符号化単位の再符号化の要否を判断する（ステップＳ３０４）。具体的には、符号化制御部１４０は、例えば画質劣化尺度１３から再符号化単位に含まれる符号化歪を評価し、当該符号化歪が一定以上であれば当該再符号化単位の再符号化が必要であると判断する。尚、当該再符号化単位について既に再符号化が行われている場合には、画質劣化尺度１３から評価される符号化歪に関わらず、符号化制御部１４０は再符号化が不要であると判断してもよい。

また、符号化制御部１４０は、符号化ログに記録した画質劣化尺度１３をユーザに提示してこれに対するユーザの入力に応じて再符号化の要否を判断してもよいし、ユーザに当該再符号化単位の局所復号画像１２を提示してこれに対するユーザの入力に応じて再符号化の要否を判断してもよい。

符号化制御部１４０が、処理対象の再符号化単位の再符号化が必要であると判断すれば（ステップＳ３０４）、処理はステップＳ３０１に戻る。一方、符号化制御部１４０が、処理対象の再符号化単位の再符号化が不要であると判断すれば（ステップＳ３０４）、未処理の再符号化単位を対象としてステップＳ３０１〜３０４の処理が行われる。

全ての再符号化単位について上記ステップＳ３０１〜３０４の処理が行われると、処理はステップＳ３１０に進む。ステップＳ３１０では、各再符号化単位につき、ステップＳ３０２おいて最終的に得られた符号化データを集めて、原画像１０の全編分の符号化データ１１を構築し、出力する。尚、ステップＳ３１０における符号化データの構築は、再符号化単位において最終的な符号化データが得られる度に逐次行われてもよい。

以上説明したように、本実施形態に係る画像符号化装置は、前述した第１の実施形態に係る画像符号化装置とは異なり、再符号化単位に対して逐次再符号化を行い、当該再符号化単位の最終的な符号化データから全編分の符号化データを構築している。従って、本実施形態に係る画像符号化装置によれば、最初に全編分の符号化を行う必要がない。

（第３の実施形態）
図６に示すように、本発明の第３の実施形態に係る画像符号化装置は、画像符号化装置４００、時間フィルタリング部４２０、画質劣化尺度算出部４３０及び画像復号装置４５０を有する。尚、本実施形態に係る画像符号化装置の動作の流れは、前述した第１及び第２の実施形態と同様である。

画像符号化装置４００は、一般的な画像符号化装置であって、原画像１０に符号化を行って、符号化データ２１を得る。画像符号化装置４００は、符号化データ２１を画像復号装置４５０に渡す。

画像復号装置４５０は、一般的な画像復号装置であって、符号化データ２１を復号し、復号画像２２を得る。画像復号装置４００は、復号画像２２を時間フィルタリング部４２０及び画質劣化尺度算出部４３０に渡す。

時間フィルタリング部４２０は、前述した時間フィルタリング部１２０と同様に、例えばεフィルタなどのノイズリダクションフィルタであり、動き補償を伴う適応フィルタであることが望ましい。時間フィルタリング部４２０は、画像符号化装置４００からの求めに応じて、原画像１０に対して復号画像２２を用いて時間フィルタリングを行う。

画質劣化尺度算出部４３０は、画質劣化尺度算出部１３０と同様に、原画像１０及び復号画像２２から、画質劣化尺度１３を算出する。画質劣化尺度１３によって評価される符号化歪が一定以上であれば、画像符号化装置４００は当該符号化歪に応じて再設定された符号化パラメータを用いて原画像１０を再符号化する。

以上説明したように、本実施形態に係る画像符号化装置は、一般的な画像符号化装置及び画像復号装置を用いながら、前述した第１及び第２の実施形態に係る画像符号化装置と同様の効果を得られるようにしている。従って、本実施形態に係る画像符号化装置によれば、既存の画像符号化装置及び画像復号装置を利用しつつ、前述した第１及び第２の実施形態に係る画像符号化装置と同様に符号化歪を容易に検出し、改善できる。

尚、前述した第１乃至第３の実施形態に係る画像符号化装置は、例えば、汎用のコンピュータ装置を基本ハードウエアとして用いることでも実現することが可能である。即ち、イントラ予測部１０１、動き検出部１０２、インター予測部１０３、モード判定部１０４、変換部１０５、量子化部１０６、エントロピー符号化部１０７、逆量子化部１０８、逆変換部１０９、局所復号部１１０、レート制御部１１２、時間フィルタリング部１２０及び４２０、画質劣化尺度算出部１３０及び４３０、符号化制御部１４０は、上記コンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、画像符号化装置は、上記のプログラムをコンピュータ装置に予めインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、参照フレームメモリ１１１は、上記コンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。

尚、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記各実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、各実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。

第１の実施形態に係る画像符号化装置を示すブロック図。 図１の画像符号化装置の動作例を示すフローチャート。 図１の画質劣化尺度算出部における低周波数成分、中周波数成分及び高周波数成分の区分の一例を説明するための図。 図１の画質劣化尺度算出部における画質劣化尺度BlockingMeasureの算出を説明するための図。 第２の実施形態に係る画像符号化装置の動作例を示すフローチャート。 第３の実施形態に係る画像符号化装置を示すブロック図。 図１の画質劣化尺度算出部における画質劣化尺度FlickingMeasure1の算出例を示すフローチャート。 図１の画質劣化尺度算出部における画質劣化尺度FlickingMeasure2の算出例を示すフローチャート。

符号の説明

１０・・・原画像
１１・・・符号化データ
１２・・・局所復号画像
１３・・・画質劣化尺度
２１・・・符号化データ
２２・・・復号画像
１００・・・画像符号化部
１０１・・・イントラ予測部
１０２・・・動き検出部
１０３・・・インター予測部
１０４・・・モード判定部
１０５・・・変換部
１０６・・・量子化部
１０７・・・エントロピー符号化部
１０８・・・逆量子化部
１０９・・・逆変換部
１１０・・・局所復号部
１１１・・・参照フレームメモリ
１２０・・・時間フィルタリング部
１３０・・・画質劣化尺度算出部
１４０・・・符号化制御部
４００・・・画像符号化装置
４２０・・・時間フィルタリング部
４３０・・・画質劣化尺度算出部
４５０・・・画像復号装置

Claims (16)

1. 符号化パラメータに従って原画像の予測符号化を行う画像符号化装置において、
   前記原画像の予測を行って予測画像を生成する予測部と、
   前記原画像に対する前記予測画像の予測残差を符号化して符号化データを得る符号化部と、
   前記予測画像及び前記予測残差から復号画像を得る復号部と、
   前記復号画像におけるフリッカ、解像度感の低下及びブロック歪の少なくとも１つを含む符号化歪を評価するための画質劣化尺度を算出する算出部と、
   前記画質劣化尺度によって評価される前記符号化歪が所定値以上であれば、前記符号化歪が小さくなるように前記符号化パラメータを前記原画像の再符号化のために再設定する符号化制御部と
   を具備することを特徴とする画像符号化装置。
2. 前記算出部は、前記原画像の中周波数成分及び高周波成分の第１のパワーに対する、前記復号画像の中周波数成分及び高周波数成分の第２のパワーの比率の振幅の大きさを、前記フリッカを評価するための画質劣化尺度として算出することを特徴とする請求項１記載の画像符号化装置。
3. 前記符号化部は、前記予測残差に直交変換を行って変換係数を得る変換部と、前記変換係数を前記符号化パラメータの一部である量子化パラメータに従って量子化する量子化部を含み、
   前記符号化制御部は、前記画質劣化尺度によって評価されるフリッカが所定値以上であれば、当該フリッカが大きいほど前記量子化パラメータのフレーム間での変動が小さくなるように、前記量子化パラメータを前記再符号化のために再設定することを特徴とする請求項２記載の画像符号化装置。
4. 前記予測部は、前記符号化パラメータの一部であるモード情報に従って双方向予測モードを含む複数の予測モードにより前記原画像の予測が可能であり、
   前記符号化制御部は、前記画質劣化尺度によって評価されるフリッカが所定値以上であれば、当該フリッカが大きいほど前記予測部における前記双方向予測モードの使用頻度を減らすように前記モード情報を前記再符号化のために再設定することを特徴とする請求項２記載の画像符号化装置。
5. 前記符号化パラメータの一部であるフィルタ強度に従って前記復号画像を用いて前記原画像に対して時間フィルタリングを行って、前記原画像を前記時間フィルタリング後の画像に置き換える時間フィルタを更に具備し、
   前記符号化制御部は、前記画質劣化尺度によって評価されるフリッカが所定値以上であれば、当該フリッカが大きいほど前記フィルタ強度が強くなるように前記フィルタ強度を前記再符号化のために再設定することを特徴とする請求項２記載の画像符号化装置。
6. 前記算出部は、表示順または符号化順で隣接する２つの原画像間の第１の類似度と、当該２つの原画像に対応する復号画像間の第２の類似度とを算出し、前記第１の類似度に対する前記第２の類似度の変化量の振幅の大きさを、前記フリッカを評価するための画質劣化尺度として算出することを特徴とする請求項１記載の画像符号化装置。
7. 前記符号化パラメータの一部であるフィルタ強度に従って前記復号画像を用いて前記原画像に対して時間フィルタリングを行って、前記原画像を前記時間フィルタリング後の画像に置き換える時間フィルタを更に具備し、
   前記符号化制御部は、前記画質劣化尺度によって評価されるフリッカが所定値以上であれば、当該フリッカが大きいほど前記フィルタ強度が強くなるように前記フィルタ強度を前記再符号化のために再設定して再符号化を行うことを特徴とする請求項６記載の画像符号化装置。
8. 前記符号化部は、前記予測残差に直交変換を行って変換係数を得る変換部と、前記変換係数を前記符号化パラメータの一部である量子化パラメータに従って量子化する量子化部を含み、
   前記復号画像を用いて前記原画像に対して時間フィルタリングを行って、前記原画像を前記時間フィルタリング後の画像に置き換える時間フィルタを更に具備し、
   前記符号化制御部は、前記画質劣化尺度によって評価されるフリッカが所定値以上であれば、当該フリッカが大きいほど、置き換え後の原画像に対応する量子化パラメータを置き換え前の前記原画像に対応する量子化パラメータよりも小さくなるように、前記再符号化のために再設定することを特徴とする請求項６記載の画像符号化装置。
9. 前記算出部は、前記原画像の特定周波数成分の第１のパワーと、前記復号画像の前記特定周波数成分の第２のパワーとを算出し、前記第１のパワーに対する前記第２のパワーの減衰量を前記解像度感の低下を評価するための画質劣化尺度として算出することを特徴とする請求項１記載の画像符号化装置。
10. 前記特定周波数成分は、低周波数成分及び高周波数成分を除く中周波数成分であることを特徴とする請求項９記載の画像符号化装置。
11. 前記符号化制御部は、前記画質劣化尺度によって解像度感の低下が所定値以上であれば、（ａ）当該解像度感の低下が大きいほど前記予測部における複数の予測モードのうち双方向予測モードの使用頻度を減らすように、（ｂ）当該解像度感の低下が大きいほど前記予測部における小数画素精度の動き補償の使用頻度を減らすように、（ｃ）当該解像度感の低下が大きいほど前記復号画像に含まれる画素ブロックの境界をぼかすフィルタの強度を弱めるように、または（ｄ）当該解像度感の低下が大きいほど量子化丸め方向が切り上げ方向となるように、前記符号化パラメータを前記再符号化のために再設定することを特徴とする請求項９記載の画像符号化装置。
12. 前記原画像は複数の画素ブロックを含み、
    前記算出部は、（Ａ）前記複数の画素ブロックのうち１つの画素ブロックにおける第１のアクティビティと、前記複数の画素ブロック間のブロック境界の少なくとも１つを跨ぐ、前記原画像の前記画素ブロックと同じサイズの第１領域における第２のアクティビティとを算出し、（Ｂ）前記第１のアクティビティに対する前記第２のアクティビティの第１の比率を算出し、（Ｃ）前記復号画像における、前記１つの画素ブロックに対応する第２領域の第３のアクティビティと、前記復号画像における、前記第１領域に対応する第３領域の第４のアクティビティとを算出し、（Ｄ）前記第３のアクティビティに対する前記第４のアクティビティの第２の比率を算出し、（Ｅ）前記第１の比率に対する前記第２の比率の大きさを前記ブロック歪を評価するための画質劣化尺度として算出すること
    を特徴とする請求項１記載の画像符号化装置。
13. 前記原画像は４つの画素ブロックを含み、前記第１領域は、前記４つの画素ブロック間のブロック境界を全て跨ぐことを特徴とする請求項１２記載の画像符号化装置。
14. 前記符号化パラメータの一部であるフィルタ強度に従って前記復号画像に含まれる画素ブロックの境界をぼかすフィルタを更に具備し、
    前記符号化制御部は、前記画質劣化尺度によって評価されるブロック歪みが所定値以上であれば、当該ブロック歪みが大きいほど前記フィルタ強度が強くなるように前記フィルタ強度を前記再符号化のために再設定することを特徴とする請求項１２記載の画像符号化装置。
15. 符号化パラメータに従って原画像の予測符号化を行う画像符号化方法において、
    前記原画像の予測を行って予測画像を生成すること、
    前記原画像に対する前記予測画像の予測残差を符号化して符号化データを得ること、
    前記予測画像及び前記予測残差から復号画像を得ること、
    前記復号画像におけるフリッカ、解像度感の低下及びブロック歪の少なくとも１つを含む符号化歪を評価するための画質劣化尺度を算出すること、
    前記画質劣化尺度によって評価される前記符号化歪が所定値以上であれば、前記符号化歪が小さくなるように前記符号化パラメータを前記原画像の再符号化のために再設定すること
    を特徴とする画像符号化方法。
16. 符号化パラメータに従って原画像の予測符号化を行う画像符号化プログラムにおいて、
    コンピュータを
    前記原画像の予測を行って予測画像を生成する予測手段、
    前記原画像に対する前記予測画像の予測残差を符号化して符号化データを得る符号化手段、
    前記予測画像及び前記予測残差から復号画像を得る復号手段、
    前記復号画像におけるフリッカ、解像度感の低下及びブロック歪の少なくとも１つを含む符号化歪を評価するための画質劣化尺度を算出する算出手段、
    前記画質劣化尺度によって評価される前記符号化歪が所定値以上であれば、前記符号化歪が小さくなるように前記符号化パラメータを前記原画像の再符号化のために再設定する符号化制御手段
    として機能させることを特徴とする画像符号化プログラム。

Images