JP2021177599A - 画像符号化装置及びそのプログラム - Google Patents

Abstract

【課題】ブロックベース符号化に対し親和性の高い態様で、画面間予測精度を高めつつ符号化効率を向上させた画像符号化装置及びそのプログラムを提供する。【解決手段】本発明の画像符号化装置１は、入力動画像の符号化対象ピクチャにおける被予測ブロックと画面間予測による予測ブロックの差分信号にＤＣＴ及び量子化処理を施して符号化信号を生成する手段１０，１１，１２、局部復号ブロックを生成する手段１３，１４，１５、局部復号ブロックから参照ピクチャを構成する手段１８，１９、局部復号ブロックから複数の空間高周波成分強調・抑制ピクチャを生成する手段２３，２４，２５、参照ピクチャと複数の空間高周波成分強調・抑制ピクチャをそれぞれの画面間予測を実行する手段２０、最小差分誤差の予測ブロックを選択決定する手段２１、及び該予測ブロックに基づく符号化信号にエントロピー符号化を施したビットストリームを生成する手段２２を備える。【選択図】図１

Description

本発明は、画面間予測を用いる画像符号化装置及びそのプログラムに関する。

従来の画像符号化装置及び画像復号装置において、例えばＨＥＶＣ（High Efficiency Video Coding）やＶＶＣ（Versatile Video Coding）等のブロックベース符号化における画面間予測を用いた符号化・復号処理が知られている。画面間予測は、近接ピクチャ間の相関関係を利用して符号化対象のピクチャの符号化効率を向上させる技術である。

ただし、従来の画面間予測は、オブジェクトのぼやけ度合が時間変化する動画像については、符号化効率が低下しやすいという課題がある。

そこで、画面間予測において、符号化効率を向上させるために超解像処理を適用する技術が知られている。

例えば、画面間予測において、色差信号の符号化効率を向上するために、複数フレームによる超解像処理を適用して色差補間を行う技術が開示されている（例えば、特許文献１参照）。

また、動画像の符号化効率を向上するために、画像を縮小してから符号化・伝送を行い、復号後に超解像復元し、更に画像の複雑度に応じて最適な折り返し周波数を設定して伝送することで、超解像画質を高める技術が開示されている（例えば、特許文献２参照）。

特許第６１５２６４２号明細書 特許第６３４４８００号明細書

上述したように、従来の画面間予測は、オブジェクトのぼやけ度合が時間変化する動画像については、符号化効率が低下しやすいという課題がある。特に、例えばＨＥＶＣやＶＶＣ等のブロックベース符号化における画面間予測では、オブジェクトのぼやけ度合が時間変化する動画像について予測する予測ツールを持たないため、画面間予測時の符号化効率の向上の観点からは改善の余地がある。

尚、特許文献１に開示される技術では、画面間予測時に色差信号の補間のために超解像処理を利用しているものの、オブジェクトのぼやけ度合が時間変化する動画像について予測することは困難である。

また、特許文献２に開示される技術では、画像を縮小してから符号化・伝送を行うことで符号化効率を改善することを基本構成としているため、復号時に超解像処理を利用して超解像画質を高めることができるとしても、原信号に対する画質劣化を十分に補うことは困難であり、更に、オブジェクトのぼやけ度合が時間変化する動画像についてまで予測するのは困難である。

そこで、本発明の目的は、上述の問題に鑑みて、ＨＥＶＣやＶＶＣ等のブロックベース符号化に対し親和性の高い態様で、オブジェクトのぼやけ度合が時間変化する動画像であっても、画面間予測精度を高めつつ符号化効率を向上させた画像符号化装置及びそのプログラムを提供することにある。

本発明の画像符号化装置は、画面間予測を用いて入力動画像の符号化対象ピクチャを符号化する画像符号化装置であって、前記入力動画像の符号化対象ピクチャの予測対象である被予測ブロックの信号と、画面間予測により予測された予測ブロックの信号とを差分して差分信号を形成し、その差分信号に対して離散コサイン変換処理及び量子化処理を施して符号化信号を生成するブロック符号化手段と、前記符号化信号に前記離散コサイン変換処理及び量子化処理の逆処理を施し、前記画面間予測による予測ブロックの信号を加算して局部復号ブロックの信号を生成する局部復号ブロック生成手段と、前記局部復号ブロックにループフィルタ処理を施し、参照ピクチャを構成する参照ピクチャ構成手段と、前記符号化信号の１ピクセルあたりのビットレートから定まる複数の強調・抑制係数と空間周波数とを基に、前記局部復号ブロックを小領域ブロックに分割し、各小領域ブロックに離散コサイン変換処理を施した後、前記空間周波数よりも高い全ての要素値に前記強調・抑制係数を乗算し、その結果に対して逆離散コサイン変換処理を施したブロックからなる空間高周波成分強調・抑制ピクチャを、前記複数の強調・抑制係数に応じて複数生成する空間高周波成分強調・抑制ピクチャ生成手段と、前記局部復号ブロックから構成される参照ピクチャと前記複数の空間高周波成分強調・抑制ピクチャのそれぞれを参照して、前記符号化対象ピクチャの画面間予測を行う画面間予測手段と、参照ピクチャと複数の空間高周波成分強調・抑制ピクチャをそれぞれ用いた画面間予測のうち、差分誤差が最小となる予測ブロックを選択決定する選択手段と、選択決定した予測ブロックに基づく符号化信号についてエントロピー符号化を施したビットストリームを生成するエントロピー符号化手段と、を備えることを特徴とする。

また、本発明の画像符号化装置において、前記入力動画像の映像フォーマット情報と、前記符号化信号の量子化パラメータを基にしたビットレート情報を基に１ピクセルあたりのビットレートを求め、事前作成した１ピクセルあたりのビットレートと強調・抑制係数の関係を示す強調・抑制係数テーブルを参照して、前記空間高周波成分強調・抑制ピクチャの生成に用いる複数の強調・抑制係数を設定する強調・抑制係数制御手段を更に備えることを特徴とする。

また、本発明の画像符号化装置において、前記入力動画像の映像フォーマット情報と、前記符号化信号の量子化パラメータを基にしたビットレート情報を基に１ピクセルあたりのビットレートを求め、事前作成した１ピクセルあたりのビットレートと空間周波数の関係を示す空間周波数テーブルを参照して、前記空間高周波成分強調・抑制ピクチャの生成に用いる空間周波数を設定する空間周波数制御手段を更に備えることを特徴とする。

更に、本発明のプログラムは、コンピュータを、本発明の画像符号化装置として機能させるためのプログラムとして構成する。

本発明によれば、符号化難易度や処理速度を考慮しながら、ピクチャ間でぼやけ度合が変化する場合の画面間予測を実現できるため、より画質劣化を抑制しつつ符号化効率を高めることができる。

本発明による一実施例の画像符号化装置の概略構成を示すブロック図である。 本発明による一実施例の画像符号化装置における画像符号化処理を示すフローチャートである。 （ａ），（ｂ）は、それぞれ本発明による一実施例の画像符号化装置における空間高周波成分強調・抑制ピクチャの生成処理の説明図である。 本発明による一実施例の画像符号化装置から伝送されたビットストリームを入力して復号する典型的な画像復号装置の概略構成を示すブロック図である。

以下、図面を参照して、本発明による一実施例の画像符号化装置１、及び画像復号装置５について、順に説明する。

〔画像符号化装置〕
（全体構成）
図１は、本発明による一実施例の画像符号化装置１の概略構成を示すブロック図である。画像符号化装置１は、ブロックベース符号化（本例では、ＨＥＶＣ）により、符号化対象ピクチャに対し画面内予測及び画面間予測のモード切替で符号化を行う装置として構成され、減算部１０、離散コサイン変換（ＤＣＴ）部１１、量子化部１２、逆量子化部１３、逆ＤＣＴ部１４、加算部１５、画面内予測部１６、モード切替部１７、ループフィルタ１８、ピクチャメモリ１９、画面間予測部２０、選択部２１、エントロピー符号化部２２、強調・抑圧係数制御部２３、空間周波数制御部２４、及び空間高周波成分強調・抑制ピクチャ生成部２５を備える。

まず、モード切替部１７は、画面内予測部１６による画面内予測、及び画面間予測部２０による画面間予測のモード切替を行う機能部である。尚、画面内予測部１６は、画面間予測時に、加算部１５から得られる局部復号ブロックを一時記憶して、近接ブロック間の相関関係を利用して次の予測ブロックの信号を生成する画面内予測を実行する機能部である。本発明は、画面間予測部２０による画面間予測時における予測精度及び符号化効率の改善を主旨としているので、以下、画像符号化装置１における画面間予測時について各機能部を説明する。

減算部１０は、入力動画像の符号化対象ピクチャをブロックベース符号化に基づく画面間予測のブロック（本例では、ＨＥＶＣに基づくＣＵ（Coding Unit））単位で入力し、当該符号化対象ピクチャにおける被予測ブロックの信号と、後述する画面間予測部２０及び選択部２１経由でモード切替部１７から得られる対応する予測ブロックの信号とを差分して差分信号を形成し、ＤＣＴ部１１に出力する。

ＤＣＴ部１１は、減算部１０から得られる差分信号に対してＤＣＴ（Discrete Cosine. Transform）変換の直交変換係数に基づく周波数変換を施し、量子化部１２に出力する。

量子化部１２は、ＤＣＴ部１１から得られる直交変換係数の信号に対して量子化パラメータ（ＱＰ（Quantization Parameter）値）に基づく量子化処理を施し、逆量子化部１３及びエントロピー符号化部２２に出力する。これにより、符号化対象ピクチャにおける原信号のブロックに対しモード切替部１７から得られる画面間予測の予測ブロックの信号を差分して得られる差分信号についてＤＣＴ及び量子化処理を施した符号化信号が生成される。

即ち、減算部１０、ＤＣＴ部１１、及び量子化部１２は、入力動画像の符号化対象ピクチャにおける被予測ブロックの信号と、後述する画面間予測部２０及び選択部２１による予測ブロックの信号とを差分して差分信号を形成し、その差分信号に対してＤＣＴ及び量子化処理を施して符号化信号を生成するブロック符号化手段として機能する。

逆量子化部１３は、量子化部１２から得られる符号化信号としての直交変換係数の信号の量子化値に対して量子化部１２の逆処理を施して、直交変換係数の信号を復元し、逆ＤＣＴ部１４に出力する。

逆ＤＣＴ部１４は、逆量子化部１３から得られる直交変換係数の信号に対してＤＣＴ部１１の逆処理を施して差分信号を復元し、加算部１５に出力する。

加算部１５は、逆ＤＣＴ部１４から得られる差分信号と、後述する画面間予測部２０及び選択部２１経由でモード切替部１７から得られる対応する予測ブロックの信号とを加算して局部復号ブロックの信号を生成し、ループフィルタ１８に出力する。

即ち、逆量子化部１３、逆ＤＣＴ部１４、及び加算部１５は、量子化部１２から得られる符号化信号に対し量子化部１２及びＤＣＴ部１１の逆処理を施し、後述する画面間予測部２０及び選択部２１経由でモード切替部１７から得られる対応する予測ブロックの信号を加算して局部復号ブロックの信号を生成する局部復号ブロック生成手段として機能する。

ループフィルタ１８は、加算部１５から得られる局部復号ブロックの信号に対しデブロッキングフィルタ等のループフィルタ処理を施して、ピクチャメモリ１９に出力する。

ピクチャメモリ１９は、このループフィルタ処理後の局部復号ブロックから画面間予測に用いる参照ピクチャを構成して、所定の記憶領域内に一時記憶する。即ち、ループフィルタ１８及びピクチャメモリ１９は、局部復号ブロックにループフィルタ処理を施し、参照ピクチャを構成する参照ピクチャ構成手段として機能する。

エントロピー符号化部２２は、量子化部１２から得られる符号化信号についてエントロピー符号化処理（本例では、ＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Cording）による算術符号化）を施し、ブロック単位（本例では、ＣＵ単位）の符号化信号についてエントロピー符号化を施したビットストリームを生成して、後述する画像復号装置５に向けて伝送する。尚、符号化信号の生成に係る符号化パラメータ（画面間予測に係る参照ピクチャ情報、ブロックサイズ及び参照領域情報等）についても、エントロピー符号化（例えば算術符号化）を施したビットストリームを生成して画像復号装置５に向けて伝送する。

ここで、本実施例では、エントロピー符号化部２２は、入力動画像の映像フォーマット情報（解像度、フレームレート、ビット深度）と、量子化部１２から得られる当該符号化信号の量子化パラメータ（ＱＰ値）を基にしたビットレート（画面間予測ピクチャを局部符号化した際のビットレート）を示すビットレート情報を、強調・抑圧係数制御部２３、及び空間周波数制御部２４に出力する機能を有する。

強調・抑圧係数制御部２３は、詳細は後述するが、入力動画像の映像フォーマット情報（解像度、フレームレート、ビット深度）と、量子化部１２から得られる当該符号化信号の量子化パラメータ（ＱＰ値）を基にした当該ビットレート情報を入力して、１ピクセルあたりのビットレートを求め、その１ピクセルあたりのビットレートの値が高いほど符号化難易度は高いとして、その値が高いほど予め定めた複数の強調・抑制係数αの数をより多く空間高周波成分強調・抑制ピクチャ生成部２５に設定する機能部である。

空間周波数制御部２４は、詳細は後述するが、入力動画像の映像フォーマット情報（解像度、フレームレート、ビット深度）と、量子化部１２から得られる当該符号化信号の量子化パラメータ（ＱＰ値）を基にした当該ビットレート情報を入力して、１ピクセルあたりのビットレートを求め、その１ピクセルあたりのビットレートの値が高いほど符号化難易度は高いとして、その値が高いほど低く設定するように予め定めた空間周波数ｆを空間高周波成分強調・抑制ピクチャ生成部２５に設定する機能部である。

詳細は後述するが、空間高周波成分強調・抑制ピクチャ生成部２５は、ループフィルタ１８から得られる画面間予測の参照ピクチャを構成するための局部復号ブロックと、強調・抑圧係数制御部２３から得られる複数の強調・抑制係数αと、空間周波数制御部２４から得られる空間周波数ｆとを入力して、複数の強調・抑制係数α及び空間周波数ｆをそれぞれ用いて当該局部復号ブロックに対して空間高周波成分強調・抑制処理を施し、これにより生成されるブロックからなる空間高周波成分強調・抑制ピクチャを、複数の強調・抑制係数αに応じて複数生成し、ピクチャメモリ１９に出力する機能部である。

そして、ピクチャメモリ１９は、上述した参照ピクチャの他に、空間高周波成分強調・抑制ピクチャ生成部２５によって生成した複数の空間高周波成分強調・抑制ピクチャを、所定の記憶領域内に分けて一時記憶する。

そこで、画面間予測部２２は、参照ピクチャと、複数の空間高周波成分強調・抑制ピクチャとをそれぞれ参照して、符号化対象ピクチャの画面間予測をブロック単位で実行し、その画面間予測結果を選択部２１に出力する。

選択部２１は、参照ピクチャと、複数の空間高周波成分強調・抑制ピクチャをそれぞれ用いた画面間予測のうち、ブロック単位で符号化対象ピクチャ（原画像ピクチャ）との差分誤差が最小となる画面間予測結果の予測ブロックを選択決定し、モード切替部１７を介してその選択決定した予測ブロックを減算部１０に出力する。尚、画面間予測のブロックの単位は、本例ではＨＥＶＣであればＣＵ単位とするが、ＣＵを更にブロック分割した単位としてもよい。差分誤差が最小となる画面間予測結果の選択には、ＲＤ(Rate Distortion)コストが最小となるピクチャを選択する構成とすることができる。

そして、減算部１０、ＤＣＴ部１１、及び量子化部１２により符号化信号を生成し、エントロピー符号化部２２により、その符号化信号に対しエントロピー符号化処理を施して画像復号装置５に向けて伝送する。

（画像符号化処理）
図２は、本発明による一実施例の画像符号化装置１における画像符号化処理を示すフローチャートである。

本実施例の画像符号化装置１は、画面間予測にあたって、入力動画像の映像フォーマット情報、及びビットレート情報から、複数の強調・抑制係数αと空間周波数ｆを設定する（ステップＳ１）。

続いて、本実施例の画像符号化装置１は、参照ピクチャを構成するための局部復号ブロックを小領域ブロックに分割し、各小領域ブロックにＤＣＴを施した後、当該設定した空間周波数ｆよりも高い全ての要素値に当該設定した強調・抑制係数αを乗算し、その結果に対して逆ＤＣＴを施したブロックからなる空間高周波成分強調・抑制ピクチャを、複数の強調・抑制係数αに応じて複数生成する（ステップＳ２）。

続いて、本実施例の画像符号化装置１は、当該局部復号ブロックから構成される参照ピクチャと、複数の空間高周波成分強調・抑制ピクチャのそれぞれを参照して、符号化対象ピクチャの画面間予測を実行する（ステップＳ３）。

続いて、本実施例の画像符号化装置１は、参照ピクチャと複数の空間高周波成分強調・抑制ピクチャをそれぞれ用いた画面間予測のうち、差分誤差が最小となる予測ブロックを選択決定する（ステップＳ４）。

続いて、本実施例の画像符号化装置１は、選択決定した予測ブロックに基づき、符号化信号にエントロピー符号化を施したビットストリームを生成する（ステップＳ５）。

次に、強調・抑圧係数制御部２３、空間周波数制御部２４、及び空間高周波成分強調・抑制ピクチャ生成部２５における各処理の一例について順に説明する。

（強調・抑制係数制御部）
強調・抑圧係数制御部２３は、入力動画像の映像フォーマット情報（解像度、フレームレート、ビット深度）と、量子化部１２から得られる当該符号化信号の量子化パラメータ（ＱＰ値）を基にしたビットレート情報を入力して、１ピクセルあたりのビットレートを求め、その１ピクセルあたりのビットレートの値が高いほど符号化難易度は高いとして、その値が高いほど予め定めた複数の強調・抑制係数αの数をより多く空間高周波成分強調・抑制ピクチャ生成部２５に設定する。

この強調・抑制係数αの値は、ＨＥＶＣやＶＶＣなど、ターゲットとなる動画像符号化を用いて予め実験を行い、１ピクセルあたりのビットレートと強調・抑制係数αの関係を示す強調・抑制係数テーブルを事前作成しておく。表１には、強調・抑制係数テーブルの例を示している。強調・抑圧係数制御部２３は、強調・抑制係数テーブルを参照して予め定めた複数の強調・抑制係数αの数を決定して、空間高周波成分強調・抑制ピクチャ生成部２５に対して設定する。

例えば、強調・抑圧係数制御部２３は、１ピクセルあたりのビットレートが０．６［Ｍｂｐｓ］の場合は、複数の強調・抑制係数αとして、０．８５，０．９０，０．９５，１．０５，１．１０，１．１５を空間高周波成分強調・抑制ピクチャ生成部２５に設定する。

（空間周波数制御部）
空間周波数制御部２４は、入力動画像の映像フォーマット情報（解像度、フレームレート、ビット深度）と、量子化部１２から得られる当該符号化信号の量子化パラメータ（ＱＰ値）を基にしたビットレート情報を入力して、１ピクセルあたりのビットレートを求め、その１ピクセルあたりのビットレートの値が高いほど符号化難易度は高いとして、その値が高いほど低く設定するように予め定めた空間周波数ｆを空間高周波成分強調・抑制ピクチャ生成部２５に設定する。

この空間周波数ｆの値は、ＨＥＶＣやＶＶＣなど、ターゲットとなる動画像符号化を用いて予め実験を行い、１ピクセルあたりのビットレートと空間周波数ｆの関係を示す空間周波数を事前作成しておく。表２には、空間周波数テーブルの例を示している。強調・抑圧係数制御部２３は、空間周波数テーブルを参照して予め定めた空間周波数ｆを決定して、空間高周波成分強調・抑制ピクチャ生成部２５に対して設定する。

例えば、強調・抑圧係数制御部２３は、１ピクセルあたりのビットレートが０．６［Ｍｂｐｓ］の場合は、空間周波数ｆとして、６／８を空間高周波成分強調・抑制ピクチャ生成部２５に設定する。

（空間高周波成分強調・抑制ピクチャ生成部）
空間高周波成分強調・抑制ピクチャ生成部２５は、ループフィルタ１８から得られる画面間予測の参照ピクチャを構成するための局部復号ブロックと、強調・抑圧係数制御部２３から得られる複数の強調・抑制係数αと、空間周波数制御部２４から得られる空間周波数ｆとを入力して、当該局部復号ブロックに対し複数の強調・抑制係数α及び空間周波数ｆをそれぞれ用いて空間高周波成分強調・抑制処理を施し、これにより生成される複数の空間高周波成分強調・抑制ピクチャをピクチャメモリ１９に出力する。

図３（ａ），（ｂ）は、それぞれ本発明による一実施例の画像符号化装置における空間高周波成分強調・抑制ピクチャの生成処理の説明図である。図３（ａ）に示す画面間予測の参照ピクチャＰを構成するための各局部復号ブロックＢＫは、図３（ｂ）に示すように、所定サイズの小領域単位（例えばピクセル単位）で構成される。

図３（ｂ）に示す例において、強調・抑制係数α＝０．８５，０９０，０．９５，１．０５，１．１０，１．１５、及び空間周波数ｆ＝６／８とする。

空間高周波成分強調・抑制ピクチャ生成部２５は、その局部復号ブロックＢＫに離散コサイン変換（ＤＣＴ）を施したＤＣＴブロックを生成し、そのＤＣＴブロックが持つ基本周波数ｆ_０を８として各ＤＣＴブロックにおいて水平、垂直方向ともに６／８ｆ_０以上の全ての要素値にα＝０．８５を乗算し、その後、逆ＤＣＴを施して空間高周波成分強調・抑制ピクチャＰ（０．８５）を生成してピクチャメモリ１９に格納する。

このように、本発明に係る画像符号化装置１では、参照ピクチャの空間高周波成分強調・抑制ピクチャを生成して画面間予測に用いる。また、本発明に係る画像符号化装置１では、ＨＥＶＣやＶＶＣなどのブロックベース符号化処理との親和性や処理速度を考慮して、これらのピクチャの生成には離散コサイン変換（ＤＣＴ）ベースの空間高周波成分のパワー制御処理を用いる。更に、本発明に係る画像符号化装置１では、予測性能の向上や余分なピクチャの生成を抑制して処理速度を向上させるために、符号化難易度の解析により空間高周波成分強調・抑制ピクチャの生成を制御する。

これにより、ピクチャ間でぼやけ度合が変化する動画像の場合でも、画面間予測精度を高めつつ、符号化効率を向上させることができる。

〔画像復号装置〕
（全体構成）
図４は、本発明による一実施例の画像符号化装置１から伝送されたビットストリームを入力して復号する典型的な画像復号装置５の概略構成を示すブロック図である。図４に示す画像復号装置５は、ＨＥＶＣやＶＶＣなどのブロックベース符号化方式の既存の装置と同様とすることができる。

即ち、画像復号装置５は、エントロピー復号部５０、逆量子化部５１、逆ＤＣＴ部５２、加算部５３、画面内予測部５４、モード切替部５５、ループフィルタ５６、ピクチャメモリ５７、画面間予測部５８、及び出力制御部５９を備える。

まず、モード切替部５５は、画面内予測部５４による画面内予測、及び画面間予測部５８による画面間予測のモード切替を行う機能部である。尚、画面内予測部５４は、画面間予測時に、加算部５３から得られる復号ブロックを一時記憶して、近接ブロック間の相関関係を利用して次の予測ブロックの信号を生成する画面内予測を実行する機能部である。ここでは、以下、画像復号装置５における画面間予測時について各機能部を説明する。

エントロピー復号部５０は、画像符号化装置１から伝送されるビットストリームを入力し、エントロピー復号処理を施すことにより、符号化信号及び符号化パラメータを抽出し、符号化信号については逆量子化部５１に、符号化パラメータについては各機能部に出力する。

逆量子化部５１は、エントロピー復号部５０から得られる符号化信号であるＤＣＴ変換の直交変換係数の信号の量子化値に対して画像符号化装置１の量子化部１２の逆処理を施して、直交変換係数の信号を復元し、逆ＤＣＴ部５２に出力する。

逆ＤＣＴ部５２は、逆量子化部５１から得られる直交変換係数の信号に対して画像符号化装置１のＤＣＴ部１１の逆処理を施して差分信号を復元し、加算部５３に出力する。

加算部５３は、逆ＤＣＴ部５２から得られる差分信号と、画面間予測部５８から得られる対応する予測ブロックとを加算して復号ブロックの信号を生成し、ループフィルタ５６、及び出力制御部５９に出力する。

ループフィルタ５６は、加算部５３から得られる復号ブロックの信号に対しデブロッキングフィルタ等のループフィルタ処理を施して、ピクチャメモリ５７に出力する。

ピクチャメモリ５７は、このループフィルタ処理後の復号ブロックから画面間予測に用いる参照ピクチャを構成して、所定の記憶領域内に一時記憶する。

画面間予測部５８は、参照ピクチャを用いた画面間予測をブロック単位で実行し、モード切替部５５を介してその画面間予測結果である予測ブロックを加算部５３に出力する。

出力制御部５９は、加算部５３から得られる復号ブロックの信号を入力して原信号に対応するピクチャを復元し、その画像信号を図示しないディスプレイや記録部に外部出力する。

従って、本発明に係る画像符号化装置１では、ＨＥＶＣやＶＶＣなどのブロックベース符号化処理との親和性の高い態様で、ピクチャ間でぼやけ度合が変化する動画像の場合でも、画面間予測精度を高めつつ、符号化効率を向上させることができる。

上述した実施例に関して、コンピュータを画像符号化装置１として機能させ、画像符号化装置１の各手段を機能させるためのプログラムを好適に用いることができる。具体的には、各手段を制御するための制御部をコンピュータ内の中央演算処理装置（ＣＰＵ）で構成でき、且つ、各手段を動作させるのに必要となるプログラムを適宜記憶する記憶部を少なくとも１つのメモリで構成させることができる。即ち、そのようなコンピュータに、ＣＰＵによって該プログラムを実行させることにより、上述した各手段の有する機能を実現させることができる。また、上述した各手段をハードウェア又はソフトウェアの一部として構成させ、各々を組み合わせて実現させることもできる。

上述の実施例については代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換することができることは当業者に明らかである。例えば、上述した実施例では、ＨＥＶＣに基づくＣＵ単位を当該ブロック単位とする例を説明したが、ＡＶＣに基づくマクロブロックとしてもよいし、現在検討されているＶＶＣに基づくブロックとしてもよい。また、上述した実施例では、ＣＡＢＡＣにより算術符号化するとして説明したが、その他の算術符号化によるエントロピー符号化を用いてもよい。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。

本発明によれば、ＨＥＶＣやＶＶＣなどの既存のブロックベース符号化処理との親和性の高い態様で、画面間予測精度を高めつつ、符号化効率を向上させることができるので、画面間予測を用いる符号化・復号処理の用途に有用である。

１ 画像符号化装置
５ 画像復号装置
１０ 減算部
１１ ＤＣＴ部
１２ 量子化部
１３ 逆量子化部
１４ 逆ＤＣＴ部
１５ 加算部
１６ 画面内予測部
１７ モード切替部
１８ ループフィルタ
１９ ピクチャメモリ
２０ 画面間予測部
２１ 選択部
２２ エントロピー符号化部
２３ 強調・抑圧係数制御部
２４ 空間周波数制御部
２５ 空間高周波成分強調・抑制ピクチャ生成部
５０ エントロピー復号部
５１ 逆量子化部
５２ 逆ＤＣＴ部
５３ 加算部
５４ 画面内予測部
５５ モード切替部
５６ ループフィルタ
５７ ピクチャメモリ
５８ 画面間予測部
５９ 出力制御部

Claims (4)

1. 画面間予測を用いて入力動画像の符号化対象ピクチャを符号化する画像符号化装置であって、
   前記入力動画像の符号化対象ピクチャの予測対象である被予測ブロックの信号と、画面間予測により予測された予測ブロックの信号とを差分して差分信号を形成し、その差分信号に対して離散コサイン変換処理及び量子化処理を施して符号化信号を生成するブロック符号化手段と、
   前記符号化信号に前記離散コサイン変換処理及び量子化処理の逆処理を施し、前記画面間予測による予測ブロックの信号を加算して局部復号ブロックの信号を生成する局部復号ブロック生成手段と、
   前記局部復号ブロックにループフィルタ処理を施し、参照ピクチャを構成する参照ピクチャ構成手段と、
   前記符号化信号の１ピクセルあたりのビットレートから定まる複数の強調・抑制係数と空間周波数とを基に、前記局部復号ブロックを小領域ブロックに分割し、各小領域ブロックに離散コサイン変換処理を施した後、前記空間周波数よりも高い全ての要素値に前記強調・抑制係数を乗算し、その結果に対して逆離散コサイン変換処理を施したブロックからなる空間高周波成分強調・抑制ピクチャを、前記複数の強調・抑制係数に応じて複数生成する空間高周波成分強調・抑制ピクチャ生成手段と、
   前記局部復号ブロックから構成される参照ピクチャと前記複数の空間高周波成分強調・抑制ピクチャのそれぞれを参照して、前記符号化対象ピクチャの画面間予測を行う画面間予測手段と、
   参照ピクチャと複数の空間高周波成分強調・抑制ピクチャをそれぞれ用いた画面間予測のうち、差分誤差が最小となる予測ブロックを選択決定する選択手段と、
   選択決定した予測ブロックに基づく符号化信号についてエントロピー符号化を施したビットストリームを生成するエントロピー符号化手段と、
   を備えることを特徴とする画像符号化装置。
2. 前記入力動画像の映像フォーマット情報と、前記符号化信号の量子化パラメータを基にしたビットレート情報を基に１ピクセルあたりのビットレートを求め、事前作成した１ピクセルあたりのビットレートと強調・抑制係数の関係を示す強調・抑制係数テーブルを参照して、前記空間高周波成分強調・抑制ピクチャの生成に用いる複数の強調・抑制係数を設定する強調・抑制係数制御手段を更に備えることを特徴とする、請求項１に記載の画像符号化装置。
3. 前記入力動画像の映像フォーマット情報と、前記符号化信号の量子化パラメータを基にしたビットレート情報を基に１ピクセルあたりのビットレートを求め、事前作成した１ピクセルあたりのビットレートと空間周波数の関係を示す空間周波数テーブルを参照して、前記空間高周波成分強調・抑制ピクチャの生成に用いる空間周波数を設定する空間周波数制御手段を更に備えることを特徴とする、請求項１又は２に記載の画像符号化装置。
4. コンピュータを、請求項１から３のいずれか一項に記載の画像符号化装置として機能させるためのプログラム。

Images