JP2012195810A - 画像処理装置及び方法、並びにプログラム - Google Patents

Abstract

【課題】オールイントラ符号化方式により符号化されていた動画像信号が復号されて、インター／イントラ混在符号化方式により再符号化されて記録される場合に、視覚的な歪量と符号化の処理量とを軽減しつつ符号量を削減できるようにする。
【解決手段】 ピクチャタイプ決定部は、ピクチャタイプを決定する。インター符号量推定部は、ＰピクチャまたはＢピクチャと決定された場合、インター符号量を推定する。イントラ/インター予測画像選択部は、インター符号量と、過去に行われたイントラ符号化に関する情報のうちのイントラ符号量の小さい方を選択する。減算部は、差分信号を算出する。DCT/量子化部は、量子化係数を生成する。エントロピー符号化部は、量子化係数を符号化する。本技術は、イントラ符号化とインター符号化の判定を行う画像処理装置に適用することができる。
【選択図】図３

Description

本技術は、画像処理装置及び方法、並びにプログラムに関し、特に、オールイントラ符号化方式により符号化されていた動画像信号が復号されて、インター／イントラ混在符号化方式により再符号化されて記録される場合に、視覚的な歪量と符号化の処理量とを軽減しつつ符号量を削減するようにした、画像処理装置及び方法、並びにプログラムに関する。

従来から、映像コンテンツの製作段階では、動画像信号を構成する全フレーム信号をイントラ符号化するコーデック方式（以下、オールイントラ符号化方式と称する）が採用される場合が多い。フレーム単位での加工が容易になるからである。

一方、映像コンテンツの製作終了後の段階、すなわち放送、メディアの製作、又は長期保存用アーカイブの段階では、オールイントラ符号化方式により符号化されたフレームを復号した後、一部のフレームのみをイントラ符号化し、残りの大部分のフレームをインター符号化するコーデック方式（以下、インター／イントラ混在符号化方式と称する）の採用が望まれる。インター符号化はイントラ符号化と比較してより圧縮効率が高く、その結果、例えば長期保存用アーカイブではストレージのコストを抑制することができるからである（特許文献１参照）。

特開２００８−２０５６２７号公報

しかしながら、オールイントラ符号化方式により符号化されていた動画像信号が復号されて、インター／イントラ混在符号化方式に再符号化されて記録され、その記録内容が復号されて表示された場合には、表示画像に歪みが生じる。したがって、このような場合に、表示画像の歪量（すなわち、視覚的な歪み量）を極力抑制可能な再符号化が望まれている。

本技術は、このような状況に鑑みてなされたものであり、オールイントラ符号化方式により符号化されていた動画像信号が復号されて、インター／イントラ混在符号化方式により再符号化されて記録される場合に、視覚的な歪量と符号化の処理量とを軽減しつつ符号量を削減するようにしたものである。

本技術の一側面の画像処理装置は、動画像信号を構成する複数のピクチャのうち、処理対象の注目マクロブロックが属するピクチャのピクチャタイプを決定するピクチャタイプ決定部と、前記ピクチャタイプ決定部により前記注目マクロブロックがＰピクチャまたはＢピクチャに属すると決定された場合、前記注目マクロブロックがインター符号化された場合のインター符号量を推定するインター符号量推定部と、前記インター符号量推定部により推定された前記インター符号量と、前記動画像信号に対して過去に行われたイントラ符号化に関する情報のうち、前記注目マクロブロックがイントラ符号化された場合のイントラ符号量とを比較して、符号量が小さい方を選択する選択部と、前記選択部により前記インター符号量が選択された場合、インター予測画像を予測画像として前記注目マクロブロックとの差分信号を算出し、前記選択部により前記イントラ符号量が選択された場合、イントラ予測画像を予測画像として前記注目マクロブロックとの差分信号を算出する減算部と、前記減算部により算出された差分信号に対してDCT処理及び量子化処理を施すことによって、前記注目マクロブロックについての量子化係数を生成するDCT/量子化部と、前記DCT/量子化部により生成された、前記注目マクロブロックについての前記量子化係数を符号化する符号化部とを備える。

前記ピクチャタイプ決定部により前記注目マクロブロックがＩピクチャに属すると決定された場合、前記符号化部は、前記注目マクロブロックの前記動画像信号に対してDCT処理及び量子化処理が施された結果得られている、既知の量子化係数を符号化することができる。

前記選択部により前記イントラ符号量が選択された場合、前記イントラ予測画像を生成する画面内予測部をさらに備えることができる。

前記画面内予測部は、前記動画像信号に対して過去に行われたイントラ符号化に関する前記情報のうち、画面内予測モードを用いて前記イントラ予測画像を生成することができる。

前記インター符号量推定部は、前記動画像信号に対して過去に行われたイントラ符号化に関する前記情報のうち、量子化マトリクス及び量子化パラメータを用いて前記インター符号量を推定することができる。

前記DCT/量子化部は、前記動画像信号に対して過去に行われたイントラ符号化に関する前記情報のうち、量子化マトリクス及び量子化パラメータを用いて前記DCT処理及び前記量子化処理を実行することができる。

イントラ符号化されたビットストリームを前記動画像信号にデコードするデコーダから、前記動画像信号に対して過去に行われたイントラ符号化に関する前記情報を取得することができる。

本技術の一側面の画像処理方法及びプログラムは、上述した本技術の一側面の画像処理装置に対応する方法及びプログラムである。

本技術の一側面の画像処理装置及び方法並びにプログラムにおいては、動画像信号を構成する複数のピクチャのうち、処理対象の注目マクロブロックが属するピクチャのピクチャタイプが決定され、前記注目マクロブロックがＰピクチャまたはＢピクチャに属すると決定された場合、前記注目マクロブロックがインター符号化された場合のインター符号量が推定され、推定された前記インター符号量と、前記動画像信号に対して過去に行われたイントラ符号化に関する情報のうち、前記注目マクロブロックがイントラ符号化された場合のイントラ符号量とを比較して、符号量が小さい方が選択され、前記インター符号量が選択された場合、インター予測画像を予測画像として前記注目マクロブロックとの差分信号が算出され、前記イントラ符号量が選択された場合、イントラ予測画像を予測画像として前記注目マクロブロックとの差分信号が算出され、算出された差分信号に対してDCT処理及び量子化処理を施すことによって、前記注目マクロブロックについての量子化係数が生成され、生成された、前記注目マクロブロックについての前記量子化係数が符号化される。

以上のごとく、本技術によれば、オールイントラ符号化方式により符号化されていた動画像信号が復号されて、インター／イントラ混在符号化方式により再符号化されて記録される場合に、視覚的な歪量と符号化の処理量とを軽減しつつ符号量を削減できる。

AVCのデコーダ及びエンコーダの構成例を示すブロック図である。 本技術の概要について説明する図である。 本技術の実施の形態のデコーダ及びエンコーダの構成例を示すブロック図である。 デコード処理の流れを説明するフローチャートである。 エンコード処理の流れを説明するフローチャートである。 本技術が適用される情報処理装置のハードウエアの構成例を示すブロック図である。

[基礎となるデコーダ及びエンコーダの構成例]
発明者は、まず、本技術の基礎となるデコーダ及びエンコーダとして、AVC（Advanced Video Coding）（H.264/AVC）のデコーダ及びエンコーダを用いて、オールイントラ符号化方式により符号化された動画像信号を再符号化させ、その再符号化の結果の解析及び検討を行った。

図１は、AVC（H.264/AVC）のデコーダ及びエンコーダの構成例を示すブロック図である。

デコーダ１は、エントロピー復号化部２１、逆量子化/逆DCT部２２、加算部２３、デブロックフィルタ２４、フレームメモリ２５、及び画面内予測部２６により構成されている。

デコーダ１には、オールイントラ符号化方式により符号化された動画像信号のビットストリーム（以下、イントラビットストリームと称する）が入力される。すなわち、デコーダ１には、すべてＩピクチャ（イントラピクチャ）として符号化されたフレームにより構成されるイントラビットストリームが入力される。より具体的には、イントラビットストリームを構成する各フレーム（Iピクチャ）が順次処理対象のフレームとなり、処理対象のフレームの左上のマクロブロックからラスタスキャン順(右下方向)に順次処理対象となり、処理対象として注目すべきマクロブロック（以下、注目マクロブロックと称する）の符号化信号がデコーダ１に入力される。

エントロピー復号化部２１は、注目マクロブロックの符号化信号に対してエントロピー復号化処理を施す。これにより、注目マクロブロックの、量子化されたDCT（Discrete Cosine Transform）係数（すなわち、量子化係数）、及び画面内予測モードが得られ、量子化されたDCT係数は逆量子化/逆DCT部２２に供給される一方、画面内予測モードは画面内予測部２６に供給される。

逆量子化/逆DCT部２２は、注目マクロブロックの、量子化されたDCT係数に対して逆量子化処理を施すことによって、DCT係数を復元する。さらに、逆量子化/逆DCT部２２は、当該注目マクロブロックの、DCT係数に対して逆DCT処理を施すことによって、差分信号を復元し、加算部２３に供給する。

加算部２３は、注目マクロブロックの、差分信号と、後述する画面内予測部２６から供給された予測画像の信号とを加算することによって、ベースバンド信号を復元し、デブロックフィルタ２４に供給する。

デブロックフィルタ２４は、注目マクロブロックの、加算部２３から供給されたベースバンド信号に対してフィルタリング処理を施すことによって、ブロック歪みが除去されたベースバード信号を出力する。このようにして、デブロックフィルタ２４から出力された注目マクロブロックについてのベースバンド信号は、デコーダ１の出力信号としてエンコーダ２に供給されると共に、フレームメモリ２５に供給される。

フレームメモリ２５は、デブロックフィルタ２４から供給された、これまで注目マクロブロックであったマクロブロックについてのベースバンド信号を、次回以降に注目マクロブロックとなるマクロブロックにとっての参照画像のデータとして記録する。

画面内予測部２６は、エントロピー復号化部２１から供給された画面内予測モードと、フレームメモリ２５に保持された参照画像のデータとを用いてイントラ予測処理を行い、予測画像の信号を生成して、上述の加算部２３に供給する。

このような構成のエンコード１から出力された、ベースバンド信号は、エンコーダ２に供給されて、インター／イントラ混在方式により再符号化される。

エンコーダ２は、減算部４１、DCT/量子化部４２、エントロピー符号化部４３、逆量子化/逆DCT部４４、加算部４５、デブロックフィルタ４６、フレームメモリ４７、画面内予測部４８、動き予測/補償部４９、及び予測モード判定部５０により構成されている。

減算部４１は、注目マクロブロックの、デコーダ１から入力されたベースバンド信号から、後述する予測モード判定部５０から供給される予測画像の信号を減算して、差分信号を求め、DCT/量子化部４２に供給する。

DCT/量子化部４２は、注目マクロブロックの、差分信号に対してDCT処理を施すことによって、DCT係数を生成する。さらに、DCT/量子化部４２は、当該DCT係数に対して量子化処理を施すことによって、注目マクロブロックの量子化係数を生成して、エントロピー符号化部４３と逆量子化/逆DCT部４４にそれぞれ供給する。

エントロピー符号化部４３は、注目マクロブロックの、量子化係数に対してエントロピー符号化処理を施し、その結果得られる符号化信号を出力する。すなわち、このようなマクロブロック単位の符号化信号が順次出力されたものが、インター／イントラ混在符号化方式により再符号化されたビットストリームとして、エンコーダ２から出力される。

逆量子化/逆DCT部４４は、これまで注目マクロブロックとされていたマクロブロックの、DCT/量子化部４２から供給された量子化係数に対して逆量子化処理を施すことによって、DCT係数を復元する。さらに、逆量子化/逆DCT部４４は、当該DCT係数に対して逆DCT処理を施すことによって、差分信号を復元して、加算部４５に供給する。

加算部４５は、これまで注目マクロブロックとされていたマクロブロックの、予測モード判定部５０から供給された予測画像の信号と、逆量子化/逆DCT部４４から供給された差分信号とを加算してベースバンド信号を生成する。すなわち、これまで注目マクロブロックとされていたマクロブロックの、エンコーダ２に入力されたベースバンド信号がローカルデコードされる。生成されたベースバンド信号は、デブロックフィルタ４６に供給される。

デブロックフィルタ４６は、これまで注目マクロブロックとされていたマクロブロックの、加算部４５から供給されたベースバンド信号に対してフィルタリング処理を施すことによって、ブロック歪みが除去されたベースバンド信号を出力する。

フレームメモリ４７は、デブロックフィルタ４６から出力された、これまで注目マクロブロックとされていたマクロブロックについてのベースバンド信号を、次回以降に注目マクロブロックとなるマクロブロックにとっての参照画像のデータとして記録する。

画面内予測部４８は、注目マクロブロックに対して用いる予測画像の信号の候補として、フレームメモリ４７に記録された参照画像のデータを用いて、画面内予測処理を行い、イントラ予測画像の信号を生成して、予測モード判定部５０に供給する。

動き予測/補償部４９は、注目マクロブロックに対して用いる予測画像の信号の候補として、デコーダ１から入力されたベースバンド信号とフレームメモリ４７に記録された参照画像のデータとを用いて、動き予測/補償処理を行い、インター予測画像の信号を生成して、予測モード判定部５０に供給する。

予測モード判定部５０は、複数の予測モードの中から、最も符号量の小さい予測モードを判定し、その予測モードに応じて、画面内予測部４８から供給されたイントラ予測画像の信号と、動き予測/補償部４９から供給されたインター予測画像の信号のうちの一方を、予測画像の信号として減算部４１に供給する。上述したように、減算部４１に供給された予測画像の信号は、注目マクロブロックについての差分信号を求めるのに用いられる。

このように、デコーダ１及びエンコーダ２を用いることにより、オールイントラ符号化方式により符号化された動画像信号を、復号化した上で、インター／イントラ符号化方式により再符号化すること(以下、オールイントラ符号化方式からインター／イントラ符号化方式に再符号化、と表現する)ができる。

しかしながら、デコーダ１及びエンコーダ２では、オールイントラ符号化方式からインター／イントラ符号化方式に再符号化する場合に、視覚的な歪量と符号化の処理量とを共に抑制することが困難である。したがって、本発明者は、図２以降で示されるような技術的思想の創作をした。これにより、オールイントラ符号化方式からインター／イントラ符号化方式に再符号化する場合に、視覚的な歪量と符号化の処理量とを抑制しつつ符号量を削減できるようになる。

[本技術の概要]
はじめに、本技術の理解を容易なものとすべく、図２を参照して、本技術の概要につい
て説明する。

図２は、本技術の概要について説明する図である。

映像コンテンツの編集では、画像圧縮方式として、フレーム単位での加工が容易なオールイントラ符号化方式が用いられる。したがって、図２のエンコーダ７１は、ビットストリームを構成する各フレームの各マクロブロックの各々に対してイントラ符号化を施し、その結果得られるイントラビットストリームを編集装置７２に供給する。

編集装置７２は、エンコーダ７１から供給されたイントラビットストリームに対して編集処理を施す。編集装置７２は、編集処理が施されたイントラビットストリームをデコーダ７３に供給する。

デコーダ７３は、編集装置７２から供給されたイントラビットストリームに対してデコード処理を施し、復元されたベースバンド信号をエンコーダ７４に供給する。また、デコーダ７３は、ベースバンド信号の供給と同期させて、マクロブロック単位でパラメータ情報をエンコーダ７４に供給する。

デコーダ７３から出力されるパラメータ情報は、イントラビットストリームを生成するために必要な複数のパラメータ情報を含む。このようなパラメータ情報として、デコーダ７３に入力されたイントラビットストリームが過去にエンコーダ７１によりイントラ符号化されたときの符号化に関する情報が採用されている。複数のパラメータ情報とは、具体的には、量子化マトリクス、画面内予測モード、量子化パラメータ（QP（Quantization Parameter））、マクロブロックレイヤの符号化ビット量、及びイントラビットストリームであり、それぞれマクロブロック単位のパラメータ情報である。ここで、マクロブロックレイヤの符号化ビット量は、エンコーダ７１によってイントラ符号化により符号化されたマクロブロック（以下、イントラマクロブロックと称する）の符号量である。なお、デコーダ７３から出力されるパラメータ情報は、後述するエンコーダ７４でビットストリームから抽出可能とされている。

エンコーダ７４は、デコーダ７３から供給されたベースバンド信号のピクチャタイプを決定し、決定されたピクチャタイプに応じて、デコーダ７３から供給されたパラメータ情報を再利用したエンコード処理を行う。エンコーダ７４は、Ｉピクチャに対しては、デコーダ７３から供給されたパラメータのうちのビットストリームをそのまま用いてエンコード処理を行う。これに対して、エンコーダ７４は、ＰピクチャまたはＢピクチャに対しては、さらに、マクロブロック単位で、インター符号化とイントラ符号化のどちらで符号化した方が符号量が削減できるかを判定する。そして、その判定結果に応じて、デコーダ７３から供給されたパラメータを再利用したエンコード処理を行う。

これにより、エンコーダ７４は、エンコード処理に必要なパラメータ情報を再計算する必要が無くなるので、エンコードのためのデータ処理量を軽減することができる。特に、パラメータ情報のうち量子化パラメータを再利用することにより、イントラマクロブロックについては、量子化時の剰余を丸めることによる誤差が生じなくなる。したがって、視覚的な歪量を抑制して再符号することができる。また、パラメータ情報のうち量子化パラメータを再利用することにより、インター符号化より符号化されるマクロブロック（以下、インターマクロブロックと称する）については、適切な符号量とすることができる。したがって、視覚的な歪量を抑制して符号量を削減し、再符号化することができる。

記録装置７５は、エンコーダ７４から供給されたビットストリームを記録する。すなわち、記録装置７５は、より圧縮効率が高いインター符号化で再符号化された画像信号であるインタービットストリームを記録する。したがって、ストレージのコストを抑制することができる。

次に、図２において点線で囲まれた本技術の実施の形態のデコーダ７３及びエンコーダ７４について説明する。

[本技術の実施の形態の構成例]
図３は、本技術の実施の形態のデコーダ及びエンコーダの構成例を示すブロック図である。

デコーダ７３は、エントロピー復号化部１０１、逆量子化/逆DCT部１０２、加算部１０３、及び画面内予測部１０４により構成されている。

デコーダ７３には、図２の編集装置７２からすべてＩピクチャ（イントラピクチャ）として符号化されたフレームにより構成されるイントラビットストリームが入力される。具体的には、イントラビットストリームを構成する各フレーム（Iピクチャ）が順次処理対象のフレームとなり、処理対象のフレームの左上のマクロブロックからラスタスキャン順(右下方向)に順次処理対象となり、注目マクロブロックの符号化信号がデコーダ７３に入力される。

エントロピー復号化部１０１は、注目マクロブロックの符号化信号に対してエントロピー復号化処理を施す。これにより、注目マクロブロックの、量子化されたDCT係数（すなわち、量子化係数）、及び画面内予測モードが得られ、量子化されたDCT係数は逆量子化/逆DCT部１０２に供給される一方、画面内予測モードは画面内予測部１０４に供給される。

さらに、エントロピー復号化部１０１は、マクロブロック単位のパラメータ情報を出力し、エンコーダ７４に供給する。上述したように、パラメータ情報には、量子化マトリクス、画面内予測モード、量子化パラメータ、マクロブロックレイヤの符号化ビット量、及びイントラビットストリームが含まれる。エントロピー復号化部１０１は、後述する加算部１０３から出力されるベースバンド信号と同期させて、マクロブロック単位でパラメータ情報をエンコーダ７４に供給する。

逆量子化/逆DCT部１０２は、注目マクロブロックの、量子化されたDCT係数に対して逆量子化処理を施すことによって、DCT係数を復元する。さらに、逆量子化/逆DCT部１０２は、当該注目マクロブロックの、DCT係数に対して逆DCT処理を施すことによって、差分信号を復元し、加算部１０３に供給する。

加算部１０３は、注目マクロブロックの、差分信号と、後述する画面内予測部１０４から供給された予測画像の信号とを加算することによって、ベースバンド信号を復元し、エンコーダ７４に出力する。このようにして、加算部１０３から出力された注目マクロブロックのベースバンド信号は、デコーダ７３の出力信号としてエンコーダ７４に供給されると共に、画面内予測部１０４に供給される。

画面内予測部１０４は、エントロピー復号化部１０１から供給された画面内予測モードと、加算部１０３から供給された、これまで注目マクロブロックであったマクロブロックのベースバンド信号を用いてイントラ予測処理を行い、予測画像の信号を生成して、上述の加算部１０３に供給する。

このような構成のデコーダ７３から出力された、ベースバンド信号は、エンコーダ７４に供給されて、同じくデコーダ７３から供給されたパラメータ情報を再利用したインター／イントラ混在方式により再符号化される。

エンコーダ７４は、ピクチャタイプ決定部１２１、画面内予測部１２２、動き予測/補償部１２３、インター符号量推定部１２４、イントラ/インター予測画像選択部１２５、減算部１２６、DCT/量子化部１２７、エントロピー符号化部１２８、逆量子化/逆DCT部１２９、及び加算部１３０により構成されている。

デコーダ７３の加算部１０３から出力されたベースバンド信号は、エンコーダ７４に入力され、ピクチャタイプ決定部１２１に供給される。

ピクチャタイプ決定部１２１は、デコーダ７３から供給されたベースバンド信号の各フレームをマクロブロックに分割し、注目マクロブロックが属するピクチャのピクチャタイプを決定する。ピクチャタイプには、Ｉピクチャ（イントラピクチャ）と、Ｐピクチャ、Ｂピクチャ（インターピクチャ）がある。各ピクチャを、どのピクチャタイプで符号化するかは、予め定められた所定の周期毎に所定のピクチャタイプになるように決定されるか、または外部からの制御により決定される。なお、その他の手法、例えばシーンチェンジの検出などが行われ、その結果に対応してピクチャタイプが決定されても良く、その手法は特に限定されない。

注目マクロブロックの属するピクチャがＩピクチャであると決定された場合、注目マクロブロックのベースバンド信号は、画面内予測部１２２及び動き予測/補償部１２３に供給され、保持される。一方、注目マクロブロックの属するピクチャがＰピクチャまたはＢピクチャであると決定された場合、注目マクロブロックのベースバンド信号は、動き予測/補償部１２３に供給される。

画面内予測部１２２は、画面内予測部１２２に保持された参照画像（すなわち、これまで注目マクロブロックとされていたマクロブロックがＩピクチャであると決定された場合に供給され保持された、当該マクロブロックのベースバンド信号、または後述する加算部１３０から供給された当該マクロブロックのベースバンド信号）と、デコーダ７３から供給されたパラメータ情報のうちの画面内予測モードとを用いて、画面内予測処理を行う。そして、画面内予測部１２２は、現在の注目マクロブロックに対して予測画像として用いるイントラ予測画像の信号を生成する。デコーダ７３から供給されたパラメータ情報のうちの画面内予測モードは、エンコーダ７１によるエンコーダ処理において選択された最適な画面内予測モードである。したがって、画面内予測部１２２の処理において当該画面内予測モードを再利用することにより、量子化の処理で発生する丸め誤差を回避することができる。

画面内予測部１２２の処理は、次の第１条件及び第２条件が満たされると実行される。第１条件とは、注目マクロブロックの属するピクチャのピクチャタイプがＰピクチャまたはＢピクチャであると決定されることである。第２条件は、後述するイントラ/インター予測画像選択部１２５で、インター符号量推定部１２４から供給された、これまで注目マクロブロックであったマクロブロックから生成されたインター予測画像の符号量が、デコーダ７３から供給されたパラメータのうちのこれまで注目マクロブロックであったマクロブロックの符号化ビット量（すなわち、イントラマクロブロックの符号量）よりも小さくないと判定されたことである。すなわち、画面内予測部１２２の処理は、注目マクロブロックをインター符号化するよりも、イントラ符号化する方が符号量が小さくなる場合に行われる。画面内予測部１２２により、これまで注目マクロブロックであったマクロブロックから生成されたイントラ予測画像は、イントラ/インター予測画像選択部１２５に供給される。

動き予測/補償部１２３は、注目マクロブロックのベースバンド信号と動き予測/補償部１２３に保持された参照画像（すなわち、これまで注目マクロブロックであったマクロブロックがＩピクチャであると決定された場合に供給され保持された、当該マクロブロックのベースバンド信号、または後述する加算部１３０から供給された当該マクロブロックのベースバンド信号）を用いて動き予測/補償処理を行う。そして、動き予測/補償部１２３は、動き予測/補償処理の結果に基づいて、現在の注目マクロブロックの符号化のために用いる予測画像の候補として、インター予測画像を生成する。

動き予測/補償部１２３の処理は、注目マクロブロックのピクチャタイプがＰピクチャまたはＢピクチャであると決定された場合に行われる。これまで注目マクロブロックであったマクロブロックから生成された注目マクロブロックの符号化のために用いるインター予測画像の候補は、インター符号量推定部１２４に供給される。

インター符号量推定部１２４は、デコーダ７３から供給されたパラメータ情報のうちの注目マクロブロックの量子化マトリクス及び量子化パラメータを用いて、動き予測/補償部１２３から供給されたインター予測画像の候補の符号量を算出する。したがって、符号量を算出する処理に必要なパラメータ情報を再計算する必要が無くなるので、符号量を算出する処理量を軽減することができる。そして、インター符号量推定部１２４は、インター予測画像の候補の中から、最も符号量の小さいインター予測画像を推定する。推定されたインター予測画像は、イントラ/インター予測画像選択部１２５に供給される。

イントラ/インター予測画像選択部１２５は、インター符号量推定部１２４から供給されたインター予測画像の符号量と、デコーダ７３から供給されたパラメータ情報のうちのマクロブロックレイヤの符号化ビット量（すなわち、イントラマクロブロックのビットストリームの符号量）を比較し、符号量の小さい方を選択する。

インター予測画像の符号量の方が小さい場合、イントラ/インター予測画像選択部１２５は、インター符号量推定部１２４から供給されたインター予測画像を、注目マクロブロックの符号化のために用いる予測画像として、減算部１２６に供給する。一方、マクロブロックレイヤの符号化ビット量の符号量の方が小さい場合、イントラ/インター予測画像選択部１２５は、画面内予測部１２２に上述した画面内予測処理を行わせ、生成されたイントラ予測画像を、注目マクロブロックの符号化のために用いる予測画像として減算部１２６に供給する。

減算部１２６は、デコーダ７３から入力された注目マクロブロックのベースバンド信号とイントラ/インター予測画像選択部１２５から供給された予測画像を減算して、注目マクロブロックについての差分信号を求め、DCT/量子化部１２７に供給する。

DCT/量子化部１２７は、注目マクロブロックの、差分信号に対してDCT処理を施すことによって、DCT係数を生成する。さらに、DCT/量子化部１２７は、生成されたDCT係数に対して量子化処理を施すことによって、注目マクロブロックの量子化係数を生成する。このとき、DCT/量子化部１２７は、デコーダ７３から供給されたパラメータ情報のうちの量子化マトリクス及び量子化パラメータを再利用してDCT処理及び量子化処理を行う。したがって、DCT処理及び量子化処理に必要なパラメータ情報を再計算する必要が無くなるので、処理量を軽減することができる。生成された注目マクロブロックの量子化係数は、エントロピー符号化部１２８と逆量子化/逆DCT部１２９に供給される。

エントロピー符号化部１２８は、ピクチャタイプ決定部１２１により注目マクロブロックが属するピクチャのピクチャタイプがＰピクチャまたはＢピクチャであると決定された場合は、DCT/量子化部１２７から供給された注目マクロブロックについての量子化係数に対して、エントロピー符号化処理を施す。

一方、エントロピー符号化部１２８は、ピクチャタイプ決定部１２１により注目マクロブロックが属するピクチャのピクチャタイプがIピクチャであると決定された場合は、デコーダ７３から供給されたパラメータ情報のうちのビットストリーム（すなわち、オリジナルの注目マクロブロックの量子化係数）に対して、エントロピー符号化処理を施す。このように、注目マクロブロックの属するピクチャのピクチャタイプがIピクチャであると決定された場合は、デコーダ７３から供給されたパラメータ情報のうちのビットストリームをそのまま符号化することにより、エンコーダ７４のエンコード処理の多くを省略してエンコード処理量を抑制することができる。

このようにして、エントロピー符号化部１２８からは、オールイントラ符号化方式からインター／イントラ符号化方式に再符号化されたビットストリームが出力され、エンコーダ７４の出力信号として、記録装置７５に記録される。

逆量子化/逆DCT部１２９は、これまで注目マクロブロックであったものを、DCT/量子化部１２７から供給された量子化係数に対して逆量子化処理を施し、これまで注目マクロブロックであったマクロブックのDCT係数を生成する。さらに、逆量子化/逆DCT部１２９は、これまで注目マクロブロックであったマクロブロックの、DCT係数に対して逆DCT処理を施すことによって、これまで注目マクロブロックであったマクロブロックの復号差分信号を生成する。生成されたこれまで注目マクロブロックであったマクロブロックの復号差分信号は、加算部１３０に供給される。

加算部１３０は、逆量子化/逆DCT部１２９から供給されたこれまで注目マクロブロックであったマクロブロックの復号差分信号と、イントラ/インター予測画像選択部１２５から供給されたこれまで注目マクロブロックであったマクロブロックの差分信号を演算するのに用いられたこれまで注目マクロブロックであったマクロブロックの予測画像を加算して、これまで注目マクロブロックであったマクロブロックのベースバンド信号を生成する。すなわち、エンコーダ７４に入力されたベースバンド信号がローカルデコードされる。生成されたこれまで注目マクロブロックであったマクロブロックのベースバンド信号は、画面内予測部１２２と動き予測/補償部１２３に供給され、次回以降の注目マクロブロックにとっての参照画像として保持される。

上述したように、画面内予測部１２２と動き予測/補償部１２３に保持された参照画像は、注目マクロブロックの予測画像を生成するのに用いられる。

次に、デコーダ７３及びエンコーダ７４が実行する処理について、それぞれ図４及び図５を参照して説明する。

[デコード処理]
図４は、デコーダ７３が行うデコード処理の流れを説明するフローチャートである。

ステップＳ１１において、エントロピー復号化部１０１は、エントロピー復号化処理を行う。すなわち、エントロピー復号化部１０１は、入力された注目マクロブロックの符号化信号に対してエントロピー復号化処理を行い、量子化されたDCT係数、及び画面内予測モードを生成する。量子化されたDCT係数は逆量子化/逆DCT部１０２に供給され、画面内予測モードは画面内予測部１０４に供給される。

ステップＳ１２において、逆量子化/逆DCT部１０２は、逆量子化/逆DCT処理を行う。すなわち、逆量子化/逆DCT部１０２は、注目マクロブロックの、量子化されたDCT係数に対して逆量子化処理及び逆DCT処理を行い、差分信号を復元する。復元された差分信号は、加算部１０３に供給される。

ステップＳ１３において、画面内予測部１０４は、画面内予測処理を行う。すなわち、画面内予測部１０４は、エントロピー復号化部１０１から供給された画面内予測モードと、加算部１０３から出力された、これまで注目マクロブロックであったマクロブロックについてのベースバンド信号を用いてイントラ予測処理を行い、予測画像の信号を生成する。生成された予測画像の信号は、加算部１０３に供給される。

ステップＳ１４において、加算部１０３は、注目マクロブロックの、逆量子化/逆DCT部１０２から供給された差分信号と、画面内予測部１０４から供給された予測画像の信号とを加算してベースバンド信号を生成して出力する。なお、加算部１０３から出力された注目マクロブロックについてのベースバンド信号の一部は、画面内予測部１０４に供給され、予測画像の信号を生成するのに用いられる。

ステップＳ１５において、エントロピー復号化部１０１は、パラメータ情報を出力する。上述したように、パラメータ情報には、量子化マトリクス、画面内予測モード、量子化パラメータ、マクロブロックレイヤの符号化ビット量、及びイントラビットストリームが含まれる。なお、ステップＳ１４とステップＳ１５の処理は同時に行われ、エントロピー復号化部１０１から出力されるパラメータ情報と、加算部１０３から出力されるベースバンド信号とは同期されて、エンコーダ７４に供給される。

ステップＳ１６において、エントロピー復号化部１０１は、全てのフレームについて処理が終了したかを判定する。

全てのフレームについて処理が終了していない場合、ステップＳ１６においてＮＯであると判定されて、処理はステップＳ１１に戻され、それ以降のループ処理が繰り返される。すなわち、全てのフレームについて処理が終了するまでの間、ステップＳ１１乃至Ｓ１６のループ処理が繰り返される。その後、全てのフレームについて処理が終了すると、ステップＳ１６においてＹＥＳであると判定されて、デコード処理は終了する。

以上のようなデコード処理により生成されたベースバンド信号がエンコーダ７４に入力されると、図５のエンコード処理が開始される。

[エンコード処理]
図５は、エンコーダ７４が実行するエンコード処理の流れを説明するフローチャートである。

ステップＳ３１において、ピクチャタイプ決定部１２１は、ピクチャタイプを決定する。すなわち、ピクチャタイプ決定部１２１は、デコーダ７３から供給されたベースバンド信号の各フレームをマクロブロックに分割し、注目マクロブロックが属するピクチャのピクチャタイプを決定する。

ステップＳ３２において、ピクチャタイプ決定部１２１は、決定されたピクチャタイプがＩピクチャであるかを判定する。

決定されたピクチャタイプがＩピクチャでない場合、すなわちＰピクチャまたはＢピクチャである場合、ステップＳ３２においてＮＯであると判定されて、処理はステップＳ３６に進む。なお、ステップＳ３６以降の処理については後述する。

これに対して、決定されたピクチャタイプがＩピクチャである場合、ステップＳ３２においてＹＥＳであると判定されて処理はステップＳ３３に進む。

ステップＳ３３において、画面内予測部１２２及び動き予測/補償部１２３は、注目マクロブロックのベースバンド信号を保持する。すなわち、画面内予測部１２２及び動き予測/補償部１２３は、注目マクロブロックのベースバンド信号を、次の注目マクロブロックの予測画像の信号の生成のための参照画像として保持する。

ステップＳ３４において、エントロピー符号化部１２８は、ビットストリームを生成して出力する。すなわち、エントロピー符号化部１２８は、デコーダ７３から供給されたパラメータ情報のうちのビットストリームに対してエントロピー符号化処理を行い、ビットストリームを生成して出力する。

ステップＳ３５において、ピクチャタイプ決定部１２１は、全てのフレームについて処理が終了したかを判定する。

全てのフレームについて処理が終了していない場合、ステップＳ３５においてＮＯであると判定されて、処理はステップＳ３１に戻され、それ以降の処理が繰り返される。すなわち、全てのフレームについて処理が終了するまでの間、ステップＳ３１乃至Ｓ３５のループ処理が繰り返される。その後、全てのフレームについて処理が終了すると、ステップＳ３５においてＹＥＳであると判定されて、エンコード処理は終了する。

一方、ステップＳ３２において、決定されたピクチャタイプがＰピクチャまたはＢピクチャである場合、ステップＳ３２においてＮＯであると判定されて、処理はステップＳ３６に進む。

ステップＳ３６において、動き予測/補償部１２３は、動き予測/補償処理を行う。すなわち、動き予測/補償部１２３は、デコーダ７３から入力された注目マクロブロックのベースバンド信号と動き予測/補償部１２３に保持された参照画像を用いて動き予測/補償処理を行い、注目マクロブロックの符号化のために用いるインター予測画像の候補を生成する。

ステップＳ３７において、インター符号量推定部１２４は、最も符号量が小さいインター予測画像を推定する。すなわち、インター符号量推定部１２４は、デコーダ７３から供給されたパラメータ情報のうちの注目マクロブロックの量子化マトリクス及び量子化パラメータを用いて、動き予測/補償部１２３から供給されたインター予測画像の候補の符号量を算出し、最も符号量が小さいインター予測画像を推定する。

ステップＳ３８において、イントラ/インター予測画像選択部１２５は、インター符号量推定部１２４から供給されたインター予測画像の符号量が、デコーダ７３から供給されたパラメータ情報のうちのマクロブロックレイヤの符号化ビット量よりも小さいかを判定する。

インター予測画像の符号量が、マクロブロックレイヤの符号化ビット量よりも小さくない場合、ステップＳ３８においてＮＯであると判定されて、処理はステップＳ３９に進む。すなわち、注目マクロブロックがイントラ符号化された方が符号量が小さくなる場合、処理はステップＳ３９に進む。

ステップＳ３９において、画面内予測部１２２は、画面内予測処理を行う。すなわち、画面内予測部１２２は、画面内予測部１２２に保持された参照画像と、デコーダ７３から供給されたパラメータ情報のうちの画面内予測モードとを用いて画面内予測処理を行い、現在の注目マクロブロックに対して予測画像として用いるイントラ予測画像の信号を生成する。その後、処理はステップＳ４０に進む。

これに対して、インター予測画像の符号量の方が、マクロブロックレイヤの符号化ビット量よりも小さい場合、ステップＳ３８においてＹＥＳであると判定されて、処理はステップＳ４０に進む。すなわち、注目マクロブロックがインター符号化された方が符号量が小さくなる場合、処理はステップＳ４０に進む。

ステップＳ４０において、減算部１２６は、注目マクロブロックについての差分信号を生成する。すなわち、減算部１２６は、デコーダ７３から入力された注目マクロブロックのベースバンド信号とイントラ/インター予測画像選択部１２５から供給された予測画像を減算して、注目マクロブロックについての差分信号を求める。

ここで、イントラ/インター予測画像選択部１２５から減算部１２６に供給される予測画像は、インター符号量推定部１２４から供給されたインター予測画像の符号量と、デコーダ７３から供給されたパラメータ情報のうちのマクロブロックレイヤの符号化ビット量を比較した結果により変わる。インター予測画像の符号量の方が小さい場合には、インター符号量推定部１２４から供給されたインター予測画像が、注目マクロブロックの符号化のために用いる予測画像として減算部１２６に供給される。一方、マクロブロックレイヤの符号化ビット量の符号量の方が小さい場合、画面内予測部１２２により生成されたイントラ予測画像が、注目マクロブロックの符号化のために用いる予測画像として減算部１２６に供給される。

ステップＳ４１において、DCT/量子化部１２７は、DCT/量子化処理を行う。すなわち、DCT/量子化部１２７は、注目マクロブロックの、減算部１２６から供給された差分信号に対してDCT処理及び量子化処理を行い、注目マクロブロックの量子化係数を生成する。このとき、DCT/量子化部１２７は、デコーダ７３から供給されたパラメータのうちの量子化マトリクス及び量子化パラメータを再利用してDCT処理及び量子化処理を行う。

ステップＳ４２において、逆量子化/逆DCT部１２９は、逆量子化/逆DCT処理を行う。すなわち、逆量子化/逆DCT部１２９は、DCT/量子化部１２７から供給された量子化係数に対して逆量子化処理及び逆DCT処理を行い、これまで注目マクロブロックであったマクロブロックについての復号差分信号を生成する。

ステップＳ４３において、加算部１３０は、逆量子化/逆DCT部１２９から供給されたこれまで注目マクロブロックであったマクロブロックについての復号差分信号と、イントラ/インター予測画像選択部１２５から供給されたこれまで注目マクロブロックであったマクロブロックの差分信号を演算するのに用いられたこれまで注目マクロブロックであったマクロブロックの予測画像を加算して、これまで注目マクロブロックであったマクロブロックのベースバンド信号を生成する。そして、加算部１３０は、生成されたこれまで注目マクロブロックであったマクロブロックのベースバンド信号を、画面内予測部１２２と動き予測/補償部１２３に、次回以降の注目マクロブロックにとっての参照画像として保持させる。

ステップＳ４４において、ピクチャタイプ決定部１２１は、全てのマクロブロックについて処理が終了したかを判定する。

全てのマクロブロックについて処理が終了していない場合、ステップＳ４４においてＮＯであると判定されて、処理はステップＳ３６に戻され、それ以降の処理が繰り返される。すなわち、全てのマクロブロックについて処理が終了するまでの間、ステップＳ３６乃至Ｓ４４のループ処理が繰り返される。その後、全てのマクロブロックについて処理が終了すると、ステップＳ４４においてＹＥＳであると判定されて、処理はステップＳ３４に進む。

ステップＳ３４において、エントロピー符号化部１２８は、ビットストリームを生成して出力する。すなわち、エントロピー符号化部１２８は、DCT/量子化部１２７から供給された注目マクロブロックについての量子化係数に対して、エントロピー符号化処理を行い、ビットストリームを生成して出力する。

ステップＳ３５において、ピクチャタイプ決定部１２１は、全てのフレームについて処理が終了したかを判定する。

全てのフレームについて処理が終了していない場合、ステップＳ３５においてＮＯであると判定されて、処理はステップＳ３１に戻され、それ以降の処理が繰り返される。すなわち、全てのフレームについて処理が終了するまでの間、ステップＳ３１乃至Ｓ３５のループ処理が繰り返される。その後、全てのフレームについて処理が終了すると、ステップＳ３５においてＹＥＳであると判定されて、エンコード処理は終了する。

このように、エンコーダ７４は、デコーダ７３から供給されたパラメータ情報を再利用してエンコード処理を行う。これにより、エンコーダ７４は、エンコード処理に必要なパラメータ情報を再計算する必要が無くなるので、エンコード処理量を軽減することができる。特に、パラメータ情報のうち量子化パラメータを再利用することにより、イントラマクロブロックについては、量子化時の剰余を丸めることによる誤差が生じなくなる。したがって、視覚的な歪量を抑制して再符号することができる。また、パラメータのうち量子化パラメータを再利用することにより、インターマクロブロックについては、適切な符号量とすることができる。したがって、視覚的な歪量を抑制して符号量を削減し、再符号化することができる。

[本技術のプログラムへの適用]
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

この場合、上述した情報処理装置の少なくとも一部として、例えば、図６に示されるパーソナルコンピュータを採用してもよい。

図６において、CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２に記録されているプログラムに従って各種の処理を実行する。または記憶部２０８からRAM（Random Access Memory）２０３にロードされたプログラムに従って各種の処理を実行する。RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU２０１、ROM２０２、及びRAM２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インタフェース２０５も接続されている。

入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイなどよりなる出力部２０７が接続されている。また、ハードディスクなどより構成される記憶部２０８、及び、モデム、ターミナルアダプタなどより構成される通信部２０９が接続されている。通信部２０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

入出力インタフェース２０５にはまた、必要に応じてドライブ２１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア２１１が適宜装着される。そして、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２０８にインストールされる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

このようなプログラムを含む記録媒体は、図６に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）２１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２０２や、記憶部２０８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は、以下のような構成もとることができる。
（１）
動画像信号を構成する複数のピクチャのうち、処理対象の注目マクロブロックが属するピクチャのピクチャタイプを決定するピクチャタイプ決定部と、
前記ピクチャタイプ決定部により前記注目マクロブロックがＰピクチャまたはＢピクチャに属すると決定された場合、前記注目マクロブロックがインター符号化された場合のインター符号量を推定するインター符号量推定部と、
前記インター符号量推定部により推定された前記インター符号量と、前記動画像信号に対して過去に行われたイントラ符号化に関する情報のうち、前記注目マクロブロックがイントラ符号化された場合のイントラ符号量とを比較して、符号量が小さい方を選択する選択部と、
前記選択部により前記インター符号量が選択された場合、インター予測画像を予測画像として前記注目マクロブロックとの差分信号を算出し、前記選択部により前記イントラ符号量が選択された場合、イントラ予測画像を予測画像として前記注目マクロブロックとの差分信号を算出する減算部と、
前記減算部により算出された差分信号に対してDCT処理及び量子化処理を施すことによって、前記注目マクロブロックについての量子化係数を生成するDCT/量子化部と、
前記DCT/量子化部により生成された、前記注目マクロブロックについての前記量子化係数を符号化する符号化部と
を備える画像処理装置。
（２）
前記ピクチャタイプ決定部により前記注目マクロブロックがＩピクチャに属すると決定された場合、
前記符号化部は、前記注目マクロブロックの前記動画像信号に対してDCT処理及び量子化処理が施された結果得られている、既知の量子化係数を符号化する
前記（１）に記載の画像処理装置。
（３）
前記選択部により前記イントラ符号量が選択された場合、前記イントラ予測画像を生成する画面内予測部
をさらに備える前記（１）または（２）に記載の画像処理装置。
（４）
前記画面内予測部は、前記動画像信号に対して過去に行われたイントラ符号化に関する前記情報のうち、画面内予測モードを用いて前記イントラ予測画像を生成する
前記（１）、（２）、または（３）に記載の画像処理装置。
（５）
前記インター符号量推定部は、前記動画像信号に対して過去に行われたイントラ符号化に関する前記情報のうち、量子化マトリクス及び量子化パラメータを用いて前記インター符号量を推定する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記DCT/量子化部は、前記動画像信号に対して過去に行われたイントラ符号化に関する前記情報のうち、量子化マトリクス及び量子化パラメータを用いて前記DCT処理及び前記量子化処理を実行する
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
イントラ符号化されたビットストリームを前記動画像信号にデコードするデコーダから、前記動画像信号に対して過去に行われたイントラ符号化に関する前記情報を取得する
前記（１）乃至（６）のいずれかに記載の画像処理装置。

本技術は、イントラ符号化とインター符号化の判定を行う画像処理装置に適用することができる。

７３ デコーダ， ７４ エンコーダ， １０１ エントロピー復号化部， １０２ 逆量子化/逆DCT部， １０３ 加算部， １０４ 画面内予測部， １２１ ピクチャタイプ決定部， １２２ 画面内予測部， １２３ 動き予測/補償部， １２４ インター符号量推定部， １２５ イントラ/インター予測画像選択部， １２６ 減算部， １２７ DCT/量子化部， １２８ エントロピー符号化部， １２９ 逆量子化/逆DCT部， １３０ 加算部

Claims (9)

1. 動画像信号を構成する複数のピクチャのうち、処理対象の注目マクロブロックが属するピクチャのピクチャタイプを決定するピクチャタイプ決定部と、
   前記ピクチャタイプ決定部により前記注目マクロブロックがＰピクチャまたはＢピクチャに属すると決定された場合、前記注目マクロブロックがインター符号化された場合のインター符号量を推定するインター符号量推定部と、
   前記インター符号量推定部により推定された前記インター符号量と、前記動画像信号に対して過去に行われたイントラ符号化に関する情報のうち、前記注目マクロブロックがイントラ符号化された場合のイントラ符号量とを比較して、符号量が小さい方を選択する選択部と、
   前記選択部により前記インター符号量が選択された場合、インター予測画像を予測画像として前記注目マクロブロックとの差分信号を算出し、前記選択部により前記イントラ符号量が選択された場合、イントラ予測画像を予測画像として前記注目マクロブロックとの差分信号を算出する減算部と、
   前記減算部により算出された差分信号に対してDCT処理及び量子化処理を施すことによって、前記注目マクロブロックについての量子化係数を生成するDCT/量子化部と、
   前記DCT/量子化部により生成された、前記注目マクロブロックについての前記量子化係数を符号化する符号化部と
   を備える画像処理装置。
2. 前記ピクチャタイプ決定部により前記注目マクロブロックがＩピクチャに属すると決定された場合、
   前記符号化部は、前記注目マクロブロックの前記動画像信号に対してDCT処理及び量子化処理が施された結果得られている、既知の量子化係数を符号化する
   請求項１に記載の画像処理装置。
3. 前記選択部により前記イントラ符号量が選択された場合、前記イントラ予測画像を生成する画面内予測部
   をさらに備える請求項２に記載の画像処理装置。
4. 前記画面内予測部は、前記動画像信号に対して過去に行われたイントラ符号化に関する前記情報のうち、画面内予測モードを用いて前記イントラ予測画像を生成する
   請求項３に記載の画像処理装置。
5. 前記インター符号量推定部は、前記動画像信号に対して過去に行われたイントラ符号化に関する前記情報のうち、量子化マトリクス及び量子化パラメータを用いて前記インター符号量を推定する
   請求項３に記載の画像処理装置。
6. 前記DCT/量子化部は、前記動画像信号に対して過去に行われたイントラ符号化に関する前記情報のうち、量子化マトリクス及び量子化パラメータを用いて前記DCT処理及び前記量子化処理を実行する
   請求項５に記載の画像処理装置。
7. イントラ符号化されたビットストリームを前記動画像信号にデコードするデコーダから、前記動画像信号に対して過去に行われたイントラ符号化に関する前記情報を取得する
   請求項１に記載の画像処理装置。
8. 動画像信号を構成する複数のピクチャのうち、処理対象の注目マクロブロックが属するピクチャのピクチャタイプを決定するピクチャタイプ決定ステップと、
   前記ピクチャタイプ決定ステップの処理により前記注目マクロブロックがＰピクチャまたはＢピクチャに属すると決定された場合、前記注目マクロブロックがインター符号化された場合のインター符号量を推定するインター符号量推定ステップと、
   前記インター符号量推定ステップの処理により推定された前記インター符号量と、前記動画像信号に対して過去に行われたイントラ符号化に関する情報のうち、前記注目マクロブロックがイントラ符号化された場合のイントラ符号量とを比較して、符号量が小さい方を選択する選択ステップと、
   前記選択ステップの処理により前記インター符号量が選択された場合、インター予測画像を予測画像として前記注目マクロブロックとの差分信号を算出し、前記選択ステップの処理により前記イントラ符号量が選択された場合、イントラ予測画像を予測画像として前記注目マクロブロックとの差分信号を算出する減算ステップと、
   前記減算ステップにより算出された差分信号に対してDCT処理及び量子化処理を施すことによって、前記注目マクロブロックについての量子化係数を生成するDCT/量子化ステップと、
   前記DCT/量子化ステップの処理により生成された、前記注目マクロブロックについての前記量子化係数を符号化する符号化ステップと
   を含む画像処理方法。
9. 動画像信号を構成する複数のピクチャのうち、処理対象の注目マクロブロックが属するピクチャのピクチャタイプを決定し、
   前記注目マクロブロックがＰピクチャまたはＢピクチャに属すると決定された場合、前記注目マクロブロックがインター符号化された場合のインター符号量を推定し、
   推定された前記インター符号量と、前記動画像信号に対して過去に行われたイントラ符号化に関する情報のうち、前記注目マクロブロックがイントラ符号化された場合のイントラ符号量とを比較して、符号量が小さい方を選択し、
   前記インター符号量が選択された場合、インター予測画像を予測画像として前記注目マクロブロックとの差分信号を算出し、前記イントラ符号量が選択された場合、イントラ予測画像を予測画像として前記注目マクロブロックとの差分信号を算出し、
   算出された差分信号に対してDCT処理及び量子化処理を施すことによって、前記注目マクロブロックについての量子化係数を生成し、
   生成された、前記注目マクロブロックについての前記量子化係数を符号化する
   ステップを含む制御処理をコンピュータに実行させるプログラム。

Images