JP2005303362A - 画像符号化装置及びプログラム - Google Patents

Abstract

【課題】 符号化対象の画像の視覚的な特性に応じて、Ｉピクチャ、Ｐピクチャ及びＢピクチャでの符号化により発生する情報量が画質的に最適になるように各符号化方法の目標情報量を算出し配分することができる画像符号化装置を提供する。
【解決手段】 時間軸上に並んだ複数のフレーム画像より構成される符号化対象画像を入力し、符号化対象画像の視覚的な特性を示す画像特性パラメータを求める画像特性演算部１６と、Ｉピクチャ、Ｐピクチャ及びＢピクチャの各符号化方法での符号化により発生する情報量が画像特性パラメータで示される特性を有する符号化対象画像の画質に与える影響を判定し、当該判定結果に応じて各符号化方法に割り当てる目標情報量を算出する目標情報量演算部１７とを備え、符号化対象画像に対して、目標情報量演算部１７により算出された目標情報量で符号化を実行する。
【選択図】 図１

Description

この発明は、例えばＭＰＥＧ（Moving Picture image coding Experts Group)などの動き補償符号化を実行する画像符号化装置に係り、特にイントラ符号化方法及びインター符号化方法での符号化により発生する情報量が画質的に最適になるように各符号化方法の目標情報量を変更することができる画像符号化装置及びこれをコンピュータに実現させるプログラムに関するものである。

従来の画像符号化装置では、動き補償予測符号化における画像内符号化画像（以下、Ｉ（Intra coded)ピクチャと称す）、片方向予測符号化画像（以下、Ｐ（Predictive coded）ピクチャと称す）及び双方向予測符号化画像（以下、Ｂ（Bidirectionlly Predictive coded)ピクチャと称す）に割り当てる目標情報量を、ＭＰＥＧ−２の符号化において広く使用されているＴＭ５（Test Model 5）などにより求めている（例えば、非特許文献１参照）。

このＴＭ５では、各ピクチャの平均量子化スケールコードと発生符号化量との積である画像の複雑さを示すパラメータがピクチャタイプごとに一定値となり、またＩピクチャの量子化スケールコードを基準としたＰ，Ｂピクチャの量子化スケールコードの比率がそれぞれ１．０、１．４である場合に全体の画質が最適化されるという仮定を前提として、各ピクチャによる符号化での目標情報量の演算が行われる。

テレビジョン学会誌，"画像情報工学と放送技術"，Ｖｏｌ．４９ Ｎｏ．４ １９９５

従来の画像符号化装置では、例えばＭＰＥＧ−２のＴＭ５で採用された方式で各ピクチャによる符号化での目標情報量を求める場合、量子化スケールコードの比率が一定の固定値である場合に全体の画質が最適化されるという仮定のもとに演算が実行される。

このため、量子化スケールコードの比率を固定値とすると、Ｐピクチャ、Ｂピクチャと比較してＩピクチャでの符号化に割り当てるべき目標情報量が少なく算出されることがある。この場合、例えば水平方向及び垂直方向とも高い周波数成分が含まれるＨＤＴＶ信号（ハイビジョン信号）では、Ｉピクチャで符号化された高域周波数成分を正確に復号することができず、視覚的にＩピクチャに同期したぼけが検知されてしまう。

さらに、ＧＯＰ（Group of Picture）中でＰピクチャをＭ枚のピクチャ間隔で配置した場合、Ｂピクチャを使用しない符号化、即ちＭ値を「１」とした符号化では、ＩピクチャとＰピクチャの量子化スケールコード比率が同じになる。

このため、Ｐピクチャと比較してＩピクチャでの符号化による目標情報量が相対的にさらに小さくなり、Ｉピクチャに同期したぼけがより顕著になるという課題もある。この場合、視覚的にはＩピクチャに同期して画面がフラッシングしているように見え、視聴者にとっては不快な現象となる。

この発明は、上述のような課題を解決するためになされたもので、符号化対象の画像の視覚的な特性に応じて、Ｉピクチャなどのイントラ符号化方法、Ｐピクチャ及びＢピクチャなどのインター符号化方法での符号化により発生する情報量が画質的に最適になるように各符号化方法の目標情報量を算出し配分することができる画像符号化装置及びこれをコンピュータに実現させるプログラムを得ることを目的とする。

また、この発明は、動きベクトル情報などの符号化した結果として得られるパラメータに基づいて符号化対象の画像特性を検出し、この検出結果に応じてイントラ符号化方法及びインター符号化方法での符号化により発生する情報量が画質的に最適になるように各符号化方法の目標情報量を算出し配分することができる画像符号化装置及びこれをコンピュータに実現させるプログラムを得ることを目的とする。

この発明に係る画像符号化装置は、時間軸上に並んだ複数の画像より構成される符号化対象画像を入力し、符号化対象画像の視覚的な特性を示す画像特性パラメータを求める画像特性演算部と、時間軸上の画像内における符号化方法及び時間軸上の画像間における符号化方法での符号化により発生する情報量が画像特性パラメータで示される特性を有する符号化対象画像の画質に与える影響を判定し、当該判定結果に応じて各符号化方法に割り当てる目標情報量を算出する目標情報量演算部と、符号化対象画像に対して目標情報量演算部により算出された目標情報量で各符号化方法による符号化を実行する符号化部とを備えるものである。

この発明によれば、時間軸上に並んだ複数の画像より構成される符号化対象画像を入力し、符号化対象画像の視覚的な特性を示す画像特性パラメータを求める画像特性演算部と、時間軸上の画像内における符号化方法及び時間軸上の画像間における符号化方法での符号化により発生する情報量が画像特性パラメータで示される特性を有する符号化対象画像の画質に与える影響を判定し、当該判定結果に応じて各符号化方法に割り当てる目標情報量を算出する目標情報量演算部と、符号化対象画像に対して目標情報量演算部により算出された目標情報量で各符号化方法による符号化を実行する符号化部とを備えるので、符号化対象画像の視覚的な特性に応じて画質が最適になるように各符号化による発生情報量の相対的な関係を制御することができるという効果がある。

実施の形態１．
図１は、この発明の実施の形態１による画像符号化装置の構成を示す図であり、ＭＰＥＧ−２による符号化処理に適用した場合を例として挙げている。実施の形態１による画像符号化装置は、メモリ１、減算器２、セレクタ３、ＤＣＴ（Discrete Cosine Transform)演算器４、量子化器５、可変長符号化部６、バッファ７、逆量子化器８、逆ＤＣＴ演算器９、フレーム加算器１０、セレクタ１１、イントラ／インター判定部１２、動き補償予測部１３、フレームメモリ１４及び量子化制御部１５からなる基本構成に加え、画像特性演算部１６及び目標情報量演算部１７を備えている。本発明の画像符号化装置は、例えば汎用コンピュータなどを用いて、本発明に従う画像符号化プログラムを実行させることによって具現化することができる。

つまり、画像符号化プログラムをコンピュータに実行させてそのハードウェア構成を上記構成要素１〜１７として機能させることにより、本発明の画像符号化装置による特徴的なデータ処理を実行することができる。なお、以下の説明において、本発明の画像符号化装置を具現化するコンピュータ自体の構成及びその基本的な機能については、当業者が当該分野の技術常識に基づいて容易に認識できるものであり、本発明の本質に直接関わるものでないので詳細な記載を省略する。

個々の構成要素の概要を説明すると、メモリ１は、装置内に入力された符号化対象であるディジタルビデオ信号を数フレーム分保持する。減算器２は、メモリ１から読み出されたディジタルビデオ信号とフレームメモリ１４から読み出された参照画像とをフレーム間差分してセレクタ３に出力する。セレクタ３は、メモリ１及び減算器２のうちいずれからの信号をＤＣＴ演算器４に出力するかを選択する。

ＤＣＴ演算器（符号化部）４は、セレクタ３からの出力信号を離散コサイン変換して量子化器５に出力する。量子化器（符号化部）５では、ＤＣＴ演算器４によって離散コサイン変換された信号について量子化処理を実行し可変長符号化部６に出力する。可変長符号化部（符号化部）６は、量子化器５による量子化結果を可変長符号に変換する。バッファ７は、可変長符号化部６により可変長符号化されたビットストリームデータを一時的に保持し必要に応じて装置外部に出力する。

逆量子化器８は、量子化器５により量子化されたディジタル信号を逆量子化処理して逆ＤＣＴ演算器９に出力する。逆ＤＣＴ演算器９では、逆量子化器８から入力した信号を逆離散コサイン変換する。フレーム加算器１０は、フレームメモリ１４から読み出された参照画像と逆ＤＣＴ演算器９からの出力信号とをフレーム間加算する。セレクタ１１では、逆ＤＣＴ演算器９及び加算器１０のうちいずれからの出力信号をフレームメモリ１４に出力すべきか選択する。

イントラ／インター判定部１２は、メモリ１から符号化対象画像のフレームごとに読み出された符号化対象ブロックについてイントラ（フレーム内）符号化かインター（フレーム間）符号化かを判定する。動き補償予測部１３は、メモリ１からの符号化対象ブロック及びフレームメモリ１４からの参照画像を用いて動き補償予測を実行する。

フレームメモリ１４は、動き補償予測のための参照画像（符号化対象画像において符号化を完了したフレーム画像）を保持する。量子化制御部１５は、バッファ７のバッファ量や目標情報量演算部１７からの目標情報量に関する情報などに応じて量子化器５による量子化処理を制御する。

画像特性演算部１６は、装置内に入力された符号化対象であるディジタルビデオ信号の視覚的な画像特性を特定する画像特性パラメータを算出する。画像特性パラメータとしては、画像や画像の一部領域を構成する画素の輝度信号と２つの色差信号についてのそれぞれの平均値と分散値、これらのフレーム間の差分の絶対値和、水平方向周波数分布や垂直方向周波数分布などがある。

また、これらの画像の視覚的な特性を示すパラメータは、符号化対象画像のフレーム内やフレーム間でのフレーム単位で求める以外に、符号化対象ブロック（ＭＰＥＧ−２ではマクロブロックと称す）単位、複数の符号化対象ブロック（マクロブロック）で構成される領域単位、あるいはフレーム画像をいくつかの領域に分割した領域単位で求められる。

目標情報量演算部１７は、画像特性演算部１６が算出する画像特性パラメータから求まる符号化対象画像の特性に応じて、イントラ符号化方法であるＩピクチャ、インター符号化方法であるＰピクチャ及びＢピクチャに割り当てるべき目標情報量を算出する。

次に動作について説明する。
符号化対象となるディジタルビデオ信号は、本実施の形態１による画像符号化装置に入力されると、その内部のメモリ１に数フレーム分ずつ一時的に格納される。これに伴い、最初に符号化を行うための上記ビデオ信号のフレームが符号化対象ブロック（マクロブロック）単位でメモリ１から読み出され、減算器２、セレクタ３、イントラ／インター判定部１２、動き補償予測部１３及び画像特性演算部１６にそれぞれ出力される。

動き補償予測部１３では、メモリ１から符号化対象ブロック単位の入力画像とフレームメモリ１４から読み出した参照画像とを用いて動き補償予測を行う。この動き補償予測では、符号化対象ブロックに対応する参照画像内の予測ブロックが求められ、両ブロック内の画素値の差分に基づいて予測誤差が算出される。そして、メモリ１から入力した符号化対象ブロックについて参照画像の中から予測ブロック予測誤差が最小となる動きベクトルが求められる。

また、動き補償予測部１３は、符号化対象ブロック内の画素値に基づいて求めた評価値と予測誤差とをイントラ／インター判定部１２及び目標情報量演算部１７にそれぞれ出力する。

イントラ／インター判定部１２では、動き補償予測部１３から入力した評価値及び予測誤差に基づいて、当該符号化対象ブロックの符号化対象ピクチャがイントラ符号化であるかインター符号化であるかを判定する。例えば、符号化対象ピクチャがＩピクチャであればイントラ符号化を選択する。この判定結果は、イントラ／インター判定部１２から各セレクタ３，１１に出力される。

セレクタ３は、イントラ／インター判定部１２による判定結果に基づいて、減算器２及びメモリ１のうちのいずれかの入力を選択してＤＣＴ演算器４に出力する。ここで、減算器２では、参照画像をフレームメモリ１４から読み出した参照画像とメモリ１からの符号化対象画像との差分を求める。この差分情報は、減算器２から符号化対象ブロック単位でセレクタ３に入力される。

ここで、イントラ／インター判定部１２の判定結果がイントラ符号化であると、メモリ１からの符号化対象ブロックを選択してＤＣＴ演算器４に出力する。一方、インター符号化であると、セレクタ３は、減算器２からの差分情報を選択して符号化対象ブロック単位でＤＣＴ演算器４に出力する。

ＤＣＴ演算器４では、セレクタ３からの符号化対象ブロック単位の画像データに対してＤＣＴを実行し、そのＤＣＴ係数を量子化器５に出力する。量子化器５は、量子化制御部１５により設定された量子化パラメータに従って、ＤＣＴ演算器４からのＤＣＴ係数を量子化して可変長符号化部６及び逆量子化器８に出力する。

可変長符号化部６は、量子化器５から入力した量子化結果データを可変長符号に変換してバッファ７に保持する。バッファ７では、可変長符号化部６からの符号化データを一時的に蓄えた後、所定の転送レートのビットストリームとして外部に出力する。また、バッファ７におけるデータの占有量を示すバッファ量は、量子化制御部１５及び目標情報量演算部１７によって読み出される。

また、逆量子化器８では、量子化器５から入力した量子化結果データ逆量子化処理が行われ、その結果が逆ＤＣＴ演算器９に出力される。逆ＤＣＴ演算器９は、逆量子化器８からのデータに対して逆ＤＣＴ処理を実行する。この逆ＤＣＴされたデータは、逆ＤＣＴ演算器９からフレーム加算器１０及びセレクタ１１に出力される。

セレクタ１１では、フレームメモリ１４に出力すべきデータとして、イントラ／インター判定部１２からの判定結果に応じて、逆ＤＣＴ演算器９からの出力データ、及び、フレーム加算器１０により逆ＤＣＴ演算器９からの出力データにフレームメモリ１４の参照画像をフレーム加算された画像データのうちのいずれかを選択する。

例えば、イントラ／インター判定部１２からの判定結果がイントラ符号化であれば、フレーム内符号化されて復号された画像データとして、逆ＤＣＴ演算器９からの出力データが選択されてフレームメモリ１４に格納される。一方、判定結果がインター符号化であれば、フレーム間符号化されて復号された画像データとして、フレーム加算器１０からの画像データが選択されてフレームメモリ１４に格納される。

フレームメモリ１４に格納されたセレクタ１１からの出力データは、次の符号化フレームの動き補償予測の参照画像として使用される。一方、量子化制御部１５は、バッファ７から読み出したバッファ量に応じて量子化器５による量子化レートを制御する。これにより、バッファ７でデータがオーバーフローやアンダーフローを起こさないように調整される。

次に目標情報量演算部１７による目標情報量の算出処理について説明する。
以降の説明では、目標情報量演算部１７が、例えばＭＰＥＧ−２の符号化で使用されているＴＭ５による手法を基本として、各ピクチャタイプに割り当てるべき目標情報量を算出するものとする。

ＴＭ５では、下記式（１）、（２）、（３）を用いてＩピクチャ、Ｐピクチャ、Ｂピクチャに割り当てる目標情報量Ｔｉ，Ｔｐ，Ｔｂを算出する。
Ｔｉ＝Ｒ／｛１＋（Ｎｐ・Ｘｐ）／（Ｘｉ・Ｋｐ）＋（Ｎｂ・Ｘｂ）
／（Ｘｉ・Ｋｂ）｝ ・・・（１）
Ｔｐ＝Ｒ／｛Ｎｐ＋（Ｎｂ・Ｘｂ・Ｋｐ）／（Ｘｐ・Ｋｂ）｝ ・・・（２）
Ｔｂ＝Ｒ／｛Ｎｂ＋（Ｎｐ・Ｘｐ・Ｋｂ）／（Ｘｂ・Ｋｐ）｝ ・・・（３）

但し、Ｒは、符号化しているＧＯＰ（Group of Picture）において未だ符号化されていない残りのピクチャに対して割り当てることができる情報量である。Ｎｐ，Ｎｂは、符号化しているＧＯＰ（Group of Picture）において未だ符号化されていない残りのピクチャ数である。

Ｓｉ，Ｓｐ，Ｓｂは一番最近に符号化が終了した各ピクチャの発生符号ビット量であり、Ｑｉ，Ｑｐ，Ｑｂは一番最近に符号化が終了した各ピクチャの平均量子化スケールコードである。Ｘｉ，Ｘｐ，Ｘｂは画像の複雑さを示すパラメータであり、Ｘｉ＝Ｓｉ・Ｑｉ、Ｘｐ＝Ｓｐ・Ｑｐ、Ｘｂ＝Ｓｂ・Ｑｂで表される。ＫｐはＩピクチャに対するＰピクチャの量子化スケールコード比率、ＫｂはＩピクチャに対するＢピクチャの量子化スケールコード比率を決定するパラメータである。

従来のＴＭ５では、上記式（１）〜（３）を用いて各ピクチャの目標情報量Ｔｉ，Ｔｐ，Ｔｂを求めるにあたり、Ｋｐ＝１．０、Ｋｂ＝１．４に固定すると全体の画質が最適化されるとの仮定を前提としている。ここでは、これらＫｐ，Ｋｂ値（Ｋｐ＝１．０、Ｋｂ＝１．４）のときを通常値と称する。

画像特性演算部１６は、メモリ１から減算器２やセレクタ３に読み出される符号化対象ブロックを入力してその画像解析を行う。このとき、画像特性演算部１６は、画像特性パラメータとして、符号化対象画像のフレーム内やフレーム間でフレーム内画像やその一部領域を構成する画素の輝度信号と２つの色差信号についてのそれぞれの平均値と分散値、これらのフレーム間の差分の絶対値和、水平方向周波数分布や垂直方向周波数分布などを求める。これらの画像特性パラメータは、符号化対象画像についての視覚的な精細度を表す指標となる。

また、これらの画像の視覚的な特性を示すパラメータは、符号化対象画像のフレーム内やフレーム間でのフレーム単位で求める以外に、符号化対象ブロック（マクロブロック）単位、複数の符号化対象ブロック（マクロブロック）で構成される領域単位、あるいはフレーム画像をいくつかの領域に分割した領域単位で求められる。このようにして求められた画像特性パラメータは、画像特性演算部１６から目標情報量演算部１７に出力される。

目標情報量演算部１７は、画像特性演算部１６からの画像特性パラメータに基づいて符号化対象ブロックの画像の視覚的な特性を判断する。例えば、画像特性パラメータにおける符号化対象画像の水平方向周波数分や垂直方向周波数分布から、当該画像に高域の周波数分布があるか否かを判断する。

このあと、目標情報量演算部１７は、画像特性パラメータに基づいて判断した符号化対象ブロックの視覚的な特性から、当該ブロックの符号化において各ピクチャに既に割り当てていた目標情報量での符号化により発生する情報量が適切であるか否かを判定する。

具体的には、画像特性パラメータの値における各ピクチャにより発生する情報量と符号化データを復号した結果の最良な画質との関係を予めデータベースとして目標情報量演算部１７に登録しておく。目標情報量演算部１７では、上記判定処理において画像特性パラメータの値と上記データベースの内容とを参照してその画像の視覚的な特性及びその画像のピクチャに既に割り当てていた目標情報量が適切であるか否かを判定する。

例えば、画像特性パラメータから符号化対象ブロックに高域周波数成分が多く存在し、当該符号化対象ブロックがＩピクチャである場合、目標情報量演算部１７は、当該Ｉピクチャの目標情報量と他のピクチャに割り当てた目標情報量とを比較して、Ｉピクチャと他のピクチャとにより発生する情報量の相対的な大小関係が適切であるか否かを判断する。

このとき、他のピクチャと比較してＩピクチャにより発生する情報量が相対的に小さく、復号時にＩピクチャに起因するぼけが顕著になるであろうことが判定されると、目標情報量演算部１７は、下記のようにして他のピクチャとの関係でＩピクチャでの情報量が増加するように目標情報量の変更処理を実行する。

例えば、Ｉピクチャの目標情報量を増加させる場合、目標情報量演算部１７は、上記式（１）における量子化スケールコード比率を示すパラメータであるＫｐ，Ｋｂの値を変更してＩピクチャの目標情報量を増加させる。

ここで、Ｋｐ，Ｋｂ値に通常値が設定されている場合、目標情報量演算部１７は、上記式（１）おいて、Ｒ，Ｎｐ，Ｎｂ，Ｘｉ，Ｘｐ，Ｘｂを固定値と仮定し、Ｋｐ，Ｋｂを通常値より大きくする。

つまり、上述のように仮定して、Ｋｐ，Ｋｂを通常値より大きくすると、上記式（１）〜（３）における分母の（Ｎｐ・Ｘｐ）／（Ｘｉ・Ｋｐ）や（Ｎｂ・Ｘｂ）／（Ｘｉ・Ｋｂ）の項がとる値がそれぞれ小さくなり、上記式（１）の分母自体が小さくなる。この結果、Ｐピクチャ及びＢピクチャの平均量子化スケールコードを大きくするように目標情報量がそれぞれ演算される。これにより、Ｉピクチャの目標情報量は増加し、Ｐピクチャ、Ｂピクチャの目標情報量は減少することになる。

なお、Ｋｐ，Ｋｂを通常値からどの程度大きくするかなどの変更分の決定は、上述したデータベースに予め求めておいた画像特性パラメータの値とこれに最適な目標情報量との関係により決定される。

目標情報量演算部１７は、画像特性パラメータに応じて変更したＩピクチャの目標情報量を量子化制御部１５に出力する。これにより、量子化制御部１５は、Ｉピクチャでの符号化において上記目標情報量で量子化が実行されるように量子化パラメータを量子化器５に設定する。

上記では、Ｉピクチャの目標情報量を増加させるために、Ｋｐ，Ｋｂの値を変更する処理を説明したが、画像特性パラメータによりＰピクチャやＢピクチャの目標情報量を変更する必要がある場合も上記式（２），（３）におけるＫｐ，Ｋｂの値を変更することで対応することができる。

また、画像特性演算部１６に、入力した符号化対象画像信号がＳＤＴＶ信号（標準テレビ信号）であるかＨＤＴＶ信号（ハイビジョンテレビ信号）であるかを判定する機能を持たせておき、目標情報量演算部１７が、符号化対象画像の画像特性パラメータに加え、ＳＤＴＶかＨＤＴＶかの判定結果も考慮してピクチャに割り当てる目標情報量を演算するようにしてもよい。これは、高域周波数成分まで有するＨＤＴＶ信号では、Ｉピクチャにより発生する情報量が他のピクチャと比較して相対的に小さいと、Ｉピクチャに同期したぼけが高周波数成分に生じてしまうことによる。

そこで、画像特性演算部１６によって符号化対象の入力画像がＨＤＴＶ信号（ハイビジョン信号）であると判定された場合、目標情報量演算部１７は、上述したような符号化対象画像の画像特性パラメータによる各ピクチャの目標情報量の算出処理に加え、Ｉピクチャについて他のピクチャとの間で相対的な情報量を増加させるため、上記式（１）におけるＫｐ，Ｋｂ値を既存の値より増加させる。

この処理として、例えばＳＤＴＶ信号であるとき通常値Ｋｐ＝１．０、Ｋｂ＝１．４で固定しておき、ＨＤＴＶ信号のとき他のピクチャにより発生する情報量との比較など実行することなく、予め求めた固定値Ｋｐ＝２．０、Ｋｂ＝３．０を設定する。このＫｐ，Ｋｂ値は、ＨＤＴＶ信号の符号化において予め最適な画質を与えるものを求めておき、目標情報量演算部１７にデータベースとして登録しておく。

このようにすることで、ＨＤＴＶ信号の符号化であれば、ＨＤＴＶ信号に応じて予め求めておいたＫｐ，Ｋｂ値を設定することで、結果的にＩピクチャの目標情報量を増加させ、Ｐピクチャ、Ｂピクチャの目標情報量を減少させることができる。

これにより、高域周波数成分まで有するＨＤＴＶ信号において、Ｉピクチャにおける高域周波数信号が通常値のときよりも精度よく再現されることにより、Ｉピクチャに同期したぼけの現象を防止することができる。

なお、固定値Ｋｐ＝２．０、Ｋｂ＝３．０を設定する場合を例に述べたが、Ｋｐ，Ｋｂ値が通常値である場合よりもＩピクチャに多く目標情報量を割り当てることができる限り、上述したＫｐ，Ｋｂ値の数値例以外の値を設定することも可能である。

また、本発明では、符号化対象画像の画像特性パラメータに加えて、符号化レートに応じて各ピクチャの目標情報量を変更するように目標情報量演算部１７を構成しても良い。例えば、目標情報量演算部１７に外部から符号化モードの設定を受け付ける入力装置を設けておく。

さらに、目標情報量演算部１７に対して、例えば符号化レートと各ピクチャの目標情報量とのデータを用いて復号後に最適な画質となる符号化レートの閾値を求める条件式を設定しておく。あるいは、目標情報量演算部１７に外部から復号後に最適な画質となる符号化レートの閾値の設定を受け付ける構成を設けておく。

上述したような構成によって符号化レートが設定されると、目標情報量演算部１７は、その値と上記閾値との比較結果に応じてＫｐ，Ｋｂ値を変更する。以降の説明では、ＨＤＴＶ信号について示すがＳＤＴＶ信号においても同様に適用できる。

例えば、外部からモード設定として符号化レートが設定されると、目標情報量演算部１７は、上述したような予め求めた閾値Ｔｈと比較して、外部から設定された符号化レートが閾値Ｔｈ以上（符号化レート≧Ｔｈ）であるとき、上記式（１）〜（３）におけるＫｐ＝２．０、Ｋｂ＝３．０とする。また、外部から設定された符号化レートが閾値Ｔｈ未満（符号化レート＜Ｔｈ）であると、Ｋｐ＝１．５、Ｋｂ＝２．０に設定する。

ＭＰＥＧ−２などのＭＰＥＧ符号化において、ピクチャの情報量は、主として動き補償予測に費やされる情報量とＤＣＴ係数に費やされる情報量がその大部分を占める。このため、フレーム画像内の符号化であるＩピクチャであれば、動きベクトルに費やされる情報量は特殊なモードでない限り存在しない。

上述した２つの情報量のうち、動きベクトルに費やされる情報量は、符号化レートに依らずそれほど大きくは変化しない。また、通常の符号化では、ピクチャの目標情報量から動きベクトルに費やされる情報量を除いた情報量がＤＣＴ係数のための情報量に割り当てられる。従って、符号化レートが低くなるにつれてＤＣＴ係数に割り当てることができる情報量はさらに少なくなってくる。これは、ブロックノイズの発生などの極端な画質劣化を招くことになる。

そこで、符号化レートが上記閾値未満である場合、上述のようにＫｐ，Ｋｂ値（Ｋｐ＝１．５、Ｋｂ＝２．０）を設定し、高い符号化レートのときよりもＩピクチャに割り当てる目標情報量の割合を少なくし、代わりにＰピクチャ、Ｂピクチャの目標情報量の割合を多くする。このようにして、ＤＣＴ係数に割り当てるための情報量を増加させることで、全体としての画質を向上させることができる。

また、符号化レートが上記閾値未満のとき、Ｉピクチャへの目標情報量の割合を小さくすることができる限り、上述したＫｐ，Ｋｂ値（Ｋｐ＝１．５、Ｋｂ＝２．０）の代わりに他の数値を使用することも可能である。

さらに、上述した説明では、符号化レートの閾値が１つである例を示したが閾値を複数個設定することでレートを細かく分類し、分類されたレートごとにＫｐ，Ｋｂ値を変更するように目標情報量演算部１７を構成しても良い。

以上のように、この実施の形態１によれば、時間軸上に並んだ複数のフレーム画像より構成される符号化対象画像を入力し、符号化対象画像の視覚的な特性を示す画像特性パラメータを求める画像特性演算部１６と、Ｉピクチャなどのイントラ符号化方法及びＰピクチャやＢピクチャなどのインター符号化方法での符号化により発生する情報量が画像特性パラメータで示される特性を有する符号化対象画像の画質に与える影響を判定し、当該判定結果に応じて各符号化方法に割り当てる目標情報量を算出する目標情報量演算部１７とを備え、符号化対象画像に対して目標情報量演算部１７により算出された目標情報量で符号化を実行するので、符号化対象画像の視覚的な特性に応じて画質が最適になるように各符号化方法による発生情報量の相対的な関係を制御することができる。

また、上記実施の形態１では、符号化対象画像の視覚的な特性に応じて、そのＧＯＰに割り当てる目標情報量を変更するのではなく、さらに詳細にＧＯＰを構成するピクチャごとに割り当てるべき目標情報量を適宜変更される。これにより、復号後の画像について最適な画質を与える符号化処理を実現することができる。

実施の形態２．
この実施の形態２では、上記実施の形態１で示した処理に加え、符号化処理で使用する量子化マトリクスに応じて、各ピクチャの目標情報量を変更するものである。

実施の形態２による画像符号化装置の基本的な構成は、上記実施の形態１の図１で示したものと同様である。上記実施の形態１と異なる箇所としては、目標情報量演算部１７が、画像特性演算部１６からの画像特性パラメータや外部からモード設定されたパラメータに加え、量子化制御部１５から読み出した量子化マトリクスの係数値に応じて各ピクチャの目標情報量を変更する。なお、量子化マトリクスの係数値は、量子化制御部１５を介して量子化器５から入力するようにしてもよい。

次に動作について説明する。
以降では、説明の簡単のため、上記実施の形態１と同様にＭＰＥＧ−２符号化方式で、各ピクチャの目標情報量を求める演算式もＴＭ５を用いる場合を例に挙げる。なお、本実施の形態による画像符号化装置の基本的な動作は上記実施の形態１と同様であるので、異なる点である目標情報量演算部１７による各ピクチャの目標情報量の演算処理について主に説明する。なお、ＨＤＴＶ信号について示すがＳＤＴＶ信号においても同様に適用できるものである。

目標情報量演算部１７は、画像特性演算部１６から入力した符号化対象画像についての画像特性パラメータ（若しくは外部モード設定によるパラメータ）に加え、量子化制御部１５から現時点での符号化処理に使用した量子化マトリクスの係数値を入力する。

図２は、インター符号化における量子化マトリクスを示す図である。図において、Ｍ００〜Ｍ７７は、量子化マトリクスの各係数である。中高域の周波数成分に対する係数は、例えばＭｉｊとした場合、ｉ≧４あるいはｊ≧４の範囲に含まれるものに相当する。

目標情報量演算部１７は、量子化制御部１５から符号化処理に使用した量子化マトリクスの係数値を入力すると、閾値をＴｈとするとき、当該量子化マトリクスにおける中高域の周波数成分に対する係数Ｍｉｊ（ｉ≧４あるいはｊ≧４）が閾値Ｔｈ以上（Ｍｉｊ≧Ｔｈ）であるとき、上記式（１）〜（３）におけるＫｐ，Ｋｂ値を例えばＫｐ＝１．５、Ｋｂ＝２．０と設定する。また、上記以外の係数であれば、例えばＫｐ＝２．０、Ｋｂ＝３．０を設定する。

上述した閾値Ｔｈは、インター符号化方法における量子化マトリクス、つまりＰピクチャやＢピクチャでの符号化に使用される量子化マトリクスにおいて、量子化による復号後の中高域周波数成分に対応する画質の劣化を許容することができる最下限の係数値を規定するものである。

目標情報量演算部１７には、例えば閾値Ｔｈの候補値と各ピクチャの目標情報量との履歴データを用いて復号後に最適な画質となる閾値Ｔｈを求める条件式を設定しておくか、あるいは、外部から復号後に最適な画質となる閾値Ｔｈの設定を受け付ける構成を設けておく。

インター符号化方法で量子化マトリクスの中高域周波数成分に対する係数が閾値Ｔｈより大きいとき、量子化処理における符号化対象ブロックの中高域周波数成分に対応するＤＣＴ係数とこれに対応する量子化係数との除算や切り捨てにより、ＰピクチャやＢピクチャの符号化対象ブロックの中高域周波数成分に対応するＤＣＴ係数が削減される。

このため、符号化対象画像が中高域周波数成分を有する精細な画像であっても、ＰピクチャやＢピクチャに対応するＤＣＴ係数が削減された分だけＩピクチャにより発生する情報量が相対的に減ることが無く、Ｉピクチャに起因するぼけが目立たなくなる。

従って、この場合には、Ｉピクチャに対する目標情報量の割合を増加させる必要がなくなり、その分をＰピクチャ、Ｂピクチャに割り当てることにより、全体としての画質を向上させることができる。

そこで、量子化制御部１５から入力した量子化マトリクスの係数が、符号化対象画像が中高域周波数成分に対応するものであり、且つ閾値Ｔｈ以上であるとき、Ｉピクチャの目標情報量を比較的に増加させない値として、例えばＫｐ＝１．５、Ｋｂ＝２．０を上記式（１）〜（３）に設定する。これにより、Ｉピクチャに対する目標情報量の割合を多分に増加させることなく、割り当て可能な情報量の残分をＰピクチャ、Ｂピクチャに割り当てることができる。

また、量子化マトリクスの中高域周数成分に対応する係数が閾値Ｔｈ以上であるとき、Ｉピクチャへの目標情報量の割合を小さくすることができる限り、上述したＫｐ，Ｋｂ値の代わりに他の数値を使用することも可能である。

一方、量子化制御部１５から入力した量子化マトリクスの係数が、符号化対象画像が低域周波数成分に対応するものであったり、中高域周波数成分に対応するもので閾値Ｔｈ未満であるとき、他のピクチャとの間でのＩピクチャの相対的な目標情報量を増加させる値として、例えばＫｐ＝２．０、Ｋｂ＝３．０を上記式（１）〜（３）に設定する。

以上のように、この実施の形態２によれば、量子化マトリクスの係数に基づいて決定される符号化対象画像の視覚的な特性に応じて、ピクチャごとに割り当てるべき目標情報量を適宜変更することにより、復号後の画像について最適な画質を与える符号化処理を実現することができる。

なお、上記実施の形態２において、符号化対象画像における中高域周波数成分のＤＣＴ係数が削減できるものであれば、量子化マトリクスにおける中高域周波数成分に対応する係数以外の係数であっても、上述した以外の閾値であってもよい。また、量子化マトリクスの係数ごとに上述のような閾値Ｔｈを設定するように構成しても良い。

実施の形態３．
この実施の形態３では、上記実施の形態１で示した処理に加え、Ｐピクチャ間隔であるＭ値に応じて、各ピクチャの目標情報量を変更するものである。

実施の形態３による画像符号化装置の基本的な構成は、上記実施の形態１の図１で示したものと同様である。上記実施の形態１と異なる箇所としては、目標情報量演算部１７が、画像特性演算部１６からの画像特性パラメータや外部からモード設定されたパラメータに加え、符号化処理時におけるＰピクチャ間隔（Ｍ値）に応じて、各ピクチャの目標情報量を変更する。

次に動作について説明する。
以降では、説明の簡単のため、上記実施の形態１と同様にＭＰＥＧ−２符号化方式で、各ピクチャの目標情報量を求める演算式もＴＭ５を用いる場合を例に挙げる。なお、本実施の形態による画像符号化装置の基本的な動作は上記実施の形態１と同様であるので、異なる点である目標情報量演算部１７による各ピクチャの目標情報量の演算処理について主に説明する。なお、ＨＤＴＶ信号について示すがＳＤＴＶ信号においても同様に適用できるものである。

目標情報量演算部１７は、画像特性演算部１６から入力した符号化対象画像についての画像特性パラメータ（若しくは外部モード設定によるパラメータ）に加え、動き補償予測部１３及びバッファ７から入力した情報に基づいてインター符号化したピクチャがＰピクチャであるかＢピクチャであるかを認識する。

図３は、符号化時におけるＭ値の変化を説明する図である。図示の例では、フレーム番号が１からＫ−１までＭ値３で符号化を行い、ＫからＮまでＭ値１で符号化が行われている。ここで、目標情報量演算部１７は、動き補償予測部１３及びバッファ７から入力した情報に基づいて符号化対象のＨＤＴＶ信号のＭ値を認識し、その結果に応じてＫｐ，Ｋｂ値を上記式（１）〜（３）に設定する。

例えば、Ｍ値が３であるとき、Ｋｐ，Ｋｂ値として、上記実施の形態１で示したＨＤＴＶ信号について最適な画質を与える通常値であるＫｐ＝２．０、Ｋｂ＝３．０を上記式（１）〜（３）に設定して、各ピクチャの目標情報量を算出する。

一方、図３に示すようにＭ値が３から１に移行すると、Ｐピクチャが隣接して配置することになりＢピクチャは使用されない。従って、このときのＫｂは無意味となり、このときＫｐ値を通常値（Ｋｐ＝２．０）のままで使用すると、ＩピクチャとＰピクチャとの量子化スケールコードの平均値が同じ値となる。

このため、上記式（１）、（２）よりＰピクチャにより発生する情報量と比較してＩピクチャにより発生する情報量が相対的に小さくなる。これは、復号後の画像上の高精細な部分においてＩピクチャに同期したぼけがより顕著に現れる要因となる。

そこで、本実施の形態３では、Ｍ値が１で符号化を行うとき、Ｋｐ値を通常値（Ｋｐ＝２．０）より大きく、例えばＫｐ＝３．０として上記式（１）、（２）に設定する。これにより、Ｉピクチャへの目標情報量の割り当てが増加して、上述したようなＩピクチャの情報量が小さいことによるぼけの発生を防止することができる。

なお、Ｍ値が１のときにＫｐが通常値の場合よりも、Ｉピクチャに多く目標情報量を割り当てることができる限り、上述したＫｐ値の代わりに他の数値を使用することも可能である。

以上のように、この実施の形態３によれば、画像特性演算部１６が求めた画像特性パラメータに基づいて決定される符号化対象画像の視覚的な特性に応じて各ピクチャの目標情報量を算出する他、インター符号化におけるＭ値が１であるとＩピクチャ及びＰピクチャに特化した条件で目標情報量を適宜変更することにより、復号後の画像について最適な画質を与える符号化処理を実現することができる。

実施の形態４．
この実施の形態４では、上記実施の形態１で示した処理に加え、画像特性演算部１６において編集された特殊画像の一つであるディゾルブ画像が検出されたときに、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの目標情報量を変更するものである。ディゾルブ画像は、第１のシーンから第２のシーンに変化するとき、第１のシーンに第２のシーンが透けるように合成され、第１のシーンが徐々に消えていくと同時に第２のシーンが浮かびあがってくる画像である。

実施の形態４による画像符号化装置の基本的な構成は、上記実施の形態１の図１で示したものと同様である。上記実施の形態１と異なる箇所としては、目標情報量演算部１７が、画像特性演算部１６により符号化対象画像にディゾルブ画像が検出されたか否かに応じて、各ピクチャの目標情報量を変更する。

本発明の特殊画像としては、撮像対象をそのまま撮影した画像ではなく、画面転換などの特殊効果を得るために加工が施された動画像をいい、ディゾルブ画像の他にフェードイン画像やフェードアウト画像などがある。また、ワイプと呼ばれる別の画像が画面の端から挿入され、徐々に画面内に占める割合が大きくなっていき、最終的に画面全体が上記別の画像に置き換わるような特殊画像もある。

次に動作について説明する。
以降では、説明の簡単のため、上記実施の形態１と同様にＭＰＥＧ−２符号化方式で、各ピクチャの目標情報量を求める演算式もＴＭ５を用いる場合を例に挙げる。なお、本実施の形態による画像符号化装置の基本的な動作は上記実施の形態１と同様であるので、異なる点である目標情報量演算部１７による各ピクチャの目標情報量の演算処理について主に説明する。なお、ＨＤＴＶ信号について示すがＳＤＴＶ信号においても同様に適用できるものである。

図４は、ディゾルブ画像の一例を示す図である。図示の例では、フレーム番号が１からＬ−１までに相当する第１のシーンから、フレーム番号がＭ−１からＮまでに相当する第２のシーンに変化するまでの間にディゾルブ画像が設けられている。

つまり、フレーム番号が１からＬ−１までは第１のシーンのみが表示される非ディゾルブ期間であり、フレーム番号ＬからＭ−１までは第１のシーンと第２のシーンが重なったディゾルブ画像が表示されるディゾルブ期間となり、フレーム番号ＭからＮまでが第２のシーンのみが表示される非ディゾルブ期間になる。この図に沿って動作を説明する。

画像特性演算部１６は、フレームごとの符号化対象ブロックとしてメモリ１から読み出した符号化対象画像（例えば、ＨＤＴＶ信号）がディゾルブ画像であるか否かをモニタする。具体的には、画像特性演算部１６が画像特性パラメータとしてフレーム単位あるいはフレームをいくつかに分割した領域単位での画素値の平均値と分散値の経時的な変化を調べることによりディゾルブ画像の有無を検出することができる。例えば、領域単位の平均値と分散値がフレームごとに単調増加あるいは単調減少しているときにディゾルブ画像と判定する。

図示の例で説明すると、フレーム番号が１〜Ｌ−１、Ｍ〜Ｎの期間のように第１のシーンや第２のシーンのみが表示されている非ディゾルブ期間において、画像特性演算部１６は、上述のようにして各フレームの画像がディゾルブ画像でないと判断する。この判断結果は、画像特性演算部１６から目標情報量演算部１７に出力される。

目標情報量演算部１７では、画像特性演算部１６から符号化対象画像がディゾルブ画像でないとの判断結果を受けると、Ｋｐ，Ｋｂ値を例えばＫｐ＝２．０、Ｋｂ＝３．０として上記式（１）〜（３）に設定し各ピクチャの目標情報量を算出する。

なお、非ディゾルブ期間では、復号後の画像でＩピクチャに同期したぼけが発生するのを防止するため、Ｉピクチャに対する目標情報量の割合を多くする。そこで、Ｋｐ，Ｋｂ値を通常値（Ｋｐ＝１．０、Ｋｂ＝１．４）より大きい、例えばＫｐ＝２．０、Ｋｂ＝３．０と設定して目標情報量を求める。

一方、画像特性演算部１６は、上述のようにして、フレーム番号がＬ〜Ｍ−１の期間における各フレームの画像がディゾルブ画像であると判断する。この判断結果は、画像特性演算部１６から目標情報量演算部１７に出力される。

ディゾルブ期間では、非ディゾルブ期間と比較してフレーム間の相関が極端に低くなり、動き補償予測の効率が低下するとともに動きベクトルに費やされる情報量が多くなる。即ち、ディゾルブ期間においてＩピクチャに対するＰピクチャやＢピクチャの発生情報量の割合が非ディゾルブ期間よりも大きくなる。

そこで、画像特性演算部１６によってディゾルブ画像が検出されると、目標情報量演算部１７は、Ｐピクチャ及びＢピクチャにより発生する情報量を増加させるため、Ｋｐ，Ｋｂ値を非ディゾルブ期間と比較して小さくする。例えば、非ディゾルブ期間では、Ｋｐ，Ｋｂ値をＫｐ＝１．５、Ｋｂ＝２．０として上記式（１）〜（３）に設定し各ピクチャの目標情報量を算出する。

このようにすることで、ＰピクチャやＢピクチャにより発生する情報量が増加するため、Ｋｐ，Ｋｂ値を変更しない場合と比較して、復号後の画像の画質を向上させることができる。

なお、ディゾルブ画像の検出時において、ＰピクチャやＢピクチャに多く目標情報量を割り当てることができる限り、上述したＫｐ，Ｋｂ値の代わりに他の数値を使用することも可能である。

以上のように、この実施の形態４によれば、フレーム間の相関が極端に低くなり動き補償予測の効率が低下すると共に動きベクトルに費やされる情報量が多くなるディゾルブ画像のような特殊画像の有無を画像特性演算部１６が画像特性パラメータとして検出する。この結果が特殊画像である場合、目標情報量演算部１７が、特殊画像における視覚的な特性に応じて、各ピクチャの目標情報量を算出するので、特殊画像を含む画像であっても復号後に最適な画質を与える符号化処理を実現することができる。

なお、上記実施の形態では、特殊画像としてディゾルブ画像を検出する例を示したが、通常の画像と異なる画像特性を示す加工が施された特殊画像であってもその特性に応じて各ピクチャの目標情報量を算出することで、特殊画像を含む画像であっても復号後に最適な画質を与えることができる。

例えば、フェードイン画像では、ディゾルブ画像が第１のシーンと第２のシーンが両方とも自然画であるのに対し、第１のシーンが単色の画像で第２のシーンが自然画となる。また、フェードアウト画像は、第１のシーンが自然画であって第２のシーンが単色の画像となる。

これら特殊画像も、ディゾルブ画像と同様に、フレーム間の相関が極端に低くなり、動き補償予測の効率が低下するとともに動きベクトルに費やされる情報量が多くなるという画像特性を有している。従って、これら特性に応じて各ピクチャの目標情報量を算出することで上記効果を得ることができる。

実施の形態５．
この実施の形態５では、上記実施の形態１で示した処理に加え、画像特性演算部１６において高輝度且つ高精細な画像が検出されたときに、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの目標情報量を変更するものである。

実施の形態５による画像符号化装置の基本的な構成は、上記実施の形態１の図１で示したものと同様である。上記実施の形態１と異なる箇所としては、目標情報量演算部１７が、画像特性演算部１６により符号化対象画像に高輝度且つ高精細な画像が検出されたか否かに応じて、各ピクチャの目標情報量を変更する。

次に動作について説明する。
以降では、説明の簡単のため、上記実施の形態１と同様にＭＰＥＧ−２符号化方式で、各ピクチャの目標情報量を求める演算式もＴＭ５を用いる場合を例に挙げる。なお、本実施の形態による画像符号化装置の基本的な動作は上記実施の形態１と同様であるので、異なる点である目標情報量演算部１７による各ピクチャの目標情報量の演算処理について主に説明する。なお、ＨＤＴＶ信号について示すがＳＤＴＶ信号においても同様に適用できるものである。

画像特性演算部１６は、フレームごとの符号化対象ブロックとしてメモリ１から読み出した符号化対象画像（例えば、ＨＤＴＶ信号）が高輝度且つ高精細な画像であるか否かをモニタする。具体的には、画像特性演算部１６が画像特性パラメータとしてフレーム単位あるいはフレームをいくつかに分割した領域単位で画素値の平均値と分散値、あるいは周波数成分を調べることにより検出できる。例えば、領域単位の平均値と分散値あるいは周波数成分が予め設定した閾値よりも高いときに高輝度かつ高精細な画像と判定する。

目標情報量演算部１７は、画像特性演算部１６が高輝度且つ高精細な画像を検出しないとき、Ｋｐ，Ｋｂ値を例えばＫｐ＝２．０、Ｋｂ＝３．０として上記式（１）〜（３）に設定し各ピクチャの目標情報量を算出する。

なお、上記Ｋｐ，Ｋｂ値は、上記実施の形態１で示した方法で決定される値を用いても良い。つまり、高輝度且つ高精細な画像ではないとき、上記実施の形態１で説明したように、他のピクチャと比較してＩピクチャにより発生する情報量が相対的に小さくなることによって生じるＩピクチャに同期したぼけを防止するため、通常値（Ｋｐ＝１．０、Ｋｂ＝１．４）よりＫｐ，Ｋｂ値を大きくしてＩピクチャに対する目標情報量の割合を多くする。

一方、上述のようにして画像特性演算部１６が符号化対象画像から高輝度且つ高精細な画像を検出すると、目標情報量演算部１７は、高輝度且つ高精細な画像が検出されないときより大きなＫｐ，Ｋｂ値、例えばＫｐ＝３．０、Ｋｂ＝４．０を上記式（１）〜（３）に設定し各ピクチャの目標情報量を算出する。

図５は、高輝度且つ高精細な画像の一例を示す図であり、この画像はＣＺＰ（サーキュラーゾーンプレート）と呼ばれるテスト画像である。画面の中心から外側に向かって正弦関数的に輝度レベルが変化していくものである。また、外側に向かうほど正弦関数の周波数が高くなる。

簡単に言えば、白と黒の帯が同心円状に配置され、外側に向かうほど帯の幅が狭くなっている。このような画像として白と黒の帯が中心に向かって移動する動画像もある。また、画面の四隅の部分は、周波数成分が高く、即ち高精細な部分であり、且つ輝度レベルが白の領域が存在するため高輝度でもある。

このような画像では、Ｉピクチャにより発生した情報量が少ない場合、符号化したときに高域周波数成分が失われる。このため、解像度が悪くなり、視覚的には復号後の画像にＩピクチャに同期したぼけがかなり顕著に見えるようになる。

そこで、上述したように高輝度且つ高精細な画像を符号化する場合、他の画像である場合より大きなＫｐ，Ｋｂ値を上記式（１）〜（３）に設定して各ピクチャの目標情報量を算出することで、Ｉピクチャにより発生する情報量を増加させる。

また、高輝度且つ高精細な画像を検出したとき、Ｉピクチャにより多くの目標情報量を割り当てることができれば、上述したＫｐ，Ｋｂ値の代わりに他の数値を使用することも可能である。

以上のように、この実施の形態５によれば、画像特性演算部１６が、Ｉピクチャにより発生する情報量が他のピクチャと比較して相対的に小さくなることによる画質劣化の影響を受けやすい高輝度且つ高精細な画像を画像特性パラメータとして検出し、これにより高輝度且つ高精細な画像が検出されると、目標情報量演算部１７が、当該画像の視覚的な特性に応じて、各ピクチャの目標情報量を算出するので、復号後に最適な画質を与える符号化処理を実現することができる。特にＩピクチャにより発生する情報量が小さいことに起因する画質劣化の発生を防止することができる。

なお、上記実施の形態では、高輝度且つ高精細な画像が検出されると、目標情報量演算部１７に予め設定されたＫｐ，Ｋｂ値を用いる例を示したが、下記のように構成しても良い。

先ず、画像特性演算部１６が高輝度且つ高精細な画像を検出するにあたり、その高輝度且つ高精細の度合も規定して目標情報量演算部１７に出力する。輝度や精細さのレベルとＫｐ，Ｋｂ値の変更分とを関連付けたデータなどを用いて、目標情報量演算部１７が、高輝度且つ高精細のレベルに応じてＫｐ，Ｋｂ値の変更分を決定し、各ピクチャの目標情報量を算出する。

例えば、より高精細（画素値の分散や周波数成分がより高い）になるほど、Ｉピクチャの目標情報量を増加させるＫｐ，Ｋｂ値を設定する。このように構成することで、さらに詳細に画質劣化に起因するファクタに対応することができる。

実施の形態６．
この実施の形態６では、上記実施の形態１で示した処理に加え、動き補償予測部１３によって動きの速い画像が検出されたときに、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの目標情報量を変更するものである。

実施の形態６による画像符号化装置の基本的な構成は、上記実施の形態１の図１で示したものと同様である。上記実施の形態１と異なる箇所としては、目標情報量演算部１７が、符号化対象画像の動きベクトル情報に応じて、Ｉピクチャ、Ｐピクチャ及びＢピクチャに割り当てるべき目標情報量を算出する。

次に動作について説明する。
以降では、説明の簡単のため、上記実施の形態１と同様にＭＰＥＧ−２符号化方式で、各ピクチャの目標情報量を求める演算式もＴＭ５を用いる場合を例に挙げる。なお、本実施の形態による画像符号化装置の基本的な動作は上記実施の形態１と同様であるので、異なる点である目標情報量演算部１７による各ピクチャの目標情報量の演算処理について主に説明する。なお、ＨＤＴＶ信号について示すがＳＤＴＶ信号においても同様に適用できるものである。

例えば、動きベクトルと各ピクチャにより発生する情報量とのデータを用いて、各ピクチャの目標情報量の変更が必要な動きの速い画像を規定する動きベクトルの大きさに関する閾値を求める条件式を動き補償予測部１３に設定しておく。あるいは、外部から上記動きベクトルの閾値の設定を受け付ける構成を設けておく。

動き補償予測部１３は、符号化対象ブロックから動きベクトルを検出すると、この大きさと予め設定した上記閾値とを比較して、当該ブロックの画像が動きの速い画像であるか否かを判定する。これにより、現在符号化対象となっている画像が動きの速い画像であると判定されると、動き補償予測部１３は、その旨を動きベクトルと共に動きベクトル情報として目標情報量演算部１７に出力する。

なお、上記実施の形態１で説明したような動き補償予測部１３による動き検出機能を、画像特性演算部１６に設け、上述した動きベクトルに基づく動きの速い画像の検出処理を画像特性演算部１６で実行するように構成しても良い。

図６は、動きの速い画像を含む符号化対象画像の一例を示す図である。図示の例では、フレーム番号が１からＫ−１までが動きの遅い期間、ＫからＮまでが動きの速い期間である。この図に沿って説明する。

フレーム番号が１からＫ−１までが符号化対象画像であるとき、動き補償予測部１３は、これらの動きベクトルから動きの速い画像ではないものと判定し、その旨を目標情報量演算部１７に出力する。

目標情報量演算部１７は、動き補償予測部１３から符号化対象画像が動きの速い画像ではないとの判定結果を受けると、Ｋｐ，Ｋｂ値を例えばＫｐ＝２．０、Ｋｂ＝３．０として上記式（１）〜（３）に設定し各ピクチャの目標情報量を算出する。

なお、上記Ｋｐ，Ｋｂ値は、上記実施の形態１で示した方法で決定される値を用いても良い。つまり、動きの遅い期間では、上記実施の形態１で説明したように、他のピクチャと比較してＩピクチャにより発生する情報量が相対的に小さくなることによって生じるＩピクチャに同期したぼけを防止するため、通常値（Ｋｐ＝１．０、Ｋｂ＝１．４）よりＫｐ，Ｋｂ値を大きくしてＩピクチャに対する目標情報量の割合を多くする。

一方、フレーム番号がＫからＮまでが符号化対象画像であるとき、動き補償予測部１３は、これらの動きベクトルから動きの速い画像であると判定し、その旨を目標情報量演算部１７に出力する。

目標情報量演算部１７では、動き補償予測部１３によって符号化対象画像が動きの速い画像であると判定されると、Ｋｐ，Ｋｂ値を動きの遅い画像である場合より小さい、例えばＫｐ＝１．５、Ｋｂ＝２．０として上記式（１）〜（３）に設定し各ピクチャの目標情報量を算出する。

動きの速い期間では、動きの遅い期間と比較してフレーム間の相関が低くなり、動き補償予測の効率が低下するとともに動きベクトルに費やされる情報量が多くなる。即ち、動きの速い期間においてＩピクチャに対するＰピクチャ、Ｂピクチャの発生情報量の割合が動きの遅い期間よりも大きくなる。

そこで、符号化対象画像に動きの速い画像が検出されたときには、Ｐピクチャ、Ｂピクチャに対する目標情報量を増加させるため、Ｋｐ，Ｋｂ値を動きの遅い期間と比較して小さくする。これにより、ＰピクチャやＢピクチャにより発生する情報量が増加するため、Ｋｐ，Ｋｂ値を変更しない場合と比較して復号後の画質を向上させることができる。

また、動きの速い画像を検出した場合において、Ｐピクチャ、Ｂピクチャに多くの目標情報量を割り当てることができる限り、上述したＫｐ，Ｋｂ値の代わりに他の数値を使用することも可能である。

以上のように、この実施の形態６によれば、動き補償予測部１３が、符号化対象画像から動きの速い画像の有無を検出し、これにより動きの速い画像が検出されると、目標情報量演算部１７が、当該画像の視覚的な特性に応じて、各ピクチャの目標情報量を算出するので、復号後に最適な画質を与える符号化処理を実現することができる。特に動きの速い画像においてＩピクチャでの発生情報量が他のピクチャより大きくなることに起因する画質劣化の発生を防止することができる。

なお、上記実施の形態では、動きの速い画像が検出されると、目標情報量演算部１７に予め設定されたＫｐ，Ｋｂ値を用いる例を示したが、下記のように構成しても良い。

例えば、目標情報量演算部１７が、動き補償予測部１３から動きの速い画像を検出した旨を受信すると、当該画像の符号化結果についてのバッファ占有量をバッファ７から取得して、動きベクトルに費やされる情報量（動きの速さの度合）を算出する。

このあと、目標情報量演算部１７が、動きベクトルに費やされる情報量とＫｐ，Ｋｂ値の変更分とを関連付けたデータなどを用いて、動きベクトルに費やされる情報量に応じてＫｐ，Ｋｂ値の変更分を決定し、各ピクチャの目標情報量を算出する。

例えば、より動きが速い（動きベクトルに費やされる情報量が大きい）画像になるほど、ＰピクチャやＢピクチャの目標情報量を増加させるＫｐ，Ｋｂ値を設定する。このように構成することで、さらに詳細に画質劣化に起因するファクタに対応することができる。

実施の形態７．
この実施の形態７では、上記実施の形態１で示した処理に加え、画像特性演算部１６において静止画像が検出されたときに、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの目標情報量を変更するものである。

実施の形態７による画像符号化装置の基本的な構成は、上記実施の形態１の図１で示したものと同様である。上記実施の形態１と異なる箇所としては、目標情報量演算部１７が、符号化対象画像に静止画像が含まれるか否かに応じて、Ｉピクチャ、Ｐピクチャ及びＢピクチャに割り当てるべき目標情報量を算出する。

次に動作について説明する。
以降では、説明の簡単のため、上記実施の形態１と同様にＭＰＥＧ−２符号化方式で、各ピクチャの目標情報量を求める演算式もＴＭ５を用いる場合を例に挙げる。なお、本実施の形態による画像符号化装置の基本的な動作は上記実施の形態１と同様であるので、異なる点である目標情報量演算部１７による各ピクチャの目標情報量の演算処理について主に説明する。なお、ＨＤＴＶ信号について示すがＳＤＴＶ信号においても同様に適用できるものである。

画像特性演算部１６は、フレームごとの符号化対象ブロックとしてメモリ１から読み出した符号化対象画像（例えば、ＨＤＴＶ信号）に静止画像が含まれているか否かをモニタする。具体的には、画像特性演算部１６が、画像特性パラメータとしてフレーム単位あるいはフレームをいくつかに分割した領域単位で、画素値の平均値と分散値、あるいは周波数成分を算出し、これらのフレーム間差分の絶対値和を求める。

これにより、画像特性演算部１６は、例えば上記フレーム間差分絶対値和が予め設定した閾値よりも低いときに静止画像と判定する。なお、この閾値としては、例えば差分絶対値和と各ピクチャにより発生する情報量とのデータを用いて、各ピクチャの目標情報量の変更が必要な静止画像を規定するフレーム間差分絶対値和に関する閾値を求める条件式を設定しておく。あるいは、外部から上記フレーム間差分絶対値和の閾値の設定を受け付ける構成を設けておくようにしてもよい。

目標情報量演算部１７は、画像特性演算部１６が静止画像を検出しないとき、Ｋｐ，Ｋｂ値を例えばＫｐ＝２．０、Ｋｂ＝３．０として上記式（１）〜（３）に設定し各ピクチャの目標情報量を算出する。

なお、上記Ｋｐ，Ｋｂ値は、上記実施の形態１で示した方法で決定される値を用いても良い。つまり、静止画像でないとき、上記実施の形態１で説明したように、他のピクチャと比較してＩピクチャにより発生する情報量が相対的に小さくなることによって生じるＩピクチャに同期したぼけを防止するため、通常値（Ｋｐ＝１．０、Ｋｂ＝１．４）よりＫｐ，Ｋｂ値を大きくしてＩピクチャに対する目標情報量の割合を多くする。

一方、上述のようにして画像特性演算部１６が符号化対象画像から静止画像を検出すると、目標情報量演算部１７は、静止画像が検出されないときより大きなＫｐ，Ｋｂ値、例えばＫｐ＝３．０、Ｋｂ＝４．０を上記式（１）〜（３）に設定し各ピクチャの目標情報量を算出する。

このようにＫｐ，Ｋｂ値を増加させる理由を説明すると、静止画像では、Ｐピクチャ、Ｂピクチャにおいて動きベクトルに費やされる情報量も少なく、動き補償予測の効率も高い。このため、誤差信号も小さくＤＣＴ係数へ費やされる情報量も少ない。従って、ＰピクチャやＢピクチャの発生情報量は非常に少なくなる。

しかしながら、静止画像では、他のピクチャと比較してＩピクチャの目標情報量が相対的に少ない場合、これに起因するぼけが他の画像よりも顕著になる。そこで、静止画像が検出されないときより大きなＫｐ，Ｋｂ値を設定して、Ｉピクチャの目標情報量を増加させる必要がある。

また、静止画像を検出した場合において、Ｉピクチャに多くの目標情報量を割り当てることができる限り、上述したＫｐ，Ｋｂ値の代わりに他の数値を使用することも可能である。

以上のように、この実施の形態７によれば、画像特性演算部１６が、符号化対象画像から静止画像の有無を検出し、これにより静止画像が検出されると、目標情報量演算部１７が、当該画像の視覚的な特性に応じて、各ピクチャの目標情報量を算出するので、復号後に最適な画質を与える符号化処理を実現することができる。特に静止画像においてＩピクチャの目標情報量が他のピクチャより小さいことに起因する画質劣化の発生を防止することができる。

また、上記実施の形態では、静止画像が検出されると、目標情報量演算部１７に予め設定されたＫｐ，Ｋｂ値を用いる例を示したが、下記のように構成しても良い。

画像特性演算部１６が静止画像を検出するにあたり、その静止画像の精細さのレベルも規定して目標情報量演算部１７に出力する。精細さのレベルとＫｐ，Ｋｂ値の変更分とを関連付けたデータなどを用いて、目標情報量演算部１７が、静止画像の精細さのレベルに応じてＫｐ，Ｋｂ値の変更分を決定し、各ピクチャの目標情報量を算出する。

例えば、静止画像の精細さが高くなる（画素値の分散や周波数成分がより高い）ほど、Ｉピクチャの目標情報量を増加させるＫｐ，Ｋｂ値を設定する。このように構成することで、さらに詳細に画質劣化に起因するファクタに対応することができる。

さらに、上記実施の形態１から７までに示した処理を適宜組み合わせて各ピクチャの目標情報量を演算するように構成しても良い。例えば、上記実施の形態１の構成を基本として、画像特性演算部１６や目標情報量演算部１７が、上記実施の形態２から７までの処理を符号化対象画像の画像特性に基づいて適応的に実施する。このように構成することで、さらに詳細に画質劣化に起因するファクタに対応することができる。

なお、上記実施の形態１から７ではＭＰＥＧ−２による符号化を例に挙げたが、本発明はこれに限定されるものではない。つまり、Ｉ、Ｐ、Ｂピクチャのいずれかで符号化を行い、各ピクチャの目標情報量を求める演算において各ピクチャの量子化スケールコードの比率を規定するパラメータ値を使用する符号化処理であれば、ＭＰＥＧ−２以外であっても適用することができる。

この発明の実施の形態１による画像符号化装置の構成を示すブロック図である。 インター符号化における量子化マトリクスを示す図である。 符号化時におけるＭ値の変化を説明する図である。 ディゾルブ画像の一例を示す図である。 高輝度且つ高精細な画像の一例を示す図である。 動きの速い画像を含む符号化対象画像の一例を示す図である。

符号の説明

１ メモリ、２ 減算器、３ セレクタ、４ ＤＣＴ（Discrete Cosine Transform)演算器（符号化部）、５ 量子化器（符号化部）、６ 可変長符号化部（符号化部）、７ バッファ、８ 逆量子化器、９ 逆ＤＣＴ演算器、１０ フレーム加算器、１１ セレクタ、１２ イントラ／インター判定部、１３ 動き補償予測部、１４ フレームメモリ、１５ 量子化制御部、１６ 画像特性演算部、１７ 目標情報量演算部。

Claims (12)

1. 時間軸上に並んだ複数の画像より構成される符号化対象画像を入力し、上記符号化対象画像の視覚的な特性を示す画像特性パラメータを求める画像特性演算部と、
   上記時間軸上の画像内における符号化方法及び上記時間軸上の画像間における符号化方法での符号化により発生する情報量が上記画像特性パラメータで示される特性を有する符号化対象画像の画質に与える影響を判定し、当該判定結果に応じて上記各符号化方法に割り当てる目標情報量を算出する目標情報量演算部と、
   上記符号化対象画像に対して上記目標情報量演算部により算出された目標情報量で上記各符号化方法による符号化を実行する符号化部と
   を備えた画像符号化装置。
2. 目標情報量演算部は、符号化対象画像が高域周波数成分を有するハイビジョン画像である場合に、時間軸上の画像内における符号化方法及び上記時間軸上の画像間における符号化方法での符号化により発生する情報量とが上記ハイビジョン画像の画質に与える影響を判定し、当該判定結果に応じて上記各符号化方法に割り当てる目標情報量を変更することを特徴とする請求項１記載の画像符号化装置。
3. 目標情報量演算部は、符号化レートの大きさと、これに基づいて実行する各符号化方法での符号化により発生する情報量とが符号化対象画像の画質に与える影響を判定し、当該判定結果に応じて上記各符号化方法に割り当てる目標情報量を変更することを特徴とする請求項１記載の画像符号化装置。
4. 目標情報量演算部は、量子化マトリクスにおける符号化対象画像の周波数成分に対応する係数の大きさと、これに基づいて実行する各符号化方法での符号化により発生する情報量とが上記符号化対象画像の画質に与える影響を判定し、当該判定結果に応じて上記各符号化方法に割り当てる目標情報量を変更することを特徴とする請求項１記載の画像符号化装置。
5. 符号化部は、符号化対象画像に対して、時間軸上の画像内における符号化方法としてＩピクチャ、上記時間軸上の画像間における符号化方法としてＰピクチャ及びＢピクチャからなるＧＯＰ単位で符号化を行い、
   目標情報量演算部は、Ｐピクチャによる符号化を実施する間隔と、各符号化方法での符号化により発生する情報量とが上記符号化対象画像の画質に与える影響を判定し、当該判定結果に応じて上記各符号化方法に割り当てる目標情報量を変更することを特徴とする請求項１記載の画像符号化装置。
6. 画像特性演算部は、符号化対象画像中に、各符号化方法での符号化により発生する情報量が画質に影響を与え得る画像加工を施した特殊画像が含まれているか否かを検出し、
   目標情報量演算部は、上記画像特性演算部により上記特殊画像が検出されると、上記各符号化方法での符号化により発生する情報量が上記特殊画像の画質に与える影響を判定し、当該判定結果に応じて上記各符号化方法に割り当てる目標情報量を変更することを特徴とする請求項１記載の画像符号化装置。
7. 画像特性演算部は、符号化対象画像中に、各符号化方法での符号化により発生する情報量が画質に影響を与え得る輝度及び周波数成分を有した画像が含まれているか否かを検出し、
   目標情報量演算部は、上記画像特性演算部により上記画像が検出されると、上記各符号化方法での符号化により発生する情報量が上記画像の画質に与える影響を判定し、当該判定結果に応じて各符号化方法に割り当てる目標情報量を変更することを特徴とする請求項１記載の画像符号化装置。
8. 画像特性演算部は、符号化対象画像中に、各符号化方法により発生する情報量が画質に影響を与え得る動き特性を有した画像が含まれているか否かを検出し、
   目標情報量演算部は、上記画像特性演算部により上記動き特性を有する画像が検出されると、上記各符号化方法により発生する情報量が上記動き特性を有する画像の画質に与える影響を判定し、当該判定結果に応じて上記各符号化方法に割り当てる目標情報量を変更することを特徴とする請求項１記載の画像符号化装置。
9. 画像特性演算部は、符号化対象画像中に静止画像が含まれているか否かを検出し、
   目標情報量演算部は、上記画像特性演算部により上記静止画像が検出されると、各符号化方法により発生する情報量が上記静止画像の画質に与える影響を判定し、当該判定結果に応じて上記各符号化方法に割り当てる目標情報量を変更することを特徴とする請求項１記載の画像符号化装置。
10. 目標情報量演算部は、符号化対象画像を符号化した結果からその視覚的な特性を示す画像特性パラメータを求め、当該画像特性パラメータで示される特性を有する符号化対象画像の画質に与える影響を判定し、当該判定結果に応じて各符号化方法に割り当てる目標情報量を算出することを特徴とする請求項１記載の画像符号化装置。
11. 目標情報量演算部は、符号化対象画像を符号化した結果から、動きベクトルに費やされる情報量を含む動きベクトル情報を画像特性パラメータとして求める請求項１０記載の画像符号化装置。
12. 時間軸上に並んだ複数の画像より構成される符号化対象画像を入力し、上記符号化対象画像の視覚的な特性を示す画像特性パラメータを求める画像特性演算部、
    上記時間軸上の画像内における符号化方法及び上記時間軸上の画像間における符号化方法での符号化により発生する情報量が上記画像特性パラメータで示される特性を有する符号化対象画像の画質に与える影響を判定し、当該判定結果に応じて上記各符号化方法に割り当てる目標情報量を算出する目標情報量演算部、
    上記符号化対象画像に対して上記目標情報量演算部により算出された目標情報量で上記各符号化方法による符号化を実行する符号化部
    としてコンピュータを機能させるプログラム。

Images