JP2010288166A - 動画像符号化装置、放送波記録装置及び、プログラム - Google Patents

Abstract

【課題】動画像符号化装置において、制御グループ先頭でまとめて量子化行列を符号化する場合に、制御グループの途中で局所的に極端に複雑な画像が入力された場合にもバッファを溢れさせることなく安定した画質を維持するようなストリームを生成することを実現する。
【解決手段】制御グループの先頭でまとめて量子化行列を符号化する際に、通常の量子化行列と共に符号量を抑制する量子化行列を符号化する。そして、符号化対象となるピクチャの発生符号量が所定値を超える場合は、符号量を抑制する量子化行列を用いて符号化対象のピクチャを符号化する。
【選択図】図１

Description

本発明は、入力された動画像を情報量の圧縮された符号化信号に変換する動画像符号化装置、放送波記録装置及び、プログラムに関し、特に量子化行列の符号化方法の技術に関するものである。

一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。空間方向の冗長性削減を目的として参照画像を持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。また、時間方向の冗長性削減を目的として１枚のピクチャのみを参照し画面間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化を行うことのできるものをＢピクチャと呼ぶ。一般的な動画像符号化ストリームでは、これらの各ピクチャはさらにＧＯＰと呼ばれるピクチャの集合で管理される。このときＧＯＰとしては、例えば、あるＩピクチャから次に出現するＩピクチャまでの連続した複数ピクチャの集合をさす場合や、対象ストリームを途中から復号化するときの復号化開始ピクチャとして使用することのできるピクチャ（ランダムアクセスを行うことのできるピクチャ）を先頭に連続した複数ピクチャの集合をさす場合などがある。

符号化対象の各ピクチャはマクロブロックと呼ばれる符号化単位ブロックに分割され、前記ブロック毎に画面内予測もしくは画面間予測を行って符号化を行う。具体的には、マクロブロック単位で予測によって生成した予測画像と符号化対象とする入力画像との差分値を算出し、得られた差分値画像に対して離散コサイン変換等の直交変換を行い、変換後の各変換係数値を量子化することにより情報量が圧縮される。このとき量子化行列と呼ばれる行列を用いることにより、周波数成分位置毎に精度の異なる量子化を行うことが可能である。

しかし動画像は常に画像の特徴が変化するため、どの周波数成分位置の係数に対しどの程度の量子化精度が求められるかは常に変わってくる。例えば量子化の精度を上げるような量子化行列を使用するとそれだけ符号化ストリームのデータ量が増えてしまい、逆に量子化の精度を下げるような量子化行列を使用するとそれだけ復号化したときの画像の画質が劣化してしまう。特に、発生符号量が多すぎると、想定しているストリームバッファの残り容量が少なくなり、バッファが溢れないように極端に少ないデータ量で符号化しようとする制御が働き、大幅な画質劣化の原因となることがある。

前記課題に対する対策方法として、例えば特許文献１にあるように、予め複数の量子化行列を用意しておき、バッファの使用容量に応じて前記複数の量子化行列のいずれかを選択して使用し、各ピクチャのヘッダ情報として符号化する方法がある。この方法を用いることによりバッファの残り容量が少なくなる前に発生符号量を抑制し、バッファが溢れるリスクを下げることが可能となる。

また別の対策方法として、例えば特許文献２にあるように、ＧＯＰ単位で符号化を行ったときに実際に発生した符号量と、符号化前に予め定義していた目標符号量との比率を求め、その比率に応じて量子化行列の係数値を変えて符号化に使用し、ヘッダ情報として符号化する方法がある。この方法を用いることによりバッファの残り容量が少なくなる前に発生符号量を抑制してバッファが溢れることを回避することが可能となる。この方法を用いることにより、目標よりも実際に発生した符号量が少ない場合、つまり想定よりも符号化が簡単な画像であった場合にのみ、量子化の精度を上げて画質を向上させることにより、バッファが溢れるリスクを下げることが可能となる。

一方、動画像符号化の代表的なものとして、ＩＴＵ−Ｔ（国際電機通信連合）とＩＳＯ（国際標準化機構）によって規格化されたＨ．２６４がある。Ｈ．２６４では、前記量子化行列をヘッダ情報として各ピクチャの先頭で符号化したり、もしくは対象ＧＯＰ内で使用する量子化行列を全てまとめてＧＯＰの先頭で符号化したりということが可能である。このＨ．２６４のような符号化方法を用いると、ＧＯＰ内の複数のピクチャで同じ量子化行列を使用する場合はＧＯＰ先頭で１回だけ符号化すればよいので、無駄な符号量の発生を抑制することができる。

特開平１０−１５０６５９号公報 特許第４０８１７２７号公報

上記のようにＧＯＰ先頭でまとめて量子化行列を符号化する方式においては、特許文献１及び、特許文献２において示した従来技術では、ＧＯＰ先頭でヘッダ情報を生成する時点ではＧＯＰ内でどのような画像が入力されるか分からないため、ＧＯＰの途中で局所的に極端に複雑な画像が入力された場合にバッファが溢れてしまう可能性があった。

そこで、本発明は、前記従来の課題を解決するもので、ＧＯＰ等の制御グループ先頭でまとめて量子化行列を符号化する方式においてもバッファを溢れさせることなく符号化を行うことを可能とする動画像符号化装置を提供することを目的とする。

前記従来の課題を解決するために、本発明は量子化処理において使用する量子化行列の設定を複数のピクチャで構成される制御グループ単位で行なう動画像符号化装置であって、前記制御グループの各ピクチャを量子化する際に使用する複数の量子化行列を生成する共に、生成した量子化行列を当該制御グループのヘッダ部にまとめて格納する量子化行列符号化部と、符号化対象となっている第１のピクチャに応じて、前記ヘッダ部に格納される複数の量子化行列から第１の量子化行列を選択する選択部と、当該第１の量子化行列を用いて前記第１ピクチャを符号化し、符号化信号を出力する符号化部と、を備え、前記量子化行列符号化部は、前記制御グループ内のピクチャで共通に使用する複数の量子化行列を生成すると共に、当該制御グループ内の特定のピクチャにおいて発生符号量の抑制制御を行なう際に使用する発生符号量抑制量子化行列を生成することを特徴とする。

また、本発明は放送局から放送される動画像信号を量子化する際、当該量子化処理において使用する量子化行列の設定を複数のピクチャで構成される制御グループ単位で行なう放送波記録装置であって、前記制御グループ間で共通に使用される複数の量子化行列と、当該制御グループの発生符号量を抑制する発生符号量抑制量子化行列と、を生成すると共に、生成した量子化行列を当該制御グループのヘッダ部にまとめて格納する量子化行列符号化部と、前記制御グループの符号化を行う際、当該制御グループに含まれるピクチャの符号量を抑制するか否かを判定する発生符号量抑制判定部と、符号化対象となっている第１のピクチャに応じて、前記ヘッダ部に格納される複数の量子化行列から第１の量子化行列を選択する選択部と、当該第１の量子化行列を用いて前記第１ピクチャを符号化し、符号化信号を出力する符号化部と、を備え、前記選択部は、前記発生符号量抑制判定部において発生符号量を抑制すると判定した場合、前記第１の量子化行列として前記発生符号量抑制量子化行列を選択することを特徴とする構成でも構わない。

なお、本発明は、このような動画像符号化装置として実現することができるだけでなく、このような動画像符号化装置に含まれる各手段と同等の処理をプログラムや集積回路としても実現することもできる。

本発明の動画像符号化装置によれば、例えば、ＧＯＰ、入力される動画像等、制御される構成単位である制御グループ先頭でまとめて量子化行列を符号化する方式において、制御グループの途中で入力された符号化対象画像が極端に複雑な画像に変わった場合でも発生する符号量を抑制することが可能となり、バッファが溢れることなく安定した画質を維持するようなストリームを生成することを実現できる。

本発明の実施形態１における動画像符号化装置の構成を示すブロック図 本発明の実施の形態１における符号列の構造を示す概念図 本発明の実施の形態１における量子化行列生成部１０８において生成されるＱＭ及び、発生符号量抑制ＱＭの係数値を示す図 本実施の形態１における量子化行列選択部１０９における量子化行列の選択方法を示す図 本発明の実施の形態１におけるバッファ蓄積Ｂｉｔ量の遷移の様子を示す図 本発明の実施の形態１における量子化行列選択部１０９におけるさらに別のＱＭ選択方法を示す図 本発明の実施の形態２における動画像符号化装置７００のブロック図 本発明の実施の形態２におけるバッファ蓄積Ｂｉｔ量を用いて発生符号量抑制ＱＭを生成するか否かを制御するフローチャート 本発明の実施の形態３における動画像符号化装置８００を示すブロック図 本発明の実施の形態３における量子化行列生成部８０８の具体的な動作を示す図 本発明の実施の形態４における符号化ストリームの全体構造を示す概念図

本発明の実施の形態における動画像符号化装置は、量子化処理において使用する量子化行列の設定を複数のピクチャで構成される制御グループ単位で行なう動画像符号化装置であって、前記制御グループの各ピクチャを量子化する際に使用する複数の量子化行列を生成する共に、生成した量子化行列を当該制御グループのヘッダ部にまとめて格納する量子化行列符号化部と、符号化対象となっている第１のピクチャに応じて、前記ヘッダ部に格納される複数の量子化行列から第１の量子化行列を選択する選択部と、当該第１の量子化行列を用いて前記第１ピクチャを符号化し、符号化信号を出力する符号化部と、を備え、前記量子化行列符号化部は、前記制御グループ内のピクチャで共通に使用する複数の量子化行列を生成すると共に、当該制御グループ内の特定のピクチャにおいて発生符号量の抑制制御を行なう際に使用する発生符号量抑制量子化行列を生成することを特徴とする。

さらに、放送局から放送される動画像信号を量子化する際、当該量子化処理において使用する量子化行列の設定を複数のピクチャで構成される制御グループ単位で行なう放送波記録装置であって、前記制御グループ間で共通に使用される複数の量子化行列と、当該制御グループの発生符号量を抑制する発生符号量抑制量子化行列と、を生成すると共に、生成した量子化行列を当該制御グループのヘッダ部にまとめて格納する量子化行列符号化部と、前記制御グループの符号化を行う際、当該制御グループに含まれるピクチャの符号量を抑制するか否かを判定する発生符号量抑制判定部と、符号化対象となっている第１のピクチャに応じて、前記ヘッダ部に格納される複数の量子化行列から第１の量子化行列を選択する選択部と、当該第１の量子化行列を用いて前記第１ピクチャを符号化し、符号化信号を出力する符号化部と、を備え、前記選択部は、前記発生符号量抑制判定部において発生符号量を抑制すると判定した場合、前記第１の量子化行列として前記発生符号量抑制量子化行列を選択することを特徴とする構成でも構わない。

なお、本発明は、このような動画像符号化装置として実現することができるだけでなく、このような動画像符号化装置に含まれる各手段と同等の処理をプログラムや集積回路としても実現することもできる。

上記のような構成により、例えば、ＧＯＰ、入力される動画像等、制御される構成単位である制御グループ先頭でまとめて量子化行列を符号化する方式において、制御グループの途中で入力された符号化対象画像が極端に複雑な画像に変わった場合でも発生する符号量を抑制することが可能となり、バッファが溢れることなく安定した画質を維持するようなストリームを生成することを実現できる。

ここで、制御グループとは、動画像信号が入力されてから、符号化信号として出力されるまでの処理中に、処理の制御単位として扱われるグループである。具体的には、入力される動画像信号の全体若しくは、一部となる。動画像信号の一部を制御グループとして用いる際は、符号化時の制御単位であるＧＯＰ等を用いた構成でも構わない。なお、ＧＯＰを用いる際は、単独のＧＯＰを制御グループとしても構わないし、複数のＧＯＰを制御グループとしても構わない。

さらに、上記の抑制制御とは、符号化部において行われる通常時の抑制制御ではなく、上記制御グループ内の特定のピクチャにおける発生符号量が増大し、制御グループ全体符号量若しくは、該特定のピクチャ自体の符号量が、符号化規格に規定される発生符号量を超える若しくは、超えうると予想される際に動作する制御である。ここで、通常時の抑制制御とは、符号化の目的である入力される動画像が有する符号量を減少させるという目的を達成するために行う制御である。

上記の構成により、符号化部は、通常時の抑制制御を行う際には制御グループ内のピクチャにおいて共通に設定される複数の量子化行列を使用する動作となり、制御グループ全体符号量若しくは、該特定のピクチャ自体の符号量が符号化規格に規定される発生符号量を超える若しくは、超えうると予想される際には発生符号量抑制量子化行列を使用する構成となる。

また、動画像符号化装置はさらに、前記制御グループ内のピクチャの発生符号量を抑制するか否かを判定する発生符号量抑制判定部を備え、前記選択部は、前記発生符号量抑制判定部において発生符号量を抑制すると判定した場合、前記第１の量子化行列として前記発生符号量抑制量子化行列を選択する構成にしても構わない。

また、前記動画像符号化装置はさらに、前記符号化信号のレート制御を行なうレート制御部を備え、前記発生符号量抑制判定部は、前記レート制御部において使用される情報を基に、前記発生符号量を抑制するか否かを判定することを特徴とする構成にしても構わない。

また、前記動画像符号化装置はさらに、前記レート制御部においてレート制御する際に使用するレート制御用バッファを備え、前記発生符号量抑制判定部は、前記レート制御用バッファの蓄積量を基に、前記発生符号量を抑制するか否かを判定することを特徴とする構成にしても構わない。

また、前記発生符号量抑制判定部は、前記レート制御部において利用される量子化値に応じて、前記発生符号量を抑制するか否かを判定することを特徴とする構成にしても構わない。

また、前記発生符号量抑制判定部は、前記量子化値が制御可能な範囲の最大値であり、かつ、実際に符号化されたピクチャが有する符号量が、前記レート制御処理を行なう際に設定された目標符号量よりも大きい場合、発生符号量の抑制が必要であると判定する構成にしても構わない。

また、前記動画像符号化装置はさらに、前記符号化信号のレート制御を行なうレート制御部を備え、前記量子化行列生成部は、前記レート制御部において使用される制御情報を基に、符号化対象である制御グループのヘッダ部に前記発生符号量抑制量子化行列を生成するか否かを判定することを特徴とする構成にしても構わない。

また、前記制御情報は、前記符号化信号の出力ビットレートであることを特徴とする構成にしても構わない。

また、前記動画像符号化装置はさらに、前記レート制御部においてレート制御する際に使用するレート制御用バッファと、を備え、前記制御情報は、前記レート制御用バッファの蓄積量であることを特徴とする構成にしても構わない。

また、前記量子化行列生成部は、前記レート制御用バッファの蓄積量に応じて、前記発生符号量抑制量子化行列の係数値を、前記制御グループ毎に変更することを特徴とする構成にしても構わない。

また、前記量子化行列生成部は、前記レート制御用バッファの蓄積量が増加するにつれて、生成する前記発生符号量抑制量子化行列の係数値を増加させることを特徴とする構成にしても構わない。

また、前記量子化行列生成部は、前記レート制御用バッファの蓄積量が減少するにつれて、生成する前記発生符号量抑制量子化行列の係数値を減少させることを特徴とする構成にしても構わない。

また、前記量子化行列生成部は、前記発生符号量抑制量子化行列における周波数空間における低域成分に対応する係数値を、前記ヘッダ部に格納される他の量子化行列が有する係数値よりも２倍以上大きな値として生成する構成にしても構わない。

（実施の形態１）
以下、本発明の実施の形態１について、図面を参照しながら説明する。

図１は、本発明の実施の形態１における動画像符号化装置１００のブロック図である。動画像符号化装置１００は、図１に示すようにピクチャメモリ１０１、予測残差符号化部１０２、予測残差復号化部１０３、ローカルバッファ１０４、予測符号化部１０５、符号列生成部１０６、レート制御部１０７、量子化行列生成部１０８、量子化行列選択部１０９を備えている。

ピクチャメモリ１０１は、表示を行う順にピクチャ単位で入力される動画像を、符号化を行う順にピクチャの並び替えを行った後に蓄積する。そして、差分演算部１１１及び、予測符号化部１０５からの読出し命令を受け付けると、当該読出し命令に係る動画像を入力画像信号として出力する。なお、各々のピクチャはマクロブロックと呼ばれる例えば水平１６×垂直１６画素のブロックに分割されブロック単位で以降の処理が行われる。

予測残差符号化部１０２は、差分演算部１１１から出力される差分画像信号に対して直交変換を行う。さらに、直交変換された差分画像信号を、量子化行列選択部１０９で選択された量子化行列ＱＭ（Ｑｕａｎｔｉｚｅｄ ｍａｔｒｉｘ）及び、レート制御部１０７から出力される量子化値ＱＰ（Ｑｕａｎｔｉｚｅｄ Ｐａｒａｍｅｔｅｒ）値を用いて量子化し、残差符号化信号を生成する。そして、予測残差符号化部１０２は、生成した残差符号化信号を予測残差復号化部１０３及び、符号列生成部１０６に出力する。ここで、量子化処理は、直交変換後に得られる各周波数成分の直交変換係数に対し、マクロブロック単位で設定されるＱＰ値及び、ＱＭの対応する周波数成分位置の係数値を用いて処理を行なう。

予測残差復号化部１０３は、予測残差符号化部１０２から出力される残差符号化信号を、逆量子化、逆直交変換することで残差復号化信号を生成する。そして、生成した残差復号化信号を、加算演算部１１０に出力する。

ローカルバッファ１０４は、加算演算部１１０から出力される信号のうち、現在符号化対象となっているマクロブロック以降のマクロブロックを、画面間予測を用いて符号化する際、参照される可能性がある信号を格納する。

予測符号化部１０５は、ピクチャメモリ１０１から出力される入力画像信号を基に、画面内予測若しくは、画面間予測を用いて予測画像信号を生成する。そして、生成した予測画像信号は、差分演算部１１１及び、加算演算部１１０に出力する。なお、画面間予測を用いる際は、ローカルバッファ１０４に蓄積される信号を用いるものとする。

符号列生成部１０６は、予測残差符号化部１０２が出力する差分画像信号と、量子化行列生成部１０８から出力されるＱＭ及び、レート制御部１０７から出力されるバッファ蓄積Ｂｉｔ量、ＱＰ値を示す符号化情報と、を可変調符号化し、符号列を出力する。なお、符号列の具体的な構造は後述する。

レート制御部１０７は、符号列生成部１０６から出力される符号列を観測し、当該符号列の符号量を示すバッファ蓄積Ｂｉｔ量及び、符号列生成部１０６において使用されるＱＰ値を生成する。生成したバッファ蓄積Ｂｉｔ量及び、ＱＰ値は、符号列生成部１０６及び、量子化行列選択部１０９に出力される。さらにＱＰ値は、予測残差符号化部１０２にも出力される。

量子化行列生成部１０８は、ＧＯＰ処理の先頭において、ＧＯＰ内のピクチャに対して使用するＱＭと、符号列生成部１０６から出力される符号列の発生符号量を抑制する目的で使用する発生符号量抑制ＱＭとをまとめて生成する。生成したＱＭ及び、発生符号量抑制ＱＭは、符号列生成部１０６及び、量子化行列選択部１０９に出力される。なお、ＱＭ及び、発生符号量抑制ＱＭの生成方法に関しては後述する。

量子化行列選択部１０９は、レート制御部１０７で生成されたバッファ蓄積Ｂｉｔ量及び、ＱＰ値を基に、量子化行列生成部１０８において生成された複数のＱＭを選択し、予測残差符号化部１０２に出力する。なお、量子化行列生成部１０８において生成された複数のＱＭの選択方法に関しては後述する。

加算演算部１１０は、予測残差復号化部１０３から出力される残差復号化信号と、予測符号化部１０５が出力する予測画像信号とを加算し、再構成画像信号を生成する。そして、生成した再構成画像信号を、ローカルバッファ１０４に出力する。

差分演算部１１１は、ピクチャメモリ１０１から読み出された入力画像信号と、予測符号化部１０５の出力である予測画像信号との差分値である差分画像信号を生成する。そして、生成した差分画像信号を、予測残差符号化部１０２に出力する。

ここで、符号列生成部１０６が生成する符号列の構造に関して図面を用いて説明する。

図２は、本発明における実施の形態１における符号列の構造を示す概念図である。本実施の形態１における符号列は、入力される動画像に含まれるピクチャがＧＯＰ単位毎に区分される構造を有する。ＧＯＰ内に含まれるピクチャに関して、例えば復号化等において共通して使用されるパラメータは、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）２０１と呼ばれるヘッダ領域に符号化される。またピクチャ毎に異なる値を使用するパラメータはＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）２０２、２０３、２０４と呼ばれるヘッダ領域に記載される。図２において、１つのＳＰＳ２０１をＧＯＰ１内の全てのピクチャで参照して使用し、３つのＰＰＳ２０２、２０３、２０４をピクチャ毎に個別に選択して使用している。例えば、ＰＰＳ０（２０２）はＰｉｃｔｕｒｅ１およびＰｉｃｔｕｒｅ３で使用し、ＰＰＳ１（２０３）はＰｉｃｔｕｒｅ０で使用し、ＰＰＳ２（２０４）はＰｉｃｔｕｒｅ２で使用している。このようにＧＯＰ内で必要となる全てのＰＰＳをＧＯＰの先頭にまとめて符号化することで、ピクチャ毎に１つずつＰＰＳを符号化するよりも少ないＰＰＳの個数でストリームを構成できるため、無駄な符号量の発生を抑制することが可能となっている。ここで、量子化行列生成部１０８で生成されるＱＭ若しくは、発生符号量抑制ＱＭは、ＰＰＳ２０２、２０３、２０４内のパラメータとして格納される。

なお、上記のＱＭは、１つのピクチャを量子化する際に必要な分が、１つのＰＰＳにまとめて格納されている。図２の例では、一般的な量子化行列生成方法を用いて生成された通常ＱＭ０、通常ＱＭ１がそれぞれＰＰＳ０及び、ＰＰＳ１に格納されている。さらに、符号列の発生符号量を抑えるための発生符号量抑制ＱＭがＰＰＳ２に符号化されている。各ピクチャは使用するＰＰＳを選択することにより使用するＱＭを選択することが可能となる。

次に、量子化行列生成部１０８において生成するＱＭ及び、発生符号量抑制ＱＭに関して、図面を参照しながら具体的に説明する。

図３は、量子化行列生成部１０８において生成されるＱＭ及び、発生符号量抑制ＱＭの係数値を示す図である。

図３に示す通常ＱＭ０では、最も低い周波数成分位置に対応する係数値が６、最も高い周波数成分位置に対応する係数値が１１１となっている。ここで、ＱＭが有する各係数値が小さいほど、細かい量子化幅で量子化処理を行うことが可能である。つまり低い周波数成分ほどより正確に情報を再現できるような符号化を行っていることになる。しかし、この値が小さいと符号化時により多くの符号量を必要とするため、画質を優先するか符号量圧縮率を優先するかによって、これらの値の大小を制御することが必要となる。ちなみに、通常ＱＭ１は、通常ＱＭ０と比較して左下の成分の係数値が小さく設定されている。これは垂直成分に関して高周波数成分域まで高い精度で量子化を行う設定となり、例えばインターレース画像のように垂直方向に画素値の変動の大きな画像を符号化する際に適した設定となる。

一方、図３に示す発生符号量抑制ＱＭは、それ以外のＱＭと比較して低周波数成分域から高周波数成分域までの全ての係数値が大きな値となっている。つまり、このＱＭを使用することにより、画質は劣化するが発生する符号量を低域から高域までの全域において抑制する効果がある。直交変換を行った係数は低周波数成分域に集中して大きな値を取る場合が多い。つまり低周波数成分域のＱＭの係数値が大きくなると発生符号量の抑制効果もその分だけ大きくなる。図３の例では、発生符号量抑制ＱＭの低周波数成分域の係数値はそれ以外のＱＭの対応する係数値よりも２倍以上の値となっているため発生符号量の抑制効果の大きなＱＭとなっている。本実施の形態１においては、このような発生符号量抑制ＱＭを、各ＧＯＰ先頭のＰＰＳに対して、少なくとも１つ以上を符号化しておくことを特徴とする。

なお、通常ＱＭは、一般的に使用される量子化行列を生成する方法を用いて作成されるものである。また、発生符号量抑制ＱＭは通常ＱＭよりも大きな係数値を持つ符号化行列であればよく、どのような生成方法でも構わない。

次に、量子化行列選択部１０９における量子化行列の選択方法に関して、図面を参照しながら具体的に説明する。

図４（ａ）は、レート制御部１０７において生成されたバッファ蓄積Ｂｉｔ量を用いて量子化行列を選択するフローチャートである。なお、バッファ蓄積Ｂｉｔ量は図１のレート制御部１０７によって、既に符号化が完了したピクチャによって出力されたデータの符号量を用いて算出されるものとする。

まずＳ４０１においてバッファ蓄積Ｂｉｔ量が、予め設定されている所定の閾値より多いかどうかを判定する。もし閾値以上であった場合は、Ｓ４０２に進み、閾値よりも小さい場合は、Ｓ４０３に進む。

Ｓ４０２に進む場合、量子化行列選択部１０９は、発生符号量を抑制しないとバッファが溢れる危険性があると判定し、発生符号量抑制ＱＭを選択して量子化処理を行うように制御する。

一方、Ｓ４０３に進む場合、量子化行列選択部１０９は、発生符号量を抑制する必要がないと判定し、通常ＱＭを選択して量子化処理を行うように制御する。

図４（ｂ）はレート制御部１０７において生成されたＱＰ値を用いて量子化行列を選択するフローチャートである。なお、ＱＰ値は、レート制御部１０７によって、既に符号化が完了したピクチャによって出力されたデータの符号量やＱＰ値等の情報を用いて算出されているものとする。

まずＳ４０４においてＱＰ値が予め設定されている所定の閾値より大きいかどうかを判定する。もし閾値以上であった場合は、Ｓ４０５に進み、閾値よりも小さい場合は、Ｓ４０６に進む。

Ｓ４０５に進む場合、量子化行列選択部１０９は、レート制御処理によって大きなＱＰ値での符号化が必要、つまり発生する符号量を抑制する必要があったと判定し、Ｓ４０５にあるように発生符号量抑制ＱＭを選択して量子化処理を行うように制御する。

一方、Ｓ４０６に進む場合、量子化行列選択部１０９は、レート制御処理によって小さなＱＰ値で符号化することが可能、つまり発生符号量を抑制する必要がなかったと判定して、Ｓ４０６にあるように通常ＱＭを選択して量子化処理を行うように制御する。

さらに、量子化行列選択部の詳細な選択動作について図面を参照しながら説明する。

図５（ａ）はバッファ蓄積Ｂｉｔ量の遷移の様子を示す図である。横軸は時間であり、縦軸は各時間におけるバッファ蓄積Ｂｉｔ量である。図の例ではＴａの時間に符号化を行ったピクチャのタイミングで急に複雑な画像となり、蓄積Ｂｉｔ量がＢｉｔ抑制閾値を超過しバッファの余裕量が少なくなりバッファの上限値を越える危険性がある。本実施の形態１では、このように閾値を超過しているＴａ以降の区間のピクチャでは発生符号量抑制ＱＭを使用して符号化を行うため、図５（ｃ）のようにバッファに余裕がある状態で蓄積Ｂｉｔ量を遷移させることが可能となり、ＧＯＰの途中で局所的に複雑な画像が入力された場合でもバッファが溢れる危険性を回避することができる。

図５（ｂ）はＱＰ値の遷移の様子を示す図である。レート制御によって符号量を抑制する必要性に応じてＱＰ値が大きくなるので、やはり急に複雑な画像となりバッファの余裕量が少なくなる状況ではＱＰ値が大きくなっている。本実施の形態ではこのように閾値を超過しているＴｂ以降の区間のピクチャでは発生符号量抑制ＱＭを使用して符号化を行うため、やはり図５（ｃ）のようにバッファに余裕がある状態で蓄積Ｂｉｔ量を遷移させることが可能となり、ＧＯＰの途中で局所的に複雑な画像が入力された場合でもバッファが溢れる危険性を回避することができる。

次に、量子化行列選択部１０９におけるさらに別のＱＭ選択方法の実施の形態について図６を参照しながら説明する。

まずＳ６０１において量子化行列選択部１０９は、レート制御部１０７によって算出されたＱＰ値が、ＱＰ値として制御可能な値の最大値であるかどうかを判定する。ＱＰ値が例えば符号化規格に規定された最大値である場合は、Ｓ６０２に進み、最大値でない場合はＳ６０４に進む。

Ｓ６０２において、量子化行列選択部１０９はさらに、レート制御部１０７によって算出された既に符号化が完了しているピクチャの符号化時に発生した実際の符号量が、該ピクチャの符号化時に目標としていた符号量よりも大きかったかどうかを判定する。大きいと判定された場合は、Ｓ６０３に進み、小さい場合はＳ６０４に進む。

Ｓ６０３において量子化行列選択部１０９は、ＱＰ値による制御では符号量抑制ができない状況下にありながら、目標よりも発生符号量が超過し続けているためバッファが溢れてしまう危険性が高いと判定し、発生符号量抑制ＱＭを選択して量子化処理を行うように制御する。

一方、Ｓ６０４において量子化行列選択部１０９は、通常ＱＭを使用してもＱＰ値による制御で発生符号量抑制を行うことができる、もしくはバッファ蓄積Ｂｉｔ量が増え続けることはないと判断し、通常ＱＭを選択して量子化処理を行うように制御する。

この方法を用いると、ＱＰ値では制御しきれない状態でかつバッファ蓄積Ｂｉｔ量が増加傾向にある場合にのみ発生符号量抑制ＱＭを使用するため、発生符号量抑制ＱＭの使用範囲を最小限に留めることが可能となり、発生符号量抑制ＱＭによって画質が劣化してしまうピクチャの数を最小限に留めることが可能となる。

なお、図４（ａ）、図４（ｂ）、図６を用いて説明した各処理については、どれか１つのみを選択して制御を行うことも、もしくは２つ以上の複数のものを選択して組み合わせて制御を行うことも可能である。

以上のように、本実施の形態１においては、動画像符号化装置１００に入力される動画像の符号化を行う過程で量子化処理を行う際、ＧＯＰのヘッダ部分に発生符号量を抑制する発生符号量抑制ＱＭを格納しておき、発生符号量の制御に応じて該発生符号量抑制ＱＭを量子化時に適用することで、効率的な符号化を行うことが可能となる。

（実施の形態２）
本発明の実施の形態１では、量子化行列生成部１０８で生成するＱＭは予め定義しておいた通常ＱＭ及び、発生符号量抑制ＱＭをそのまま符号化することを前提としている。しかし、発生符号量抑制ＱＭは、ＧＯＰ内のピクチャを量子化する際に必要のない場合にも生成する動作であるので、ＧＯＰのヘッダを効率的に使用することが出来ない問題がある。そこで、本発明の実施の形態２では、量子化行列生成部７０８がレート制御部７０７によって算出された情報を用いて発生符号量抑制ＱＭを生成するか否かを切り替えることを特徴とする。

次に、本発明における実施の形態２における動画像符号化装置７００について図面を参照しながら説明する。

図７は、本発明の実施の形態２における動画像符号化装置７００のブロック図である。

本発明の実施の形態１における動画像符号化装置１００との違いは、量子化行列生成部７０８の入力としてレート制御部７０７の出力を用いている点である。

なお、本発明の実施の形態１と同様のものについては同じ番号を付し、その説明は省略する。

レート制御部７０７は、本実施の形態１におけるレート制御部１０７の動作に加えてさらに、バッファ蓄積Ｂｉｔ量及び、ＱＰ値を量子化行列生成部７０８に出力する。

量子化行列生成部７０８は、レート制御部７０７によって生成された情報を基に、発生符号量抑制ＱＭを生成するか否かを判定する。その他の動作に関しては、本実施の形態１における量子化行列生成部１０８と同様であるので、その詳細な説明を省略する。

次に、量子化行列生成部７０８の具体的動作について図面を参照しながら説明する。

図８（ａ）はバッファ蓄積Ｂｉｔ量を用いて発生符号量抑制ＱＭを生成するか否かを制御するフローチャートである。なお、バッファ蓄積Ｂｉｔ量は、レート制御部７０７によって、既に符号化が完了したピクチャによって出力されたデータの符号量を用いて算出されているものとする。

まずＳ８０１において、量子化行列生成部７０８は、バッファ蓄積Ｂｉｔ量が予め設定されている所定の閾値より多いかどうかを判定する。もし閾値以上であった場合は、Ｓ８０２に進み、該閾値よりも小さい場合はＳ８０３に進む。

Ｓ８０２において量子化行列生成部７０８は、符号化対象ＧＯＰの処理途中で発生符号量抑制ＱＭを選択して符号化に使用するピクチャが発生する可能性があるとして、発生符号量抑制ＱＭをＧＯＰ先頭のヘッダ情報であるＰＰＳとして符号化する。

一方、Ｓ８０３の場合は、符号化対象ＧＯＰの処理途中で発生符号量抑制ＱＭを選択して符号化に使用するピクチャが発生する可能性がないとして、発生符号量抑制ＱＭをＧＯＰ先頭のヘッダ情報であるＰＰＳとして符号化せずに通常ＱＭのみを符号化する。

図８（ｂ）は符号列生成部１０６から出力される符号列の出力ビットレートを用いて発生符号量抑制ＱＭを生成するか否かを制御するフローチャートである。なお、出力ビットレートはレート制御部７０７によって、符号化開始時に、例えば符号列生成部１０６から単位時間当たりに出力される符号列の符号量等、指定された情報に応じて算出される。

まずＳ８０４において、出力ビットレートが予め設定されている所定の閾値より低いかどうかを判定する。もし閾値以下であった場合は、Ｓ８０５に進み、該閾値よりも大きい場合は、Ｓ８０６に進む。

Ｓ８０５において、量子化行列生成部７０８は、低いビットレートで符号化を行わないといけないためバッファの蓄積Ｂｉｔ量が短い時間で増加しやすい状況と判定する。この場合、符号化対象ＧＯＰの処理途中で発生符号量抑制ＱＭを選択して符号化に使用するピクチャが発生する可能性があるため、量子化行列生成部７０８は、発生符号量抑制ＱＭをＧＯＰ先頭のヘッダ情報であるＰＰＳとして符号化する。

一方、閾値より高い値であった場合、量子化行列生成部７０８は、高いビットレートで符号化を行うためバッファの蓄積Ｂｉｔ量が増加しにくい状況と判定する。この場合、符号化対象ＧＯＰの処理途中で発生符号量抑制ＱＭを選択して符号化に使用するピクチャが発生する可能性がないため、量子化行列生成部７０８は、発生符号量抑制ＱＭをＧＯＰ先頭のヘッダ情報であるＰＰＳとして符号化せずに通常ＱＭのみを符号化する。

これによって、符号化対象ＧＯＰ内で発生符号量抑制ＱＭを使用する可能性がない場合は、ＧＯＰ先頭のヘッダ情報として発生符号量抑制ＱＭを符号化しないため、無駄な符号量の発生を抑制することが可能となる。

なお、図８（ａ）、図８（ｂ）を用いて説明した各処理については、どれか１つのみを選択して制御を行うことも、もしくは両方を組み合わせて制御を行うことも可能である。

（実施の形態３）
本発明の実施の形態１及び２では、量子化行列生成部１０８若しくは、７０８で生成する発生符号量抑制ＱＭは予め定義しておいた定数行列と設定している。しかし、入力される動画像が変化するとともに、レート制御部７０７で生成されるバッファ蓄積Ｂｉｔ量が変化する。それに伴い、ＧＯＰ毎に必要となる発生符号量抑制ＱＭが変化する。そこで、本発明の実施の形態３では、量子化行列生成部８０８がレート制御部７０７によって算出された情報を用いてＧＯＰ毎に係数値の異なる発生符号量抑制ＱＭを生成することを特徴とする。

次に、本発明における実施の形態３における動画像符号化装置８００について図面を参照しながら説明する。

図９は、本発明の実施の形態３における動画像符号化装置８００を示すブロック図である。

本発明の実施の形態２における動画像符号化装置７００との違いは、量子化行列生成部において生成する発生符号量抑制ＱＭの係数値をＧＯＰ毎に変更している点である。

なお、本発明の実施の形態１及び、２と同様のものについては同じ番号を付し、その説明は省略する。

量子化行列生成部８０８は、レート制御部７０７によって生成された情報に応じて変更される係数値を有する発生符号量抑制ＱＭを生成する。その他の動作に関しては、本実施の形態１若しくは、２における量子化行列生成部１０８、７０８と同様であるので、その詳細な説明を省略する。

次に、量子化行列生成部８０８の具体的な動作について図面を参照しながら説明する。

図１０（ａ）は、量子化行列生成部８０８において係数値を変更しながら発生符号量抑制ＱＭを生成するフローチャートである。

まずＳ９０１において、レート制御部７０７によって算出されたバッファ蓄積Ｂｉｔ量を用いて発生符号量抑制ＱＭの係数値を決定する。ここで、係数値の決定方法の例を図１０（ｂ）に示す。量子化行列生成部８０８は、例えばバッファ蓄積Ｂｉｔ量がバッファ上限値の９０％から１００％の範囲であった場合、通常ＱＭの各係数値を５倍にした値を発生符号量抑制ＱＭの係数値と設定する。また、量子化行列生成部８０８は、例えばバッファ蓄積Ｂｉｔ量がバッファ上限値の７０％から８０％の範囲であった場合、通常ＱＭの各係数値を３倍にした値を発生符号量抑制ＱＭの係数値と設定する。つまり、量子化行列生成部８０８は、バッファ蓄積Ｂｉｔ量が多いほど大きな係数値の発生符号量抑制ＱＭが生成されるようになる。このようにして生成された発生符号量抑制ＱＭは、Ｓ９０２にあるようにＧＯＰ先頭のヘッダ情報であるＰＰＳとして符号化する。

上記の動作によって、動画像符号化装置８００は、ＧＯＰ処理開始時におけるバッファ蓄積Ｂｉｔ量に応じて発生符号量抑制ＱＭの係数値が変化し、よりバッファが溢れやすいときは発生符号量を大幅に抑制するような発生符号量抑制ＱＭを設定することが可能となる。逆にバッファが溢れるまでにまだ余裕があるときは発生符号量を緩やかに抑制するようなＱＭを使用することが可能となる。そのため、段階的に発生符号量を抑制することが可能となり、複雑な画像が入力された場合でも急に画質が劣化することがなく少しずつ画質が劣化することになるため、違和感の無い画像を生成することが可能となる。

なお、図１０を用いて説明した処理については、図９を用いて説明した処理とは別に用いることも、もしくは同時に組み合わせて用いることも可能である。

また、本発明の実施の形態２及び、３で説明した各処理については、実施の形態１で説明した各処理とは別に用いることも、もしくは同時に組み合わせて用いることも可能である。

（実施の形態４）
本実施の形態１から３においては、ＧＯＰ単位毎に量子化行列を生成し、該ＧＯＰにおけるヘッダ部に格納する構成となっていた。しかし、ＧＯＰ毎に制御を行うだけでなく、例えば、入力される動画像ストリームの全体若しくは、一部を基本単位として制御しても構わない。

例えば、入力される動画像ストリーム全体で制御する場合は、動画像ストリームの符号化開始時に量子化行列を生成し、動画像のヘッダ部のみに該量子化行列を格納する構成となる。図１１は、前記構成における符号化列の構造を示す図である。ＳＰＳ、ＰＰＳ０、ＰＰＳ１、ＰＰＳ２はストリームの先頭のみに記載され、それぞれを複数のＧＯＰにまたがって共通に使用して符号化している。ここでは、ＧＯＰ２のＰｉｃｔｕｒｅ２＿２で符号量の抑制が必要と判断され、Ｂｉｔ抑制ＱＭであるＰＰＳ２が使用されている。

また、動画像の一部、例えば、複数のＧＯＰを基本単位として制御する場合は、複数のＧＯＰのうち第１のＧＯＰのヘッダ部にのみ量子化行列を生成する構成となる。

なお、量子化行列の具体的な生成方法及び、選択方法に関しては、本発明の実施の形態１から３に記載されているＧＯＰ単位を、例えば動画像全体又は、複数のＧＯＰと変更すればよいため、その詳細な説明を省略する。

（その他の実施形態）
さらに、上記各実施の形態で示した画像再符号化装置に含まれる各手段と同等の機能を備えるプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。なお、記録媒体としてはフレキシブルディスクに限らず、光ディスク、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

なお、上記各実施の形態で示した画像再符号化装置に含まれる各手段と同等の機能を集積回路であるＬＳＩとして実現してもよい。これらは一部または全てを含むように１チップ化されてもよい。またＬＳＩは集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。

また、放送局から放送される放送波を圧縮し、記録を行うＤＶＤレコーダー、ＢＤレコーダー等の放送波記録装置に適用しても構わない。

本発明にかかる動画像符号化方法は、例えばビデオカメラ、ビデオレコーダ、ＤＶＤ装置、携帯電話、およびパーソナルコンピューター等で、動画像を構成する各ピクチャを符号化して符号列を生成する方法として有用である。

１００、７００、８００ 動画像符号化装置
１０１ ピクチャメモリ
１０２ 予測残差符号化部
１０３ 予測残差復号化部
１０４ ローカルバッファ
１０５ 予測符号化部
１０６ 符号列生成部
１０７、７０７ レート制御部
１０８、７０８、８０８ 量子化行列生成部
１０９ 量子化行列選択部
１１０ 加算演算部
１１１ 差分演算部
２０１ ＳＰＳ
２０２ 通常ＱＭ０
２０３ 通常ＱＭ１
２０４ 発生符号量抑制ＱＭ

Claims (15)

1. 量子化処理において使用する量子化行列の設定を複数のピクチャで構成される制御グループ単位で行なう動画像符号化装置であって、
   前記制御グループの各ピクチャを量子化する際に使用する複数の量子化行列を生成する共に、生成した量子化行列を当該制御グループのヘッダ部にまとめて格納する量子化行列符号化部と、
   符号化対象となっている第１のピクチャに応じて、前記ヘッダ部に格納される複数の量子化行列から第１の量子化行列を選択する選択部と、
   当該第１の量子化行列を用いて前記第１ピクチャを符号化し、符号化信号を出力する符号化部と、を備え、
   前記量子化行列符号化部は、前記制御グループ内のピクチャで共通に使用する複数の量子化行列を生成すると共に、当該制御グループ内の特定のピクチャにおいて発生符号量の抑制制御を行なう際に使用する発生符号量抑制量子化行列を生成することを特徴とする、
   動画像符号化装置。
2. 前記動画像符号化装置はさらに、前記制御グループ内のピクチャの発生符号量を抑制するか否かを判定する発生符号量抑制判定部を備え、
   前記選択部は、前記発生符号量抑制判定部において発生符号量を抑制すると判定した場合、前記第１の量子化行列として前記発生符号量抑制量子化行列を選択する請求項１に記載の動画像符号化装置。
3. 前記動画像符号化装置はさらに、前記符号化信号のレート制御を行なうレート制御部を備え、
   前記発生符号量抑制判定部は、前記レート制御部において使用される情報を基に、前記発生符号量を抑制するか否かを判定することを特徴とする請求項２に記載の動画像符号化装置。
4. 前記動画像符号化装置はさらに、前記レート制御部においてレート制御する際に使用するレート制御用バッファを備え、
   前記発生符号量抑制判定部は、前記レート制御用バッファの蓄積量を基に、前記発生符号量を抑制するか否かを判定することを特徴とする請求項３記載の動画像符号化装置。
5. 前記発生符号量抑制判定部は、前記レート制御部において利用される量子化値に応じて、前記発生符号量を抑制するか否かを判定することを特徴とする請求項３に記載の動画像符号化装置。
6. 前記発生符号量抑制判定部は、前記量子化値が制御可能な範囲の最大値であり、かつ、実際に符号化されたピクチャが有する符号量が、前記レート制御処理を行なう際に設定された目標符号量よりも大きい場合、発生符号量の抑制が必要であると判定する請求項５記載の動画像符号化装置。
7. 前記動画像符号化装置はさらに、前記符号化信号のレート制御を行なうレート制御部を備え、
   量子化行列生成部は、前記レート制御部において使用される制御情報を基に、符号化対象である制御グループのヘッダ部に前記発生符号量抑制量子化行列を生成するか否かを判定することを特徴とする請求項１に記載の動画像符号化装置。
8. 前記制御情報は、前記符号化信号の出力ビットレートであることを特徴とする請求項７に記載の動画像符号化装置。
9. 前記動画像符号化装置はさらに、前記レート制御部においてレート制御する際に使用するレート制御用バッファと、を備え、
   前記制御情報は、前記レート制御用バッファの蓄積量であることを特徴とする請求項７に記載の動画像符号化装置。
10. 前記量子化行列生成部は、前記レート制御用バッファの蓄積量に応じて、前記発生符号量抑制量子化行列の係数値を、前記制御グループ毎に変更することを特徴とする請求項４及び、請求項９に記載の動画像符号化装置。
11. 前記量子化行列生成部は、前記レート制御用バッファの蓄積量が増加するにつれて、生成する前記発生符号量抑制量子化行列の係数値を増加させることを特徴とする請求項１０に記載の動画像符号化装置。
12. 前記量子化行列生成部は、前記レート制御用バッファの蓄積量が減少するにつれて、生成する前記発生符号量抑制量子化行列の係数値を減少させることを特徴とする請求項１０に記載の動画像符号化装置。
13. 前記量子化行列生成部は、前記発生符号量抑制量子化行列における周波数空間における低域成分に対応する係数値を、前記ヘッダ部に格納される他の量子化行列が有する係数値よりも２倍以上大きな値として生成する請求項１から請求項１２に記載の動画像符号化装置。
14. 請求項１から請求項１３のいずれか１項に記載された動画像符号化装置に含まれる各手段と同等の処理をコンピュータに実行させることを特徴とするプログラム。
15. 放送局から放送される動画像信号を量子化する際、当該量子化処理において使用する量子化行列の設定を複数のピクチャで構成される制御グループ単位で行なう放送波記録装置であって、
    前記制御グループ間で共通に使用される複数の量子化行列と、当該制御グループの発生符号量を抑制する発生符号量抑制量子化行列と、を生成すると共に、生成した量子化行列を当該制御グループのヘッダ部にまとめて格納する量子化行列符号化部と、
    前記制御グループの符号化を行う際、当該制御グループに含まれるピクチャの符号量を抑制するか否かを判定する発生符号量抑制判定部と、
    符号化対象となっている第１のピクチャに応じて、前記ヘッダ部に格納される複数の量子化行列から第１の量子化行列を選択する選択部と、
    当該第１の量子化行列を用いて前記第１ピクチャを符号化し、符号化信号を出力する符号化部と、を備え、
    前記選択部は、前記発生符号量抑制判定部において発生符号量を抑制すると判定した場合、前記第１の量子化行列として前記発生符号量抑制量子化行列を選択することを特徴とする、
    放送波記録装置。

Images