JP2010034801A - 動画像符号化装置およびその制御方法 - Google Patents

Abstract

【課題】動画像の入力ピクチャを符号量と符号化歪みの関係に基づいて符号化する際に、符号化歪みの調整範囲を示す指標値は固定であるため、視覚感度に応じた適応的な符号量制御を行うことは困難であった。
【解決手段】符号化歪み指標値算出部２０１において、例えば入力ピクチャの統計的な色相情報Ｈによって視覚感度を推定し、該視覚感度に基づいて符号化歪みの調整範囲の指標となる符号化歪み指標値を決定する。このように視覚感度に応じて決定された符号化歪み指標値に基づいて仮の符号化歪み予測値Ｄ'を修正することにより、符号化歪み予測値Ｄを算出して符号化を行う。
【選択図】 図１

Description

本発明は動画符号化装置およびその制御方法に関する。

近年のデジタル信号処理技術の飛躍的な進歩により、従来ならば困難であった動画像の蓄積メディアへの記録や伝送路を介した動画像の伝送が行われている。この場合に、動画像を構成する各々のピクチャに圧縮符号化処理を施した符号化ストリームは大幅に削減される。この圧縮符号化処理として代表的な手法の一つが、例えばＭＰＥＧ（Moving Picture Experts Group）方式である。

ＭＰＥＧ方式に準拠して一連のピクチャをビットレート一定という条件下で圧縮符号化する場合は、シーン、ピクチャの空間周波数特性、及び、量子化スケール値に応じて符号量が大きく異なる。この様な符号化特性をもつ動画像符号化装置を実現する上で、復号時の画質劣化となる符号化歪みを最小限に抑える技術が符号量制御である。

符号量制御を実現するためのアルゴリズムについては数多く提案されている。例えば、Ｒ−Ｄ（Ｒ：符号量、Ｄ：符号化歪み）関係式と主観（視覚感度）に基づき、動画符号化におけるピクチャ単位及びマクロブロック単位の符号量を制御する方法が知られている（例えば、特許文献１参照）。該方法においては、Ｒ−Ｄ関係式から求められる符号化歪みＤを用いて、画質が一定になるように符号化パラメータ（Ｑスケール）を制御している。

以下、上述したような、Ｒ−Ｄ関係式に基づく符号量制御を行う従来の動画像符号化装置について詳細に説明する。

図９は、従来の動画像符号化装置の構成例を示すブロック図である。同図において、入力ピクチャＰiは、まず符号化部１０１と統計情報算出部１１１に入力される。符号化部１０１では、入力ピクチャＰiをその対応する符号化パラメータを用いて符号化し、符号化ストリームＰoを出力する。統計情報算出部１１１では、入力ピクチャＰiからアクティビティＳfを求め、Ｒ−Ｄ関係式算出部１１２に送る。Ｒ−Ｄ関係式算出部１１２では、一般的なＲ−Ｄ関係式とアクティビティＳfから、Ｒ−Ｄ関係式を特定する。

Ｒ−Ｄ関係式算出部１１２で算出されたＲ−Ｄ関係式は、符号化歪み予測部１１３に送られる。符号化歪み予測部１１３では図１０に示すように、Ｒ−Ｄ関係式算出部１１２から入力されたＲ−Ｄ関係式に従い、フレームレートと動作周波数から決定される仮の目標符号量Ｒ'に対応する、仮の符号化歪み予測値Ｄ'を求める。

符号化歪み算出部１１４では、符号化歪み予測部１１３から入力された仮の符号化歪み予測値Ｄ'を修正する。以下、この符号化歪みの修正方法について説明する。

まず図１１に示すようにＲ−Ｄ関係式を、予め定められた２つの符号化歪み指標値Ｄmin、Ｄmax（Ｄmin≦Ｄmax）を用いて、３つの画質に分割する。３つの画質とはすなわち、Ｄ'≦Ｄminである高画質（図１１の画質１）、Ｄmin≦Ｄ'≦Ｄmaxである標準画質（同、画質２）、Ｄmax≦Ｄ'である低画質（同、画質３）である。

仮の符号化歪み予測値Ｄ'が低画質（画質３）であると判断された場合は、符号化歪み予測値ＤをＤmaxに修正することによって、目標符号量を増加して画質を標準画質にまで引き上げ、主観画質の破綻を防ぐことができる。

一方、仮の符号化歪み予測値Ｄ'が高画質（画質１）であると判断された場合は、符号化歪み予測値ＤをＤminに修正することによって、視覚的な劣化がない程度にまで画質を落とし、過剰なビット配分を防ぐことができる。

また、仮の符号化歪み予測値Ｄ'が標準画質（画質２）であると判断された場合は、符号化歪み予測値Ｄ＝Ｄ'とする。

次に符号化パラメータ算出部１０３では、符号化歪み算出部１１４から入力された符号化歪み予測値Ｄと主観（視覚感度）を用いて、符号化パラメータ（量子化スケール）をマクロブロック毎に割り当て、符号化部１０１に出力する。

以上説明した構成からなる従来の動画像符号化装置によれば、動画符号化におけるピクチャ単位のビット配分をＲ−Ｄ特性により規定することができ、また量子化スケールをマクロブロック単位のビット配分と視覚感度により厳密に規定することができる。
特開2003−174648号公報

一般に動画像符号化装置に対しては、撮影システムから以下のような要求がある。例えば、フレーム内に人物の全身が撮影されている状態に対し、フレーム内に人物の顔がズーム撮影された状態では、視覚感度（注視度）が高まっているため、符号量を多く割り当てて符号化による画質の劣化を防ぐことが求められる。

また、撮影中のＡＦ（自動焦点）やＡＥ（自動露出）モード時においては、撮影装置の焦点や露光があっていないときに、前後のピクチャの発生符号量に応じて符号量を多く割り当てることは無駄である。したがってこのような場合には、割り当てる符号量を削減して、撮影データを記録するメモリの記憶容量をセーブすることが好ましい。また、撮影装置において望遠など光学ズームによる撮影設定がなされている場合は、やはり視覚感度が高まっているため、十分に符号量を割り当て、符号化による画質の劣化を防ぐことが要求される。

その他にも、画像内における絵柄の平坦さや複雑さの偏りに依存して、ＳＮＲ（Signal to Noise Ratio）の偏りを防ぎ、符号量を多く割り当て、部分的な画質の劣化を防ぐことが求められる。

以上のような要求を実現するためには、撮影データを記録するための有限なメモリ容量に対し、該メモリの破綻を防ぎながらも高画質での記録を行うために、常にメモリの占有状況を確認しながら目標符号量を割り当てることが求められる。

しかしながら、上記図９に示した構成からなる従来の動画像符号化装置においては、予め定められた２つの符号化歪みの指標値（Ｄmin，Ｄmax）は調整不可能であり、目標符号量の適用領域は符号化開始時点で既に決定されている。したがって、上述したような状況において適応的に符号量が制御されているものではない。

本発明は上述した問題を解決するためになされたものであり、動画像を入力ピクチャ毎に符号化する際に、以下のような機能を有する動画像符号化装置およびその制御方法を提供することを目的とする。すなわち、入力ピクチャを符号量と符号化歪みの関係に基づいて符号化する際に、符号化歪みの調整範囲を示す指標値を、撮影対象によって変化する視覚感度に応じて算出することにより、適応的な符号量制御を可能とする。

上記目的を達成するための一手段として、本発明の動画像符号化装置は以下の構成を備える。

すなわち、動画像を入力ピクチャ毎に符号化し、符号化ストリームを出力する動画像符号化装置であって、入力ピクチャに対する統計情報を算出する統計情報算出手段と、該統計情報に基づいて、符号量と符号化歪みの関係を表すＲ−Ｄ関係式を算出するＲ−Ｄ関係式算出手段と、前記入力ピクチャに対する仮の目標符号量Ｒ'と前記Ｒ−Ｄ関係式に基づいて、仮の符号化歪み予測値Ｄ'を出力する符号化歪み予測手段と、前記入力ピクチャに対する視覚感度に基づいて、符号化歪みの調整範囲の指標となる符号化歪み指標値を算出する符号化歪み指標値算出手段と、前記符号化歪み指標値に基づいて前記仮の符号化歪み予測値Ｄ'を修正し、符号化歪み予測値Ｄとして出力する符号化歪み予測修正手段と、前記符号化歪み予測値Ｄと前記Ｒ−Ｄ関係式に基づいて、前記入力ピクチャに対する目標符号量Ｒを出力する目標符号量算出手段と、前記目標符号量Ｒに基づいて符号化パラメータを算出する符号化パラメータ算出手段と、前記入力ピクチャを前記符号化パラメータに基づいて符号化し、符号化ストリームとして出力する符号化手段と、を有することを特徴とする。

上記構成からなる本発明によれば、符号化歪みの調整範囲を示す指標値を、撮影対象によって変化する視覚感度に応じて算出することにより、適応的な符号量制御が可能となる。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜第１実施形態＞
本実施形態の動画像符号化装置においては、Ｒ−Ｄ（Ｒ：符号量、Ｄ：符号化歪み）関係式と主観（視覚感度）に基づき、動画符号化におけるピクチャ単位及びマクロブロック単位の符号量を制御する。このとき、Ｒ−Ｄ関係式から求められる符号化歪みＤを用いて、画質が一定になるように符号化パラメータ（Ｑスケール）を制御している。

図１は、本実施形態の動画像符号化装置の構成例を示すブロック図である。同図において、従来のブロック構成を示す図９と同様の構成には同一符号が付されている。

入力ピクチャＰiは、まず符号化部１０１と統計情報算出部１１１に入力される。符号化部１０１では、入力ピクチャＰiをその対応する符号化パラメータを用いて符号化し、符号化ストリームＰoを出力する。この符号化パラメータは符号化パラメータ算出部１０３にて算出されるが、その詳細については後述する。

統計情報算出部１１１では、入力ピクチャＰiから統計情報としてアクティビティＳfを求め、Ｒ−Ｄ関係式算出部１１２に送る。統計情報算出部１１１はまた、入力ピクチャＰiの色相（肌色量）情報Ｈを求め、符号化歪み指標値算出部２０１に送る。

Ｒ−Ｄ関係式算出部１１２では、以下の式(1)に示すように、一般的なＲ−Ｄ関係式とアクティビティＳfから、Ｒ−Ｄ関係式を特定する。

Ｒ(Ｓf,Ｄ)＝Θlog{(Ｓf/Ｄ)・Ｉ} ・・・(1)
ここで、Ｒ(Ｓf,Ｄ)はピクチャ単位の目標符号量、Ｄは符号化歪み値、Θ及びＩは符号化方式に依存する係数である。式(1)によれば、アクティビティＳfを一定とした場合に、符号量Ｒは符号化歪みＤを変数とする関数として表現されることが分かる。アクティビティＳfは入力ピクチャ毎に変化するため、図２に示すようにＲ−Ｄ関係式は入力ピクチャ毎に変更される。

上記のように特定されたＲ−Ｄ関係式は、符号化歪み予測部１１３と目標符号量修正部２０３に送られる。

符号化歪み予測部１１３には、Ｒ−Ｄ関係式算出部１１２からのＲ−Ｄ関係式と、仮の目標符号量Ｒ'が入力される。ここで仮の目標符号量Ｒ'は、フレームレートと動作周波数から予め与えられた目標符号量である。符号化歪み予測部１１３では、Ｒ−Ｄ関係式に従って、仮の目標符号量を用いて仮の符号化歪み予測値Ｄ'が求められる。

次に、符号化歪み予測部１１３で予測された仮の符号化歪み予測値Ｄ'は、符号化歪み予測修正部２０２において修正され、符号化歪み予測値Ｄとして出力される。なお、ここでの仮の符号化歪み予測値Ｄ'の修正方法については後述する。

次に目標符号量修正部２０３では、符号化歪み予測修正部２０２から入力された修正済みの符号化歪み予測値Ｄ、及び、Ｒ−Ｄ関係式算出部１１２から入力されたＲ−Ｄ関係式に従って、目標符号量Ｒを算出し、符号化パラメータ算出部１０３に送る。

符号化パラメータ算出部１０３においては、目標符号量修正部２０３から入力された目標符号量Ｒに基づいて、マクロブロック単位での符号量を算出し、マクロブロック単位に符号化パラメータ（Ｑスケール）を算出して、符号化部１０１に送る。

以下、本実施形態の符号化歪み予測修正部２０２における符号化歪みの修正方法について、詳細に説明する。

まず図２に示すように、Ｒ−Ｄ関係式を１つ以上の符号化歪み指標値Ｄth1，Ｄth2，Ｄth3，・・・，ＤthN-1（Ｄth1≦Ｄh2≦Ｄth3≦・・・≦ＤthN-1）を用いて、複数の画質領域（画質１，・・・，画質Ｎ）に分割する。すなわち本実施形態における符号化歪み指標値とは、符号化歪みに応じて画質を分割した際の境界値である。

本実施形態においては要求された画質要件を満たすために、対応する画質領域外に分類された符号化歪み予測値を、有効な画質領域の境界を示す符号化歪み指標値に近似する。この近似例を、図３を用いて説明する。図３において、画質要件を満たす画質領域がＤth1≦Ｄ≦Ｄth2（画質２）であるとする。このとき、符号化歪み予測値Ｄ'がＤth1より小さければ（図３のＤ1'）、符号化歪み予測値Ｄを符号化歪み指標値Ｄth1に修正する（同、Ｄ1）。これにより、目標符号量Ｒ'もＲに減じられるため、過剰な符号量の発生を防ぐことができる。また、符号化歪み予測値Ｄ'がＤth2より大きければ（同、Ｄ2'）、符号化歪み予測値Ｄを符号化歪み指標値Ｄth2に修正する（同、Ｄ2）。これにより、目標符号量Ｒ'をＲに増加して主観画質の破綻を防ぐことができる。また、仮の符号化歪み予測値Ｄ'がＤth1≦Ｄ'≦Ｄth2である場合には、符号化歪み予測値Ｄ＝Ｄ'として、画質を維持する。

次に、本実施形態の符号化歪み指標値算出部２０１における、視覚感度に基づく符号化歪み指標値の算出方法について説明する。

まず、許容される符号化歪みの領域を、予め定められた符号化歪み指標値Ｄa，Ｄb(Ｄa≦Ｄb)によるＤa≦Ｄ≦Ｄbであるとする。

符号化歪み指標値算出部２０１ではまず、統計情報算出部１１１から入力された色相情報Ｈに基づいて、撮影対象となる人物の顔がズームされているのか、または人物の全身がフレームの中に入っているのか等、撮影対象の状況を判断する。この判断はすなわち、色相情報Ｈに基づき、肌色がが強いか否かを判断することによって行われる。

肌色が弱いと判断された場合には、人物の一部または全身がフレーム内に小さく撮影されているものとみなし、許容される符号化歪み領域を、予め定められた符号化歪み領域Ｄa≦Ｄ≦Ｄbのままとする。

一方、肌色が強いと判断された場合には、人物の顔をクローズアップして撮影しているものとみなし、視覚感度が高まっているため、許容される符号化歪みの領域を、(Ｄa−α)≦Ｄ≦Ｄbに変更する。これによりすなわち、符号化歪みの領域がα分だけ高画質側に拡大されることになる。なお、この符号化歪み指標値のシフト量を示すαの値は、予め定められているものとする。

このように、符号化歪み指標値算出部２０１からは、算出された符号化歪み領域を示す値（この場合Ｄa，Ｄb、またはＤa−α，Ｄb）が、符号化歪み指標値として出力される。この符号化歪み指標値は、上述したように、符号化歪み予測修正部２０２において、符号化歪みの調整範囲を示す情報として利用される。

以上説明したように本実施形態によれば、動画像をピクチャ毎に符号化し符号化ストリームを出力する動画像符号化装置において、Ｒ−Ｄ関係式に基づいて符号量を制御する際に、符号化歪みの指標値を入力ピクチャの統計情報から決定することを特徴とする。これにより、撮影対象によって変化する視覚感度に対して、適応的に符号量を割り当てることができる。

＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。

図４は、第２実施形態の動画像符号化装置の構成例を示すブロック図である。同図において、上述した第１実施形態における図１と同様の構成には同一符号を付し、説明を省略する。

第２実施形態において第１実施形態と異なる構成は、図４に示す撮影部３０２、撮影制御情報算出部３０３、撮影制御部３０４、及び符号化歪み指標値算出部３０１、である。

撮影制御情報算出部３０３は、撮影部３０２から取り込まれたピクチャＰiの輝度情報から画像のエッジ情報量を毎ピクチャ解析し、ＡＥやＡＦを算出する。算出されたＡＥやＡＦは、撮影制御部３０４及び符号化歪み指標値算出部３０１へ送られる。一方、ユーザ操作に基づくズーム情報が、撮影制御部３０４及び符号化歪み指標値算出部３０１へ送られる。

撮影制御部３０４では、以上のように入力されたＡＥ／ＡＦの撮影情報とズーム情報に基づいてズーム位置情報を算出し、撮影部３０２に対する撮影制御情報として、ズーム位置更新を要求する。

符号化歪み指標値算出部３０１では、以上のように入力されたＡＥ／ＡＦの撮影制御情報とズーム情報に基づいて符号化歪み指標値を算出する。以下、図５に示すフローチャートを用いて、第２実施形態における符号化歪み指標値の算出処理について、詳細に説明する。なお、第２実施形態では符号化指標値として、所定の４つの値Ｄc、Ｄd、Ｄe、Ｄf（Ｄc≦Ｄd≦Ｄe≦Ｄf）を使用するものとする。

まずステップＳ２０１において、ＡＥ／ＡＦ情報、及びズーム情報を取得する。

そしてステップＳ２０２において、取得したＡＥ／ＡＦ情報に基づき、エッジ情報が多いか否か、すなわち、焦点または露光が合っているか否かを判断する。エッジ情報が少ない（焦点または露光が合っていない）と判断した場合はステップＳ２０８へ進み、符号化歪みの指標値として最大のＤfを設定する。

一方、ステップＳ２０２においてエッジ情報が多い（焦点または露光が合っている）と判断した場合はステップＳ２０３へ進み、ユーザがズーム操作中であるか否かを判断する。ズーム操作中であると判断した場合はステップＳ２０８へ進み、符号化歪みの指標値として最大のＤfを設定する。

一方、ステップＳ２０３においてズームが固定されていると判断した場合はステップＳ２０４へ進み、ズーム位置情報（望遠／電子ズーム／標準）を判断する。ズーム位置情報が「望遠」である場合は視覚感度が非常に高い状態であるため、符号化歪みによる情報損失を最小限に抑えるために、ステップＳ２０５へ進んで符号化歪みの領域をＤc≦Ｄ≦Ｄeに設定する。また、ズーム位置情報が「電子ズーム」である場合は画質劣化が生じているため、ステップＳ２０６で符号化歪みの領域をＤd≦Ｄ≦Ｄeに設定する。また、ズーム位置情報が「標準」である場合は、ステップＳ２０７で符号化歪みの領域をＤd≦Ｄ≦Ｄeに設定する。

第２実施形態におけるＡＥ／ＡＦ情報およびズーム情報は、ピクチャ単位で更新可能であるため、ＡＥ／ＡＦ情報およびズーム情報が更新された場合は、図５に示したフローチャートに従って、符号化歪み指標値が再度設定される。

以上説明したように第２実施形態によれば、Ｒ−Ｄ関係式に基づいて符号量を制御する際に、符号化歪みの指標値を、撮影状況を示す撮影制御モードから決定することを特徴とする。これにより、撮影制御モードに応じて変化する視覚感度に対して、適応的に符号量を割り当てることができる。

＜第３実施形態＞
以下、本発明に係る第３実施形態について説明する。

図６は、第３実施形態の動画像符号化装置の構成例を示すブロック図である。同図において、上述した第１実施形態における図１と同様の構成には同一符号を付し、説明を省略する。

第３実施形態において第１実施形態と異なる構成は、図６に示す局所復号部４０３、符号化歪み検出部４０２、及び符号化歪み指標値算出部４０１、である。

局所復号部４０３は、符号化部１０１より出力された符号化ストリームＰoを復号して再構成ピクチャを生成し、符号化歪み検出部４０２に送る。

符号化歪み検出部４０２には、入力ピクチャと局所復号部４０３からの再構成ピクチャが入力されており、該入力ピクチャの近傍に位置する、既に符号化が終了したピクチャ（以下、符号化済ピクチャ）の符号化前の値が保持されている。符号化歪み検出部４０２では、入力ピクチャの近傍に位置する符号化済みピクチャと、それに対応する再構成ピクチャとに基づいて、該符号化済みピクチャにおいて実際に発生した符号化歪み値Ｄoldを検出し、符号化歪み指標値算出部４０１に送る。

符号化歪み指標値算出部４０１では、符号化歪み検出部４０２において検出された符号化歪みＤoldが小さいと判断された場合、許容される符号化歪みの領域をＤg≦Ｄ≦Ｄh（Ｄg≦Ｄh）に設定する。一方、該符号化歪みが大きいと判断された場合、画像内における絵柄の平坦さや複雑さの偏りがあるため、下式(2)に従って符号化歪み領域(Ｄmin≦Ｄ≦max)を基準値よりも低画質側に設定し、画質を安定させる。

Ｄmin＝Ｄg−α×δ ・・・(2)
Ｄmax＝Ｄh−α×δ
なお、式(2)において、Ｄg及びＤhは所定の符号化歪み指標値であり、δは符号化歪み検出部４０２から検出された符号化歪み、αは所定の係数である。

以上説明したように第３実施形態によれば、Ｒ−Ｄ関係式に基づいて符号量を制御する際に、符号化歪みの指標値を符号化済みである近傍のピクチャの画質から決定することを特徴とする。これにより、各画像内の画質を考慮し、画像内における絵柄の平坦さ、複雑さの偏りに依存したＳＮＲ（Signal to Noise Ratio）の偏りを防ぐことができる。

＜第４実施形態＞
以下、本発明に係る第４実施形態について説明する。

図７は、第４実施形態の動画像符号化装置の構成例を示すブロック図である。同図において、上述した第１実施形態における図１と同様の構成には同一符号を付し、説明を省略する。

第４実施形態において第１実施形態と異なる構成は、図７に示す目標符号量算出部５０３、発生符号量算出部５０２、及び符号化歪み指標値算出部５０１、である。

ここで図８に、一般的な符号化ストリームの総発生量の遷移例を示す。同図において、点線ＴCBRは、所定のピクチャ単位での固定符号量における累積であり、理想的な符号量の累積を表している。また実線Ｔiは、実際に符号化装置によって発生した累積符号量の一例である。

第４実施形態では、符号化装置による総発生符号量（図８の実線Ｔi）が、固定レートによる理想的な総発生符号量（同、直線ＴCBR）に近づくように、ピクチャ毎に目標符号量を定め、更に、Ｒ−Ｄ特性を用いて画質と符号量を考慮した符号量制御を行う。

以下、第４実施形態における発生符号量算出部５０２と目標符号量算出部５０３の動作について説明する。

発生符号量算出部５０２では、符号化部１０１から入力された符号化ストリームＰoから、現在の入力ピクチャの近傍に位置する符号化済みピクチャの符号長（発生符号量）を算出する。そして目標符号量算出部５０３では、発生符号量算出部５０２から入力された発生符号量に基づき、以下の式(3)に従って、入力ピクチャに対する仮の目標符号量Ｒ'を算出する。

Ｒ'＝α×(Ｒ_CBR−Ｒ_i-1)×Ｒ_i-1 ・・・(3)
なお、式(3)において、Ｒ_CBRは予め定められたピクチャ単位の固定符号量、Ｒ_i-1は入力ピクチャの近傍の符号化済みであるピクチャの符号量、αは所定の係数である。

そして符号化歪み指標値算出部５０１においては、例えば上述した第１乃至第３実施形態のいずれかと同様に、すなわちＲ−Ｄ特性を用いて符号化歪み指標を調整する。なお、第４実施形態における符号化歪み指標は固定値として出力されても良い。

以上説明したように第４実施形態によれば、Ｒ−Ｄ関係式に基づいて符号量を制御する際に、符号化歪みの指標値を符号化済みである近傍のピクチャの発生符号量から仮の目標符号量を算出することを特徴とする。そして、上述した第１乃至第３実施形態のいずれかに記載した方法によって符号化歪み指標値を決定する。これにより、メモリの破綻を防ぎながら高画質な記録を行うことが可能となる。

＜他の実施形態＞
本発明は例えば、システム、装置、方法、プログラム若しくは記憶媒体(記録媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮影装置、webアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される。なお、この場合のプログラムとは、実施形態において図に示したフローチャートに対応したコンピュータ可読のプログラムである。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、以下に示す媒体がある。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD-ROM、CD-R、CD-RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM，DVD-R)などである。

プログラムの供給方法としては、以下に示す方法も可能である。すなわち、クライアントコンピュータのブラウザからインターネットのホームページに接続し、そこから本発明のコンピュータプログラムそのもの(又は圧縮され自動インストール機能を含むファイル)をハードディスク等の記録媒体にダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせることも可能である。すなわち該ユーザは、その鍵情報を使用することによって暗号化されたプログラムを実行し、コンピュータにインストールさせることができる。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、実行されることによっても、前述した実施形態の機能が実現される。すなわち、該プログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行うことが可能である。

本発明に係る第１実施形態における符号化装置の構成を示すブロック図である。 Ｒ−Ｄ曲線に対する画質分類例を示す図である。 Ｒ−Ｄ曲線における符号化歪み予測値の近似例を示す図である。 第２実施形態における動画像符号化装置の構成を示すブロック図である。 第２実施形態における符号化歪み指標値の算出処理を示すフローチャートである。 第３実施形態における動画像符号化装置の構成を示すブロック図である。 第４実施形態における動画像動画像符号化装置の構成を示すブロック図である。 第４実施形態における総発生符号量の制御を説明する図である。 従来の動画像符号化装置の構成例を示すブロック図である。 符号化歪み予測値の算出方法を示す図である。 Ｒ−Ｄ曲線に対する画質分類例を示す図である。

Claims (12)

1. 動画像を入力ピクチャ毎に符号化し、符号化ストリームを出力する動画像符号化装置であって、
   入力ピクチャに対する統計情報を算出する統計情報算出手段と、
   該統計情報に基づいて、符号量と符号化歪みの関係を表すＲ−Ｄ関係式を算出するＲ−Ｄ関係式算出手段と、
   前記入力ピクチャに対する仮の目標符号量Ｒ'と前記Ｒ−Ｄ関係式に基づいて、仮の符号化歪み予測値Ｄ'を出力する符号化歪み予測手段と、
   前記入力ピクチャに対する視覚感度に基づいて、符号化歪みの調整範囲の指標となる符号化歪み指標値を算出する符号化歪み指標値算出手段と、
   前記符号化歪み指標値に基づいて前記仮の符号化歪み予測値Ｄ'を修正し、符号化歪み予測値Ｄとして出力する符号化歪み予測修正手段と、
   前記符号化歪み予測値Ｄと前記Ｒ−Ｄ関係式に基づいて、前記入力ピクチャに対する目標符号量Ｒを出力する目標符号量算出手段と、
   前記目標符号量Ｒに基づいて符号化パラメータを算出する符号化パラメータ算出手段と、
   前記入力ピクチャを前記符号化パラメータに基づいて符号化し、符号化ストリームとして出力する符号化手段と、
   を有することを特徴とする動画像符号化装置。
2. 前記統計情報は色相情報を含み、
   前記符号化歪み指標値算出手段は、前記入力ピクチャに対する前記色相情報に基づいて、前記符号化歪み指標値を算出することを特徴とする請求項１に記載の動画像符号化装置。
3. さらに、動画像の撮影状況の情報を取得する撮影制御情報算出手段を有し、
   前記符号化歪み指標値算出手段は、前記撮影状況の情報に基づいて前記符号化歪み指標値を算出することを特徴とする請求項１に記載の動画像符号化装置。
4. さらに、前記符号化ストリームを復号し、再構成ピクチャとして出力する局所復号手段と、
   前記入力ピクチャの近傍に位置する符号化済みピクチャと、該符号化済みピクチャに対応する再構成ピクチャから、該符号化済みピクチャにおいて実際に発生した符号化歪み値を検出する符号化歪み検出手段と、を有し、
   前記符号化歪み指標値算出手段は、前記符号化歪み値に基づいて前記符号化歪み指標値を算出することを特徴とする請求項１に記載の動画像符号化装置。
5. 前記符号化歪み指標値算出手段は、複数の前記符号化歪み指標値を算出することを特徴とする請求項１乃至４のいずれか１項に記載の動画像符号化装置。
6. 前記符号化歪み指標値は、符号化歪みに応じて画質を分割した際の境界値であることを特徴とする請求項５に記載の動画像符号化装置。
7. 前記統計情報算出手段は、前記統計情報として前記入力ピクチャのアクティビティを算出することを特徴とする請求項１乃至６のいずれか１項に記載の動画像符号化装置。
8. 前記仮の目標符号量Ｒ'は、フレームレートと動作周波数に基づいて予め設定された値であることを特徴とする請求項１乃至７のいずれか１項に記載の動画像符号化装置。
9. さらに、前記符号化ストリームから、前記入力ピクチャの近傍に位置する符号化済みピクチャに対する発生符号量を算出する発生符号量算出手段と、
   前記発生符号量に基づいて前記入力ピクチャに対する前記仮の目標符号量Ｒ'を算出する目標符号量算出手段と、
   を有することを特徴とする請求項１乃至７のいずれか１項に記載の動画像符号化装置。
10. 動画像を入力ピクチャ毎に符号化し、符号化ストリームを出力する動画像符号化装置の制御方法であって、
    入力ピクチャから統計情報を算出する統計情報算出ステップと、
    該統計情報に基づいて、符号量と符号化歪みの関係を表すＲ−Ｄ関係式を算出するＲ−Ｄ関係式算出ステップと、
    前記入力ピクチャに対する仮の目標符号量Ｒ'と前記Ｒ−Ｄ関係式に基づいて、仮の符号化歪み予測値Ｄ'を出力する符号化歪み予測ステップと、
    前記入力ピクチャに対する視覚感度に基づいて、符号化歪みの調整範囲の指標となる符号化歪み指標値を算出する符号化歪み指標値算出ステップと、
    前記符号化歪み指標値に基づいて前記仮の符号化歪み予測値Ｄ'を修正し、符号化歪み予測値Ｄとして出力する符号化歪み予測修正ステップと、
    前記符号化歪み予測値Ｄと前記Ｒ−Ｄ関係式に基づいて、前記入力ピクチャに対する目標符号量Ｒを出力する目標符号量算出ステップと、
    前記目標符号量Ｒに基づいて符号化パラメータを算出する符号化パラメータ算出ステップと、
    前記入力ピクチャを前記符号化パラメータに基づいて符号化し、符号化ストリームとして出力する符号化ステップと、
    を有することを特徴とする動画像符号化装置の制御方法。
11. コンピュータを請求項１乃至９のいずれか１項に記載の動画像符号化装置として機能させるためのプログラム。
12. 請求項１１に記載のプログラムを記録したコンピュータ可読な記録媒体。

Images