JP2002094954A - 統計多重システム、統計多重制御装置、統計多重制御方法および統計多重制御における数式決定方法 - Google Patents

Abstract

(57)【要約】 【課題】 人間の特性に適した符号レートの割り当てを
行うことができる統計多重システム、統計多重制御装
置、統計多重制御方法および統計多重制御における数式
決定方法を提供する。 【解決手段】 統計多重システム１は、番組データＳ_i
を符号化する複数の画像符号化装置２_iと、各画像符号
化装置２_iの出力データを多重化する多重化装置６と、
各画像符号化装置２_iにビットレートを割り当てる統計
多重制御装置５とを備えている。統計多重制御装置５
は、番組データＳ_iの符号化難易度Ｄ_iおよび定数Ｍ，
Ｋ，Ａに基づいて、ＴＲ_i＝Ｍ／（Ｋ＋Ａ／Ｄ_i）という
式により暫定ビットレートＴＲ_iを算出し、その暫定符
号レートＴＲ_iに基づいて符号レートＲ_iを定める。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像データを含む
複数の番組データを符号化し多重化する統計多重システ
ム、およびその統計多重システムで用いられる統計多重
制御装置ならびに統計多重制御方法に関する。本発明
は、また、統計多重制御において符号レートを設定する
ために用いられる数式を決定する方法に関する。

【０００２】

【従来の技術】最近、画像データなどをデジタルデータ
として送受信するデジタル放送が注目されている。デジ
タル放送の利点は、アナログ放送に比べて、同じ伝送路
においてより多くの番組データ（以下、プログラムとい
う。）を伝送することが可能であるということである。
これは画像データを圧縮して伝送できるということによ
るところが大きい。画像データの圧縮の方法としては、
例えばＭＰＥＧ（MovingPicture Experts Group）規格
で採用されている双方向予測符号化方式がある。

【０００３】デジタル放送における画像の圧縮符号化で
は、圧縮符号化後のデータ量（ビット量）を、伝送路の
伝送容量以下に抑えつつ、画質を高品質に保つ必要があ
る。

【０００４】所定の伝送容量の伝送路に対して、より多
くのプログラムを流す方法として、「統計多重」という
手法がある。統計多重は、各プログラムに割り当てられ
る符号レートを動的に変化させることにより、より多く
のプログラムを伝送する手法である。この統計多重で
は、例えば、符号レートを減らしても画質の劣化が目立
たないプログラムについては符号レートを減らすことに
より、より多くのプログラムの伝送を可能にする。

【０００５】ここで、図９および図１０を参照して、統
計多重制御について更に説明する。図９は、従来の固定
レートにより多重化した場合の各プログラムに対して割
り当てられる符号レートの一例を表したものである。図
９において、縦軸は各プログラムの符号レートを表し、
横軸は時間を表している。図９に示したように、例えば
天気予報、ニュースおよびドラマといった多重化される
各プログラムの割当符号レートは、初期値として割り当
てられた符号レートのままであり、時間の経過によって
変動していない。各プログラムに対して初期値として割
り当てられる符号レートは、各プログラムの画質の劣化
が目立つ部分（時間）における画質の劣化が許容範囲に
収まるように割り当てられている。従って、画質の劣化
が目立つ部分以外には、必要以上の符号レートが割り当
てられていることになる。

【０００６】図１０は、統計多重の手法を用いて、各プ
ログラムに対する割当符号レートを動的に変化させて多
重化した場合の各プログラムに対する割当符号レートの
一例を表したものであり、縦軸が各プログラムに対する
割当符号レート、横軸が時間を表している。統計多重
は、各プログラムの画質の劣化が目立つ部分（時間）が
同一時に重なることが稀であることを利用したものであ
る。そのため、あるプログラムでは画質劣化が目立つ部
分であるとき、他のプログラムは符号レートを落として
も画質劣化が目立たない場合が多いので、他のプログラ
ムの符号レートを落として、画質劣化が目立つプログラ
ムに対して符号レートを多く割り当てることができる。
図１０に示した例では、時刻Ｐにおいて、ドラマ（１）
では画質劣化が目立つ部分であり、ニュースおよびドラ
マ（２）では画質劣化が目立たない部分であるとき、ニ
ュースおよびドラマ（２）の符号レートを落として、ド
ラマ（１）に対してその分の符号レートを多く割り当て
る。このようにして、統計多重を用いることにより、通
常よりも多くのプログラムを伝送することができる。

【０００７】

【発明が解決しようとする課題】ところで、人間にとっ
ての画像ノイズの見え易さは、画質が同じであっても、
符号化難易度の大小によって異なることが知られてい
る。すなわち、サッカー中継など、符号化難易度が大き
い（すなわち、動きの激しい）プログラムでは、人間が
画像ノイズに気づきにくいのに対して、天気予報など、
符号化難易度が小さい（すなわち、動きの少ない）プロ
グラムでは、人間が画像ノイズに気づき易い。

【０００８】しかしながら、従来は、符号化難易度の大
小に係わらず、各プログラムを同程度の画質に保つよ
う、各プログラムに対する符号レートの割り当てがなさ
れていた。このような符号化難易度の割り当て方法で
は、符号化難易度が大きいプログラムについて、実際に
は人間が画像ノイズに気づきにくいにも係わらず、必要
以上に大きな符号レートが割り当てられることになり、
割り当て効率が悪いという問題があった。

【０００９】本発明はかかる問題点に鑑みてなされたも
ので、その目的は、人間の視覚特性に適した符号レート
の割り当てを行うことができる統計多重システム、統計
多重制御装置、統計多重制御方法および統計多重制御に
おける数式決定方法を提供することにある。

【００１０】

【課題を解決するための手段】本発明による統計多重シ
ステムは、それぞれ画像データを含む複数の番組データ
を符号化して出力する複数の画像符号化手段と、各画像
符号化手段の出力データを多重化する多重化手段と、各
番組データの符号化の難易度を表す符号化難易度を取得
すると共に、この符号化難易度に基づき、各画像符号化
手段に対して単位時間当たりの出力符号量としての符号
レートを設定する統計多重制御手段とを備えた統計多重
システムであって、統計多重制御手段は、人間の視覚特
性に基づいて定義された数式を用いて、各画像符号化手
段に対して設定すべき符号レートを算出することを特徴
とするものである。

【００１１】本発明による統計多重制御装置は、それぞ
れ画像データを含む複数の番組データを符号化して出力
する複数の画像符号化手段と、各画像符号化手段の出力
データを多重化する多重化手段とを備えた統計多重シス
テムに用いられ、各番組データの符号化の難易度を表す
符号化難易度を取得すると共に、この符号化難易度に基
づき、各画像符号化手段に対して単位時間当たりの出力
符号量としての符号レートを設定する統計多重制御装置
であって、人間の視覚特性に基づいて定義された数式を
用いて、各画像符号化手段に対して設定すべき符号レー
トを算出することを特徴とするものである。

【００１２】本発明による統計多重制御方法は、それぞ
れ画像データを含む複数の番組データを符号化して出力
する複数の画像符号化手段と、各画像符号化手段の出力
データを多重化する多重化手段とを備えた統計多重シス
テムに用いられ、各画像符号化手段に対して単位時間当
たりの出力符号量としての符号レートを設定する統計多
重制御方法であって、各番組データの符号化の難易度を
表す符号化難易度を取得するステップと、この符号化難
易度に基づき、人間の視覚特性に基づいて定義された数
式を用いて、各画像符号化手段に対して設定すべき符号
レートを算出するステップとを含むことを特徴とするも
のである。

【００１３】本発明による統計多重制御における数式決
定方法は、それぞれ画像データを含む複数の番組データ
を符号化して出力する複数の画像符号化手段と、各画像
符号化手段の出力データを多重化する多重化手段と、各
番組データの符号化の難易度を表す符号化難易度を取得
し、この符号化難易度に基づいて各画像符号化手段に対
して単位時間当たりの出力符号量としての符号レートを
割り当てる統計多重制御手段とを備えた統計多重システ
ムにおいて、符号レートの算出に用いられる数式を決定
する方法であって、符号化難易度が異なる複数の番組デ
ータを人間に観察させ、複数の番組データのそれぞれに
ついて人間が視覚を通じて得た情報を取得するステップ
と、この人間が視覚を通じて得た情報に基づいて、符号
化難易度から符号レートを求める数式を得るステップと
を含むことを特徴とするものである。

【００１４】本発明による統計多重システム、統計多重
制御装置または統計多重制御方法では、人間の視覚特性
に基づいて定義された数式により、各番組データの符号
化難易度から、各画像符号化手段に対して設定すべき符
号レートが求められる。

【００１５】本発明による統計多重制御における数式決
定方法では、符号化難易度が異なる複数の番組データに
ついて人間が視覚を通じて得た情報に基づき、符号化難
易度から符号レートを求める数式が得られる。

【００１６】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。

【００１７】＜統計多重システムの構成＞図１は、本発
明の一実施の形態に係る統計多重システムの構成例を表
すブロック図である。この統計多重システム１は、番組
データとしてのプログラムＳ_i（ｉは１以上の整数値）
を圧縮符号化する複数の画像符号化手段としての画像符
号化装置２_iと、各画像符号化装置２_iの出力データを多
重化して伝送路６６に出力する多重化装置６とを備えて
いる。この統計多重システム１は、さらに、各画像符号
化装置２_iに対して単位時間当たりの出力符号量として
のビットレート（符号レート）を割り当てることによ
り、各画像符号化装置２_iを制御する統計多重制御装置
５を備えている。

【００１８】画像符号化装置２_iは、それぞれ画像デー
タを含むプログラムＳ_iを入力され、圧縮符号化し、符
号化画像信号Ｓｔ_iとして多重化装置６に出力するよう
になっている。各画像符号化装置２_iは、符号化画像信
号Ｓｔ_iの単位時間当たりの出力符号量としてのビット
レートＲ_iを、フレーム単位で変更できるようになって
いる。さらに、画像符号化装置２_iは、入力されたプロ
グラムＳ_iの符号化難易度Ｄ _i（すなわち、同じ画質を保
つために必要なデータ量の割合）を算出すると共に、こ
の符号化難易度Ｄ_iを統計多重制御装置５に送信するよ
うになっている。

【００１９】図２は、図１における統計多重制御装置５
の概略構成例を表すブロック図である。統計多重制御装
置５は、ＣＰＵ（Central Processing Unit）５１と、
ＦＲＯＭ（flash electrically erasable programmable
read only memory）５２と、ＤＲＡＭ（dynamic rando
m access memory）５３と、これらが接続されたバス５
５とを備えている。統計多重制御装置５は、更に、それ
ぞれの画像符号化装置２_iとのデータの送受信を行うた
めのインターフェース５４を備えている。この統計多重
制御装置５は、インターフェース５４を介して、各画像
符号化装置２_iから符号化難易度Ｄ_iを受信し、かつ、各
画像符号化装置２_iに対して符号化画像信号Ｓｔ_iのビッ
トレートＲ_iを送信するようになっている。

【００２０】統計多重制御装置５のＣＰＵ５１は、各画
像符号化装置２_iに対するビットレートＲ_iの設定の際、
まず、ビットレートの暫定的な目標値としての暫定ビッ
トレートＴＲ_iを算出するようになっている。ここで
は、符号化難易度Ｄ_iと暫定ビットレートＴＲ_iとの対応
関係を表す数式である（１）式を用いる。後述するよう
に、この（１）式は、人間の視覚特性に基づいて定義さ
れたものである。

【００２１】 ＴＲ_i＝Ｍ／（Ｋ＋Ａ／Ｄ_i）・・・ （１） 但し、 Ｋ：定数 Ｍ：定数 Ａ：定数

【００２２】ＣＰＵ５１は、さらに、各画像符号化装置
２_iについての暫定ビットレートＴＲ_iの総和Ｓｕｍを算
出し、この総和Ｓｕｍが伝送路６６の伝送容量Ｔｏを超
えないよう修正することにより、最終的なビットレート
Ｒ_iを得るようになっている。すなわち、総和Ｓｕｍが
伝送容量Ｔｏを超えた場合には、以下の（２）式に基づ
いて暫定ビットレートＴＲ_iを修正方向に修正し、最終
的なビットレートＲ_iを得る。なお、このとき、ビット
レートＲ_iが小さくなりすぎないよう、適宜補正を行う
ようにしてもよい。

【００２３】 Ｒ_i＝ＴＲ_i×Ｔｏ／Ｓｕｍ ・・・ （２）

【００２４】一方、暫定ビットレートＴＲ_iの総和Ｓｕ
ｍが伝送路６６の伝送容量Ｔｏ以下の場合には、以下の
（３）式に示したように、暫定ビットレートＴＲ_iをそ
のまま最終的なビットレートＲ_iとするようになってい
る。なお、このとき、暫定ビットレートＴＲ_iの総和Ｓ
ｕｍが伝送容量Ｔｏを超えない範囲で、それぞれの暫定
ビットレートＴＲ_iを増加方向に修正するようにしても
よい。

【００２５】Ｒ_i＝ＴＲ_i ・・・ （３）

【００２６】上述した（１）式〜（３）式は、統計多重
制御装置５の例えばＦＲＯＭ５２に予め記憶されている
ものとする。

【００２７】図３は、画像符号化装置２_iの詳細な構成
を表すブロック図である。画像符号化装置２_iは、プロ
グラムＳ_iを入力し、圧縮符号化のための前処理等を行
うエンコーダ前処理部１１と、このエンコーダ前処理部
１１の出力データを所定時間だけ遅延して出力するため
のＦＩＦＯメモリ１２と、このＦＩＦＯメモリ１２の出
力データを入力し、ピクチャ毎にピクチャタイプに応じ
た画像符号化方法によって圧縮符号化して、符号化画像
信号Ｓｔ_iを出力するエンコーダ１３と、エンコーダ前
処理部１１の出力データに基づいて動きベクトルを検出
し、エンコーダ１３に送る動き検出回路１４と、エンコ
ーダ前処理部１１から出力されるイントラＡＣデータＳ
ａ_iと動き検出回路１４から出力されるＭＥ残差データ
Ｓｚ_iとに基づいてエンコーダ１３を制御する符号化制
御部１５とを備えている。なお、ＭＥ残差とは、動き予
測誤差をピクチャ全体について絶対値和あるいは自乗和
したものであり、ＭＥ残差データＳｚ_iは、ＭＥ残差を
求めるためのデータである。

【００２８】エンコーダ前処理部１１は、プログラムＳ
_iを入力し、符号化する順番に従ってピクチャ（Ｉピク
チャ，Ｐピクチャ，Ｂピクチャ）の順番を並べ替える画
像並べ替え回路２１と、この画像並べ替え回路２１の出
力データを入力し、フレーム構造かフィールド構造かを
判別し、判別結果に応じた走査変換および１６×１６画
素のマクロブロック化を行う走査変換・マクロブロック
化回路２２と、この走査変換・マクロブロック化回路２
２の出力データを入力し、Ｉピクチャにおけるイントラ
ＡＣを算出し、イントラＡＣデータＳａ_iを符号化制御
部１５に送ると共に、走査変換・マクロブロック化回路
２２の出力データをＦＩＦＯメモリ１２および動き検出
回路１４に送るイントラＡＣ演算回路２３とを備えてい
る。なお、イントラＡＣとは、Ｉピクチャにおいて、８
×８画素のＤＣＴ（離散コサイン変換）ブロック内の各
画素の画素値とＤＣＴブロック内の画素値の平均値との
差分の絶対値の総和として定義され、絵柄の複雑さを表
すものといえる。

【００２９】エンコーダ１３は、ＦＩＦＯメモリ１２の
出力データと予測画像データとの差分をとる減算回路３
１と、この減算回路３１の出力データに対して、ＤＣＴ
ブロック単位でＤＣＴを行い、ＤＣＴ係数を出力するＤ
ＣＴ回路３２と、このＤＣＴ回路３２の出力データを量
子化する量子化回路３３と、この量子化回路３３の出力
データを可変長符号化する可変長符号化回路３４と、こ
の可変長符号化回路３４の出力データを一旦保持し、ビ
ットストリームからなる符号化画像信号Ｓｔ_iとして出
力するバッファメモリ３５と、量子化回路３３の出力デ
ータを逆量子化する逆量子化回路３６と、この逆量子化
回路３６の出力データに対して逆ＤＣＴを行う逆ＤＣＴ
回路３７と、この逆ＤＣＴ回路３７の出力データと予測
画像データとを加算して出力する加算回路３８と、この
加算回路３８の出力データを保持し、動き検出回路１４
から送られる動きベクトルに応じて動き補償を行って予
測画像データを減算回路３１および加算回路３８に出力
する動き補償回路３９とを備えている。

【００３０】動き検出回路１４は、エンコーダ前処理部
１１の出力データに基づいて、圧縮符号化の対象となる
ピクチャの注目マクロブロックと、参照されるピクチャ
において注目マクロブロックとの間の画素値の差分の絶
対値和あるいは自乗和が最小となるマクロブロックを探
して、動きベクトルを検出して動き補償回路３９に送る
ようになっている。また、動き検出回路１４は、動きベ
クトルを求める際に、最小となったマクロブロック間に
おける画素値の差分の絶対値和あるいは自乗和を、ＭＥ
残差データＳｚ_iとして符号化制御部１５に送るように
なっている。

【００３１】符号化制御部１５は、動き検出回路１４か
らのＭＥ残差データＳｚ_iをピクチャ全体について足し
合わせた値であるＭＥ残差を算出するＭＥ残差計算部２
４と、このＭＥ残差計算部２４によって算出されたＭＥ
残差とイントラＡＣ演算回路２３からのイントラＡＣデ
ータＳａ_iとに基づいて、ピクチャの符号化の難易度を
表す符号化難易度Ｄ_iを算出し、統計多重制御装置５に
送る符号化難易度計算部２５とを備えている。また、符
号化制御部１５は、符号化難易度計算部２５によって算
出された符号化難易度Ｄ_iに基づいて統計多重制御装置
５において決定されたビットレートＲ_iとなるように量
子化回路３３における量子化特性値に対応する量子化イ
ンデックスを決定し、量子化回路３３に送る量子化イン
デックス決定部２６を備えている。

【００３２】なお、本実施の形態では、Ｉピクチャにつ
いてはイントラＡＣを用いて符号化難易度Ｄ_iを求め、
ＰピクチャとＢピクチャについてはＭＥ残差を用いて符
号化難易度Ｄ_iを求めることとしている。イントラＡＣ
は絵柄の複雑さを表し、ＭＥ残差は映像の動きの速さお
よび絵柄の複雑さを表している。

【００３３】＜統計多重システムの動作＞次に、図１に
示した統計多重システム１の動作について説明する。各
プログラムＳ_iは各画像符号化装置２_iに入力される。画
像符号化装置２_iでは、入力されたプログラムＳ_iに基づ
いて符号化制御部１５が符号化難易度Ｄ_iを算出し、統
計多重制御装置５に送信する。

【００３４】図４は、統計多重制御装置５が実行する処
理を表す流れ図である。統計多重制御装置５は、各画像
符号化装置２_iから送信された各プログラムＳ_iの符号化
難易度Ｄ_iを受信する（Ｓ１００）。統計多重制御装置
５は、この符号化難易度Ｄ_iに基づいて、各画像符号化
装置２_iに対する暫定ビットレートＴＲ_iをそれぞれ算出
する（Ｓ１０２）。ここでは、符号化難易度Ｄ_iと暫定
ビットレートとの対応関係を表す上述の（１）式を用い
て、暫定ビットレートＴＲ_iを算出する。

【００３５】次いで、統計多重制御装置５は、各画像符
号化装置２_iに対して設定された暫定ビットレートＴＲ_i
の総和Ｓｕｍを算出し、この総和Ｓｕｍと伝送容量Ｔｏ
との大小関係を判断する（Ｓ１０４）。暫定ビットレー
トＴＲ_iの総和Ｓｕｍが伝送容量Ｔｏよりも大きい場合
（Ｓ１０４でＹ）には、その総和Ｓｕｍが伝送容量Ｔｏ
以下になるよう、上述した（２）式を用いて各暫定ビッ
トレートＴＲ_iを減少方向に修正し、これを最終的なビ
ットレートＲ_iとする（Ｓ１０６）。一方、暫定ビット
レートＴＲ_iの総和Ｓｕｍが伝送容量Ｔｏ以下満の場合
（Ｓ１０４でＮ）には、上述した（３）式に示したよう
に、暫定ビットレートＴＲ_iを修正せずに、最終的なビ
ットレートＲ_iとする（Ｓ１０８）。続いて、ステップ
Ｓ１０６またはステップＳ１０８で設定された符号化画
像信号Ｓｔ_iのビットレートＲ_iを各画像符号化装置２_i
に送信する（Ｓ１１０）。図４に示した処理により、各
画像符号化装置２_iの符号化画像信号Ｓｔ_iのビットレー
トＲ_iが設定される。

【００３６】画像符号化装置２_iでは、符号化制御部１
５が統計多重制御装置５から送信されたビットレートＲ
_iを受信し、このビットレートＲ_iに応じてエンコーダ１
３の符号化処理を制御する。エンコーダ１３は、符号化
制御部１５から指示されたビットレートＲ_iでプログラ
ムＳ_iを圧縮符号化し、符号化画像信号Ｓｔ_iを多重化装
置６に出力する。多重化装置６は、各画像符号化装置２
_iから送信された符号化画像信号Ｓｔ_iを多重化して、画
像データＳｍを生成し、伝送路に対して出力する。ここ
では、人間の視覚特性に基づいて定義された（１）式を
用いてビットレートＲ_iを求めるようにしたので、より
人間の視覚特性に適したビットレートＲ_iの設定が可能
になる。

【００３７】＜数式の決定プロセス＞次に、上述した統
計多重制御装置５が暫定ビットレートＴＲ_iの算出の際
に用いる（１）式を決定するプロセスについて説明す
る。以下のプロセスは、統計多重システム１の製造前に
行われているものである。

【００３８】図５は、符号化難易度Ｄ_iと画質Ｑとの関
係を表す特性図である。画質Ｑは、量子化値により表す
ものとする。量子化値とは、画像符号化装置２_iにおけ
るＤＣＴ回路３２の出力を量子化回路３３で除算して量
子化する際に用いる除数である。量子化値が大きいほど
画像ノイズが多くて画質が悪く、量子化値が小さいほど
画像ノイズが少なくて画質が良好である。

【００３９】符号化難易度Ｄ_iと画質Ｑとの関係は、ビ
ットレートＲ_iによって変化する。図６には、ビットレ
ートを２Ｍｂｐｓ（メガビット毎秒），３Ｍｂｐｓ，４
Ｍｂｐｓ，５Ｍｂｐｓ，８Ｍｂｐｓ，１２Ｍｂｐｓとし
たときの、符号化難易度Ｄ_iと画質Ｑとの関係をそれぞ
れ直線Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆで表す。

【００４０】図５に示した６つの直線Ａ〜Ｆから、画質
Ｑを符号化難易度Ｄ_iで除した値（Ｑ／Ｄ_i）と、符号化
難易度Ｄ_iとの間に、図６に示したような関係があるこ
とが分かる。図６に示した曲線は、双曲線をなしてお
り、以下の（４）式で近似することができる。但し、Ｍ
は定数である。

【００４１】Ｑ／Ｄ_i＝Ｍ・Ｒ_i ^-1 ・・・ （４）

【００４２】次に、人間の視覚特性に適したビットレー
トを算出する数式を得るため、実際に、人間（観察者）
にプログラムを観察させ、人間の画像ノイズに対する気
付き易さを調べた。具体的には、観察者に、符号化難易
度Ｄ_iの異なる複数のプログラムＳ_iを順次観察させ、そ
れぞれのプログラムＳ_iについて符号化時の量子化値を
徐々に変化させると共に、観察者の主観に基づく画質の
評価を行った。この観察者の主観的な画質評価に基づい
て、観察者が我慢できる最低限の画質（ボトム画質とす
る。）と、画質がこれ以上向上したとても観察者が画質
の向上を認識できない上限の画質（トップ画質とす
る。）とを調べた。

【００４３】図７は、人間の視覚特性を考慮した、符号
化難易度Ｄ_iと画質Ｑとの相関関係を表す特性図であ
る。図７では、上述したボトム画質を直線ＢＯＴＴＯＭ
で示し、トップ画質を直線ＴＯＰで示している。直線Ｔ
ＯＰと直線ＢＯＴＴＯＭとは互いに平行と見なすことが
できる。これにより、画質Ｑと符号化難易度Ｄ_iとの間
に、以下の（５）式のような一次関数で表される相関関
係があることが分かる。

【００４４】Ｑ＝Ｋ・Ｄ_i＋Ａ ・・・ （５）

【００４５】この（５）式と上述した（４）式とから、
画質Ｑを消去して、以下の（１ａ）式が導かれる。

【００４６】 Ｒ_i＝Ｍ／（Ｋ・Ｄ_i＋Ａ） ・・・ （１ａ）

【００４７】この（１ａ）式により、符号化難易度Ｄ_i
に基づいて、ビットレートＲ_iを直接求めることが可能
になる。但し、伝送路６６のオーバーフローを起こさせ
ないようにするためには、一旦、暫定ビットレートＴＲ
_iを算出して、その暫定ビットレートＴＲ_iの総和を許容
範囲内に収めるよう修正して、最終的なビットレートＲ
_iとしなければならない。そこで、（１ａ）式において
Ｒ_iをＴＲ_iと置き換え、上述した（１）式を得る。この
ようにして、統計多重制御装置５がビットレートＲ_iの
算出のために用いる（１）式が得られる。

【００４８】このように、人間の視覚特性に基づいて定
義された（１）式を利用してビットレートＲ_iを求める
ようにしたので、人間の視覚特性に適したビットレート
Ｒ_iの設定が可能になる。

【００４９】ここで、本実施の形態により得られる効果
を、従来のビットレートの算出方法と比較して説明す
る。従来は、人間の視覚特性は全く考慮せず、画質Ｑを
一定（例えば１０）として、図６に基づいてビットレー
トＲ_iを定めていた。例えば、符号化難易度Ｄ_iが約６０
０の場合（Ｑ／Ｄ_iは約０．０１６）、ビットレートＲ _i
は約２Ｍｂｐｓとなり、符号化難易度Ｄ_iが約３７００
の場合（Ｑ／Ｄ_iは約０．００３）、ビットレートＲ_iは
約１２Ｍｂｐｓとなる。これに対し、本実施の形態で
は、人間の視覚特性に基づいて定義された（１）式を利
用してビットレートＲ_iを求めるようにしたので、符号
化難易度Ｄiが大きく人間が画像ノイズに気づきにくい
条件下では特に、ビットレートＲ_iをより小さく設定す
ることができる。

【００５０】以上説明したように、本実施の形態に係る
統計多重システムによれば、人間の視覚特性に基づいて
定義された（１）式を利用してビットレートＲ_iを求め
るようにしたので、人間の視覚特性に適したビットレー
トＲ_iの設定が可能になる。すなわち、人間が画像ノイ
ズに気付きにくいプログラムに対して必要以上にビット
レートを割り当てることなく、効率的なビットレートの
割り当てを行うことができる。

【００５１】さらに、（１）式により暫定ビットレート
ＴＲ_iを設定し、その暫定ビットレートＴＲ_iの総和が伝
送容量を超えないよう修正して最終的なビットレートＲ
_iを得るようにしたので、伝送路のオーバーフローのな
い効率的なビットレートの割り当てが可能になる。

【００５２】また、（１）式を求めるプロセスにおい
て、観察者に符号化難易度の異なる複数のプログラムを
観察させ、観察者の知覚に基づいて画質と符号化難易度
との関係を求めるようにしたので、人間の視覚特性を利
用したビットレート算出式が得られる。

【００５３】ここで、本実施の形態の変形例について説
明する。人間の画像ノイズに対する気付き易さ（知覚感
度）と、画像の明るさとの間には、例えば図８に示した
ような相関関係があることが知られている。図８に示し
た例では、画像ノイズに対する知覚感度は、ある明るさ
Ｘにおいて極小になっている。そこで、本変形例では、
画像の明るさに応じて、（１）式の定数Ａを変更するよ
うにしている。具体的には、画像ノイズの知覚感度が極
小となるような明るさＸのときに、定数Ａを最も大きく
し、明るさがＸから離れるほど定数Ａを小さくする。こ
のようにすれば、人間の画像ノイズに対する気付き易さ
に柔軟に対応したビットレートの設定が可能になる。

【００５４】以上、実施の形態を挙げて本発明を説明し
たが、本発明はこの実施の形態に限定されるものではな
く、種々の変形が可能である。例えば、上述した実施の
形態では、暫定ビットレートＴＲ_iから（２）式および
（３）式を利用してビットレートＲ_iを算出したが、伝
送路のオーバーフローが生じないようにすることができ
れば、他の方法を用いてもよい。また、統計多重システ
ム１，画像符号化装置２_i，統計多重制御装置５および
多重化装置６の構成は、図１ないし図３に示したような
構成に限られず、他の構成であってもよい。

【００５５】

【発明の効果】以上説明したように、請求項１ないし請
求項４のいずれか１に記載の統計多重システム、請求項
５ないし請求項９のいずれか１に記載の統計多重制御装
置、または請求項１０ないし請求項１２のいずれか１に
記載の統計多重制御方法によれば、人間の視覚特性に基
づいて定義された数式を用いて符号レートを算出するよ
うにしたので、人間の視覚特性に適した効率的な符号レ
ートの割り当てが可能になるという効果を奏する。

【００５６】特に、請求項２記載の統計多重システム、
請求項６記載の統計多重制御装置、または請求項１１記
載の統計多重制御方法によれば、（１）式を用いて暫定
ビットレートを求め、この暫定ビットレートを調整する
ことにより最終的なビットレートを得るようにしたの
で、伝送路のオーバーフローを生じさせずに、かつ、人
間の視覚特性に適した符号レートの割り当てを行うこと
ができるという効果を奏する。

【００５７】また、請求項３記載の統計多重システム、
請求項７記載の統計多重制御装置、または請求項１２記
載の統計多重制御方法によれば、（１）式における定数
Ａを人間の視覚特性に応じて変更するようにしたので、
より一層、人間の視覚特性に柔軟に対応した符号レート
の割り当てを行うことができるという効果を奏する。

【００５８】また、請求項１３または請求項１４に記載
の統計多重制御における数式決定方法によれば、番組を
人間（観察者）に観察させ、その観察者が視覚を通じて
取得した情報に応じて数式を得るようにしたので、人間
の視覚特性を十分に考慮した符号レートの割り当てのた
めの数式を得ることが可能になるという効果を奏する。

【図面の簡単な説明】

【図１】本発明の実施の形態に係る画像符号化制御装置
を含む統計多重システムの概略の構成を表すブロック図
である。

【図２】図１に示した統計多重システムにおける統計多
重制御装置のハードウェア構成を表すブロック図であ
る。

【図３】図１に示した統計多重システムにおける画像符
号化装置の概略構成例を表すブロック図である。

【図４】画質と符号化難易度との相関関係を表す特性図
である。

【図５】統計多重制御装置により実行される処理を表す
流れ図である。

【図６】画質，符号化難易度および符号レートの相関関
係を表す特性図である。

【図７】画質，符号化難易度および符号レートの相関関
係を表す特性図である。

【図８】人間の視覚特性を考慮した画質と符号化難易度
との相関関係を表す特性図である。

【図９】ビットレートが固定された場合の一般的な割当
符号レートを表す図である。

【図１０】統計多重制御における一般的な割当符号レー
トを表す図である。

【符号の説明】

１…統計多重システム、２_i…画像符号化装置、５…統
計多重制御装置、６…多重化装置、１１…エンコーダ前
処理部、１２…ＦＩＦＯメモリ、１３…エンコーダ、１
４…動き検出回路、１５…符号化制御部、１６…プルダ
ウン検出部、２１…画像並べ替え回路、２２…走査変換
・マクロブロック化回路、２３…イントラＡＣ演算回
路、２４…ＭＥ残差計算部、３１…減算回路、３２…Ｄ
ＣＴ回路、３３…量子化回路、３４…可変長符号化回
路、３５…バッファメモリ、３６…逆量子化回路、３７
…逆ＤＣＴ回路、３９…動き補償回路。

フロントページの続き Ｆターム(参考） 5C059 KK02 MA23 ME01 NN01 NN28 PP04 RB10 RC09 RC12 SS01 TA53 TA60 TA65 TB04 TC10 TD04 TD06 UA02 UA33

Claims (14)

【特許請求の範囲】
1. 【請求項１】 それぞれ画像データを含む複数の番組デ
   ータを符号化して出力する複数の画像符号化手段と、 各画像符号化手段の出力データを多重化する多重化手段
   と、 各番組データの符号化の難易度を表す符号化難易度を取
   得すると共に、この符号化難易度に基づいて、各画像符
   号化手段に対して単位時間当たりの出力符号量としての
   符号レートを設定する統計多重制御手段とを備えた統計
   多重システムであって、 前記統計多重制御手段は、人間の視覚特性に基づいて定
   義された数式を用いて、各画像符号化手段に対して設定
   すべき符号レートを算出することを特徴とする統計多重
   システム。
2. 【請求項２】 前記数式は、各画像符号化手段に対する
   符号レートＲ_iの目標値としての暫定符号レートをＴＲ_i
   とし、各番組データの符号化難易度をＤ_iとすると、以
   下の（１）式で表され、 前記統計多重制御手段は、（１）式を用いて前記暫定符
   号レートＴＲ_iを求め、さらに、各画像符号化手段につ
   いての前記暫定符号レートＴＲ_iの総和が許容範囲を超
   えないように前記暫定符号レートＴＲ_iを調整すること
   により、前記符号レートＲ_iを算出することを特徴とす
   る請求項１記載の統計多重システム。 ＴＲ_i＝Ｍ／（Ｋ＋Ａ／Ｄ_i） ・・・ （１） 但し、 Ｋ：定数 Ｍ：定数 Ａ：定数
3. 【請求項３】 人間の視覚特性に応じて、前記（１）式
   における定数Ａを変更することを特徴とする請求項２記
   載の統計多重システム。
4. 【請求項４】 前記数式は、画像ノイズに対する人間の
   気付き易さを考慮して定義されていることを特徴とする
   請求項１記載の統計多重システム。
5. 【請求項５】 それぞれ画像データを含む複数の番組デ
   ータを符号化して出力する複数の画像符号化手段と、各
   画像符号化手段の出力データを多重化する多重化手段と
   を備えた統計多重システムに用いられ、各番組データの
   符号化の難易度を表す符号化難易度を取得すると共に、
   この符号化難易度に基づき、各画像符号化手段に対して
   単位時間当たりの出力符号量としての符号レートを設定
   する統計多重制御装置であって、 人間の視覚特性に基づいて定義された数式を用いて、各
   画像符号化手段に対して設定すべき符号レートを算出す
   ることを特徴とする統計多重制御装置。
6. 【請求項６】 前記数式は、各画像符号化手段に対する
   符号レートＲ_iの目標値としての暫定符号レートをＴＲ_i
   とし、各番組データの符号化難易度をＤ_iとすると、以
   下の（１）式で表され、 （１）式を用いて、各画像符号化手段に対して設定すべ
   き暫定符号レートＴＲ _iを求め、さらに、各画像符号化
   手段についての前記暫定符号レートＴＲ_iの総和が許容
   範囲を超えないように前記暫定符号レートＴＲ_iを調整
   することにより、前記符号レートＲ_iを算出することを
   特徴とする請求項５記載の統計多重制御装置。 ＴＲ_i＝Ｍ／（Ｋ＋Ａ／Ｄ_i） ・・・ （１） 但し、 Ｋ：定数 Ｍ：定数 Ａ：定数
7. 【請求項７】 人間の視覚特性に応じて、前記（１）式
   における定数Ａを変更することを特徴とする請求項６記
   載の統計多重制御装置。
8. 【請求項８】 前記数式は、画像ノイズに対する人間の
   気付き易さを考慮して定義されていることを特徴とする
   請求項５記載の統計多重制御装置。
9. 【請求項９】 それぞれ画像データを含む複数の番組デ
   ータを符号化して出力する複数の画像符号化手段と、各
   画像符号化手段の出力データを多重化する多重化手段と
   を備えた統計多重システムに用いられ、各画像符号化手
   段に対して単位時間当たりの出力符号量としての符号レ
   ートを設定することにより各画像符号化手段を制御する
   統計多重制御方法であって、 各番組データの符号化の難易度を表す符号化難易度を取
   得する取得ステップと、 この符号化難易度に基づき、人間の視覚特性に基づいて
   定義された数式を用いて、各画像符号化手段に対する符
   号レートの設定を行う設定ステップとを含むことを特徴
   とする統計多重制御方法。
10. 【請求項１０】 前記数式は、各画像符号化手段に対す
    る符号レートＲ_iの目標値としての暫定符号レートをＴ
    Ｒ_iとし、各番組データの符号化難易度をＤ_iとすると、
    以下の（１）式で表され、 前記設定ステップは、（１）式を用いて前記暫定符号レ
    ートを求めるステップと、 各画像符号化手段についての前記暫定符号レートＴＲ_i
    の総和が許容範囲を超えないように前記暫定符号レート
    ＴＲ_iを調整することにより、前記符号レートＲ_iを得る
    ステップと を含むことを特徴とする請求項９記載の統計多重制御方
    法。 ＴＲ_i＝Ｍ／（Ｋ＋Ａ／Ｄ_i） ・・・ （１） 但し、 Ｋ：定数 Ｍ：定数 Ａ：定数
11. 【請求項１１】 さらに、人間の視覚特性に応じて、前
    記（１）式における定数Ａを変更するステップを含むこ
    とを特徴とする請求項１０記載の統計多重制御方法。
12. 【請求項１２】 前記数式は、画像ノイズに対する人間
    の気付き易さを考慮して定義されていることを特徴とす
    る請求項９記載の統計多重制御方法。
13. 【請求項１３】 それぞれ画像データを含む複数の番組
    データを符号化して出力する複数の画像符号化手段と、
    各画像符号化手段の出力データを多重化する多重化手段
    と、各番組データの符号化の難易度を表す符号化難易度
    を取得し、この符号化難易度に基づいて各画像符号化手
    段に対して単位時間当たりの出力符号量としての符号レ
    ートを割り当てる統計多重制御手段とを備えた統計多重
    システムにおいて、符号レートの算出に用いられる数式
    を決定する方法であって、 符号化難易度が異なる複数の番組データを人間に観察さ
    せ、前記複数の番組データのそれぞれについて、人間が
    視覚を通じて得た情報を取得するステップと、 前記情報に基づいて、符号化難易度から符号レートを求
    める前記数式を得るステップとを含むことを特徴とする
    統計多重制御における数式決定方法。
14. 【請求項１４】 前記情報は、画像ノイズに対する人間
    の気付き易さ関するものであることを特徴とする請求項
    １３記載の統計多重制御における数式決定方法。