JP2002247584A - 画像符号化方法および装置、並びに、画像符号化処理用プログラム及びそのプログラムの記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】本発明は、発生符号量の見積もりを正確にでき
るようにすることで符号化効率の向上を実現する画像符
号化技術の提供を目的とする。 【解決手段】各ピクチャタイプの発生符号量を予測する
手段として、Ｉピクチャは符号化対象フレームの入力画
像の分散値から近似推定し、ＰピクチャとＢピクチャは
符号化対象フレームの入力画像とその参照フレームの入
力画像との間で行なわれた動き探索の予測誤差値から近
似推定するという構成を用いる。この構成に従って、過
去のフレームでなく、符号化対象フレームに関する情報
をもとに符号化対象フレームの符号量予測が行われるの
で、シーンの変化などにより予測があたらないという問
題が解決される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力画像の分散値
や、入力画像間の動き探索結果を後段の符号化処理に１
フレーム以上先行して求め、それをもとに各フレームの
複雑さ指標を推定した上で符号化制御を行なう画像符号
化方法及び装置と、その画像符号化技術の実現に用いら
れる画像符号化処理用プログラムと、そのプログラムを
記録した画像符号化処理用プログラムの記録媒体とに関
する。

【０００２】

【従来の技術】ＭＰＥＧ-2 Test Model 5 などの従来の
画像符号化の符号化制御手法においては、Ｉ、Ｐ、Ｂな
どのピクチャタイプごとに、そのピクチャの発生符号量
と平均量子化スケールとの積である複雑さ指標を、その
ピクチャの符号化終了後に求め、その値に基づいて、次
に符号化を行なうピクチャの発生符号量を予測し、符号
化制御に反映させている。

【０００３】また、特開平11-298904 号公報に記載され
る発明では、後段の符号化に先行して、縮小ピクチャ動
き検出部から出力される統計量をもとに符号量を見積も
り、符号化制御に反映させることで、１パス映像符号化
装置と同等のハードウエア規模で２パスと同義の実時間
映像符号化装置を実現している。

【０００４】

【発明が解決しようとする課題】しかしながら、前者の
従来技術の方法では、過去のピクチャの情報をもとに発
生符号量の見積もりを行なっているために、前のピクチ
ャとの絵柄が大きく変化している場合や、シーンの切り
替えが行なわれた場合に、その発生符号量の見積もりが
あたらず、符号量配分が不正確となり、符号化効率が低
下するという問題があった。

【０００５】また、後者の従来技術の方法では、縮小ピ
クチャ動き検出による統計情報のみをそのまま符号量予
測に用いており、これではＩピクチャ、Ｐピクチャ、Ｂ
ピクチャなどの各ピクチャタイプ毎の符号量を正確に予
測するには精度が十分でなく、その結果、符号量配分が
不正確で符号化効率が低下する場合があるという問題が
あった。

【０００６】本発明はかかる事情に鑑みてなされたもの
であって、発生符号量の見積もりを正確にできるように
することで符号化効率の向上を実現する新たな画像符号
化技術の提供を目的とする。

【０００７】

【課題を解決するための手段】ＭＰＥＧ-2 Test Model
の方法では、過去の同じピクチャタイプのピクチャの情
報をもとに複雑さ指標を求め、発生符号量の見積もりを
行なっているために、前の同じピクチャタイプのピクチ
ャとの絵柄が大きく変化している場合や、シーンの切り
替えが行なわれた場合に、その発生符号量の見積もりが
あたらず、符号量配分が不正確となり、符号化効率が低
下するという問題があった。

【０００８】そこで、本発明では、各ピクチャタイプの
発生符号量を予測する手段として、Ｉピクチャは符号化
対象フレームの入力画像の分散値から近似推定し、Ｐピ
クチャとＢピクチャは符号化対象フレームの入力画像と
その参照フレームの入力画像との間で行なわれた動き探
索の予測誤差値から近似推定するという構成を用いる。

【０００９】この構成に従って、過去のフレームでな
く、符号化対象フレームに関する情報をもとに符号化対
象フレームの符号量予測が行われるので、シーンの変化
などにより予測があたらないという問題が解決される。

【００１０】また、特開平11-298904 号公報に記載され
る発明では、縮小ピクチャ動き探索を後段の符号化処理
に先行して行なうことで、符号化対象フレームに関する
縮小動き探索から得られる統計量から符号量を予測し、
符号量制御に反映させるが、それらの情報だけから、Ｉ
ピクチャ、Ｐピクチャ、Ｂピクチャなどの各ピクチャタ
イプの符号量を予測する場合、精度が不充分な場合があ
った。

【００１１】そこで、本発明では、Ｉピクチャは符号化
対象フレームの入力画像の分散値を用いて、Ｐピクチャ
とＢピクチャは符号化対象フレームの入力画像とその参
照フレームの入力画像との間で行なわれた動き探索の予
測誤差値を用いて、それぞれのピクチャタイプ毎の推定
式に従って、発生符号量を近似推定するという構成を用
いる。

【００１２】この構成に従って、そのピクチャのピクチ
ャタイプに適した方法で符号量を正確に予測することが
できる。

【００１３】さらに、本発明では、実際に符号化処理を
行なった結果から得られるフレーム発生符号量とフレー
ム平均量子化スケールとの積から複雑さ指標を求め、そ
の情報とかかる分散値とかかる予測誤差値とをピクチャ
タイプ別に数フレーム分蓄積して、発生符号量の予測に
用いる予測式を動的に更新するという構成を用いること
で、符号量を正確に推定できるようにしている。

【００１４】さらに、本発明では、シーンチェンジ検出
情報を利用して、予測式の係数更新を制御したり、予測
に使用する予測式を変更するという構成を用いること
で、符号量を正確に推定できるようにしている。

【００１５】また、これらの方法に使用する情報を得る
ためには、以下のごとく、ハードウェアの実装を考慮し
た場合、新規に追加しなければならないハードウェアが
少ないという長所がある。

【００１６】一般に、ＭＰＥＧの符号化においては、動
き補償は符号化対象フレームの入力画像と、その参照フ
レームの局所復号画像との間で行なわれるが、階層的な
動き探索をする場合においては、最終的な精度の２次探
索よりも粗い精度の１次探索においては、符号化対象フ
レームの入力画像とその参照フレームの入力画像との間
で動き探索が行なわれることが多い。

【００１７】そのため、入力画像間の動き探索の場合
は、局所復号画像を用いる場合と異なり、符号化と独立
して先行して行なうことができる。ハードウェアの実装
を考慮した場合、入力画像どうしの間の粗い精度の１次
探索と、入力画像と局所復号画像間の最終的な精度の２
次探索との間にフレーム遅延を設けることは、予測誤差
画像の保存が必要でなく動きベクトルのみを保存すれば
よいことなどから、比較的実装が容易である。

【００１８】また、ＭＰＥＧでは、各ＭＢ（マクロブロ
ック）の量子化スケールを、そのＭＢの入力画像情報で
あるアクティビティ値をもとに上下させることがよく行
なわれる。たとえば、ＭＰＥＧ-2 Test Mode１では、１
６画素×１６画素のマクロブロック内の４つのサブブロ
ックの分散値の最小値を用いるが、これを符号化の前段
で算出するような符号化装置においては、この情報の総
和をとることで、簡単にＩピクチャの符号量予測に用い
る入力画像の分散値が得られ、そのままフレーム内符号
量予測値に用いることができる。

【００１９】また、入力画像の隣接画素間差分を入力画
像の分散値として使用する場合、ハードウェア的にはラ
インバッファの追加などの手段により、比較的少ないコ
ストで算出機能を実装することができる。

【００２０】このような理由から本発明により、実装上
容易に符号化に数フレーム分先行してＩピクチャ、Ｐピ
クチャ、Ｂピクチャの各ピクチャタイプの発生符号量の
予測が可能となり、符号化制御の効率向上に貢献するこ
とができる。

【００２１】

【発明の実施の形態】（１）第１の実施形態例 図１に、本発明の第１の実施形態例に従うＭＰＥＧ−２
符号化を行う画像符号化装置の装置構成を図示する。

【００２２】この図に示すように、第１の実施形態例に
従う画像符号化装置では、ＭＰＥＧ−２符号化を行うた
めに用意される、前処理部１０／１次探索部１１／２次
探索部１２／ＤＣＴ部１３／量子化部１４／可変長符号
化部１５／逆量子化部１６／逆ＤＣＴ部１７／量子化パ
ラメータ制御部１８の他に、本発明を実現するために、
Ｉピクチャ複雑さ指標算出部２０とＰ・Ｂピクチャ複雑
さ指標算出部２１とを備える。

【００２３】このＩピクチャ複雑さ指標算出部２０は、
前処理部１０に入力される入力画像の分散値を使って、
Ｉピクチャの複雑さ指標（そのピクチャの発生符号量と
平均量子化スケールとの積）を推定する処理を行う。

【００２４】Ｐ・Ｂピクチャ複雑さ指標算出部２１は、
１次探索部１１の動きベクトル探索結果により得られる
予測誤差値を使って、Ｐピクチャの複雑さ指標とＢピク
チャの複雑さ指標とを推定する処理を行う。

【００２５】本発明では、量子化パラメータ制御部１８
は、このようにして推定される複雑さ指標を使って量子
化部１４を制御する処理を行うことになる。

【００２６】ここで、図１に示した本発明の画像符号化
装置を実現するために用意される各処理手段は、コンピ
ュータプログラムで実現可能であり、このコンピュータ
プログラムは、半導体メモリなどの記録媒体に記録して
提供することができる。

【００２７】第１の実施形態例では、図２に示すよう
に、Ｉピクチャ複雑さ指標算出部２０は、シーンチェン
ジ直後の符号化時には、入力画像の分散値ｘを使い、 フレーム複雑さ指標＝ａ_I ×ｘ² ＋ｂ_I ×ｘ＋ｃ_I ・・・・・式 但し、ａ_I,ｂ_I,ｃ_I は予め設定される固定値 という２次式に従って、Ｉピクチャの符号化終了時に、
そのＩピクチャの複雑さ指標を推定する処理を行う。

【００２８】また、Ｐ・Ｂピクチャ複雑さ指標算出部２
１は、シーンチェンジ直後の符号化時には、動きベクト
ル探索結果により得られるＰピクチャの予測誤差値ｘを
使い、 フレーム複雑さ指標＝ａ_P ×ｘ² ＋ｂ_P ×ｘ＋ｃ_P ・・・・・式 但し、ａ_P,ｂ_P,ｃ_P は予め設定される固定値 という２次式に従って、Ｐピクチャの符号化終了時に、
そのＰピクチャの複雑さ指標を推定する処理を行う。

【００２９】但し、シーンチェンジ後始めての符号化時
には、Ｉピクチャの複雑さ指標を推定する上述の式に
従って、Ｐピクチャの複雑さ指標を推定する処理を行
う。

【００３０】また、Ｐ・Ｂピクチャ複雑さ指標算出部２
１は、シーンチェンジ直後の符号化時には、動きベクト
ル探索結果により得られるＢピクチャの予測誤差値ｘを
使い、 フレーム複雑さ指標＝ａ_B ×ｘ² ＋ｂ_B ×ｘ＋ｃ_B ・・・・・式 但し、ａ_B,ｂ_B,ｃ_B は予め設定される固定値 という２次式に従って、Ｂピクチャの符号化終了時に、
そのＢピクチャの複雑さ指標を推定する処理を行う。

【００３１】一方、第１の実施形態例に従う場合には、
シーンチェンジ直後以外の符号化時には、係数値固定の
２次式を使って複雑さ指標を推定するのでは精度が十分
でないことが起こることを考慮して、従来技術と同様
に、直前の発生符号化量と平均量子化パラメータとの積
で算出される複雑さ指標を用いるという構成を採ってい
る。

【００３２】すなわち、Ｉピクチャ複雑さ指標算出部２
０は、シーンチェンジ直後以外の符号化時には、直前の
Ｉピクチャの発生符号量と平均量子化パラメータとの積
で算出される複雑さ指標を取得して、それを量子化パラ
メータ制御部１８に渡すように処理している。また、Ｐ
・Ｂピクチャ複雑さ指標算出部２１は、シーンチェンジ
直後以外の符号化時には、直前のＰピクチャの発生符号
量と平均量子化パラメータとの積で算出される複雑さ指
標を取得して、それを量子化パラメータ制御部１８に渡
すとともに、直前のＢピクチャの発生符号量と平均量子
化パラメータとの積で算出される複雑さ指標を取得し
て、それを量子化パラメータ制御部１８に渡すように処
理している。

【００３３】したがって、第１の実施形態例では、図３
の処理フローに示すように、符号化処理に入ると、シー
ンチェンジが発生したのか否かを判断して、シーンチェ
ンジが発生した場合には、上述の式を使ってＩピクチ
ャ及びＰピクチャの複雑さ指標を算出し、上述の式を
使ってＢピクチャの複雑さ指標を算出する。

【００３４】そして、その後シーンチェンジ発生後の規
定フレーム数が経過するまでの間（例えば、Ｐピクチャ
とＢピクチャとがそれぞれ２回出現するまでの間）は、
上述の式を使ってＩピクチャの複雑さ指標を算出し、
上述の式を使ってＰピクチャの複雑さ指標を算出し、
上述の式を使ってＢピクチャの複雑さ指標を算出す
る。

【００３５】ここで、Ｐピクチャに関して、シーンチェ
ンジ後始めてのＰピクチャについては、イントラマクロ
ブロックで符号化される割合が多いため、上述の式を
使ってＩピクチャと同様の方法で複雑さ指標を算出し、
シーンチェンジ後２枚目以降のＰピクチャについては、
上述の式を使って複雑さ指標を算出するようにしてい
る。

【００３６】そして、その規定フレーム数が経過する
と、発生符号量と平均量子化パラメータとの積で算出さ
れる複雑さ指標の測定値を読み込んで、それを算出した
複雑さ指標として用いるように処理するのである。

【００３７】（イ）Ｉピクチャ複雑さ指標算出部２０に
よる複雑さ指標の算出処理 図４に、Ｉピクチャ複雑さ指標算出部２０の実行する処
理フローの一実施形態例を図示する。

【００３８】Ｉピクチャ複雑さ指標算出部２０は、この
処理フローに示すように、前処理部１０に入力される入
力画像の各フレームを処理対象として、各画素に関し
て、右隣の画素との輝度値の差分の絶対値と真下の画素
との輝度値の差分の絶対値との和を、画面全体について
総和をとったもので定義される隣接画素間差分絶対値和
を算出し、それを入力画像の分散値として用いて上述の
式に代入することで、Ｉピクチャの複雑さ指標を推定
する処理を行う。

【００３９】（ロ）Ｐ・Ｂピクチャ複雑さ指標算出部２
１による複雑さ指標の算出処理 入力画像系列のうち、ＰピクチャまたはＢピクチャとし
て符号化されるフレームについては、１次探索部１１
で、符号化対象フレームの入力画像の縮小画像と参照フ
レームの入力画像の縮小画像とを用いて、２画素精度の
動き探索が行なわれる。

【００４０】ここで、縮小画像は、入力画像を水平、垂
直方向に１／２に縮小した画像とする。また、符号化対
象フレームと参照フレームの両縮小画像は、入力画像の
第１フィールドと第２フィールドから、それぞれフィー
ルドごとにつくられ、動き探索がフィールド単位で行な
われるものとする。

【００４１】この２画素精度の探索は、符号化対象フレ
ームの第１、第２のフィールドを起点とし、Ｐピクチャ
に関しては、１つの参照フレームの第１、第２のフィー
ルドを終点とする合計４つの種類の動きベクトルに関す
る探索がなされ、Ｂピクチャに関しては、２つの参照フ
レームの第１、第２のフィールドを終点とする合計８つ
の種類の動きベクトルに関する探索がなされる。

【００４２】図５は、Ｂピクチャの場合に探索される動
きベクトルを示したものである。Ｐピクチャの場合は、
図中に示す参照フレームＡとｖ１、ｖ２、ｖ３、ｖ４の
みが存在する。

【００４３】Ｐ・Ｂピクチャ複雑さ指標算出部２１は、
これらの動きベクトルに対応した予測誤差から、最終的
な予測誤差を算出し、それを上述の式や式に代入す
ることで、ＰピクチャやＢピクチャの複雑さ指標を推定
する処理を行う。

【００４４】図６に、Ｐ・Ｂピクチャ複雑さ指標算出部
２１が実行するＰピクチャの複雑さ指標の推定処理の処
理フローの一実施形態例を図示し、図７及び図８に、Ｐ
・Ｂピクチャ複雑さ指標算出部２１が実行するＢピクチ
ャの複雑さ指標の推定処理の処理フローの一実施形態例
を図示する。

【００４５】Ｐ・Ｂピクチャ複雑さ指標算出部２１は、
Ｐピクチャの複雑さ指標を推定するときには、図６の処
理フローに示すように、図５中に示すｖ１とｖ２の予測
誤差の小さい方の値と、図５中に示すｖ３とｖ４の予測
誤差の小さい方の値との和をそのマクロブロックに対す
る予測誤差として、そのフレーム内総和をとり、それを
フレームの予測誤差値としてＰピクチャの複雑さ指標を
推定する。

【００４６】一方、Ｐ・Ｂピクチャ複雑さ指標算出部２
１は、Ｂピクチャの複雑さ指標を推定するときには、図
７及び図８の処理フローに示すように、先ず最初に、図
５中に示すｖ１とｖ２の予測誤差の小さい方の値と、図
５中に示すｖ３とｖ４の予測誤差の小さい方の値との和
を求め、次に、図５中に示すｖ５とｖ６の予測誤差の小
さい方の値と、図５中に示すｖ７とｖ８の予測誤差の小
さい方の値との和を求め、続いて、この２つの和の小さ
い方の値をそのマクロブロックに対する予測誤差とし
て、そのフレーム内総和をとり、それをフレームの予測
誤差値としてＢピクチャの複雑さ指標を推定する。

【００４７】このようにして、Ｉピクチャ複雑さ指標算
出部２０は、シーンチェンジ直後の符号化時には、前処
理部１０に入力される入力画像の隣接画素間差分絶対値
和を求めて、それを２次式に代入することで、Ｉピクチ
ャの複雑さ指標を推定する処理を行うのである。

【００４８】そして、Ｐ・Ｂピクチャ複雑さ指標算出部
２１は、シーンチェンジ直後の符号化時には、１次探索
部１１の動きベクトル探索結果により得られる予測誤差
値を求めて、それを２次式に代入することで、Ｐピクチ
ャの複雑さ指標とＢピクチャの複雑さ指標とを推定する
処理を行うのである。

【００４９】このようにして、第１の実施形態例では、
何らかの手段でシーンチェンジが検出されると、そのシ
ーンチェンジ後の規定フレーム数の間は、Ｉピクチャな
らば入力画像の分散値、Ｐ、Ｂピクチャならば入力画像
間の動き探索結果の予測誤差値を、それぞれのピクチャ
タイプのフレーム複雑さ指標の推定式である２次式に当
てはめて、各ピクチャの複雑さ指標を推定する。

【００５０】ここで、この２次式の係数はあらかじめ決
められた固定の初期設定値である。ただし、シーンチェ
ンジ後初めて符号化されるＰピクチャに関しては、イン
トラマクロブロックで符号化される割合が多いため、事
実上のＩピクチャとみなして、入力画像の分散値から、
Ｉピクチャの複雑さ指標の推定式によって複雑さ指標を
推定するようにしている。

【００５１】第１の実施形態例では、シーンチェンジ直
後以外のピクチャに関しては、係数値を固定値とする推
定式による推定では精度が十分でないことが起こること
を考慮して、従来技術どおり、同ピクチャタイプの直前
のピクチャの発生符号量と平均量子化パラメータとの積
を複雑さ指標として用い、フレーム間符号量配分を行な
い、ピクチャ目標符号量などを決定する。

【００５２】ここで、複雑さ指標をピクチャの発生符号
量と平均量子化パラメータとの積としたが、それに限る
ものでなく、発生符号量を何らかの方法で量子化パラメ
ータの値で正規化した値であればよい。

【００５３】また、フレーム内の各マクロブロックの量
子化ステップの基準値、もしくはフレーム内符号化開始
時の量子化ステップ初期値を、上述した複雑さ指標をピ
クチャ目標符号量で除算した値に基づいて決定する。こ
れにより、フレーム内の量子化ステップがフレーム内の
符号量フィードバック制御により大きく変動することを
防ぐことができる。

【００５４】上述しなかったが、１次探索と２次探索と
の間は、１フレーム以上のフレーム遅延を設け、１次探
索のフレーム予測誤差値が求まってから、次のピクチャ
の目標符号量を見積もるようにする必要がある。このと
き、２枚先のＰピクチャの予測誤差値が先行して求めら
れるだけフレーム遅延を設ければ、シーンチェンジが起
きても、シーンチェンジ後の全てのピクチャタイプの発
生符号量を前もって予測できるため符号化効率が向上す
る。

【００５５】（２）第２の実施形態例 図９に、本発明の第２の実施形態例に従うＭＰＥＧ−２
符号化を行う画像符号化装置の装置構成を図示する。

【００５６】この図に示すように、第２の実施形態例に
従う画像符号化装置では、第１の実施形態例の備えるＩ
ピクチャ複雑さ指標算出部２０の代わりにＩピクチャ複
雑さ指標算出部３０を備え、第１の実施形態例の備える
Ｐ・Ｂピクチャ複雑さ指標算出部２１の代わりにＰ・Ｂ
ピクチャ複雑さ指標算出部３１を備える構成を採ってい
る。

【００５７】ここで、図２に示した本発明の画像符号化
装置を実現するために用意される各処理手段は、コンピ
ュータプログラムで実現可能であり、このコンピュータ
プログラムは、半導体メモリなどの記録媒体に記録して
提供することができる。

【００５８】第２の実施形態例では、図１０に示すよう
に、Ｉピクチャ複雑さ指標算出部３０は、シーンチェン
ジ以外の符号化時には、入力画像の分散値ｘを使い、 フレーム複雑さ指標＝ａ_I ×ｘ² ＋ｂ_I ×ｘ＋ｃ_I ・・・・・式 但し、ａ_I,ｂ_I,ｃ_I は動的設定値 という２次式（係数が動的に変わる）に従って、Ｉピク
チャの符号化終了時に、そのＩピクチャの複雑さ指標を
推定する処理を行う。

【００５９】また、Ｐ・Ｂピクチャ複雑さ指標算出部３
１は、シーンチェンジ以外の符号化時には、動きベクト
ル探索結果により得られるＰピクチャの予測誤差値ｘを
使い、 フレーム複雑さ指標＝ａ_P ×ｘ² ＋ｂ_P ×ｘ＋ｃ_P ・・・・・式 但し、ａ_P,ｂ_P,ｃ_P は動的設定値 という２次式（係数が動的に変わる）に従って、Ｐピク
チャの符号化終了時に、そのＰピクチャの複雑さ指標を
推定する処理を行う。

【００６０】また、Ｐ・Ｂピクチャ複雑さ指標算出部３
１は、シーンチェンジ以外の符号化時には、動きベクト
ル探索結果により得られるＢピクチャの予測誤差値ｘを
使い、 フレーム複雑さ指標＝ａ_B ×ｘ² ＋ｂ_B ×ｘ＋ｃ_B ・・・・・式 但し、ａ_B,ｂ_B,ｃ_B は動的設定値 という２次式（係数が動的に変わる）に従って、Ｂピク
チャの符号化終了時に、そのＢピクチャの複雑さ指標を
推定する処理を行う。

【００６１】そして、Ｉピクチャ複雑さ指標算出部３０
は、シーンチェンジ時の符号化時には、入力画像の分散
値ｘを使い、 フレーム複雑さ指標＝ａ_I0×ｘ² ＋ｂ_I0×ｘ＋ｃ_I0・・・・・式 但し、ａ_I0, ｂ_I0, ｃ_I0は初期設定値 という２次式（係数が初期設定値に固定される）に従っ
て、Ｉピクチャの符号化終了時に、そのＩピクチャの複
雑さ指標を推定する処理を行う。

【００６２】また、Ｐ・Ｂピクチャ複雑さ指標算出部３
１は、シーンチェンジ時の符号化時には、動きベクトル
探索結果により得られるＰピクチャの予測誤差値ｘを使
い、 フレーム複雑さ指標＝ａ_P0×ｘ² ＋ｂ_P0×ｘ＋ｃ_P0・・・・・式 但し、ａ_P0, ｂ_P0, ｃ_P0は初期設定値 という２次式（係数が初期設定値に固定される）に従っ
て、Ｐピクチャの符号化終了時に、そのＰピクチャの複
雑さ指標を推定する処理を行う。

【００６３】但し、シーンチェンジ後始めての符号化時
には、Ｉピクチャの複雑さ指標を推定する上述の式に
従って、Ｐピクチャの複雑さ指標を推定する処理を行
う。

【００６４】また、Ｐ・Ｂピクチャ複雑さ指標算出部３
１は、シーンチェンジ時の符号化時には、動きベクトル
探索結果により得られるＢピクチャの予測誤差値ｘを使
い、 フレーム複雑さ指標＝ａ_B0×ｘ² ＋ｂ_B0×ｘ＋ｃ_B0・・・・・式 但し、ａ_B0, ｂ_B0, ｃ_B0は初期設定値 という２次式（係数が初期設定値に固定される）に従っ
て、Ｂピクチャの符号化終了時に、そのＢピクチャの複
雑さ指標を推定する処理を行う。

【００６５】したがって、第２の実施形態例では、図１
１及び図１２の処理フローに示すように、符号化処理に
入ると、シーンチェンジが発生したのか否かを判断し
て、シーンチェンジが発生する場合には、蓄積した分散
値／予測誤差値／複雑さ指標測定値をクリアしてから、
上述の式を使ってＩピクチャ及びＰピクチャの複雑さ
指標を算出し、上述の式を使ってＢピクチャの複雑さ
指標を算出する。

【００６６】そして、シーンチェンジ発生後の規定フレ
ーム数が経過するまでの間（例えば、ＰピクチャとＢピ
クチャとがそれぞれ２回出現するまでの間）は、上述の
式を使ってＩピクチャの複雑さ指標を算出し、上述の
式を使ってＰピクチャの複雑さ指標を算出し、上述の
式を使ってＢピクチャの複雑さ指標を算出する。この
とき、複雑さ指標の測定値を読み込んで蓄積するととも
に、複雑さ指標の推定に用いた分散値及び予測誤差値を
蓄積していく。

【００６７】そして、その規定フレーム数が経過する
と、蓄積してある分散値／予測誤差値／複雑さ指標測定
値を使い、線形回帰などの算出手法を用いて、動的に設
定する必要のある上述の式の係数「ａ_I,ｂ_I,ｃ_I 」
と、上述の式の係数「ａ_P,ｂ_P,ｃ_P 」と、上述の式
の「ａ_B,ｂ_B,ｃ_B 」とを更新し、その更新した係数を使
って、上述の式を使ってＩピクチャの複雑さ指標を算
出し、上述の式を使ってＰピクチャの複雑さ指標を算
出し、上述の式を使ってＢピクチャの複雑さ指標を算
出する。このとき、新たな複雑さ指標測定値／分散値／
予測誤差値が得られることに対応して、それに従って蓄
積している分散値／予測誤差値／複雑さ指標測定値を更
新するように処理するのである。

【００６８】（イ）Ｉピクチャ複雑さ指標算出部３０に
よる複雑さ指標の算出処理 図１３に、Ｉピクチャ複雑さ指標算出部３０の実行する
処理フローの一実施形態例を図示する。

【００６９】Ｉピクチャ複雑さ指標算出部３０は、この
処理フローに示すように、前処理部１０に入力される入
力画像の各フレームを処理対象として、マクロブロック
単位の量子化スケールの決定に用いるマクロブロックの
アクティビティ値を求め、そのフレーム内総和を入力画
像の分散値として用いて上述の式に代入することで、
Ｉピクチャの複雑さ指標を推定する処理を行う。

【００７０】ここで、マクロブロックのアクティビティ
とは、１６画素×１６画素のマクロブロック内の４つの
８画素×８画素ブロックの分散の最小値などで定義され
るものである。このとき用いる８画素×８画素ブロック
の分散値とは、８画素×８画素ブロック内の輝度値の平
均値とそのブロック内の各画素の輝度値との差分の絶対
値の総和をとったものである。

【００７１】なお、これまでにも、マクロブロックの量
子化スケールを、そのマクロブロックのアクティビティ
値をもとに上下させることが行われており、そのため
に、マクロブロックのアクティビティ値を求める機構が
別に用意されることがあるので、そのような場合には、
その機構により求められたマクロブロックのアクティビ
ティ値を受け取り、そのフレーム内総和を求めるように
処理することになる。

【００７２】（ロ）Ｐ・Ｂピクチャ複雑さ指標算出部３
１による複雑さ指標の算出処理 入力画像系列のうち、ＰピクチャまたはＢピクチャとし
て符号化されるフレームについては、１次探索部１１
で、符号化対象フレームの入力画像と参照フレームの入
力画像とを用いて、１画素精度の動き探索が行なわれ
る。ここで、符号化対象フレームと参照フレームの入力
画像の間で、フィールド単位での動き探索とフレーム単
位での動き探索とが行われる。

【００７３】この１画素精度の探索は、Ｐピクチャに関
しては、符号化対象フレームの第１、第２のフィールド
を起点とし、１つの参照フレームの第１、第２のフィー
ルドを終点とする合計４つの種類のフィールド動きベク
トルに関する探索と、符号化対象フレームを起点とし、
１つの参照フレームを終点とする１つのフレーム動きベ
クトルに関する探索とがなされる。

【００７４】また、Ｂピクチャに関しては、符号化対象
フレームの第１、第２のフィールドを起点とし、２つの
参照フレームの第１、第２のフィールドを終点とする合
計８つの種類のフィールド動きベクトルに関する探索
と、符号化対象フレームを起点とし、２つの参照フレー
ムを終点とする２つのフレーム動きベクトルに関する探
索とがなされる。

【００７５】図１４（ａ）は、Ｂピクチャの場合に探索
されるフィールド動きベクトルを示したものであり、図
１４（ｂ）は、Ｂピクチャの場合に探索されるフレーム
動きベクトルを示したものである。Ｐピクチャの場合
は、フィールド動きベクトルの検索については、図１４
（ａ）中に示す参照フレームＡとｖ１、ｖ２、ｖ３、ｖ
４のみが存在し、フレーム動きベクトルの検索について
は、図１４（ｂ）中に示す参照フレームＡとｖ９のみが
存在する。

【００７６】Ｐ・Ｂピクチャ複雑さ指標算出部３１は、
これらの動きベクトルに対応した予測誤差から、最終的
な予測誤差を算出し、それを上述の式や式（あるい
は式や式）に代入することで、ＰピクチャやＢピク
チャの複雑さ指標を推定する処理を行う。

【００７７】図１５及び図１６に、Ｐ・Ｂピクチャ複雑
さ指標算出部３１が実行するＰピクチャの複雑さ指標の
推定処理の処理フローの一実施形態例を図示し、図１７
及び図１８に、Ｐ・Ｂピクチャ複雑さ指標算出部３１が
実行するＢピクチャの複雑さ指標の推定処理の処理フロ
ーの一実施形態例を図示する。

【００７８】Ｐ・Ｂピクチャ複雑さ指標算出部３１は、
Ｐピクチャの複雑さ指標を推定するときには、図１５及
び図１６の処理フローに示すように、図１４（ａ）中に
示すｖ１とｖ２の予測誤差の小さい方の値と、図１４
（ａ）中に示すｖ３とｖ４の予測誤差の小さい方の値と
の和を求め、それと図１４（ｂ）中に示すｖ９の予測誤
差値のうちの小さい方の値をそのマクロブロックに対す
る予測誤差として、そのフレーム内総和をとり、それを
フレームの予測誤差値としてＰピクチャの複雑さ指標を
推定する。

【００７９】一方、Ｐ・Ｂピクチャ複雑さ指標算出部３
１は、Ｂピクチャの複雑さ指標を推定するときには、図
１７及び図１８の処理フローに示すように、先ず最初
に、図１４（ａ）中に示すｖ１とｖ２の予測誤差の小さ
い方の値と、図１４（ａ）中に示すｖ３とｖ４の予測誤
差の小さい方の値との和を求め、次に、図１４（ａ）中
に示すｖ５とｖ６の予測誤差の小さい方の値と、図１４
（ａ）中に示すｖ７とｖ８の予測誤差の小さい方の値と
の和を求め、続いて、この２つの和の小さい方の値を求
め、それをそのマクロブロックに対するフィールド予測
誤差値とする。

【００８０】さらに、図１４（ｂ）中に示すｖ９とｖ１
０の小さい方の値を求め、それをそのマクロブロックに
対するフレーム予測誤差値とし、そのフィールド予測誤
差値とフレーム予測誤差値の小さい方の値をそのマクロ
ブロックに対する予測誤差として、そのフレーム内総和
をとり、それをフレームの予測誤差値としてＢピクチャ
の複雑さ指標を推定する。

【００８１】このようにして、Ｉピクチャ複雑さ指標算
出部３０は、前処理部１０に入力される入力画像の持つ
マクロブロックのアクティビティ値のフレーム内総和を
求めて、それを２次式に代入することで、Ｉピクチャの
複雑さ指標を推定する処理を行うのである。

【００８２】そして、Ｐ・Ｂピクチャ複雑さ指標算出部
３１は、１次探索部１１の動きベクトル探索結果により
得られる予測誤差値を求めて、それを２次式に代入する
ことで、Ｐピクチャの複雑さ指標とＢピクチャの複雑さ
指標とを推定する処理を行うのである。

【００８３】ここで、各ピクチャの複雑さ指標の推定に
用いる２次式の係数については、各ピクチャタイプごと
に、過去数フレームの分散値および予測誤差値と、実際
に符号化した後にフレーム発生符号量と平均量子化パラ
メータとの積で求めた複雑さ指標の値のデータとから、
線形回帰などの手法で求めた係数を使用する。ただし、
データから係数を算出する手法はこれに限られるもので
はない。

【００８４】また、シーンチェンジが検出されたとき
は、蓄積された過去のフレームのデータをクリアして、
各ピクチャタイプのｎ次式の係数もあらかじめ決められ
た初期設定値にする。

【００８５】ただし、シーンチェンジ後の始めてのＰピ
クチャに関しては、イントラマクロブロックで符号化さ
れる割合が多いため、事実上のＩピクチャとみなし、入
力画像の分散値から、Ｉピクチャの複雑さ指標の推定方
法と同じように複雑さ指標を推定する。

【００８６】図示実施形態例に従って本発明を説明した
が、本発明はこれに限定されるものではない。例えば、
実施形態例では、複雑さ指標を推定するのに２次式を用
いる構成を採ったが、２次式に限られるものではなく、
１次式であってもよいし、３次式以上のｎ次式であって
もよい。

【００８７】

【発明の効果】以上に示したように、本発明によれば、
これから符号化を行なおうとするフレームの複雑さ指標
を先行して推定することができるため、フレーム間符号
量配分や、フレーム内の量子化制御がより効率よく行な
うことができるようになり、符号化効率の向上を実現で
きるようになる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態例である。

【図２】第１の実施形態例における複雑さ指標の推定処
理の説明図である。

【図３】第１の実施形態例における複雑さ指標の推定処
理の全体処理フローである。

【図４】第１の実施形態例における複雑さ指標の推定処
理の処理フローである。

【図５】１次探索で探索される動きベクトルの説明図で
ある。

【図６】第１の実施形態例における複雑さ指標の推定処
理の処理フローである。

【図７】第１の実施形態例における複雑さ指標の推定処
理の処理フローである。

【図８】第１の実施形態例における複雑さ指標の推定処
理の処理フローである。

【図９】本発明の第２の実施形態例である。

【図１０】第２の実施形態例における複雑さ指標の推定
処理の説明図である。

【図１１】第２の実施形態例における複雑さ指標の推定
処理の全体処理フローである。

【図１２】第２の実施形態例における複雑さ指標の推定
処理の全体処理フローである。

【図１３】第２の実施形態例における複雑さ指標の推定
処理の処理フローである。

【図１４】１次探索で探索される動きベクトルの説明図
である。

【図１５】第２の実施形態例における複雑さ指標の推定
処理の処理フローである。

【図１６】第２の実施形態例における複雑さ指標の推定
処理の処理フローである。

【図１７】第２の実施形態例における複雑さ指標の推定
処理の処理フローである。

【図１８】第２の実施形態例における複雑さ指標の推定
処理の処理フローである。

【符号の説明】

１０ 前処理部 １１ １次探索部 １２ ２次探索部 １３ ＤＣＴ部 １４ 量子化部 １５ 可変長符号化部 １６ 逆量子化部 １７ 逆ＤＣＴ部 １８ 量子化パラメータ制御部 ２０ Ｉピクチャ複雑さ指標算出部 ２１ Ｐ・Ｂピクチャ複雑さ指標算出部 ３０ Ｉピクチャ複雑さ指標算出部 ３１ Ｐ・Ｂピクチャ複雑さ指標算出部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK22 KK30 MA05 MA23 MC11 ME01 NN01 NN43 PP05 PP06 PP07 SS20 TA46 TB04 TC10 TD06 UA02 UA33 UA34 UA38 5J064 AA02 BA01 BA09 BA16 BB03 BC01 BC16 BC25

Claims (12)

【特許請求の範囲】
1. 【請求項１】 入力画像の符号化対象フレームの分散値
   と、入力画像の符号化対象フレームと参照フレームとの
   間の動きベクトル探索結果の予測誤差値とを、後段の符
   号化処理に対して１フレーム以上先行して求め、 フレーム内符号化を行なう場合のフレーム複雑さ指標を
   かかる分散値から推定するとともに、フレーム間符号化
   を行なう場合のフレーム複雑さ指標をかかる予測誤差値
   から推定して、 それらの複雑さ指標の推定値を用いて符号化制御を行な
   うことを、 特徴とする画像符号化方法。
2. 【請求項２】 入力画像の符号化対象フレームの分散値
   と、入力画像の符号化対象フレームと参照フレームとの
   間の動きベクトル探索結果の予測誤差値とを、後段の符
   号化処理に対して１フレーム以上先行して求め、 フレーム内符号化を行なう場合のフレーム複雑さ指標を
   かかる分散値のｎ次式（但し、ｎは１以上の整数）で近
   似推定するとともに、フレーム間符号化を行なう場合の
   フレーム複雑さ指標をかかる予測誤差値のｎ次式で近似
   推定して、 それらの複雑さ指標の推定値を用いて符号化制御を行な
   うことを、 特徴とする画像符号化方法。
3. 【請求項３】 請求項２に記載される画像符号化方法に
   おいて、 上記ｎ次式の係数として、あらかじめ設定された固定の
   値を用いることを、 特徴とする画像符号化方法。
4. 【請求項４】 請求項２に記載される画像符号化方法に
   おいて、 入力画像の分散値および予測誤差値と、符号化結果から
   得られたフレーム複雑さ指標の値との関係をピクチャタ
   イプ毎に過去複数フレーム分蓄積し、 それらの蓄積データから、各ピクチャタイプ毎に、上記
   ｎ次式の係数を算出することを、 特徴とする画像符号化方法。
5. 【請求項５】 請求項４に記載される画像符号化方法に
   おいて、 シーンチェンジが検出される場合に、上記蓄積データを
   クリアするとともに、上記ｎ次式の係数を初期値に戻す
   ことを、 特徴とする画像符号化方法。
6. 【請求項６】 請求項１ないし５のいずれか１項に記載
   される画像符号化方法において、 シーンチェンジが検出される場合に、シーンチェンジ後
   始めて符号化するＩピクチャに関しては、入力画像の分
   散値からフレーム複雑さ指標を推定し、シーンチェンジ
   後始めて符号化するＰピクチャに関しては、入力画像の
   分散値からＩピクチャと同じ手順に従ってフレーム複雑
   さ指標を推定し、シーンチェンジ後始めて符号化するＢ
   ピクチャに関しては、動きベクトル探索結果の予測誤差
   値からフレーム複雑さ指標を推定することを、 特徴とする画像符号化方法。
7. 【請求項７】 請求項１ないし６のいずれか１項に記載
   される画像符号化方法において、 入力画像の分散値として、隣接画素差分の絶対値のフレ
   ーム内総和を用いることを、 特徴とする画像符号化方法。
8. 【請求項８】 請求項１ないし６のいずれか１項に記載
   される画像符号化方法において、 入力画像の分散値として、各マクロブロックのアクティ
   ビティ値のフレーム内総和を用いることを、 特徴とする画像符号化方法。
9. 【請求項９】 入力画像の符号化対象フレームの分散値
   と、入力画像の符号化対象フレームと参照フレームとの
   間の動きベクトル探索結果の予測誤差値とを、後段の符
   号化処理に対して１フレーム以上先行して求める手段
   と、 フレーム内符号化を行なう場合のフレーム複雑さ指標を
   かかる分散値から推定するとともに、フレーム間符号化
   を行なう場合のフレーム複雑さ指標をかかる予測誤差値
   から推定する手段と、 それらの複雑さ指標の推定値を用いて符号化制御を行な
   う手段とを備えることを、 特徴とする画像符号化装置。
10. 【請求項１０】 入力画像の符号化対象フレームの分散
    値と、入力画像の符号化対象フレームと参照フレームと
    の間の動きベクトル探索結果の予測誤差値とを、後段の
    符号化処理に対して１フレーム以上先行して求める手段
    と、 フレーム内符号化を行なう場合のフレーム複雑さ指標を
    かかる分散値のｎ次式（但し、ｎは１以上の整数）で近
    似推定するとともに、フレーム間符号化を行なう場合の
    フレーム複雑さ指標をかかる予測誤差値のｎ次式で近似
    推定する手段と、 それらの複雑さ指標の推定値を用いて符号化制御を行な
    う手段とを備えることを、 特徴とする画像符号化装置。
11. 【請求項１１】 請求項１ないし８のいずれか１項に記
    載される画像符号化方法の実現に用いられる処理をコン
    ピュータに実行させるための画像符号化処理用プログラ
    ム。
12. 【請求項１２】 請求項１ないし８のいずれか１項に記
    載される画像符号化方法の実現に用いられる処理をコン
    ピュータに実行させるためのプログラムを記録した画像
    符号化処理用プログラムの記録媒体。