JP2002185966A - 映像符号化装置 - Google Patents

Abstract

(57)【要約】 【課題】復号化した画像の画質が均一であり、局所的に
画質の劣化したところが発生しないような、符号量割り
当てを行う。 【解決手段】ＤＣＴ手段１０７は、動き予測動き補償手
段１０６から入力された、原画像あるいは差分画像を、
ＤＣＴブロック毎にＤＣＴ変換を行いＤＣＴ係数と画像
符号化種類を量子化手段１０８に出力する。有意分布特
性算出手段１１６は、小領域毎にその領域の画質に与え
る影響の大きさを示した有意分布特性を算出する。小領
域符号量割り当て手段１１７は、有意分布特性を用いて
小領域への符号量割り当てを行う。量子化パラメータ算
出手段１１８は、割り当て符号量を用いて、それぞれの
小領域の量子化パラメータを算出する。ＤＣＴ係数は、
量子化手段１０８で量子化され、可変長符号化手段１０
９でハフマン符号化された後、符号化映像として出力さ
れる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像信号を符号化
する映像符号化装置に関し、特に映像信号の符号量制御
方式に関するものである。

【０００２】

【従来の技術】近年、情報通信技術の発達やインフラの
整備によって、伝送路を通じて映像信号の送受信を行う
ことや、映像信号を蓄積メディアに蓄積することが可能
となった。一般に、映像信号は情報量が大きいため、伝
送ビットレートの限られた伝送路を用いて映像信号を伝
送する場合、あるいは蓄積容量の限られた蓄積メディア
に映像信号を蓄積するためには、映像信号を圧縮符号化
する技術が必要不可欠である。映像信号の圧縮符号化方
式のひとつとして、ISO/IECが標準化を進めているＭＰ
ＥＧ(Moving Picture Expert Group)があり、これは映
像信号の時間的相関、空間的相関を利用した冗長性の削
減を行うことにより、映像信号の情報量を減らして、伝
送路のビットレートあるいは蓄積メディアに記録するた
めのビットレートを満たした映像信号に符号化する技術
である。

【０００３】映像信号の圧縮符号化においては、映像信
号を決められたビットレートに符号化を行うため、映像
を構成する１枚１枚の画像に割り当てられる符号量は限
られており、限られた符号量を画像内で分割された小領
域へ割り当てる割り当て方法が重要となる。小領域の割
り当てに際しては、画質に大きな影響を与える小領域に
大きな符号量を割り当て、そうでない小領域には小さな
符号量を割り当てる必要があるが、この符号量割り当て
が効率良く行われないと符号化した映像の画質が極端に
劣化してしまうという問題がある。特にビットレートが
低いモバイル通信の分野では、１画像に割り当てられる
符号量が非常に小さいため、符号量割り当て方法が直接
映像の画質に大きな影響を与える。

【０００４】分割された小領域への符号量の割り当て
を、画像の内容に応じて行う従来技術としては、特開平
９−１２１３５１号公報に記載された手法がある。以
下、その手法について説明する。

【０００５】図１７は、従来の映像符号化装置の概略構
成を示す図である。図１７の映像符号化装置は、同期検
出分離手段５０１と、ＤＣＴ手段５０２と、量子化手段
５０７と、符号化手段５０８と、符号量制御部５０９と
を含み、符号量制御部５０９は、小領域特性分析手段５
０４と、小領域符号量設定手段５０５と、量子化パラメ
ータ計算手段５０６とを含む。

【０００６】以下に動作について説明する。同期検出分
離手段５０１に入力された符号化すべき映像信号は、画
像信号と同期信号に分離され、画像信号は、１枚毎にＤ
ＣＴ手段５０２に入力される。ＤＣＴ手段５０２は、画
像信号に対して直交変換の一つである離散コサイン変換
（Discrete Cosine Transform。以下、ＤＣＴ変換と記
述する。）を行うものであり、その結果であるＤＣＴ係
数を量子化手段５０７と、小領域特性分析手段５０４に
出力する。

【０００７】小領域特性分析手段５０４は、１画像をあ
らかじめ決められた例えば１画像の１／４の大きさの４
つの小領域に分割し、分割した小領域内において、ＤＣ
Ｔ手段５０２から入力されたＤＣＴ係数を用いて小領域
の特性を分析し、分析した小領域特性を小領域符号量設
定手段５０５に出力する。ここで小領域の特性は、小領
域に含まれるＤＣＴ係数のＡＣ成分の絶対値を合計した
ものを用いる。この特性算出法は、ＤＣＴ係数が画像の
周波数特性を示したものであって、細かい画像はＤＣＴ
係数のＡＣ成分が強くなる傾向があり、平坦な画像では
ＤＣＴ係数のＡＣ成分が弱くなる傾向があることを利用
しており、ＤＣＴ係数のＡＣ成分の絶対和が大きいほ
ど、細かい画像であることを推測できるという利点を持
つ。

【０００８】小領域符号量設定手段５０５は、小領域特
性分析手段５０４より入力された小領域特性を用いて各
小領域に対する符号量の割り当てを行い、小領域に割り
当てた符号量を量子化パラメータ計算手段５０６に出力
する。ここで、小領域への符号量の割り当て方法は、小
領域特性が大きい時すなわち細かい画像と推測される場
合には大きな符号量を割り当て、逆に小領域特性が小さ
い時すなわち平坦な画像と推測される場合には小さな符
号量を割り当て、かつ全小領域の符号量の合計が１画像
全体で決められた符号量になるように割り当て行うもの
とする。

【０００９】量子化パラメータ計算手段５０６は、小領
域符号量設定手段５０５より入力された各小領域への割
り当て符号量に基づき、各小領域の量子化パラメータを
計算し、各小領域の量子化パラメータを量子化手段５０
７に出力する。

【００１０】量子化手段５０７は量子化パラメータ計算
手段５０６より入力された小領域毎の量子化パラメータ
を用いて小領域のＤＣＴ係数を量子化し、量子化後のＤ
ＣＴ係数と、量子化パラメータを符号化手段５０８に出
力する。符号化手段５０８は量子化手段５０７より入力
された、量子化後のＤＣＴ係数および量子化パラメータ
を符号化し、符号化映像信号として出力する。

【００１１】以上のように、従来の映像符号化装置は、
符号化すべき画像の分割した小領域毎に小領域の特性と
してＤＣＴ係数のＡＣ成分の絶対和を求め、算出した特
性を用いて小領域への符号量割り当てを行って、符号化
を行うものである。

【００１２】

【発明が解決しようとする課題】しかしながら、従来の
ようなＤＣＴ係数のＡＣ成分の絶対和から算出した小領
域特性を用いて、１画像の符号量を小領域に割り当てる
場合、以下のような理由により、復号化した画像の画質
が均一ではなく、局所的に画質の劣化したところが発生
し、効率良く符号量割り当てが行われないという問題が
ある。

【００１３】１．ＤＣＴ係数のＡＣ成分の中でも低周波
数帯域のＡＣ成分と高周波数帯域のＡＣ成分があるが、
一般に画像内符号化画像においては、低周波数帯域ＡＣ
成分が多い画像は平坦な画像であり、平坦な画像ほど量
子化を粗く行った時の画質劣化が大きいため、符号量を
多く割り当てる必要がある。すなわち、ＡＣ成分の絶対
和が同じ場合でも、低周波数帯域ＡＣの割合が多い小領
域は、高周波数帯域ＡＣの割合が多い場合に比べて、大
きな符号量を必要とする。しかしながら、従来手法で
は、低周波数帯域、高周波数帯域に関わらずＡＣ成分の
絶対和の大小で符号量の割り当てを行うため、両者とも
に同じ符号量で符号化が行われ、低周波数帯域ＡＣの割
合が多い小領域では画質劣化が大きく、画像内で局所的
な画質の差が生じる。すなわち、最適な符号量割り当て
が行われていない。

【００１４】２．一般にＭＰＥＧでは、画像内符号化と
画像間予測符号化を用いて符号化を行い符号化効率の向
上を図っており、画像間予測符号化を行う場合には、符
号化を行う画像に対して、時間的に１つ前の画像（以下
参照画像と呼ぶ）と相関が高い領域を探索して差分する
ことにより、差分画像を求め、差分画像をＤＣＴ変換
後、量子化処理を行う。このとき、差分画像のＤＣＴ係
数のＡＣ成分のほとんどの部分は、参照画像との差分画
像のうちエッジ部分に相当するが、動き予測の精度、も
しくは入力映像の周波数特性に依存して、ＡＣ成分の分
布は変化する。そのため、低周波数帯域から高周波数帯
域のＡＣ成分の中でどの周波数領域のＡＣ成分が画質に
影響を及ぼすかは、単純には決定されず、従来例のよう
なＡＣ成分の絶対和のみを用いて符号量割り当てを行う
ことは、効率良く画像内の画質を均一にするため符号量
割り当て手法としては適していない。

【００１５】３． 従来手法は、各ＡＣ成分の画質への
影響度合いに関わらず、ＡＣ成分の絶対和の大小のみか
ら割り当て符号量の算出を行っているため、符号量割り
当て結果と符号化後の画質の関係が一致したものではな
い。すなわち割り当てた符号量は画質への影響度合いに
基づくものではなく、画像内の画質を均一とする手法と
はなりえない。

【００１６】以上のように、従来手法による小領域に対
する符号量割り当ては、符号量割り当てが的確に行われ
ていないため、画像内の画質に偏りが生じてしまい、画
像内の画質が均一でないという問題が生じる。

【００１７】

【課題を解決するための手段】本発明は、映像信号に含
まれる各画像を分割した小領域毎に符号量を割り当て、
映像の符号化を行う映像符号化装置であって、前記小領
域の画像が符号化画像全体の画質に及ぼす影響の度合い
を示す有意分布特性を算出する有意分布特性算出手段
と、前記算出した有意分布特性を用いて、各小領域に割
り当てる符号量を計算する小領域符合量割り当て手段と
を有するものである。これにより、画像内符号化および
画像間予測符号化において、画質に影響を与える可能性
の大きい領域には大きな符号量を、画質に影響を与える
可能性の小さい領域には、小さい符号量を割り当てるこ
とができ、画像内で局所的な画質劣化を生じさせること
なく、画像内での効率のよい符号量割り当てが可能とな
る。

【００１８】また、本発明は、映像信号に含まれる各画
像に符号量を割り当て、映像の符号化を行う映像符号化
装置であって、前記各画像を分割した小領域の画像が符
号化画像全体の画質に及ぼす影響の度合いを示す有意分
布特性を算出する有意分布特性算出手段と、各画像の全
小領域の前記算出した有意分布特性の平均値を用いて、
各画像に割り当てる符号量を計算する画像符合量割り当
て手段とを有するものである。これにより、画質に影響
を与える可能性の大きい小領域を多く含む画像には大き
な符号量を割り当て、そうでない画像には小さな符号量
を割り与えることができ、各画像間での画質を均一にす
る画像間での効率のよい符号量割り当てが可能となる。

【００１９】さらに、前記画像符合量割り当て手段が計
算した各画像に割り当てる符号量と、前記算出した有意
分布特性とを用いて、各小領域に割り当てる符号量を計
算する小領域符合量割り当て手段とを有するものであ
る。

【００２０】また、前記有意分布特性は、前記小領域の
画像を直交変換して得た直交変換係数と、あらかじめ領
域分割した周波数領域毎の直交変換係数の画質への影響
度合いを示した重み係数との積の絶対値の総和を求め、
さらに前記小領域内の平均を算出することによって求め
たものである。

【００２１】また、前記重み係数は、符号化種類例えば
画像内符号化又は画像間予測符号化に応じて異なるもの
である。

【００２２】本発明の映像符号化装置は、１つの画像も
しくは小領域の符号化が終了した後に、前記重み係数の
更新を行う重み係数更新部を備えるものである。

【００２３】前記重み係数更新部は、復号画像の画質評
価値を用いて前記重み係数の更新を行うものである。ま
た、前記小領域の画質評価値と前記全小領域の画質評価
値の平均値との差を用いて、前記重み係数の更新を行う
ものである。これにより、画質に影響を与える可能性の
高い周波数領域の重み係数を、他周波数領域の重み係数
よりも高くすることができ、次画像の各小領域に符号量
を割り当てる時に使用する重み係数をより画質に相関の
高い係数とすることができる。

【００２４】前記重み係数更新部は、復号画像の画質評
価値と発生した符号量とを用いて前記重み係数の更新を
行うものである。また、前記小領域の画質評価値と前記
全小領域の画質評価値の平均値とがほぼ一致する小領域
における割り当てられた符号量と発生した符号量との差
を用いて、前記重み係数の更新を行うものである。これ
により、必要符号量が大きい可能性が高い周波数領域の
重み係数が、他の周波数領域の重み係数よりも高くする
ことができ、次画像の小領域に符号量を割り当てる時に
使用する重み係数をより必要符号量と相関の高い係数と
することができる。

【００２５】前記重み係数更新部は、復号画像の画質評
価値と発生した量子化誤差値とを用いて前記重み係数の
更新を行うものである。また、前記重み係数更新部は、
復号画像の前記小領域の画質評価値と前記全小領域の画
質評価値の平均値との大小関係、及び前記小領域の量子
化誤差値と前記全小領域の領域誤差値の平均値との大小
関係を用いて、前記重み係数の更新を行うものである。
これにより、画質に影響を与える可能性の高い周波数領
域の重み係数が、他周波数領域の重み係数よりも高くす
ることができ、次画像の領域に符号量を割り当てる時に
使用する重み係数をより画質と相関の高い係数とするこ
とができる。

【００２６】本発明の映像符号化装置は、前記重み係数
を用いて算出した各周波数領域の量子化パラメータから
なる量子化マトリクスを用いて次の画像の量子化を行う
量子化手段を有するものである。これにより、画質に影
響を与える可能性の周波数領域に大きな符号量を割り当
てることができるため、画像内での局所的な画質劣化を
防ぐことができ、効果的な符号量割り当てが可能とな
る。

【００２７】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図１から図１６を用いて説明する。なお、本発明は
これら実施の形態に何ら限定されるものではなく、その
要旨を逸脱しない範囲において、種々の態様で実施し得
る。

【００２８】（第１の実施の形態）第１の実施の形態の
映像符号化装置は、映像信号を構成する各画像を複数の
小領域に分割し、分割した小領域についてそれぞれのＤ
ＣＴ係数および重み係数から算出した画質への影響を示
す有意分布特性を算出し、算出した有意分布特性を用い
て符号量の割り当てを行うものである。また、符号化後
の画質評価値を用いて重み係数を更新するものである。

【００２９】図１は、第１の実施の形態の映像符号化装
置の概略構成を示したものである。図１の映像符号化装
置は、符号化すべき映像信号に含まれる各画像を１画像
毎に出力する画像入力手段１０５と、動き予測および動
き補償を行う動き予測動き補償手段１０６と、復号化さ
れた画像を格納しておく画像メモリ１２０と、ＤＣＴ変
換を行うＤＣＴ手段１０７と、量子化を行う量子化手段
１０８と、可変長符号化を行う可変長符号化手段１０９
と、逆量子化を行う逆量子化手段１１０と、逆ＤＣＴ変
換を行う逆ＤＣＴ手段１１１と、符号量の割り当てを行
う符号量制御部１０２と、重み係数を更新する重み係数
更新部１０３を含む。

【００３０】符号量制御部１０２は、ＤＣＴ手段１０７
と接続し、有意分布特性を算出する有意分布特性算出手
段１１６と、有意分布特性を用いて小領域への符号量の
割り当てを行う小領域符号量割り当て手段１１７と、割
り当てられた符号量を用いて量子化パラメータを算出す
る量子化パラメータ算出手段１１８を含む。有意分布特
性は、小領域の画像が符号化画像全体の画質に及ぼす影
響の度合いを示すものである。重み係数更新部１０３
は、画像入力手段１０５および逆ＤＣＴ手段１１１に接
続し、復号化画像内の小領域それぞれについて画質評価
値を求める画質評価値算出手段１１２と、重み係数を格
納する重み係数メモリ１１３と、小領域それぞれのＤＣ
Ｔ係数に対して、その係数和が最大の周波数領域の番号
を格納しておく最大領域メモリ１１４と、重み係数の更
新を行う重み係数更新手段１１５とを含む。

【００３１】図１の映像符号化装置は、図２に示すよう
な流れの処理を行い、映像信号の符号化を行う。ＳＴＥ
Ｐ１は、１枚毎に画像入力を行う画像入力処理であり、
画像入力手段が行う。ＳＴＥＰ２は、符号化種類に応じ
て処理の分岐を行う、符号化種別条件分岐であり、動き
予測動き補償手段１０６が行う。また、ＳＴＥＰ３は、
動き予測および動き補償を行う動き予測、動き補償処理
であり、同様に動き予測動き補償手段１０６が行う。Ｓ
ＴＥＰ４は、ＤＣＴ変換を行うＤＣＴ変換処理であり、
ＤＣＴ手段１０７が行う。

【００３２】ＳＴＥＰ５は、有意分布特性を算出する有
意分特性算出処理であり、ＳＴＥＰ６は、有意分布特性
を用いて符号量の割り当てを行う符号量割り当て処理で
あり、ＳＴＥＰ７は、割り当て符号量を用いて量子化パ
ラメータを算出する量子化パラメータ算出処理であり、
それぞれ、符号量制御部１０２の、有意分布特性算出手
段１１６、小領域符号量割り当て手段１１７、量子化パ
ラメータ算出手段１１８が行う。ＳＴＥＰ８は、ＤＣＴ
手段１０７が求めたＤＣＴ係数の量子化、量子化された
ＤＣＴ係数の符号化、及び量子化されたＤＣＴ係数から
画像の復号化を行う、量子化、符号化、復号化処理であ
り、ＤＣＴ手段１０７と、量子化手段１０８と、可変長
符号化手段１０９と、逆量子化手段１１０と、逆ＤＣＴ
手段１１１、動き予測動き補償手段１０６が行う。そし
て、ＳＴＥＰ９は、重み係数の更新を行う重み係数更新
処理であり、重み係数更新部１０３が行う。

【００３３】以上のように示した処理について、その詳
細について説明する。

【００３４】（ＳＴＥＰ１：画像入力処理）符号化すべ
き映像信号が入力されると、画像入力手段１０５は、入
力された映像信号から同期信号を検出して、映像信号を
構成する画像を１画像ごとに画質評価値算出手段１１２
に出力するとともに、動き予測動き補償手段１０６に１
画像ごとに画像とその符号化の種類を示した画像符号化
種類を出力する。この例では、画像符号化種類は、１画
像のみを用いて符号化を行う画像内符号化と画像間の相
関を利用して符号化を行う画像間予測符号化であり、は
じめの１画像および決められた周期に毎に画像内符号化
され、それ以外は画像間予測符号化されるものとする。

【００３５】（ＳＴＥＰ２： 符号化種別条件分岐）動
き予測動き補償手段１０６は、画像符号化種類が画像内
符号化画像の場合には何もせず、ＤＣＴ手段１０７に、
入力画像と画像符号化種類とを出力して、処理をＳＴＥ
Ｐ４に移す。また、画像符号化種類が画像間予測符号化
画像の場合にはＳＴＥＰ３に移る。

【００３６】（ＳＴＥＰ３：動き予測、動き補償処理）
動き予測動き補償手段１０６は、画像を複数のブロック
に分割し、分割したブロック毎に、画像メモリ１２０か
ら入力された時間的に１つ前の画像と相関の高いブロッ
クを探索し、入力画像のブロックとの差分を求めること
により差分画像を作成し、差分画像および画像符号化種
類をＤＣＴ手段１０７に出力する。なお、動き予測動き
補償手段１０６は、後述する復号化処理も行うものであ
り、復号化画像を画像メモリ１２０に入力する。また、
画像メモリ１２０は、動き予測動き補償手段１０６で復
号された画像画像を内部に格納するとともに、格納した
画像を画質評価値算出手段１１２および動き予測動き補
償手段１０６に出力するものである。

【００３７】（ＳＴＥＰ４： ＤＣＴ変換処理）ＤＣＴ
手段１０７は、動き予測動き補償手段１０６から入力さ
れた、原画像あるいは差分画像を、複数の画素、例えば
８x８画素で構成されるＤＣＴブロックに分割し、ＤＣ
Ｔブロック毎にＤＣＴ変換を行いＤＣＴ係数と画像符号
化種類を量子化手段１０８および有意分布特性算出手段
１１６に出力する。

【００３８】（ＳＴＥＰ５：有意分布特性算出処理）有
意分布特性は、小領域の画像が符号化画像全体の画質に
及ぼす影響の度合いを示すものであるが、小領域とＤＣ
Ｔブロックについて述べておく。小領域は、符合量の設
定単位であり、１又は複数のＤＣＴブロックからなる。
図３は、画像の小領域分割の一例を示すものである。図
３において、１３１は１画像を示し、正方格子状に区切
られた正方形領域がそれぞれ小領域１３２である。小領
域の大きさ、数は任意であるが、本実施の形態では、小
領域はＤＣＴブロック３３を縦に２つ横に２つ並べた大
きさの領域とする。

【００３９】有意分布特性算出手段１１６は、ＤＣＴ手
段１０７からＤＣＴ係数が入力されると、重み係数メモ
リ１１３に重み係数要求信号を出力し、重み係数メモリ
１１３から重み係数が入力されると、入力されたＤＣＴ
係数と重み係数を用いて、あらかじめ決められた大き
さ、本実施の形態ではＤＣＴブロック２x２個の大きさ
の小領域毎にその領域の画質に与える影響の大きさを示
した有意分布特性を算出する。重み係数は、分割した各
周波数領域のＤＣＴ係数が画質に与える影響度合いを示
したものものであり、それらの合計は１となっている。
図４に、ＤＣＴ係数の領域分割方法の一例を示す。図４
において、ＤＣＴブロックは直流成分を領域０として、
高周波数帯域のＡＣ成分方向に１から５の領域、全部で
６つの領域に分割されているが、領域の数、形状は任意
であり、これに限定されるものではない。重み係数メモ
リ１１３には、これらの周波数領域毎の重み係数が、符
号化種類別に記憶される。

【００４０】次に、小領域の有意分布特性の算出方法に
ついて説明する。有意分布特性算出手段１１６は、式
１．１に基づいて有意分布特性を算出する。式１．１に
おいて、Ｓ(Area#n)は小領域ｎの有意分布特性、Ｍは小
領域内のＤＣＴブロックの数、ＮはＤＣＴブロック内で
のＤＣＴ係数の数、coeff#i(j)はＤＣＴブロックｉのｊ
番目のＤＣＴ係数、typeは符号化種類（画像内符号化又
は画像間予測符号化）を示し、freq#areaは周波数領域
番号、Ｗ#type(freq#area)は符号化種類typeの周波数領
域freq#areaの重み係数を示す。

【００４１】

【数１】

【００４２】有意分布特性は、式１．１に示すように、
小領域に属するそれぞれのＤＣＴブロックのＤＣＴ係数
と、図４に示した周波数領域毎の重み係数との積の絶対
値の総和を求め、ＤＣＴブロックの平均を求めることに
より算出するものであり、小領域の画質への影響度合い
を示すことができる。有意分布特性算出手段１１６は、
以上のように算出した小領域毎の有意分布特性Ｓ(Area#
n)を小領域符号量割り当て手段１１７に出力する。

【００４３】また、有意分布特性算出手段１１６は、小
領域内のＤＣＴ係数に対して周波数領域毎の和を求め、
最大の和を持つ周波数領域番号を算出し、各小領域内で
の最大周波数領域番号示す最大周波数領域マップを作成
し、最大周波数領域マップを最大領域メモリ１１４に出
力する。図７に最大周波数領域マップの一例を示す。図
７において、７１は１画像を示し、７２は小領域を示
し、各小領域７２内に示された数字が最大周波数領域番
号を表す。最大領域メモリ１１４は、有意分布特性算出
手段１１６から入力される最大周波数領域マップを内部
に保持し、重み係数更新手段１１５から最大周波数領域
マップ要求信号が入力されると、最大周波数領域マップ
を重み係数更新手段１１５に出力するものである。

【００４４】（ＳＴＥＰ６：符号量割り当て処理）有意
分布特性が大きいほど画質への影響が大きいので、画像
内で一定の画質を保つためには大きな符号量を必要と
し、逆に有意分布特性が小さいほど画質への影響が小さ
いので、画像内で一定の画質を保つためには小さな符号
量で十分である。小領域符号量割り当て手段１１７は、
有意分布特性算出手段１１６により入力された小領域毎
の有意分布特性Ｓ(Area#n)を用いて小領域への符号量割
り当てを行う。式１．２に小領域への符号量割り当ての
方法の一例を示す。式１．２において、Ａ(Area#n)は小
領域nの割り当て符号量、Ａ_frameは画像に割り当てられ
た符号量、Total#Areaは小領域の数、Ｓ(Area#n)は小領
域nの有意分布特性、Ｓ_{a verage}は画像内での全小領域の
有意分布特性の平均値、ｆ(ｘ)は小領域の有意分布特性
の画像内平均有意特性に対する割合が高いほど大きな値
を返す非線形関数である。図５は、非線形関数f(x)の一
例であるが、形状等はこれに限定されるものではない。

【００４５】

【数２】

【００４６】式１．２に従うと、有意分布特性が大きい
小領域には、大きな符号量を割り当てられ、有意分布特
性が小さい小領域には小さな符号量を割り当てられ、小
領域全体の符号量は、１画像の符号量以下となる。な
お、式１．２は割り当て方法の一例であり、有意分布特
性が大きい小領域ほど大きな符号量が割り当てられるな
らばいかなる方法でもよい。小領域符号量割り当て手段
１１７は、以上のような方法で、小領域に対して符号量
を割り当て、小領域毎に割り当てた各符号量を量子化パ
ラメータ算出手段１１８に出力する。

【００４７】（ＳＴＥＰ７：量子化パラメータ算出処
理）量子化パラメータ算出手段１１８は、小領域符号量
割り当て手段１１７から入力される小領域毎の割り当て
符号量Ａ(Area#n)を用いて、それぞれの小領域の量子化
パラメータを算出する。式１．３に量子化パラメータの
算出法を示す。

【００４８】

【数３】

【００４９】式１．３においてＱ(Area#n)は小領域ｎの
量子化パラメータ、Ａ(Area#n)は小領域nの割り当て符
号量、ｇ[ｘ]は量子化パラメータ算出関数である。式
１．４に算出関数の一例を示す。

【００５０】

【数４】

【００５１】式１．４において、Ｑ_maxは許される量子
化パラメータの最大値、ｘは割り当て符号量、ａはｇ
[ｘ]が１からＱ_maxの間に収まるように発生符号量と量
子化パラメータの関係から定められた補正係数である。
なお、ｇ[ｘ]は、割り当て符号量が大きい時には、小さ
な量子化パラメータを返す関数であり、発生符号量と量
子化パラメータの定量的性質に基づき定められればよ
く、式１．４に限定されるものではない。

【００５２】量子化パラメータ算出手段１１８は、以上
のように、各小領域の割り当て符号量に基づきそれぞれ
の量子化パラメータを算出し、かつ許容される最大量子
化パラメータの値を超えないようにし、各小領域の量子
化パラメータを示した量子化パラメータマップを作成
し、量子化手段１０８に出力する。図６に、小領域毎の
量子化パラメータマップの一例を示す。図６において、
６１は１画像で、６１を正方格子状に分割した６２が小
領域であり、小領域６２内にそれぞれ示された数字が各
小領域の量子化パラメータである。

【００５３】（ＳＴＥＰ８：量子化、符号化、復号化処
理）量子化手段１０８は、量子化パラメータ算出手段１
１８から入力された量子化パラメータマップを参照し、
それぞれの小領域毎に対応した量子化パラメータを用い
て、ＤＣＴ手段１０７から入力されたＤＣＴ係数の量子
化を行う。そして、量子化処理後、量子化後のＤＣＴ係
数、ＤＣＴ手段から入力された画像符号化種類、および
量子化パラメータマップを可変長符号化手段１０９およ
び逆量子化手段１１０に出力する。可変長符号化手段１
０９は、量子化手段１０８より入力される量子化後のＤ
ＣＴ係数を可変長符号の１つであるハフマン符号に符号
化し、符号化後の符号を符号化映像として出力する。

【００５４】逆量子化手段１１０は、量子化手段１０８
より入力された量子化後のＤＣＴ係数と量子化パラメー
タマップを用いて逆量子化を行い、逆量子化後のＤＣＴ
係数および画像符号化種類を逆ＤＣＴ手段１１１に出力
する。逆ＤＣＴ手段１１１は、逆量子化手段１１０によ
り入力された逆量子化後のＤＣＴ係数を逆ＤＣＴ変換変
換し、逆ＤＣＴ変換後の画像および画像符号化種類を動
き予測動き補償手段１０６に出力する。動き予測動き補
償手段１０６は、逆ＤＣＴ変換手段１１１より逆ＤＣＴ
変換された画像が入力されると、入力された画像が画像
内符号化画像である場合にはそのまま画像メモリに出力
し、画像間予測符号化画像である場合には、画像メモリ
から入力された時間的に１つ前の画像との加算処理によ
り画像を復号化し、復号化画像を画像メモリ１２０に入
力する。

【００５５】（ＳＴＥＰ９：重み係数更新処理）重み係
数更新処理を行う重み係数更新部１０３は、画質評価値
算出手段１１２と、重み係数を格納する重み係数メモリ
１１３と、最大領域メモリ１１４と、重み係数の更新を
行う重み係数更新手段１１５とを含む。

【００５６】重み係数メモリ１１３は、ＤＣＴ係数の各
周波数領域が画質に与える影響度合いを示す重み係数を
記憶するものでものであり、重み係数の合計は１となっ
ている。重み係数の初期値の例を図９に示す。図９(ａ)
は、画像内符号化画像用のイントラ重み係数Ｗ#intra
(i)を示し、図９(ｂ)は、画像間予測符号化加増用のイ
ンター重み係数Ｗ#inter(i)を示す。ここで、ｉは、周
波数領域番号である。画像内符号化画像においては、一
般に周波数領域の低周波数帯域のＡＣ成分が多いほど平
坦な画像であり、平坦な画像ほど大きな符号量を必要と
するので、重み係数の値はＤＣ成分を最大として、低周
波数帯域のＡＣ成分ほど大きな値を用いる。画像間予測
符号化においては、ＤＣＴ係数は時間的に１つ前の画像
との差分画像の空間周波数特性を示したものであるた
め、その周波数特性は動き予測の精度あるいは映像信号
の空間周波数特性に依存して分布が変わる。そのため、
同じ符号量を割り当てた場合に、どの周波数領域が大き
い時に画質劣化が大きくなるか、すなわちどの周波数領
域が画質へ大きな影響を与え、大きな符号量を必要とす
るかは単純には決まらない。したがって、インター重み
係数の初期値は周波数領域において一定の値を用いる。

【００５７】重み係数メモリ１１３は、有意分布特性算
出手段１１６から重み係数要求信号が入力されると、内
部に保持している重み係数を有意分布特性算出手段１１
６に出力し、重み係数更新手段１１５から重み係数要求
手段が入力されると、内部に保持している重み係数を重
み係数更新手段１１５に出力し、重み係数更新手段１１
５から重み係数が入力されると、入力された重み係数を
内部に格納する。

【００５８】画質評価値算出手段１１２は、画像入力手
段１０５および逆ＤＣＴ手段１１１に接続し、復号化画
像内の小領域それぞれについて画質評価値を求めるもの
である。画像入力手段１０５より入力された原画像と、
画像メモリ１２０より入力された復号化画像が揃うと、
画像内の分割した小領域ごとに画質評価値ＰＳＮＲ(Are
a#n)を算出する。画質評価値ＰＳＮＲの算出方法を式
１．５及び式１．６に示す。

【００５９】

【数５】

【００６０】

【数６】

【００６１】式１．５において、ＰＳＮＲ(Area#n)は小
領域ｎの画質評価値、errorは原画像と復号化画像間の
誤差である。式１．６において、Ｏ(ｉ)は原画像のｉ番
目の画素値、Ｒ(ｉ)は復号化画像のｉ番目の画素値、Ｎ
は小領域内に含まれる画素数である。画質評価値算出手
段１１２は、式１．５に従い、各小領域の画質評価値を
算出し、小領域それぞれの画質評価値を示した画質評価
マップを作成し、重み係数更新手段１１５に出力する。
図８に画質評価値マップの一例を示す。図８において、
８１は１画像を示し、８２は小領域を示し、各小領域８
２に示された数字が各小領域の画質評価値である。

【００６２】最大領域メモリは、小領域それぞれのＤＣ
Ｔ係数に対して、その係数和が最大の周波数領域の番号
を格納しておくものであり、前述したように、有意分布
特性算出手段１１６で作成さ最大周波数領域マップを格
納する。

【００６３】重み係数更新手段１１５は、重み係数メモ
リ１１３に記憶される重み係数の更新処理を行うもの
で、画質評価値算出手段１１２から画質評価値マップが
入力されると、最大領域メモリ１１４に最大周波数領域
マップ要求信号を出力するとともに、重み係数メモリ１
１３に重み係数要求信号を出力する。そして、最大領域
メモリ１１４から最大周波数領域マップが入力され、重
み係数メモリ１１３から重み係数が入力されると、画質
評価値算出手段１１２から入力された画質評価値マップ
を用いて、重み係数メモリ１１３から入力された重み係
数の更新処理を行う。

【００６４】以下、重み係数の更新方法について説明す
る。まず、画像内の全小領域の画質評価値の平均を算出
して画像内平均画質とする。そして、画像内平均画質と
各小領域の画質を比較する。

【００６５】小領域の画質評価値が画像内平均画質より
も小さい場合は、最大周波数領域マップを参照して、こ
の小領域の画質に影響を与えていた最大周波数領域番号
を求め、この周波数領域の重み係数の値を大きくするた
め、更新係数aを加える。更新係数aとしては、例えば１
画像内の小領域数の逆数を用いる。このような画質評価
値の場合、小領域に割り当てた符号量では画像内平均画
質を満たすことができず、割り当て符号量が不足してこ
とを示すので、その小領域の最大周波数領域の重みを大
きくすることにより、割り当て符号量を大きくするもの
である。

【００６６】小領域の画質評価値が画像内平均画質より
も大きい場合は、最大周波数領域マップを参照して、こ
の小領域の画質に影響を与えていた最大周波数領域番号
を求め、この周波数領域の重み係数の値を小さくするた
め、更新係数aを引く。このような画質評価値の場合、
小領域に割り当てた符号量では画像内平均画質よりも十
分大きな画質を達成され、割り当て符号量が過剰であっ
たことを示すので、その小領域の最大周波数領域の重み
を小さくすることにより、割り当て符号量を減らすもの
である。

【００６７】そして、すべての小領域に対して、１また
は２の処理を施した後で、全ての重み係数が正で重み係
数の総和が１となるように重み係数の正規化を行い、正
規化した重み係数を重み係数メモリ１１３に出力する。
なお、小領域の画質評価値が画像内平均画質とほぼ一致
する場合は、更新係数の加減算を省略してもよい。

【００６８】以上のように、本実施の形態では、ＳＴＥ
Ｐ５において、小領域の有意分布特性を、周波数領域毎
の画質への影響度を考慮して算出し、ＳＴＥＰ６におい
て優位分布特性に基づく符号量割り当てを行うことによ
り、画質への影響度が大きい小領域に大きな符号量を割
り当てることができ、画像内で局所的な画質劣化を生じ
させることなく、画像内の画質を均一に保つことができ
る。また、ＳＴＥＰ９において、小領域の画質評価値に
基づいて重み係数の更新を行うことにより、重み係数を
より画質との相関が高い係数とすることができ、効率の
良い符号量割り当てが可能となるため、その実用的効果
は高い。

【００６９】（第２の実施の形態）第２の実施の形態
は、重み係数の更新処理を、小領域に対して割り当てた
符号量を用いて符号化した後の発生符号量に基づいて行
うものである。このとき、画像内平均画質を満たした小
領域の発生符号量は、小領域の画像内平均画質を満たす
ための必要符号量を示すため、発生符号量を用いて重み
係数を更新することにより、重み係数を必要符号量と相
関の高い係数とすることができる。

【００７０】図１０は、第２の実施の形態の映像符号化
装置の概略構成を示したものである。図１に示した映像
符号化装置とその動作が全く同一の処理ブロックは同じ
番号を付け、その動作についての説明は省略する。

【００７１】図１０の映像符号化装置は、符号化すべき
映像信号に含まれる各画像を１画像毎に出力する画像入
力手段１０５と、動き予測および動き補償を行う動き予
測動き補償手段１０６と、復号化された画像を格納して
おく画像メモリ１２０と、ＤＣＴ変換を行うＤＣＴ手段
１０７と、量子化を行う量子化手段１０８と、可変長符
号化を行う可変長符号化手段１０９と、逆量子化を行う
逆量子化手段１１０と、逆ＤＣＴ変換を行う逆ＤＣＴ手
段１１１と、符号量の割り当てを行う符号量制御部１１
０２と、重み係数を更新する重み係数更新部１１０３を
含む。

【００７２】符号量制御部１１０２は、ＤＣＴ手段１０
７と接続し、有意分布特性を算出する有意分布特性算出
手段１１６と、有意分布特性を用いて小領域への符号量
の割り当てを行う小領域符号量割り当て手段１１１７
と、割り当てられた符号量を用いて量子化パラメータを
算出する量子化パラメータ算出手段１１８を含む。重み
係数更新部１１０３は、画像入力手段１０５および逆Ｄ
ＣＴ手段１１１に接続し、復号化画像内の小領域それぞ
れについて画質評価値を求める画質評価値算出手段１１
２と、重み係数を格納する重み係数メモリ１１３と、小
領域それぞれのＤＣＴ係数に対して、その係数和が最大
の周波数領域の番号を格納しておく最大領域メモリ１１
４と、重み係数の更新を行う重み係数更新手段１１１５
とを含む。

【００７３】以上のように構成される映像符号化装置の
動作について説明する。図１の映像符号化装置と全く動
作が同じ処理ブロックの説明は省略し、それ以外のブロ
ックについて説明する。

【００７４】可変長符号化手段１１０９は、図１の可変
長符号化手段１０９と同様、量子化手段１０８より入力
される量子化後のＤＣＴ係数をハフマン符号化するもの
であるが、さらに、画像内で分割された小領域毎に発生
した符号量を求め、小領域ごとの発生符号量を重み係数
更新手段１１１５に出力する点が異なる。また、小領域
符号量割り当て手段１１１７は、図１の小領域符号量割
り当て手段１１７と同様、有意分布特性算出手段１１６
から入力される有意分布特性を用いて、小領域毎の割り
当て符号量を算出し、小領域の割り当て符号量を量子化
パラメータ算出手段１１７に出力するものであるが、同
時に割り当て符号量を重み係数更新手段１１１５に出力
する点が異なる。

【００７５】重み係数更新手段１１１５は、画質評価値
算出手段１１２より画質評価値マップが入力されると、
重み係数メモリ１１３に重み係数要求信号を出力し、そ
の後、重み係数メモリ１１３から入力された重み係数
と、可変長符号化手段１１０９より入力された小領域ご
との発生符号量と、画質評価値算出手段１１２より入力
された画質評価値と、最大領域メモリ１１４から入力さ
れた最大周波数領域マップと、小領域符号量割り当て手
段１１７より入力された小領域毎の割り当て符号量を用
いて、重み係数の更新を行う。

【００７６】以下、重み係数の更新方法について説明す
る。画像内の全小領域の画質評価値の平均を算出して画
像内平均画質とし、画像内平均画質と各小領域の画質を
比較する点は、図１の映像符号化装置と同じである。

【００７７】小領域の画質評価値が画像内平均画質とほ
ぼ同一で、かつ小領域の発生符号量が小領域の割り当て
符号量よりも大きい場合は、最大周波数領域マップを参
照して、この小領域の画質に影響を与えていた最大周波
数領域番号を求め、この周波数領域の重み係数の値を大
きくするため、更新係数aを加える。このような発生符
号量の場合、小領域に割り当てた符号量よりも大きな符
号量で画像内平均画質を満たしており、割り当て符号量
が不足していたことを示すので、その小領域の最大周波
数領域の重みを大きくすることにより、符号量割り当て
を増やすものである。

【００７８】小領域の画質評価値が画像内平均画質とほ
ぼ同一で、かつ小領域の発生符号量が小領域の割り当て
符号量よりも小さい場合は、最大周波数領域マップを参
照して、この小領域の画質に影響を与えていた最大周波
数領域番号を求め、この周波数領域の重み係数の値を小
さくするため、更新係数aを引く。このような発生符号
量の場合、小領域に割り当てた符号量よりも小さな符号
量で画像内平均画質を満たすことができており、割り当
て符号量が過剰であったこと示すので、その小領域の最
大周波数領域の重みを小さくすることにより、割り当て
符号量を減らすものである。

【００７９】そして、すべての小領域に対して、１また
は２の処理を施した後で、全ての重み係数が正で重み係
数の総和が１となるように重み係数の正規化を行い、正
規化した重み係数を重み係数メモリ１１３に出力する。

【００８０】以上のように、本実施の形態では、発生符
号量を用いた重み係数更新処理を行うことにより、重み
係数を小領域が画像内平均画質を満たすための必要符号
量と相関の高い係数とすることができるため、必要符号
量を考慮し、画像内で均一の画質を保った効率のよい符
号量割り当てを行うことができ、その実用的効果は高
い。

【００８１】（第３の実施の形態）第３の実施の形態
は、重み係数の更新処理を、符号化後の量子化誤差に基
づいて行うものである。一般に量子化誤差は画質に直接
影響を与え、量子化誤差の割合が大きいほど画質劣化が
大きい。このとき、周波数領域毎の量子化誤差の割合と
画質の関係から、例えば量子化誤差が大きいが画質の良
い場合などの重み係数値により生じる矛盾を無くして重
み係数の更新処理を行うことにより、重み係数を量子化
誤差と画質の関係を考慮した、画質と相関の高い係数と
することができる。

【００８２】図１１は、第３の実施の形態の映像符号化
装置の概略構成を示したものである。図１に示した映像
符号化装置とその動作が全く同一の処理ブロックは同じ
番号を付け、その動作についての説明は省略する。

【００８３】図１１の映像符号化装置は、符号化すべき
映像信号に含まれる各画像を１画像毎に出力する画像入
力手段１０５と、動き予測および動き補償を行う動き予
測動き補償手段１０６と、復号化された画像を格納して
おく画像メモリ１２０と、ＤＣＴ変換を行うＤＣＴ手段
１２０７と、量子化を行う量子化手段１０８と、可変長
符号化を行う可変長符号化手段１０９と、逆量子化を行
う逆量子化手段１２１０と、逆ＤＣＴ変換を行う逆ＤＣ
Ｔ手段１１１と、逆量子化手段１２１０とＤＣＴ手段１
２０７に接続され量子化誤差を算出する量子化誤差算出
手段１２２０と、符号量の割り当てを行う符号量制御部
１０２と、重み係数を更新する重み係数更新部１２０３
を含む。

【００８４】符号量制御部１０２は、ＤＣＴ手段１２０
７と接続し、有意分布特性を算出する有意分布特性算出
手段１１６と、有意分布特性を用いて小領域への符号量
の割り当てを行う小領域符号量割り当て手段１１７と、
割り当てられた符号量を用いて量子化パラメータを算出
する量子化パラメータ算出手段１１８を含む。重み係数
更新部１２０３は、画像入力手段１０５および逆ＤＣＴ
手段１１１に接続し、復号化画像内の小領域それぞれに
ついて画質評価値を求める画質評価値算出手段１１２
と、重み係数を格納する重み係数メモリ１１３と、小領
域それぞれのＤＣＴ係数に対して、その係数和が最大の
周波数領域の番号を格納しておく最大領域メモリ１１４
と、重み係数の更新を行う重み係数更新手段１２１５と
を含む。

【００８５】以上のように構成される映像符号化手段の
動作について説明する。図１の映像符号化装置と全く動
作が同じ処理ブロックの説明は省略し、それ以外のブロ
ックについて説明する。

【００８６】ＤＣＴ手段１２０７は、図１のＤＣＴ手段
１０７と同様、動き予測動き補償手段１０６から入力さ
れた、原画像あるいは差分画像を、複数の例えば８ｘ８
画素で構成されるＤＣＴブロックに分割し、ＤＣＴブロ
ック毎にＤＣＴ変換を行いＤＣＴ係数と画像符号化種類
を量子化手段１０８および有意分布特性算出手段１１６
に出力するものであるが、ＤＣＴ係数を量子化誤差算出
手段１２２０に出力する点が異なる。また、逆量子化手
段１２１０は、図１の逆量子化手段と同様、量子化手段
１０８より入力される量子化後のＤＣＴ係数および量子
化パラメータマップを用いて、小領域毎に逆量子化を行
い、逆量子化後のＤＣＴ係数を逆ＤＣＴ手段１１１に出
力するものであるが、同時に量子化誤差算出手段１２２
０に出力する点が異なる。

【００８７】量子化誤差算出手段１２２０は、本実施の
形態において付加された要素であり、ＤＣＴ手段１２０
７から入力されるＤＣＴ係数と、逆量子化手段１２１０
から入力される逆量子化後のＤＣＴ係数との係数同士の
差分を算出することによって、量子化によって丸められ
た量子化誤差を算出するものである。そして、小領域内
で、図４に示した周波数領域毎に量子化誤差の絶対和を
求め、絶対和が最大の周波数番号とその絶対和、さら
に、画像全体での周波数領域毎の量子化誤差絶対和の平
均値を求め、各小領域において最大の量子化誤差を持つ
周波数領域番号を示した最大量子化誤差周波数領域番号
マップと、その周波数領域での量子化誤差の絶対和を示
した量子化誤差マップを作成する。最後に、量子化誤差
算出手段１２２０は、量子化誤差マップと最大量子化誤
差周波数領域番号マップと、画像全体での周波数領域毎
の量子化誤差平均値を重み係数更新手段１２１５に出力
する。

【００８８】図１２に量子化誤差マップの一例を示す。
図１２において、１２１は１画像を示し、１２２は小領
域を示し、各小領域１２２内に示された数字が各小領域
内で最大の量子化誤差を含む周波数領域の量子化誤差の
絶対和を示す。図１３に最大量子化誤差周波数領域番号
マップの一例を示す。図１３において、１３１は１画像
を示し、１３２は小領域を示し、各小領域内に示された
数字が各小領域内で最大の量子化誤差を含む周波数領域
番号を示す。

【００８９】重み係数更新手段１２１５は、画質評価値
算出手段１１２より画質評価値マップが入力されると、
重み係数メモリ１１３に重み係数要求信号を出力し、そ
の後、重み係数メモリ１１３から入力された重み係数
と、画質評価値算出手段１１２より入力された画質評価
値と、最大領域メモリ１１４から入力された最大周波数
領域マップと、量子化誤差算出手段１２２０より入力さ
れた量子化誤差マップと最大量子化誤差周波数領域番号
マップと、画像内での周波数領域毎の量子化誤差平均値
を用いて、重み係数の更新を行う。

【００９０】以下、重み係数の更新方法について説明す
る。画像内の全小領域の画質評価値の平均を算出して画
像内平均画質とし、画像内平均画質と各小領域の画質を
比較する点は、図１の映像符号化装置と同じである。

【００９１】小領域の量子化誤差マップの値が、対応す
る周波数領域番号の画像内平均量子化誤差よりも小さ
く、小領域の画質評価値が画像内平均画質よりも低い場
合は、最大量子化誤差周波数領域番号マップを参照し
て、この小領域の画質に影響を与えていた最大周波数領
域番号を求め、この周波数領域の重み関数の値を大きく
するために重み係数値に更新係数ａを加える。このよう
な量子化誤差が発生する場合、画質劣化を生じさせる量
子化誤差が小さいにも関わらず、画質評価値が低いこと
から、小領域に割り当てた符号量では、画像内平均画質
を達成できていない、すなわち割り当て符号量が不足し
ていたことを示すので、その小領域の最大周波数領域の
重みを大きくすることにより、割り当て符号量をふやす
ものである。

【００９２】小領域の量子化誤差マップの値が、対応す
る周波数領域番号の画像内平均量子化誤差よりも大き
く、小領域の画質評価値が画像内平均画質よりも大きい
場合は、最大量子化誤差周波数領域番号マップを参照し
て、この小領域の画質に影響を与えていた最大周波数領
域番号を求め、この周波数領域の重み係数の値を小さく
するために重み係数値から更新係数ａを引く。このよう
な量子化誤差が発生する場合、画質劣化を生じさせる量
子化誤差が大きいにも関わらず、画質評価値が高いこと
から、小領域に割り当てた符号量では、画像内平均画質
を達成するのに十分過ぎる符号量であった、すなわち割
り当て符号量が過剰であったことを示すので、その小領
域の最大周波数領域の重みを小さくすることにより、割
り当て符号量を減らすものである。

【００９３】そして、すべての小領域に対して、１また
は２の処理を施した後で、全ての重み係数が正で重み係
数の総和が１となるように重み係数の正規化を行い、正
規化した重み係数を重み係数メモリ１１３に出力する。

【００９４】以上のように、本実施の形態では、量子化
誤差値を用いた重み係数の更新処理を行うことにより、
符号量割り当て結果、画質劣化を引き起こす要素である
量子化誤差値の大きさと実際の画質評価値から、周波数
領域毎に量子化誤差の画質への影響の大小を評価した重
み係数に更新することができ、周波数領域毎の量子化誤
差の画質への影響を考慮した効率の良い符号量割り当て
が可能となり、その実用的効果は高い。

【００９５】（第４の実施の形態）映像符号化における
符号量割り当てには、大きく分類すると２つある。１つ
目は、１画像内の画質を均一にするため、画像を分割し
た小領域への符号量割り当てを制御するものであり、２
つ目は、映像信号を構成する各画像間での画質を均一に
するために、各画像への符号量割り当てを行うものであ
る。実施の形態１から３は、画像内の小領域への符号量
割り当てについて述べたものである。

【００９６】第４の実施の形態の映像符号化装置は、画
像内の小領域への符号割り当てを行うとともに、さらに
各画像への符号量割り当てを行うものである。映像信号
を構成する各画像への符号量割り当ては、１画像内の全
小領域の平均有意分布特性を用いることによって行い、
各画像間で均一な画質を保つような符号量割り当てを行
う。

【００９７】図１４は、第４の実施の形態の映像符号化
装置の概略構成を示したものである。図１に示した映像
符号化装置とその動作が全く同一の処理ブロックは同じ
番号を付け、その動作についての説明は省略する。

【００９８】図１４の映像符号化装置は、符号化すべき
映像信号に含まれる各画像を１画像毎に出力する画像入
力手段１０５と、動き予測および動き補償を行う動き予
測動き補償手段１０６と、復号化された画像を格納して
おく画像メモリ１２０と、ＤＣＴ変換を行うＤＣＴ手段
１０７と、量子化を行う量子化手段１０８と、可変長符
号化を行う可変長符号化手段１５０９と、逆量子化を行
う逆量子化手段１１０と、逆ＤＣＴ変換を行う逆ＤＣＴ
手段１１１と、符号量の割り当てを行う符号量制御部１
５０２と、重み係数を更新する重み係数更新部１０３を
含む。

【００９９】符号量制御部１０２は、ＤＣＴ手段１０７
と接続し、有意分布特性を算出する有意分布特性算出手
段１５１６と、画像内の有意分布特性を用いて画像への
符号量割り当てを行う画像符号量割り当て手段１５２１
と、有意分布特性を用いて小領域への符号量の割り当て
を行う小領域符号量割り当て手段１５１７と、割り当て
られた符号量を用いて量子化パラメータを算出する量子
化パラメータ算出手段１１８とを含む。重み係数更新部
１０３は、画像入力手段１０５および逆ＤＣＴ手段１１
１に接続し、復号化画像内の小領域それぞれについて画
質評価値を求める画質評価値算出手段１１２と、重み係
数を格納する重み係数メモリ１１３と、小領域それぞれ
のＤＣＴ係数に対して、その係数和が最大の周波数領域
の番号を格納しておく最大領域メモリ１１４と、重み係
数の更新を行う重み係数更新手段１１５とを含む。

【０１００】図１４の映像符号化装置は、図１５に示す
ような流れの処理を行い、映像信号の符号化を行う。図
１５は、ＳＴＥＰ５の次にＳＴＥＰ６０が付加されてい
る点を除いて、図２と同様であるので、説明を省略す
る。

【０１０１】（ＳＴＥＰ６０：画像符号量割り当て処
理）有意分布特性算出手段１５１６は、ＤＣＴ手段１０
７からＤＣＴ係数が入力されると、重み係数メモリ１１
３に重み係数要求信号を出力し、重み係数メモリ１１３
から重み係数が入力されると、入力されたＤＣＴ係数と
重み係数を用いて、実施の形態１と同様に小領域毎にそ
の領域の画質に与える影響の大きさを示した有意分布特
性を算出する。そして、算出した小領域毎の有意分布特
性を小領域符号量割り当て手段１５１７に出力する。ま
た、算出した小領域の有意分布特性を用いて画像内の平
均有意分布特性を算出し、算出した画像内の平均有意分
布特性を画像符号量割り当て手段１５２１に出力する。

【０１０２】画像符号量割り当て手段１５２１は、有意
分布特性算出手段１５１６から入力された画像内の平均
有意分布特性を用いて、画像に割り当てる符号量を決定
する。式４．１に画像への符号量割り当て方法を示す。

【０１０３】

【数７】

【０１０４】式４．１において、Ａ_Nは画像Ｎへの割り
当て符号量、Ｔは目標ビットレート、ｆはフレームレー
ト、ＧＯＰは画像内符号化画像間隔、Ｂ_iは画像ｉの発
生符号量、Ｓ_frame(Ｎ)は画像Ｎの平均有意分布特性、
Ｓ_avr(Ｎ)は画像１から画像Ｎまでの平均有意分布特性
の平均値である。

【０１０５】式４．１に示すように、画像の平均有意分
布特性が大きいほど、その画像が画質に与える影響の大
きい領域を多く含み、大きな符号量を必要するため、大
きな符号量割り当てを行い、逆に画像の平均有意分布特
性が小さいほど、その画像が画質に与える影響の大きい
領域をあまり含んでおらず、小さな符号量で十分である
ため、小さな符号量割り当てを行う。なお、式４．１は
画像への符号量割り当て方法の一例を示したものであ
り、画像の平均有意分布特性が大きい画像ほど大きな符
号量割り当てを行う方法であれば他の割り当て方法でも
よい。

【０１０６】また、画像符号量割り当て手段１５２１は
画像内平均有意分布特性と、第１画像から入力画像に対
して時間的に１つ前までの画像内平均分布特性の平均値
を用いて、入力画像までの画像内平均分布特性の平均値
を算出し、内部に保持しておく。ここで、入力画像が第
１画像の場合は、画像内平均有意分布特性をそのまま平
均値とし、内部に保持する。最後に、画像符号量割り当
て手段１５２１は、算出した画像への割り当て符号量を
小領域符号量割り当て手段１５１７に出力する。また、
画像符号量割り当て手段１５２１は可変長符号化手段１
５０９より、１画像の発生符号量が入力されると、その
符号量を内部に保持する。

【０１０７】小領域符号量割り当て手段１５１７は、画
像符号量割り当て手段１５２１から入力された画像への
割り当て符号量を用いて、図１の小領域符号量割り当て
手段１１７と同様に小領域への符号量割り当てを行い、
割り当てた符号量を量子化パラメータ算出手段１１８に
出力する（ＳＴＥＰ６）。

【０１０８】また、可変長符号化手段１５０９は、量子
化手段１０８より入力された量子化後のＤＣＴ係数をハ
フマン符号化し、出力手段１１９に符号を出力するとと
もに、１画像で発生した符号量を画像符号量割り当て手
段１５２１に出力する。

【０１０９】なお、重み係数更新処理は、図１の映像符
号化装置の方法だけでなく、図１０又は図１１の映像符
号化装置の方法を採用してもよい。また、小領域への割
り当て符号量の計算は、他の方法を用いてもよいし、予
め固定した値を利用してもよい。

【０１１０】以上のように、本実施の形態では、画像内
の平均有意分布特性を用いて、平均分布特性が高い画
像、すなわち画質へ与える影響の大きい領域を多く含
み、大きな符号量を必要とする画像には、大きな符号量
を割り当て、逆に画像内の平均有意分布特性が低い画
像、すなわち画質へ与える影響の大きな領域が少なく、
小さな符号量で十分の画像には、小さな符号量割り当て
を行うことにより、映像信号を構成する各画像間で効率
良く符号量割り当てを行うことが可能であり、各画像間
での画質の偏りをなくし画像間で均一な画質を保つこと
ができ、その実用的効果は高い。

【０１１１】（第５の実施の形態）第５の実施の形態
は、１画像内の小領域を符号化して重み係数更新処理を
行った後、更新された重み係数を用いて、量子化マトリ
クスを作成し、次の画像からは、作成した量子化マトリ
クスを用いて量子化を行うものである。重み係数の更新
は、第１、第２又は第３の実施の形態のいずれの方法を
利用してもよい。

【０１１２】図１６は、第５の実施の形態の映像符号化
装置の概略構成を示したものである。図１に示した映像
符号化装置とその動作が全く同一の処理ブロックは同じ
番号を付け、その動作についての説明は省略する。

【０１１３】図１６の映像符号化装置は、符号化すべき
映像信号に含まれる各画像を１画像毎に出力する画像入
力手段１０５と、動き予測および動き補償を行う動き予
測動き補償手段１０６と、復号化された画像を格納して
おく画像メモリ１２０と、ＤＣＴ変換を行うＤＣＴ手段
１０７と、量子化を行う量子化手段１０８と、可変長符
号化を行う可変長符号化手段１０９と、逆量子化を行う
逆量子化手段１１０と、逆ＤＣＴ変換を行う逆ＤＣＴ手
段１１１と、符号量の割り当てを行う符号量制御部１７
０２と、重み係数を更新する重み係数更新部１７０３を
含む。

【０１１４】符号量制御部１７０２は、ＤＣＴ手段１０
７と接続し、有意分布特性を算出する有意分布特性算出
手段１１６と、有意分布特性を用いて小領域への符号量
の割り当てを行う小領域符号量割り当て手段１１７と、
割り当てられた符号量もしくは、重み係数メモリから入
力された重み係数を用いて量子化パラメータまたは量子
化マトリクスを算出する量子化パラメータ算出手段１７
１８を含む。重み係数更新部１７０３は、画像入力手段
１０５および逆ＤＣＴ手段１１１に接続し、復号化画像
内の小領域それぞれについて画質評価値を求める画質評
価値算出手段１１２と、重み係数を格納する重み係数メ
モリ１７１３と、小領域それぞれのＤＣＴ係数に対し
て、その係数和が最大の周波数領域の番号を格納してお
く最大領域メモリ１１４と、重み係数の更新を行う重み
係数更新手段１１５から構成される。

【０１１５】以上のように構成される映像符号化装置の
動作について説明する。図１の映像符号化装置と同一の
番号を付けた処理ブロックは、その動作が同一であるた
め説明を省略する。

【０１１６】図１６において、重み係数メモリ１７１３
は、有意分布特性算出手段１１６から重み係数要求信号
が入力されると、内部に保持している重み係数を有意分
布特性算出手段１１６に出力し、重み係数更新手段１１
５から重み係数要求手段が入力されると、内部に保持し
ている重み係数を重み係数更新手段１１５に出力し、重
み係数更新手段１１５から重み係数が入力されると、内
部に保持している更新前の重み係数と、入力された重み
係数との差分を求め、重み係数の変化の度合いを算出
し、入力された重み係数を内部に格納する。ここで、重
み係数の変化の度合いが小さく、重み係数の更新が収束
したと考えられる場合、もしくは、ユーザーがあらかじ
め決めた数の画像を符号化した後、内部に保持している
重み係数を量子化パラメータ算出手段１７１８に出力す
る。

【０１１７】量子化パラメータ算出手段１７１８は、小
領域符号量割り当て手段１１７から入力された小領域毎
の割り当て符号量を用いて量子化パラメータを算出し、
量子化パラメータを量子化手段１０８に出力する。さら
に、重み係数メモリ１７１３から重み係数が入力された
場合は、入力された重み係数を用いて量子化マトリクス
を作成し、算出した量子化マトリクスを量子化手段１０
８に出力する。

【０１１８】ここで、重み係数はＤＣＴ係数の各周波数
領域が画質に与える影響度合いを示したものであり、重
み係数が大きい周波数領域ほど、画質に与える影響が大
きく、大きな符号量を必要とするため、量子化値を小さ
くして大きな符号量を割り当てないと、画質劣化が大き
くなってしまう。逆に、重み係数が小さい周波数領域
は、画質に与える影響が小さく、小さな符号量を割り当
てても、十分高い画質が保てるため、量子化値を大きく
して小さな符号量を割り当てることができる。このこと
から、量子化パラメータ算出手段１７１８は、重み係数
メモリ１７１３から入力された重み係数を参照し、重み
係数が大きい周波数領域の量子化マトリクスの値を小さ
くし、重み係数が小さい周波数領域の量子化マトリクス
の値を大きくする。例えば、式５．１に示すように量子
化マトリクスの値を決める。

【０１１９】

【数８】

【０１２０】式５．１において、typeは符号化種類（画
像内符号化又は画像間予測符号化）、Ｑ#_type[Area#n]
は周波数領域ｎの量子化マトリクスの値、q_typeは符号
化種類ごとに決められた初期量子化値、Ｗ#type(Area#
n)は周波数領域ｎの重み関数、max(Ｗ#type)は各符号化
種類の重み関数の最大値である。初期量子化値は、例え
ばＭＰＥＧで規定された量子化マトリクスの最小量子化
値を用いて、q_intra =８、q_inter=１６とする。

【０１２１】最後に量子化パラメータ算出手段１７１８
は、算出した量子化マトリクスを量子化手段１０８に出
力する。量子化手段１０８は、ＤＣＴ手段１０８から入
力されたＤＣＴ係数に対して、量子化パラメータ算出手
段１７１８から入力された量子化パラメータ、量子化マ
トリクスを用いて量子化を行い可変長符号化手段１０９
に出力する。

【０１２２】なお、重み係数更新処理は、図１の映像符
号化装置の方法だけでなく、図１０又は図１１の映像符
号化装置の方法を採用してもよい。

【０１２３】以上のように、本実施の形態では、ＤＣＴ
係数内で周波数領域の画質への影響度合いを示した重み
関数を用いて、重み関数の値が大きく画質へ与える影響
が大きい周波数領域には小さな量子化値を設定し、逆に
重み関数の値が小さく画質へ与える影響が小さい周波数
領域には大きな量子化値を設定することにより、独自の
量子化マトリクスを作成し、作成した量子化マトリクス
を用いて量子化を行うことにより、大きな符号量を必要
とする周波数領域には小さな量子化値を用いて大きな符
号量を割り当て、小さな符号量で十分な周波数領域には
大きな量子化値を用い、小さな符号量を割り当てること
ができ、画像中で局所的な画質劣化を生じさせることな
く、効果的に符号量の割り当てができるため、実用的な
効果を有する。

【０１２４】

【発明の効果】以上のように、本発明の映像符号化装置
は、第１に、映像信号に含まれる画像をあらかじめ決め
られた大きさの複数の小領域に分割し、それぞれの小領
域に対して、ＤＣＴ係数と、ＤＣＴ係数内での周波数領
域毎の画質へ寄与する割合を示した重み係数を用いて、
画質への影響度合いを示した有意分布特性を算出し、算
出した有意分布特性が大きな小領域には大きな符号量を
割り当て、逆に有意分布特性が小さい小領域には小さな
符号量を割り当てる手段を備えることにより、画質への
影響度が大きく大きな符号量を必要とする小領域に大き
な符号量を割り当て、小さな符号量を必要とする小領域
には小さな符号量を割り当てることができ、画像内で効
率良く符号量の割り当てを行うことができ、画像内に局
所的な画質劣化を発生させることなく、画質を均一にで
きるという効果がある。

【０１２５】第２に、映像信号を構成する各画像に対し
て、画像内の全小領域の有意分布特性を平均し、画像の
画質へ与える影響度合いを示した平均有意分布特性を求
め、算出した平均有意分布特性を参照し、平均有意分布
特性が大きな画像には大きな符号量を割り当て、逆に平
均有意分布特性が小さな画像には小さな符号量を割り当
てる手段を備えたことにより、画質に大きな影響を与え
る画像には大きな符号量を割り当て、画質に与える影響
の小さな画像には小さな符号量を割り与えることがで
き、映像信号を構成する各画像間において、画質の偏り
がなく均一な画質を保った効果的な符号量割り当てを行
うことができるという効果がある。

【０１２６】第３に、画像の符号化後に、符号化後の画
像の画質評価値を用いて、画質評価値の高い周波数領域
の重み関数は値を下げ、画質評価値の低い周波数領域の
重み関数は値を上げることにより、各周波数領域が画質
に与える影響を示した重み関数を更新する手段を備える
ことにより、符号量割り当てに直接関係する重み係数
を、符号化後の画質と相関の高い係数にすることができ
るという効果がある。

【０１２７】第４に、画像の符号化後に、符号化後の各
小領域毎の発生符号量を用いて、発生符号量の大きい場
合には、最大の値を持つ重み関数の値を上げ、発生符号
量が小さい場合には、最大の値を持つ重み関数の値を下
げることにより、各周波数領域が画質に与える影響を示
した重み関数を更新する手段を備えることにより、符号
量割り当てに直接関係する重み係数を、必要符号量と相
関の高い係数にすることができるという効果がある。

【０１２８】第５に、画像の符号化後に、符号化後の各
小領域毎の量子化誤差値と画質評価値を用いて、各周波
数領域が画質へ寄与する割合を示した重み係数を更新す
ることにより、符号量割り当てに直接関係する重み係数
を、量子化誤差と画質との関係に相関の高い係数とする
ことができるという効果がある。

【０１２９】第６に、画像の符号化後に、各周波数領域
の重み係数の更新処理を行い、重み係数の変化量が少な
く、重み係数の値が収束した時の重み係数を用いて、重
み係数が大きい周波数領域には小さな量子化値を、重み
係数が小さい周波数領域には大きな量子化値を設定し
た、独自の量子化マトリクスを作成し、作成した量子化
マトリクスを用いて次の画像を量子化すること手段を備
えたことにより、大きな符号量を必要とする周波数領域
には大きな符号量を割り当て、小さな符号量で十分な周
波数領域には小さな符号量を割り当てることができ、画
像中で局所的な画質劣化を生じさせることなく、均一な
画質を保った効果的な符号量割り当てができるという効
果がある。

【図面の簡単な説明】

【図１】第１の実施の形態の映像符号化装置の概略構成
を示す図

【図２】図１の映像符号化装置の映像符号化処理の流れ
を示すフローチャート

【図３】画像の小領域分割の一例を示す図

【図４】ＤＣＴ係数の領域分割方法の一例を示す図

【図５】第１の実施形態における符号量割り当てに用い
る非線形関数の一例を示す図

【図６】小領域毎の量子化パラメータマップの一例を示
す図

【図７】最大周波数領域マップの一例を示す図

【図８】画質評価値マップの一例を示す図

【図９】重み係数の初期値の例を示す図

【図１０】第２の実施の形態の映像符号化装置の概略構
成を示す図

【図１１】第３の実施の形態の映像符号化装置の概略構
成を示す図

【図１２】第３の実施の形態における量子化誤差マップ
の一例を示す図

【図１３】第３の実施形態における最大量子化誤差周波
数領域番号マップの一例を示す図

【図１４】第４の実施の形態の映像符号化装置の概略構
成を示す図

【図１５】図１４の映像符号化装置の映像符号化処理の
流れを示すフローチャート

【図１６】第５の実施の形態の映像符号化装置の概略構
成を示す図

【図１７】従来の映像符号化装置の概略構成を示す図

【符号の説明】

１０２、１１０２、１５０２、１７０２・・・符号量制
御部 １０３、１１０３、１２０３、１７０３・・・重み係数
更新部 １０５・・・画像入力手段 １０６・・・動き予測動き補償手段 １０７、５０２・・・ＤＣＴ手段 １０８・・・量子化手段 １０９、１１０９、１５０９・・・可変長符号化手段 １１０、１２１０、５０７・・・逆量子化手段 １１１・・・逆ＤＣＴ手段 １１２・・・画質評価値算出手段 １１３、１７１３・・・重み係数メモリ １１４・・・最大領域メモリ １１５、１１１５、１２１５・・・重み係数更新手段 １１６、１５１６・・・有意分布特性算出手段 １１７、１１１７・・・小領域符号量割り当て手段 １１８、１７１８・・・量子化パラメータ算出手段 １２０・・・画像メモリ １２２０・・・量子化誤差算出手段 １５２１・・・画像符号量割り当て手段 ５０１・・・同期検出分離手段 ５０２・・・ＤＣＴ手段 ５０４・・・小領域特性分析手段 ５０５・・・小領域符号量設定手段 ５０６・・・量子化パラメータ計算手段 ５０７・・・量子化手段 ５０８・・・符号化手段 ５０９・・・符号量制御部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 上野山 努 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Ｆターム(参考） 5C059 KK23 MA00 MA05 MA23 MC34 MC38 ME02 PP05 PP06 PP07 SS06 TA47 TA58 TB06 TB08 TB18 TC04 TC08 TC10 TC18 TC24 TD01 TD03 TD04 TD06 TD14 5C078 AA04 BA23 BA32 BA57 CA00 DA00 DA01 DA02 5J064 AA01 AA02 BA09 BA16 BC01 BC16 BD01

Claims (14)

【特許請求の範囲】
1. 【請求項１】 映像信号に含まれる各画像を分割した小
   領域毎に符号量を割り当て、映像の符号化を行う映像符
   号化装置であって、 前記小領域の画像が符号化画像全体の画質に及ぼす影響
   の度合いを示す有意分布特性を算出する有意分布特性算
   出手段と、 前記算出した有意分布特性を用いて、各小領域に割り当
   てる符号量を計算する小領域符合量割り当て手段とを有
   する映像符号化装置。
2. 【請求項２】 映像信号に含まれる各画像に符号量を割
   り当て、映像の符号化を行う映像符号化装置であって、 前記各画像を分割した小領域の画像が符号化画像全体の
   画質に及ぼす影響の度合いを示す有意分布特性を算出す
   る有意分布特性算出手段と、 各画像の全小領域の前記算出した有意分布特性の平均値
   を用いて、各画像に割り当てる符号量を計算する画像符
   合量割り当て手段とを有する映像符号化装置。
3. 【請求項３】 請求項２記載の映像符号化装置であっ
   て、 さらに、前記画像符合量割り当て手段が計算した各画像
   に割り当てる符号量と、前記算出した有意分布特性とを
   用いて、各小領域に割り当てる符号量を計算する小領域
   符合量割り当て手段とを有する映像符号化装置。
4. 【請求項４】 請求項１ないし３のいずれか１項記載の
   映像符号化装置であって、 前記有意分布特性は、前記小領域の画像を直交変換して
   得た直交変換係数と、あらかじめ領域分割した周波数領
   域毎の直交変換係数の画質への影響度合いを示した重み
   係数との積の絶対値の総和を求め、さらに前記小領域内
   の平均を算出することによって求めたものである映像符
   号化装置。
5. 【請求項５】 請求項４記載の映像符号化装置であっ
   て、 前記重み係数は、符号化種類に応じて異なるものである
   映像符号化装置。
6. 【請求項６】 請求項５記載の映像符号化装置であっ
   て、 前記符号化種類は、画像内符号化又は画像間予測符号化
   である映像符号化装置。
7. 【請求項７】 請求項４又は５記載の映像符号化装置で
   あって、 １つの画像もしくは小領域の符号化が終了した後に、前
   記重み係数の更新を行う重み係数更新部を備える映像符
   号化装置。
8. 【請求項８】 請求項７記載の映像符号化装置であっ
   て、 前記重み係数更新部は、復号画像の画質評価値を用いて
   前記重み係数の更新を行うものである映像符号化装置。
9. 【請求項９】 請求項８記載の映像符号化装置であっ
   て、 前記重み係数更新部は、復号画像の前記小領域の画質評
   価値と前記全小領域の画質評価値の平均値との差を用い
   て、前記重み係数の更新を行うものである映像符号化装
   置。
10. 【請求項１０】 請求項７記載の映像符号化装置であっ
    て、 前記重み係数更新部は、復号画像の画質評価値と発生し
    た符号量とを用いて前記重み係数の更新を行うものであ
    る映像符号化装置。
11. 【請求項１１】 請求項１０記載の映像符号化装置であ
    って、 前記重み係数更新部は、復号画像の前記小領域の画質評
    価値と前記全小領域の画質評価値の平均値とがほぼ一致
    する小領域における割り当てられた符号量と発生した符
    号量との差を用いて、前記重み係数の更新を行うもので
    ある映像符号化装置。
12. 【請求項１２】 請求項７記載の映像符号化装置であっ
    て、 前記重み係数更新部は、復号画像の画質評価値と発生し
    た量子化誤差値とを用いて前記重み係数の更新を行うも
    のである映像符号化装置。
13. 【請求項１３】 請求項１２記載の映像符号化装置であ
    って、 前記重み係数更新部は、復号画像の前記小領域の画質評
    価値と前記全小領域の画質評価値の平均値との大小関
    係、及び前記小領域の量子化誤差値と前記全小領域の領
    域誤差値の平均値との大小関係を用いて、前記重み係数
    の更新を行うものである映像符号化装置。
14. 【請求項１４】 請求項４ないし１３のいずれか１項記
    載の映像符号化装置であって、 前記重み係数を用いて算出した各周波数領域の量子化パ
    ラメータからなる量子化マトリクスを用いて次の画像の
    量子化を行う量子化手段を有する映像符号化装置。