JP2003199102A

JP2003199102A - 映像符号化装置

Info

Publication number: JP2003199102A
Application number: JP2001391602A
Authority: JP
Inventors: Yoshimasa Honda; 義雅本田; Tsutomu Uenoyama; 上野山　　努
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2001-12-25
Filing date: 2001-12-25
Publication date: 2003-07-11
Anticipated expiration: 2021-12-25
Also published as: US20030118100A1; US7492819B2; CN1428939A; JP4153202B2

Abstract

(57)【要約】【課題】検出領域が本来の重要領域である場合にこの
領域を高画質化することは勿論、前記検出領域に本来の
重要領域が含まれないような場合でも、この重要領域の
画質をある程度維持できるようにして、視認性を確保す
ること。【解決手段】重要領域検出部１０９による検出領域が
本当の重要領域と一致している度合いを示す確度を算出
し、符号化パラメータ算出部１１０は、この確度に応じ
て、前記検出領域に設定する符号化パラメータを算出
し、前記検出領域の画質を制御する。これにより、画像
全体としては前記伝送ビットレートの制約を破らない符
号化量であるが、重要領域にはより多くの符号化量を割
り当ててその画質を良好として視認性を向上させること
ができ、しかも、前記検出領域が重要領域である確率が
高いほど前記画質を向上させるため、ミス検出により検
出されなかった重要領域の画質が極端に劣化することを
防止することもできる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像信号を符号化
パラメータに基づいて限られた伝送ビットレート内で符
号化する映像符号化装置に関する。

【０００２】

【従来の技術】近年、情報通信技術の発達やインフラの
整備によって、伝送路を通じて映像信号の送受信を行う
ことや、映像信号を蓄積メディアに蓄積することが可能
となった。一般に、映像信号は情報量が大きいため、伝
送ビットレートの限られた伝送路を用いて映像信号を伝
送する場合、あるいは蓄積容量の限られた蓄積メディア
に映像信号を蓄積するためには、映像信号を圧縮符号化
する技術が必要不可欠である。映像信号の圧縮符号化方
式のひとつとして、ISO/IECが標準化を進めているＭＰ
ＥＧ（Moving Picture Expert Group ）があり、これは
映像信号の時間的相関、空間的相関を利用した冗長性の
削減を行うことにより、映像信号の情報量を減らして、
伝送路のビットレートあるいは蓄積メディアに記録する
ためのビットレートを満たした映像信号に符号化する技
術である。

【０００３】映像信号の圧縮符号化においては、映像信
号を限られたビットレートに符号化するため、映像を構
成する１枚１枚の画像に割り当てられる符号量は限ら
れ、伝送ビットレートに応じて画像の画質は劣化したも
のとなる。特に画面内を均一に符号化する場合には、画
質が画面内で均一、すなわち画質劣化も均一となる。

【０００４】例えばＴＶ会議における映像符号化を考え
ると、本来ユーザは背景部分よりも顔部分の画質が良好
となることを望んでいるのにも拘らず、画面内を均一に
符号化すると、ＴＶ会議を行う上で重要な顔部分の画質
と、重要でない背景部分の画質が同等のものとなってし
まい、符号化後に得られる映像はユーザの意図を反映し
た主観的な画質を満たすものではない。

【０００５】ここで、画面内においては、ユーザにとっ
て重要である領域とそうでない領域が存在し、ユーザは
重要な領域の視認性が高いことを望んでいる。以降、ユ
ーザにとって重要な領域を"重要領域"と定義し、例えば
ＴＶ会議ではユーザが見たい顔部分が重要領域となる。

【０００６】そこで、ユーザの意図を反映した符号化を
行うことができる技術として、重要領域の画質を他の領
域よりも良好にする方式が提案されている。例えば、IS
O/IEC JTC1/SC29/WG11 MPEG95/030に記載されている方
式では、動画像から重要領域を選択し、量子化値を変え
ることにより重要領域の画質を他の領域よりも良好にし
ている。

【０００７】また、この方式では選択した領域が高画質
化されるため、重要領域が画面上を動く場合には、重要
領域の画質を高く保つために、随時重要領域の選択を行
う必要がある。そこで、重要領域を自動で検出する検出
手段を利用し、検出された重要領域を高画質化する方式
が考えられる。

【０００８】この方式として、特開平１０−２３４３２
号公報に記載されている画像の圧縮符号化装置（以下、
従来例と呼ぶ）がある。従来例では、予め記憶している
パターンと入力画像とのマッチングを行い、パターンと
一致している領域を高画質化している。

【０００９】以下に、従来例の手法について説明する。
図８は、従来例のブロック図を示したものである。この
図において、圧縮符号化装置5001は、動き推定部5002
と、ＤＣＴ（Discrete Cosine Transform ）部5003と、
量子化部5004と、可変長符号化部5005と、ヘッダ付加部
5006と、復号化部5007と、優先符号化指定部5008と、符
号量比較部5009と、符号化パラメータ決定部5010を有し
て構成されている。

【００１０】以上のように構成される圧縮符号化装置に
ついて、その動作を説明する。入力画像の符号化は、１
６×１６ピクセルで構成されるマクロブロック単位に行
う。動き推定部5002は、後述する復号化部から出力され
る参照画像と入力画像との類似度比較を行い、類似度の
高い領域との差分値を算出する。動き推定部の出力は２
つのモードがある。前記差分値を出力するモード１と、
入力をそのまま出力するモード２である。これらモード
は、後述する符号化パラメータ決定部により決定され
る。

【００１１】ＤＣＴ部5003は、動き推定部5002より出力
される画像を直交変換し、変換結果を量子化部5004に出
力する。量子化部5004は、ＤＣＴ部より出力される直交
変換係数を、後述の符号化パラメータ決定部5010より出
力される量子化値で割り算を行い、結果を可変長符号化
部5005に出力する。可変長符号化部5005は、量子化部50
04より出力される量子化結果を可変長符号化し、ヘッダ
付加部5006に出力する。

【００１２】ヘッダ付加部5006は、可変長符号化部5005
より出力される符号に、必要なヘッダを付加し符号化映
像信号として復号化部5007と外部に出力すると共に、発
生した符号量を符号量比較部5009に出力する。復号化部
5007は、ヘッダ付加部5006より出力される符号化映像信
号を復号化し、参照画像を動き推定部5002に出力する。
符号量比較部5009は、予め定められた目標符号量と、ヘ
ッダ付加部5006より出力される発生符号量とを比較し、
その差である残有符号量を符号化パラメータ決定部5010
に出力する。

【００１３】優先符号化指定部5008は、予め記憶してあ
るパターンと、入力画像との類似度を比較し、一致の程
度がある閾値以上の場合は、優先符号化の指示を符号化
パラメータ決定部5010に出力する。符号化パラメータ決
定部5010は、符号量比較部5009から出力された残有符号
量を用いて、量子化値及び、動き推定モードを決定し、
量子化値を量子化部5004に出力し、動き推定モードを動
き推定部5002に出力する。

【００１４】例えば、残有符号量が小さい場合には、差
分値を用いるモード１にする、あるいは量子化値を大き
くして、発生符号量が減少するようにする。逆に、残有
符号量が大きい場合は、入力画像を用いるモード２にす
るか、あるいは、量子化値を小さくして、発生符号量が
増加するようにする。但し、優先符号化決定部5008から
の優先符号化の指示が出力された場合には、入力画像を
用いるモード２にする、あるいは、量子化値を小さくす
ることによって、優先符号化の指示があったマクロブロ
ックに多くの符号量を割り当てるように制御を行う。こ
のように、優先符号化の指示があったマクロブロックに
対して、多くの符号量を割り当てることによって高画質
化することが可能である。

【００１５】

【発明が解決しようとする課題】しかし、重要領域の検
出精度は必ずしも１００％ではないため、検出された領
域が本当の重要領域と完全に一致せず、本当の領域から
ズレがある場合、あるいは完全に外れてしまう場合があ
る。この場合、検出された領域を高画質化することによ
り、検出領域から外れた本当の重要領域の視認性が低下
してしまう。

【００１６】また、上記した優先符号化指定部5008は重
要領域とある閾値以上一致する領域を検出し、重要領域
との一致の度合いに因らず一定の高画質化を行うため、
高画質化の効果は閾値の設定にゆだねられる。例えば前
記閾値が低い場合には、一致の度合いが低い画像、即ち
重要領域である確率の低い領域であっても一定の高画質
化が行われ、符号量が無駄に使われるため、本来高画質
化したい重要領域に多くの符号量を割り当てて高画質化
することができない。

【００１７】逆に、前記閾値が高い場合には、パターン
と完全に一致する画像のみ一定の高画質化が行われるた
め、重要な領域が高画質化される確率は低くなり、逆に
重要領域である確率が高いが、閾値に満たない重要領域
が低画質化されてしまう。

【００１８】このように、重要領域との一致の度合いが
閾値以上である領域のみに対して、一致の度合いを考慮
せずに一定の高画質化を行ってしまうと、一致の度合い
に応じた高画質化を行うことができず、重要領域の視認
性が低下してしまう場合がある。ここで、一致の度合い
に応じた高画質化とは、重量領域との一致の度合いが高
いもの程、より高画質にすることを意味する。

【００１９】以降、本稿では検出領域が本当の重要領域
と一致している度合いを"確度"と定義し、確度が高いこ
とは、検出領域が本当の重要領域である確率が高いこ
と、即ち検出精度が高いことを意味する。

【００２０】本発明は、上記従来の課題を解決するため
になされたものであり、映像信号を限られた伝送ビット
レートで符号化する制約を破ることなく、検出領域が本
来の重要領域である場合にこの領域を高画質化すること
は勿論、前記検出領域に本来の重要領域が含まれないよ
うな場合でも、この重要領域の画質をある程度維持でき
るようにして、視認性を確保できる映像符号化装置を提
供することを目的とする。

【００２１】

【課題を解決するための手段】上記目的を達成するた
め、本発明の映像符号化装置は、第１に、符号化量を設
定する符号化パラメータに基づいて映像信号を符号化す
る映像符号化装置であって、前記映像信号が表示される
画面内の任意の領域を選択する領域選択手段と、前記領
域選択手段により選択された領域の符号化パラメータを
設定する符号化制御手段と、を備えたことを特徴とす
る。

【００２２】本発明によれば、ユーザは例えば画面内の
画質を向上させたい領域を選択すると、領域の符号化パ
ラメータを例えば符号量が多くなるように設定して、選
択領域の画質を良好にする。

【００２３】本発明の映像符号化装置は、第２に、符号
化量を設定する符号化パラメータに基づいて映像信号を
符号化する映像符号化装置であって、前記映像信号によ
る表示画像の中の予め設定した特定領域を検出する重要
領域検出手段と、前記重要領域検出手段により検出され
た領域の符号化パラメータを算出する符号化パラメータ
算出手段と、を備えたことを特徴とする。

【００２４】本発明によれば、前記画面内の重要領域が
自動的に選択され、この自動で選択された重要領域の符
号化パラメータを変更して、例えば符号化量が他領域よ
りも多くなるように設定する。

【００２５】本発明の映像符号化装置は、第３に、符号
化量を設定する符号化パラメータに基づいて映像信号を
符号化する映像符号化装置であって、前記映像信号によ
る表示画像の中の予め設定した特定領域を検出する重要
領域検出手段と、前記重要領域検出手段により検出され
た領域に基づいて、段階的に値が変化する段階的符号化
パラメータを算出する符号化パラメータ算出手段と、を
備えたことを特徴とする。

【００２６】本発明によれば、重要領域と検出されない
部分の符号化パラメータも段階的に設定されるため、重
要領域の検出ミスが生じても、この領域の画質が極端に
劣化しないように設定する。

【００２７】本発明の映像符号化装置は、第４に、前記
重要領域検出手段は、前記特定領域の検出結果の精度を
示す確度を算出し、前記符号化パラメータ算出手段は、
前記重要領域検出手段により算出された確度の値に応じ
て検出領域或いは検出領域外の符号化パラメータを算出
することを特徴とする。

【００２８】本発明によれば、検出の確度に応じて、検
出領域の符号化パラメータを設定する。例えば確度が高
く重要領域である場合は画質が良好になるような符号化
パラメータを設定し、確度が低く重要領域でないような
領域程画質が順次劣化するように符号化パラメータを設
定する。

【００２９】本発明の映像符号化装置は、第５に、前記
重要領域検出手段により検出された領域に基づいて、前
記映像信号による表示画像の特定領域を切り出したり、
或いは前記表示画像中の切り出し領域を適切な大きさに
調整する前処理手段を設けることを特徴とする。

【００３０】本発明によれば、重要領域などを自動的に
切り出し且つその大きさを適切、例えば見やすい大きさ
に自動調整し、この自動調整された切り出し領域を画質
が他の領域よりも良好になるように符号化する。

【００３１】本発明の映像符号化装置は、第６に、前記
重要領域検出手段により算出された確度の値に応じて算
出する符号化パラメータは、量子化値であることを特徴
とする。

【００３２】本発明によれば、重要領域である可能性が
高い領域ほど、符号化パラメータである量子化値を小さ
くして、前記重要領域検出手段の検出領域により多くの
符号量を割り当てることにより、前記検出領域の画質を
良好にする。

【００３３】本発明の映像符号化装置は、第７に、前記
重要領域検出手段により算出された確度の値に応じて算
出する符号化パラメータは、画面の更新レートであるこ
とを特徴とする。

【００３４】本発明によれば、重要領域である可能性が
高い領域ほど、符号化パラメータである更新レートを大
きくして、前記重要領域検出手段の検出領域により多く
の符号量を割り当てることにより、前記検出領域の画質
を良好にする。

【００３５】本発明の映像符号化装置は、第８に、前記
重要領域検出手段により算出された確度の値に応じて算
出する符号化パラメータは、符号化を行うか否かの決定
の際に使用する駒落とし閾値であることを特徴とする。

【００３６】本発明によれば、前記重要領域である可能
性が高い領域ほど、符号化パラメータである駒落とし閾
値を大きくして、前記重要領域検出手段の検出領域によ
り多くの符号量を割り当てることにより、前記検出領域
の画質を良好にする。

【００３７】本発明の映像符号化装置は、第９に、前記
重要領域検出手段により算出された確度の値に応じて算
出する符号化パラメータは、前記映像信号の高周波成分
を除去するプレフィルタであることを特徴とする。

【００３８】本発明によれば、重要領域である可能性が
高い領域ほど、検出領域外に対してより強い低域通過フ
ィルタを掛け、高周波情報を削減し符号量を節約して、
検出領域により多くの符号量を割り当てて高画質化す
る。また、確度が低く検出領域と本当の重要領域にズレ
がある場合においても、前記確度対応のプレフィルタが
設定されるため、本当の重要領域のうち検出ミス領域の
符号化量が極端に減る方向に設定されない。

【００３９】本発明の映像符号化装置は、第１０に、前
記重要領域検出手段により算出された確度の値に応じて
算出する符号化パラメータは、前記映像信号により表示
される画像を切り出して符号化する際の切り出しサイズ
であることを特徴とする。

【００４０】本発明によれば、前記重要領域である可能
性が高い領域ほど、符号化パラメータである切り出しサ
イズを小さくして、前記重要領域検出手段の検出領域に
より多くの符号量を割り当てることにより、前記検出領
域の画質を良好にする。

【００４１】本発明の映像符号化装置は、第１１に、前
記重要領域検出手段により算出された確度の値に応じて
算出する符号化パラメータは、この重要領域検出手段の
検出領域の大きさを変更する領域補正パラメータである
ことを特徴とする。

【００４２】本発明によれば、前記重要領域である可能
性が高い領域ほど、符号化パラメータである領域補正パ
ラメータにより前記重要領域検出手段の検出領域を拡大
補正して、前記検出領域により多くの符号量を割り当て
ることにより前記検出領域の画質を良好にする。

【００４３】本発明の映像符号化装置は、第１２に、前
記重要領域検出手段により算出された確度の値に応じて
算出する符号化パラメータは、量子化値、更新レート、
駒落とし閾値、プレフィルタ、切り出しサイズ、領域補
正パラメータの符号化パラメータのうちの、少なくとも
２つ以上の組み合わせであることを特徴とする。

【００４４】本発明によれば、前記重要領域である可能
性が高い領域ほど、符号化パラメータである例えば駒落
とし閾値を大きくし且つ切り出しサイズを小さくし、或
いは別の組み合わせとして、例えば駒落とし閾値を大き
くし且つ切り出しサイズを小さくし且つ量子化値を小さ
くして、前記重要領域検出手段の検出領域により多くの
符号量を割り当てることにより、前記検出領域の画質を
良好にする。

【００４５】本発明の映像符号化装置は、第１３に、前
記符号化パラメータ算出手段は、前記重要領域検出手段
の検出結果を用いて、検出領域の符号化モードを動き優
先若しくは画質優先に設定することを特徴とする。

【００４６】本発明によれば、前記重要領域が動きのあ
る領域である場合、符号化モードを動き優先に、前記重
要領域が動きがない場合は符号化モードを画質優先に設
定して、動きのある重要領域の動きを滑らかにし、動か
ない重要領域の画質を良好にする。

【００４７】本発明の映像符号化装置は、第１４に、前
記符号化パラメータ算出手段は、前記重要領域検出手段
による重要領域検出の確度が高い場合は、この重要領域
検出手段の検出領域の量子化値を下げる度合いを大きく
制御し、前記確度が低い場合は、前記検出領域の量子化
値を下げる度合いを小さく制御することを特徴とする。

【００４８】本発明によれば、検出の確度に応じて、確
度が高く重要領域である確率が高い領域ほど、その画面
劣化を大幅に低減して高画質化する。また、確度が低く
重要領域である確率が低い領域ほど、画面劣化の低減度
合いを小さくすることによって、検出結果と本当の重要
領域にズレがある場合でも、本当の重要領域で検出ミス
部分の画質が極端に劣化しないようにする。

【００４９】本発明の映像符号化装置は、第１５に、前
記符号化パラメータ算出手段は、前記重要領域検出手段
による重要領域検出の確度が高い場合は、この重要領域
検出手段の検出領域の画面更新レートの増大度合いを大
きく制御し、逆に前記確度が低い場合は、前記検出領域
の画面更新レートの増大度合いを小さく制御することを
特徴とする。

【００５０】本発明によれば、前記確度が高く重要領域
である確率が高い領域ほど、画面更新レートをより大き
く設定して重要領域の動きが滑らかになるように符号化
する。また、逆に確度が低く重要領域である確率が低い
領域ほど、画面更新レートの増大度合いを順次低くし
て、検出結果と本当の重要領域にズレがある場合でも本
当の重要領域のうち検出ミス部分おいて動きの滑らかさ
が極端に低下しないようにする。

【００５１】本発明の映像符号化装置は、第１６に、前
記符号化パラメータ算出手段は、前記重要領域検出手段
による重要領域検出の確度が高い場合は、この重要領域
検出手段の検出領域の駒落とし閾値の増大度合いを大き
く制御し、逆に前記確度が低い場合は、前記検出領域の
駒落とし閾値の増大度合いを小さく制御することを特徴
とする。

【００５２】本発明によれば、確度が高く重要領域であ
る確率が高い領域ほど、符号化において帯域が足りない
場合においても符号化スキップしないようにして、動き
の滑らかさを維持するように符号化する。また、確度が
低く重要領域である確率が低い領域は、確度の高い場合
に比べて符号化スキップするようにして、帯域が足りな
く、且つ検出結果と本当の重要領域にズレがある場合で
も本当の重要領域のうち検出ミス部分での動きの滑らか
さが極端に低下しないようにする。

【００５３】本発明の映像符号化装置は、第１７に、前
記符号化パラメータ算出手段は、前記重要領域検出手段
による重要領域検出の確度が高い場合は、この重要領域
検出手段の検出領域以外のプレフィルタを遮断周波数が
高い低域通過フィルタに設定し、逆に前記確度が低い場
合は、前記検出領域以外のプレフィルタを遮断周波数が
低い低域通過フィルタに設定することを特徴とする。

【００５４】本発明によれば、重要領域である可能性が
高い領域ほど、検出領域外に対して強い低域通過フィル
タを掛け、高周波情報を削減し符号量を節約することに
より、検出領域により多くの符号量を割り当てて高画質
化する。また、重要領域である可能性が低い領域ほど、
検出領域外に対して弱い低域通過フィルタを掛けること
により、確度が低く検出領域と本当の重要領域にずれが
ある場合においても、本当の重要領域のうち検出ミス部
分が極端にボケた画像とならないようにする。

【００５５】本発明の映像符号化装置は、第１８に、前
記符号化パラメータ算出手段は、前記重要領域検出手段
による重要領域検出の確度が高い場合は、前記映像信号
により表示される画像から切り出す領域を検出領域と設
定し、逆に前記確度が低い場合は、前記画像からの切り
出しサイズを前記検出領域の周辺を含む大きな領域とす
ることを特徴とする。

【００５６】本発明によれば、確度が高く重要領域であ
る確率が高い場合ほど、重要領域を忠実に切り出して、
より拡大して符号化する。また、確度が低く重要領域の
検出精度が低い場合においても、検出領域の周辺も含む
領域を切り出すため、本当の重要領域のうち検出ミス部
分が切り出し領域からはみ出ることをなくし、重要領域
を切り出し拡大して符号化する。

【００５７】本発明の映像符号化装置は、第１９に、前
記符号化パラメータ算出手段は、前記重要領域検出手段
による重要領域検出の確度が高い場合は、この重要領域
検出手段の検出領域の大きさ補正の度合いを小さく設定
し、逆に前記確度が低い場合は、前記検出領域の大きさ
補正の度合いを大きく設定することを特徴とする。

【００５８】本発明によれば、検出領域の周辺を含む領
域を高画質化するので、重要領域の検出精度が低く、本
当の重要領域と検出領域にズレがある場合においても、
重要領域を含む領域を高画質化する。

【００５９】本発明の映像符号化装置は、第２０に、前
記符号化パラメータ算出手段は、前記重要領域検出手段
による重要領域検出の確度が高い場合は、前記映像信号
により表示される画像から切り出す領域を同重要領域検
出手段の検出領域と設定し、且つ、前記検出領域の量子
化値を小さくし、逆に前記確度の値が小さい場合は、前
記画像から前記検出領域を切り出さず、前記検出領域の
量子化値を小さくすることを特徴とする。

【００６０】本発明によれば、確度が高く重要領域であ
る確率が高い領域ほど、高画質、且つ切り出し拡大を行
い、視認性を高める。また、確度が低く重要領域である
確率が低く検出領域と本当の重要領域にズレがある場合
は、高画質化のみを行い、切り出しによって本当の重要
領域のうち検出ミス部分が切り出し領域からはみ出ない
ようにする。

【００６１】本発明の映像符号化装置は、第２１に、前
記符号化パラメータ算出手段は、前記重要領域検出手段
により検出された特定領域のサイズが大きい場合は、前
記重要領域検出手段の検出領域の符号化モードを画質優
先に設定し、逆に前記特定領域のサイズが小さい場合に
は、前記検出領域の符号化モードを動き優先に設定する
ことを特徴とする。

【００６２】本発明によれば、重量領域の大きさに応じ
て、重要領域が小さく画質劣化が目立ちにくい場合に
は、画質よりも動きを優先し、動きを滑らかに符号化に
する。また重要領域が大きく画質劣化が目立ちやすい場
合には、動きよりも画質を優先し、重要領域の大きさに
適切な視認性を高く保つように符号化する。

【００６３】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。

【００６４】［第１の実施形態］図１は本発明の映像符
号化装置の第１の実施形態に係る構成を示したブロック
図である。本例の映像符号化装置１は、入力される映像
に対してプレフィルタ処理及び映像を小ブロック単位で
切り出す処理を施す前処理を行う前処理部１０３、前処
理部１０３から入力される映像の動きを予測や動きを補
償を行って３種類の動作モードを有する動き補償部１０
４、動き補償部１０４から入力される差分値出力或いは
映像信号そのものを直行変換（離散コサイン変換）する
ＤＣＴ変換部１０５、ＤＣＴ変換部１０５で直行変換さ
れた周波数領域のデータを量子化する処理を行う量子化
部１０６、量子化部１０６で量子化されたデータをラン
レングス符号化されると同時に値の出現確率に応じて異
なる長さの符号を割り当てる可変長符号化する可変長符
号化部１０７、量子化部１０６で量子化されたデータを
復号化する復号化部１０８、入力された映像の中の視認
性を高める重要領域を検出する重要領域検出部１０９、
動き補償部１０４の動き補償モード及び量子化部１０６
における量子化係数を決定する符号化パラメータ算出部
１１０、符号量の目標値と実際の累積値とのずれに基づ
いて可変長符号化部１０７の符号量を符号化パラメータ
算出部１１０を介して制御する符号量制御部１１１を有
して構成され、前処理部１０３と重要領域検出部１０９
に映像信号を入力する入力部１０２と可変長符号化部１
０７で生成された符号化映像信号を出力する出力部１１
２を接続している。尚、映像符号化装置１は、映像信号
を定められた伝送ビットレート内で符号化するものであ
る。

【００６５】図２は上記した映像符号化装置１内の映像
信号に対する処理の流れを示したフローチャートであ
る。映像符号化装置１の処理は、ステップ２０１の映像
信号を入力する映像入力処理、ステップ２０２の重要領
域を検出する重要領域検出処理、ステップＳ２０３の符
号化パラメータを算出する符号化パラメータ算出処理、
ステップＳ２０４の入力画像の前処理を行う前処理、ス
テップＳ２０５の映像信号の符号化を行う映像符号化処
理、ステップＳ２０６の符号化された映像信号を復号化
する映像復号化処理、ステップＳ２０７の終了判定処理
の順番で行われ、処理が終了と判断されるまでは上記ス
テップ２０１〜２０７の処理が繰り返される。

【００６６】次に本実施形態の動作について説明する。
まず、ステップ２０１の映像入力処理にて、入力部１０
２は映像信号から同期信号を検出して、映像信号を構成
する画像を１画面毎に前処理部１０３及び重要領域検出
部１０９に出力する。次にステップ２０２の重要領域検
出処理にて、重要領域検出部１０９は入力部１０２より
入力された1画面の画像データと例えば平均顔画像など
の予め記憶してある画像データとの相関が高い領域を検
出する。そして、最も相関の高い領域を重要領域とし
て、その検出結果と相関値である確度（Reliability）
を符号化パラメータ算出部１１０に出力する。

【００６７】図３は重要領域検出部１０９の検出結果の
一例を示した図である。例えば、検出結果として矩形領
域を出力する場合には、重要領域の重心座標（ｃｘ，ｃ
ｙ)と重心からの水平垂直方向の半径（ｒｘ，ｒｙ）の
４つの値を出力するものとする。但し、重要領域検出部
１０９における検出結果の出力方法はこれに限定される
ものではなく、領域を指定できる方法であればいかなる
出力方法でも良い。尚、重要領域の検出方法は画像間の
相関値を用いるものに限定されるものではなく、領域検
出と検出の精度を表す確度を算出できる手法であれば、
いかなる方法でも良い。

【００６８】ステップ２０３の符号化パラメータを算出
する符号化パラメータ算出処理にて、符号化パラメータ
算出部１１０は、重要領域検出部１０９より出力される
重要領域の領域情報と確度と、後述する符号量制御部１
１１より出力される割り当て符号量を用いて、符号化パ
ラメータを算出する。まず、符号化パラメータ算出部１
１０は、重要領域の検出結果を用いて１画面を高画質領
域と低画質領域の２つに領域分割する。

【００６９】図４は領域分割の一例を示した図である。
小ブロック４０２は１６×１６画素の正方ブロックに対
応しており、８×８画素のＤＣＴブロックが４つ集まっ
たものであり、領域分割マップ４０１は１つのフレーム
に対応する。網掛け部分は、重要領域検出部１０９が検
出した検出結果である。

【００７０】そこで、検出結果を包含する小ブロック４
０２の集まりを高画質化領域として設定し、それ以外の
領域を低画質化領域として設定する。領域分割マップ４
０１において、値が１の小ブロック４０２は高画質化領
域、値が０の小ブロック４０２は低画質化領域の小ブロ
ックとする。

【００７１】次に、高画質化領域、低画質化領域の符号
化パラメータを算出する。本実施形態では、量子化値を
算出する符号化パラメータとする。

【００７２】高画質化領域、低画質化領域量子化値の算
出は３つの手順からなり、以下に詳しく述べる。

【００７３】（１）高画質化領域、低画質化領域の小ブ
ロック４０２への割り当て符号量の算出について述べ
る。後述する符号量制御部１１１より出力される画像ｉ
の割り当て符号量Ｂｉを用いて、高画質化領域、低画質
化領域の各小ブロック４０２へ割り当て符号量Ａ_H，Ａ_L
を算出する方法を式（１．１）及び（１．２）に示す。
式（１．１）において、Ａ_Hは高画質化領域の小ブロッ
ク４０２の平均割り当て符号量、Ｎは1フレーム内の小
ブロック数、αは割り当て倍率であり、高画質化領域へ
の符号量割り当てを増やすための係数である。式（１．
２）において、Ｎ _Hは選択領域内の小ブロック数、Ｎ_Lは
選択領域外の小ブロック数である。式（１．３）におい
て、reliabilityは確度であり、０〜１の間の小数、β
は重み係数で正の値である。

【００７４】

【数１】

【００７５】

【数２】

【００７６】

【数３】

【００７７】符号化パラメータ算出部１１０は、式
（１．１）、（１．２）を用いて、高画質化領域、低画
質化領域の小ブロック４０２に対する割り当て符号量を
算出する。ここで、確度reliabilityが大きい程、割り
当て倍率αが大きくなるため、高画質化領域への割り当
て符号量を大きくすることができる。

【００７８】（２）量子化値の算出について述べる。高
画質化領域、低画質化領域の割り当て符号量を設定した
後、それぞれの割り当て符号量に従って各小ブロック４
０２の量子化値を算出する。量子化値の算出方法を式
（１．９）に示す。式（１．９）において、Ｑ_Hは高画
質化領域の量子化値、Ａ_Hは高画質化領域に属する小領
域の割り当て符号量、Ｑ_Lは低画質化領域の量子化値、
Ａ_Lは低画質化領域に属する小領域の割り当て符号量、
ｆ（ｘ）は符号量ｘに対して量子化値を返す関数であ
り、符号量が大きいほど小さい量子化値を返す性質を持
つ。この式（１．９）ではＱ_H及びＱ_Lを代表してＱ_n、
Ａ_H及びＡ_Lを代表してＡ_nでそれぞれ示している。

【００７９】

【数４】

【００８０】符号化パラメータ算出部１１０は、式
（１．９）に従い、高画質化領域、低画質化領域の量子
化値を算出する。以上のように、符号化パラメータ算出
部１１０は領域分割マップ４０１と、高、低画質化領域
の各小ブロック４０２の量子化値を算出し、算出した領
域分割マップ４０１と、各量子化値を量子化部１０６に
出力する。

【００８１】ステップ２０４の入力画像の前処理を行う
前処理にて、前処理部１０３は、入力部１０２より出力
される画像データに対して、符号化パラメータ１１０よ
り指示があった場合に必要な前処理を行い、処理後の画
像データを動き補償部１０４に出力する。前処理は下記
の２つである。即ち、（１）入力画像に対して、低域通
過フィルタを掛けることにより、画像の高周波成分を除
去し、符号化しやすくするプレフィルタ処理と、（２）
入力画像サイズが符号化画像サイズよりも大きい場合、
入力画像の一部または全体領域を切り出して縮小処理を
行って符号化画像サイズにあわせる切り出し処理である
が、両処理とも本実施形態では行わないが、後述する他
の実施形態で行う。

【００８２】また、このように入力画像の一部を切り出
し、縮小処理を行うことにより、入力画像全体を縮小す
る方法に比べ、視覚的に拡大表示の効果を生むことがで
きる。例えば、入力画像サイズが４ＣＩＦ（７０４×５
７６画素)で、符号化画像サイズがＱＣＩＦ（１７６×
１４４画素)の場合を想定する。このとき、入力画像全
体を１／４に縮小して作成したＱＣＩＦ画像に比べて、
入力画像の一部（３５２×２８８画素）を切り出して１
／２に縮小したＱＣＩＦ画像は、視覚的に２倍の拡大表
示の効果を持つ。

【００８３】ステップ２０５の映像信号の符号化を行う
映像符号化処理では、映像信号を８×８画素のブロック
に分け、ブロック毎ＤＣＴ、逆ＤＣＴ処理を行い、２×
２ブロックの集合である小ブロック４０２毎に、動き予
測、動き補償処理、量子化処理、逆量子化処理、可変長
符号化処理を行う。また、各処理ブロックにおいては、
1フレーム内の全ブロックまたは全小ブロック４０２の
処理が終了すると，次の処理ブロックへ処理結果を出力
する。

【００８４】即ち、動き補償部１０４は、前処理部１０
３より入力された1フレームの画像データと、後述する
復号化部１０８より出力される時間的に1つ前の復号化
画像である参照画像を用いて、相関の高い領域を探索
し、原画像から最も相関の高い領域の参照画像を減算す
ることによって予測誤差を算出し、予測誤差をＤＣＴ部
１０５に出力する。また、予測に用いた領域への動きベ
クトルを可変長符号化部１０７と復号化部１０８に出力
する。但し、符号化の始まりでは、1フレーム前の復号
化画像は存在しないので動き補償は行わない。

【００８５】ＤＣＴ部１０５は、動き補償部１０４より
出力される予測誤差に対して離散コサイン変換（ＤＣ
Ｔ）を施すことによりＤＣＴ係数を算出し、量子化部１
０６にＤＣＴ係数を出力する。量子化部１０６はＤＣＴ
部１０５より入力されるＤＣＴ係数と、符号化パラメー
タ算出部１１０より入力される領域分割マップ４０１と
高、低画質化領域の量子化値を用いて量子化処理を行
う。量子化部１０６は、領域分割マップ４０１を参照
し、各小ブロック４０２の属性（高画質化、低画質化領
域）を求める。そして、属性に従った量子化値を用い
て、ＤＣＴ係数を割り算して商を求めることにより、量
子化ＤＣＴ係数を算出し、領域分割マップ４０１、高、
低画質領域の量子化値と量子化ＤＣＴ係数を可変長符号
化部１０７と復号化部１０８に出力する。

【００８６】可変長符号化部１０７は、量子化部１０６
より出力される量子化値と、量子化ＤＣＴ係数、動き補
償部１０４より出力される動きベクトルに対して可変長
符号化を施し、可変長符号を出力部１１２に出力すると
ともに、発生した符号量を符号量制御部１１１に出力す
る。

【００８７】符号量制御部１１１は、可変長符号化部１
０７により出力された発生符号量を用いて、次フレーム
の割り当て符号量を算出し、符号化パラメータ算出部１
１０に出力する。式（１．１０）及び（１．１１）を用
いてフレームｉの割り当て符号量を算出する方法を示
す。

【００８８】但し、本実施形態では、符号量制御は予め
決められたフレーム数内で行うとし、符号量制御のまと
まり単位をＧＯＰと呼ぶことにする。式（１．１０）に
おいて、Ｂ_GOPは符号量制御における１ＧＯＰの割り当
て符号量、Ｔは伝送ビットレート、Ｎ_GOPは１ＧＯＰ内
のフレーム数、Framerate はフレームレートである。式
（１．１１）においてＢ_iはフレームｉに割り当てられ
る符号量、ｂ_jはフレームｊで発生した符号量である。

【００８９】

【数５】

【００９０】

【数６】

【００９１】ここで、符号化を行う映像の単位をピクチ
ャと呼ぶ。１ピクチャは原画像の１フレーム単位または
１フィールド単位で構成されている。ピクチャには画像
参照方法によりＩ，Ｐ，Ｂの３種類のビクチャが存在
し、ピクチャ毎の符号量が異なる。

【００９２】ステップ２０５の映像復号化処理にて、復
号化部１０８は、量子化部１０６から出力される、領域
分割マップ４０１、高、低画質化領域の量子化値と量子
化ＤＣＴ係数を用いて、小ブロック４０２毎に対応する
属性（高、低画質化領域）の量子化値とＤＣＴ係数を掛
け算することにより、逆量子化ＤＣＴ係数を算出する。
次に、逆量子化ＤＣＴ係数に逆ＤＣＴ変換を施し、復号
化後の予測誤差を算出する。さらに、動き補償部１０４
から出力される動きベクトルを用いて、内部メモリに記
憶してある参照フレームから、参照領域を算出し、参照
領域と予測誤差とを加算処理し、現在の復号化画像を算
出する。そして、現在の復号化画像を動き補償部1０４
に出力するとともに、内部メモリを復号化画像で置き換
える。

【００９３】映像符号化装置１はステップ２０１から２
０７の処理を繰り返し、映像符号化を行うが、ステップ
２０７の終了判定処理にて、入力部１０２において映像
信号の入力が停止した場合を符号化終了と判定し、符号
化処理を終了する。

【００９４】本実施形態の映像符号化装置によれば、画
面内の重要領域を自動検出する重要領域検出部１０９を
備え、検出精度を表す確度に応じて量子化値を算出する
符号化パラメータ算出部１１０を備えることにより、符
号化パラメータ算出部１１０は検出領域に対して検出の
確度が大きい場合には、検出領域への符号量割り当てを
より大きくし、量子化値をより小さくするため、自動で
重要領域である確率が高い領域をその確率に合わせた度
合いで、より高画質化することができる。また、確度が
低く本当の重要領域と検出結果にズレがある場合におい
ても、本当の重要領域で検出ミス領域の画質が極端に劣
化することを防ぐことが可能である。

【００９５】尚、本実施形態では、選択領域内外それぞ
れにおける小ブロック４０２への符号量割り当ては、各
領域で均一の値を使用したが、一般的な符号量制御のよ
うに、小ブロック４０２の複雑度に応じて符号量割り当
てを行うことも可能である。

【００９６】［第２の実施形態］次に本発明の映像符号
化装置の第２の実施形態について説明する。但し、本実
施形態の映像符号化装置の構成は図１に示した第１の実
施形態と同様であるため、以下同一の構成を持つ各部に
ついてはその構成説明を省略し、第１の実施形態で用い
てた図面を参照する。本例の映像符号化装置１も映像信
号を定められた伝送ビットレート内で映像信号を符号化
し、動き補償部１０４、画面内の重要領域を自動検出す
る重要領域検出部１０９を備え、検出精度を表す確度に
応じて画像更新レートを算出する符号化パラメータ算出
部１１０を備えている。

【００９７】次に本実施形態について説明する。本実施
形態では、符号化パラメータ算出部１１０、動き補償部
１０４の動作以外は第１の実施形態の動作と同一である
ため、これら動作が異なる２つの機能ブロックについて
以下に説明する。

【００９８】本例の符号化パラメータ算出部１１０は、
重要領域検出部１０９から出力される、検出結果と検出
の確度を用いて、第１の実施形態と同様に領域分割を行
い、それぞれの領域に対して画像の更新レートを算出す
る。

【００９９】本例の符号化パラメータ算出部１１０にお
ける画像更新レートの算出手順は、第１の実施形態の符
号化パラメータ算出部１１０における（１）高画質化領
域、低画質化領域の小ブロック４０２への割り当て符号
量の算出と同一の処理を経て、各割り当て符号量を算出
し、この値を用いて、高，低画質化領域における画像更
新レートを算出する。このため、本例の符号化パラメー
タ算出部１１０の画像更新レートの算出は、高、低画質
化領域の割り当て符号量が決まると、割り当て符号量に
従って、画面更新レートを算出する。この画面更新レー
トの算出の前に、式（２．１）に従い、フレームｉの量
子化値を算出する。式（２．１）において、Ｑ_iはフレ
ームｉの量子化値、Ｂ_iはフレームｉの割り当て符号
量、Ｎはフレーム内の小ブロック数、ｆ（ｘ）は式
（１．９）と同様に符号量に対して量子化値を返す関数
である。

【０１００】

【数７】

【０１０１】ここで、高、低画質化領域の量子化値は共
通の値を用いることとする。画面更新レートの算出方法
の一例を式（２．２）に示す。式（２．２）において、
ｆｐｓ_Hは高画質化領域の画面更新レート、Ａ_Hは高画質
化領域の小ブロック４０２の割り当て符号量、ｆｐｓ_L
は低画質化領域の画面更新レート、Ａ_Lは低画質化領域
の小ブロック４０２の割り当て符号量ｇ（ｘ，ｑ）は符
号量ｘ、量子化値ｑに対して画面更新レートを返す関数
であり、符号量ｘが大きく、量子化値ｑが大きい場合に
大きな画面更新レートを返す性質を持つ。

【０１０２】

【数８】

【０１０３】式（２．２）に従い、高、低画質化領域の
画面更新レートを算出すると、検出の確度が大きい領域
ほど、高画質化領域の画面更新レートが大きくなる特徴
を有する。

【０１０４】以上のように、符号化パラメータ算出部１
１０は領域分割マップ４０１と、高、低画質化領域の各
小ブロック４０２の量子化値を算出し、算出した領域分
割マップ４０１と、各量子化値を量子化部１０５に出力
する。さらに、符号化パラメータ算出部１１０は、算出
した画像更新レートに従い符号化するか否かの判断を行
い、符号化しない場合は、符号化スキップの信号を動き
補償部１０４に出力する。

【０１０５】符号化パラメータ算出部１１０は高、低画
質化領域の画面更新レートを参照し、画面更新レートが
入力フレームレートと同じ領域に関しては、符号化を行
うと判断する。逆に、画面更新レートが入力フレームレ
ートと異なる時は、以下に示す式（２．３）が真の場合
のみ符号化を行うと判断する。符号化を行わないと判断
された領域に対しては、符号化スキップの信号と領域分
割マップ４０１を動き補償部１０４に出力する。

【０１０６】式（２．３）において、ｉはフレームカウ
ンタの値、ｘ mod ｙはｘをｙで割った剰余、ｆｐｓ
_inputは入力フレームレート、ｆｐｓ_nは画面更新レート
である。符号化パラメータ算出部１１０はデータの出力
後、フレームカウンタを１つ増加させる。

【０１０７】

【数９】

【０１０８】動き補償部１０４は、符号化パラメータ算
出部１１０から符号化スキップの指示があった画質領域
の小ブロック４０２は、領域分割マップ４０１を参照し
て対応する小ブロック４０２の入力画像をゼロで初期化
してＤＣＴ部１０５に出力する。これにより、符号化ス
キップの指示のある領域は画面が更新されない状態にな
る。

【０１０９】本実施形態によれば、画面内の重要領域を
自動で検出する重要領域検出部と、検出領域に対して検
出の確度が大きい場合には、検出領域の画面更新レート
を大きくする符号化パラメータ算出部１１０を有するこ
とにより、自動で重要領域である確率が高い領域程をそ
の確率に合わせた度合いで、画面更新レートを高く、動
きの滑らかな画像とすることができる。また、確度が低
く検出結果と本当の重要領域にズレがある場合でも本当
の重要領域のうち検出ミス部分おいて動きの滑らかさが
極端に低下することを防ぐことができる。

【０１１０】なお、本実施形態では、高、低画質化領域
の割り当て符号量から、それぞれの画面更新レートを算
出する例を示したが、これは割り当て符号量を用いるこ
とに限定されるものではない。特に低ビットレートでの
映像符号化においては、一般に符号化中の仮想バッファ
の残有量と駒落とし閾値と用いて、小ブロック４０２ま
たはフレームを符号化せずに符号化スキップ処理を行う
ことがある。このように、映像符号化装置１は、駒落と
し閾値を設定し、符号化スキップ処理を行うことによ
り、結果的に画面更新レートを変えることができる。こ
れを利用し、高、低画質化領域それぞれに対して駒落と
し閾値を求め、領域毎に発生符号量と比較し、領域毎に
符号化スキップ処理を行う。

【０１１１】図５に駒落とし判定の概念図を示す。仮想
バッファとは、映像符号化装置１内にあり、映像符号化
装置１内の符号量の時間的推移を測定するためのもので
ある。映像符号化装置１内の符号量は、映像が入力され
て符号化する毎に増加し、単位時間あたり一定の割合で
映像符号化装置１から伝送路等に符号が出力されること
により減少する。

【０１１２】図５のグラフは仮想バッファの残有量の時
間的推移を表しており、映像が入力され符号化される毎
（以下符号化タイミングと呼ぶ）、符号量が増えるため
に残有量が減り、一定の割合でバッファから符号が出力
されるために一定の割合で残有量が増加している。ここ
で、各符号化タイミング時には仮想バッファの残有量の
大小により、符号化を行うかしないかの判定（駒落とし
判定）を行う。この駒落とし判定に使用する値が駒落と
し閾値である。図５においては、符号化タイミングｄに
おいて、仮想バッファの残有量が駒落とし閾値以下であ
るため、符号化を行わないと判定している。そのため、
符号化タイミングｄにおいては残有量減少していない。

【０１１３】［第３の実施形態］次に本発明の映像符号
化装置の第３の実施形態について説明する。但し、本実
施形態の映像符号化装置の構成は図１に示した第１の実
施形態と同様であるため、以下同一の構成を持つ各部に
ついてはその構成説明を省略し、第１の実施形態で用い
た図面を参照する。本例の映像符号化装置１も映像信号
を定められた伝送ビットレート内で映像信号を符号化
し、入力映像信号の前処理を行う前処理部１０３、画面
内の重要領域を自動検出する重要領域検出部１０９を備
え、検出精度を表す確度に応じて重要領域外に掛ける前
処理部１０３のプレフィルタの強度を算出する符号化パ
ラメータ算出部１１０を備えている。

【０１１４】次に本実施形態の動作について説明する。
本例では、前処理部１０３と符号化パラメータ算出部１
１０以外の動作は第１の実施形態と同一であるため、こ
れら動作が異なる２つの機能ブロックについて以下に説
明する。

【０１１５】本例の符号化パラメータ算出部１１０は、
重要領域検出部１０９から出力される検出結果と検出の
確度を用いて、第１の実施形態で述べたのと同様に領域
分割マップ４０１を作成し、確度に応じて高画質化領
域、低画質化領域の量子化値を算出し、それぞれを量子
化部１０６に出力する。さらに符号化パラメータ算出部
１１０は、検出の確度を用いて、低画質化領域に掛ける
プレフィルタの強度を算出し、領域分割マップ４０１と
プレフィルタ強度を前処理部１０３に出力する。

【０１１６】本例の前処理部１０３ではプレフィルタに
平滑化フィルタを用いることにし、フィルタの強度は平
滑化フィルタのタップ数とする。すなわちタップ数Ｍの
プレフィルタは（２Ｍ＋１）×（２Ｍ＋１）画素の中央
の画素値を（２Ｍ＋１）×（２Ｍ＋１）画素の平均値に
より置き換えるフィルタを示すこととする。但し、プレ
フィルタは平滑化フィルタに限定されるものではなく、
いかなるフィルタでも使用可能である。

【０１１７】以下に示した式（３．１）にプレフィルタ
強度の算出方法を示す。式（３．１）において、Ｔ_nは
小ブロックｎに対するプレフィルタのタップ数、Ａ_Lは
低画質化領域の割り当て符号量、ｈ（ｘ）は符号量ｘに
対してタップ数を返す関数であり、符号量が大きいほど
小さなタップ数を返す関数である。式（３．１）に従
い、プレフィルタ強度であるタップ数を算出し、プレフ
ィルタ強度として、前処理部１０３に出力する。

【０１１８】

【数１０】

【０１１９】前処理部１０３は、符号化パラメータ算出
部１１０より出力される領域分割マップ４０１と各種強
度のプレフィルタを用いて、入力部１０２から出力され
る入力画像のフィルタリング処理を行う。

【０１２０】前述のように、本実施形態の前処理部１０
３のフィルタリング処理は平滑化フィルタを用いる事と
する。前処理部１０３は、低画質化領域の画素に対し
て、フィルタ強度＝タップ数をＭとすると、（２Ｍ＋
１）×（２Ｍ＋１）画素の平均値を中央画素に置き換え
る処理を行い、フィルタリング後の画像データを動き補
償部１０４に出力する。

【０１２１】このように、前処理部１０３のフィルタリ
ング処理では、タップ数が大きい平滑化フィルタを用い
る程、フィルタリングによって削減される画像の高周波
成分は大きくなり、符号化後に発生する符号量も小さ
く、ボケた画像となる。また、符号化パラメータ算出部
１１０では、検出の確度が高いほど、低画質化領域への
割り当て符号量は小さくなるため、式（３．１）からプ
レフィルタ強度は強く設定され、低画質化領域はより高
周波成分が除去され、符号量を削減できる。

【０１２２】本実施形態によれば、符号化パラメータ算
出部１１０は、重要領域検出部１０９による重要領域の
検出の確度が高いほど、前処理部１０３に周辺の低画質
化領域に強いプレフィルタを設定することにより、前記
重要領域である確率が高いほど、重要領域以外の領域を
よりボケた画質とし、符号量を削減できるため、重要領
域である確率の高い領域に符号量の割り当てを集中的に
行って画質を向上させることができる。また、確度が低
く、前記検出領域と本当の重要領域にズレがある場合に
おいても、本当の重要領域のうち検出ミス部分（この部
分も確度がある程度高いため）が極端にボケた画像とな
ることを防ぎ、重要領域外の画質劣化を抑えることがで
きる。

【０１２３】［第４の実施形態］次に本発明の映像符号
化装置の第４の実施形態について説明する。但し、本実
施形態の映像符号化装置の構成は図１に示した第１の実
施形態と同様であるため、以下同一の構成を持つ各部に
ついてはその構成説明を省略し、第１の実施形態で用い
た図面を参照する。本例の映像符号化装置１も映像信号
を定められた伝送ビットレート内で映像信号を符号化
し、前処理部１０３、画面内の重要領域を自動検出する
重要領域検出部１０９を備え、検出精度を表す確度に応
じて入力画像から重要領域の切り出しサイズを算出する
符号化パラメータ算出部１１０を備えている。

【０１２４】次に本実施形態の動作について説明する。
本例の符号化パラメータ算出部１１０、前処理部１０３
の動作以外は第１の実施形態に示した動作と同一である
ため、これら動作が異なる２つの機能ブロックについて
説明する。

【０１２５】また、本実施形態においては、入力部１０
２から入力される入力画像のサイズが４ＣＩＦ（７０４
×５７６画素）、符号化サイズがＱＣＩＦ（１７６×１
４４画素)と想定し、前処理部１０３が、入力画像の一
部を切り出して、必要ならば符号化サイズに縮小処理を
行う。

【０１２６】図６は前処理部１０３における縮小処理の
概念図を示した図である。この図では、入力画像サイズ
が４ＣＩＦ、符号化サイズがＱＣＩＦを想定する。縮小
画像６０１は、入力画像６１０から全体を切り出して縮
小した画像、縮小画像６０２は入力画像６１０から領域
１の部分を切り出して縮小した画像、縮小画像６０３は
入力画像６１０から領域２の部分を切り出して縮小した
画像である。これら縮小画像６０１〜６０３を比較する
と、切り出しサイズが一番大きい縮小画像６０３が最も
拡大されていることになる。

【０１２７】本例の符号化パラメータ算出部１１０は、
重要領域検出部１０９から出力される、検出結果と検出
の確度を用いて、入力画像の切り出し領域を算出し、切
り出し領域情報を前処理部１０３に出力する。

【０１２８】図７に切り出し領域算出の概念図を示す。
図７において、入力画像７１０はｗ _in＝７０４，Ｈ_in＝
７５６の画像、重要領域７０１は、重要領域検出部１０
９から出力される検出領域、切り出し領域７０２は符号
化パラメータ算出部１１０により算出される切り出し領
域で、サイズは、Ｈ_cut×Ｗ_cut画素であり、縦横比を保
つため式（４．１）を満たすものとする。

【０１２９】

【数１１】

【０１３０】さらに、以下に示した式（４．２）〜
（４．５）に確度に応じた切り出しサイズの算出方法を
示す。式（４．２）は、重要領域７０１を入力画像７１
０の縦横比に合わせるための計算式である。式（４．
２）において、ｒｘは重要領域７０１の横方向半径、ｒ
ｙは重要領域７０１の縦方向の半径、Ｗ_inは入力画像７
１０の横サイズ、Ｈ_inは入力画像７１０の縦サイズ、Ｗ
_origは、重要領域７０１の縦横比を補正した横サイズ、
Ｈ_origは重要領域７０１の縦横比を補正した縦サイズで
ある。式（４．３）において、γは重要領域７０１の拡
大率、αは重み係数で、正の値を持ち、Reliability は
検出の確度で１以下の正の値を持つ。式（４．３）に従
い、確度Reliabilityが低いほど、拡大率γは大きくな
ることになる。

【０１３１】式（４．４）において、γ_maxは拡大率の
上限値を定めており、式（４．４）により算出したγは
γ_maxを超えないものとする。式（４．５）において、
Ｗ_cutは切り出し領域７０２の横サイズ、Ｈ_cutは切り出
し領域７０２の縦サイズであり、それぞれ検出領域のサ
イズに拡大率を掛けたものである。

【０１３２】

【数１２】

【０１３３】

【数１３】

【０１３４】

【数１４】

【０１３５】

【数１５】

【０１３６】以上のように本例の符号化パラメータ算出
部１１０は、検出の確度が低い程、検出結果である重要
領域７０１よりも大き目の領域を切り出し領域７０２と
して算出し、重心座標（ｃｘ，ｃｙ）と、縦横サイズＨ
_cut，Ｗ_cutを前処理部１０３に出力する。また、符号化
パラメータ算出部１１０は、第１の実施形態と同様に、
高画質化領域の量子化値を算出し、値が全て１である領
域分割マップ４０１、すなわち画面全体が高画質化領域
である領域分割マップ４０１と、量子化値を量子化部１
０６に出力する。

【０１３７】前処理部１０３は、符号化パラメータ算出
部１１０より出力される切り出し領域７０２の重心座標
（ｃｘ，ｃｙ）と、縦横サイズＨ_cut，Ｗ_cutの領域を入
力部１０２から出力される入力画像７１０から切り出さ
れる符号化サイズになるように縮小処理を施し、縮小画
像を動き補償部１０４に出力する。

【０１３８】本実施形態によれば、符号化パラメータ算
出部１１０は、重要領域検出部１０９による重要領域７
０１の検出の確度が高いほど、入力画像７１０から重要
領域７０１を切り出すサイズを小さく設定するため、符
号化パラメータ算出部１１０ではより拡大率を高くして
符号化を行うことができる。また、検出の確度が低い場
合には、入力画像７１０から切り出す領域を検出された
重要領域７０１よりも大きく設定する。これにより、検
出率が低い場合、例えば検出結果と本当の重要領域７０
１にズレがある場合においても、本当の重要領域７０１
が切り出し領域７０２から漏れる可能性を低減すること
ができ、検出率に影響されること無い拡大効果を得るこ
とができる。

【０１３９】［第５の実施形態］次に本発明の映像符号
化装置の第５の実施形態について説明する。但し、本実
施形態の映像符号化装置の構成は図１に示した第１の実
施形態と同様であるため、以下同一の構成を持つ各部に
ついてはその構成説明を省略し、第１の実施形態で用い
た図面を参照する。本例の映像符号化装置１も映像信号
を定められた伝送ビットレート内で映像信号を符号化
し、入力映像の前処理を行う前処理部１０３、画面内の
重要領域７０１を自動検出する重要領域検出部１０９を
備え、検出精度を表す確度に応じて入力画像７１０から
重要領域７０１の拡大補正率を算出する符号化パラメー
タ算出部１１０を備えている。

【０１４０】次に本実施形態の動作について説明する。
本例の映像符号化装置１では、符号化パラメータ算出部
１１０、前処理部１０３の動作以外は図１に示した第１
の実施形態の動作と同一であるため、これら動作が異な
る２つの機能ブロックについて説明する。

【０１４１】本例の符号化パラメータ算出部１１０は、
重要領域検出部１０９より出力される検出領域と、検出
の確度を用いて、確度の値に応じて重要領域７０１の大
きさを補正し、高画質化領域を算出する。重要領域７０
１の大きさを補正する理由は、確度が低い場合、本当の
重要領域と検出された重要領域間にズレがある可能性が
あるためである。この時、前記検出領域を高画質化領域
と設定すると、本当の重要領域が低画質化領域に設定さ
れ、本当の重要領域を高画質化できないからである。本
実施形態では、確度の値が低い場合には、その値に応じ
て検出領域を拡大することにより領域補正を行うことと
する。

【０１４２】以下に式（５．１）に領域補正の拡大率算
出方法を示す。式（５．１）において、γは領域の拡大
率、αは拡大重み係数で正の値を持ち、Reliabilityは
確度である。式（５．１）に従い、確度が低い程、領域
の拡大率が大きく設定される。式（５．２）において、
γ_maxは拡大率の上限値であり、Ｗ_inは入力画像７１０
の横サイズ、ｒｘは検出された重要領域７０１の横方向
半径であり、拡大率γはγ_maxを超えないこととする。
式（５．３）において、ｒｘ´は拡大補正後の重要領域
７０１の横方向半径であり、ｒｙ´は拡大補正後の重要
領域７０１の縦方向半径であり、ｒｙは検出された重要
領域７０１の縦方向半径である。

【０１４３】

【数１６】

【０１４４】

【数１７】

【０１４５】

【数１８】

【０１４６】符号化パラメータ算出部１１０は、式
（５．１）〜（５．３）に従い、検出された重要領域７
０１を拡大補正したのち、第１の実施形態と同様に、補
正後の重要領域７０１を包含する小ブロック４０２で構
成される高画質化領域を設定し、領域分割マップ４０１
を作成する。さらに、符号化パラメータ算出部１１０
は、高、低画質化領域それぞれについて、第１の実施形
態と同様に量子化値を算出し、領域分割マップ４０１
と、高、低画質化領域の量子化値を量子化部１０６に出
力する。前処理部１０３は、符号化パラメータ算出部１
１０より出力される切り出し領域情報に基づいて入力画
像７１０に縮小処理を施し、縮小画像を動き補償部１０
４に出力する。

【０１４７】本実施形態によれば、符号化パラメータ算
出部１１０は、検出の確度が低い程、検出された重要領
域７０１をより大きく拡大補正することにより、検出の
精度が低い場合でも、検出の精度に因らず本当の重要領
域７０１を高画質化することが可能である。従って、重
要領域７０１である確率が低い場合においても、本当の
重要領域７０１が誤って低画質化されることなく、高画
質化することでができる。

【０１４８】［第６の実施形態］次に本発明の映像符号
化装置の第６の実施形態について説明する。但し、本実
施形態の映像符号化装置の構成は図１に示した第１の実
施形態と同様であるため、以下同一の構成を持つ各部に
ついてはその構成説明を省略し、第１の実施形態で用い
た図面を参照する。本例の映像符号化装置１も映像信号
を定められた伝送ビットレート内で映像信号を符号化
し、画面内の重要領域７０１を自動検出する重要領域検
出部１０９を備え、検出精度を表す確度に応じて、入力
画像７１０から重要領域７０１の切り出すか、量子化値
に重みをつけて算出するか、或いはその組み合わせかを
判断する符号化パラメータ算出部１１０を備えている。

【０１４９】次に本実施形態の動作について説明する。
本実施形態の映像符号化装置の符号化パラメータ算出部
１１０の動作以外は第４の実施形態に示す動作と同一で
あるため、この動作が異なる機能ブロックについて説明
する。また、本実施形態においては、入力画像７１０の
サイズが４ＣＩＦ（７０４×５７６画素）、符号化サイ
ズがＱＣＩＦ（１７６×１４４画素）と想定し、前処理
部１０３が、入力画像７１０の一部を切り出して、必要
ならば符号化サイズに縮小処理を行う。

【０１５０】符号化パラメータ算出部１１０は、重要領
域検出部１０９から出力される検出結果と、確度を用い
て、重要領域７０１を切り出すか高、低画質化領域間で
異なる量子化値を算出するかを判断し、算出した切り出
し領域情報を前処理部１０３に出力すると共に、領域分
割マップ４０１と、高低画質化領域の量子化値を量子化
部１０６に出力する。

【０１５１】符号化パラメータ算出部１１０は、確度の
高低を判断基準とし、確度がある閾値以上であれば、重
要領域７０１を切り出して符号化すると同時に、この重
要領域を高画質化領域に設定し、量子化値を低画質化領
域よりも小さく設定する。逆に、確度が閾値以下である
場合には、重要領域７０１の切り出しは行わず、この重
要領域を高画質化領域に設定し、量子化値を低画質化領
域よりも小さく設定する。

【０１５２】本実施形態において、重要領域７０１の切
り出し、すなわち切り出し領域７０２の算出方法は、第
４の実施形態と同一であるとし、確度が低い程、重要領
域７０１よりも大きな領域を切り出し領域７０２とす
る。また、高画質化領域の設定方法、高低画質化領域の
量子化値の算出方法は、第１の実施形態と同一であると
し、確度が高いほど、小さな量子化値を設定するものと
する。

【０１５３】以上のように本実施形態によれば、符号化
パラメータ算出部１１０は検出の確度がある閾値よりも
高い場合には、重要領域７０１を切り出し、かつ高画質
化を行い、より重要領域７０１を拡大して高画質化する
ことができる。逆に確度が低い場合には、切り出しは行
わず、高画質化のみ行うことにより、検出精度が低い場
合においても、重要領域７０１の視認性を高く保ち、符
号化を行うことができる。したがって、検出精度の影響
を受けることなく、重要領域７０１の視認性を高く保つ
ことができる。

【０１５４】［第７の実施形態］次に本発明の映像符号
化装置の第７の実施形態について説明する。但し、本実
施形態の映像符号化装置の構成は図１に示した第１の実
施形態と同様であるため、以下同一の構成を持つ各部に
ついてはその構成説明を省略し、第１の実施形態で用い
た図面を参照する。本例の映像符号化装置１も映像信号
を定められた伝送ビットレート内で映像信号を符号化
し、画面内の重要領域７０１を自動検出する重要領域検
出部１０９を備え、検出領域の大きさに応じて、符号化
の優先モードを変更する符号化パラメータ算出部１１０
を備える。

【０１５５】次に本実施形態の動作について説明する。
本実施形態では、第３の実施形態における符号化パラメ
ータ算出部１１０の動作以外は第２の実施形態に示した
動作と同一であるため、この動作が異なる機能ブロック
１１０について説明する。本例の符号化パラメータ算出
部１１０は、重要領域検出部１０９から出力される検出
結果と確度を用いて、符号化の優先モードを選択し、優
先モードに従い符号化パラメータを算出する。

【０１５６】本実施形態では、符号化の優先モードは
（１）動き優先モード，即ち、画質を高めることよりも
画面更新間隔を小さく設定することを優先し、動きの滑
らかさを優先する符号化モードと、（２）画質優先モー
ド、即ち、画面更新間隔を小さくすることよりも、画質
を高めることを優先し、画面の画質を優先する符号化モ
ードを想定する。

【０１５７】符号化パラメータ算出部１１０における上
記優先モードの判断は、重要領域７０１の大きさと入力
画像７１０の大きさの比率を用いて行う。重要領域７０
１の大きさが、入力画像７１０の大きさに比べて小さい
場合には、小さい領域の画質劣化は目立ち難いため、画
質を優先するよりも、動きの滑らかさを優先するほうが
画像の視認性を上げることに効果的である。逆に、重要
領域７０１の大きさが、入力画像７１０の大きさと比較
して大きい場合には、大きい領域の画質劣化は目立つた
め、動きを優先するよりも画質を優先する方が、画像の
視認性を上げることに効果的である。

【０１５８】したがって、符号化パラメータ算出部１１
０は、重要領域７０１の大きさがある閾値以上の場合に
は、画質優先モードとし、逆に重要領域７０１の大きさ
がある閾値未満である場合には、動き優先モードとして
符号化パラメータを算出する。ここで、符号化モード判
定に用いる閾値は、例えば入力画像７１０の１／２の大
きさとするが、これに限定されるものではなく、いかな
る値でも良い。

【０１５９】優先モードの判断に先立ち、符号化パラメ
ータ算出部１１０は重要領域検出部１０９により出力さ
れる検出結果を用いて、第１の実施形態と同様に高画質
化領域を設定し、領域分割マップ４０１を算出する。

【０１６０】以下に、それぞれの符号化モードにおける
符号化パラメータ算出方法について説明する。

【０１６１】（１）画質優先モードでは、符号化パラメ
ータ算出部１１０は、重要領域７０１の大きさが入力画
像７１０の大きさの１／２以上の場合には、画質優先モ
ードと判断する。そして、重要領域７０１の大きさが大
きいほど、重要領域７０１の量子化値を小さく設定し、
かつ、全体の画面更新間隔を大きく設定する。本実施形
態において、重要領域７０１の大きさとして、横のサイ
ズを用いるが、これに限定されるものでなく、大きさを
表すものであれば、いかなる値でも使用可能である。

【０１６２】以下に示した式（７．1）に重要領域７０
１の量子化値と画面更新間隔の算出方法を示す。式
（７．1）において、ｒｘは重要領域７０１の横方向半
径、Ｗ_inは入力画像７１０の横サイズ、δは重要領域７
０１の入力画像７１０に対する横サイズの比率であり、
重要領域７０１のサイズが大きい程大きな値となる最大
１．０の値を持つ。式（７．２）において、Ａ_Hは式
（１．１）より算出する高画質化領域への割り当て符号
量、ｆ（ｘ）は式（１．９）と同一の関数で、ｘが大き
い場合に小さい値を返す特徴を持ち、Ｑ_Hは高画質化領
域の量子化値であり、重要領域７０１のサイズ比率δが
大きい場合に小さく設定される。式（７．３）におい
て、Ａ_Lは式（１．２）により算出する低画質化領域へ
の割り当て符号量であり、Ｑ_Lは低画質化領域の量子化
値である。式（７．４）において、ｇ（ａ，ｑ）は式
（２．２）と同一の関数であり、ａが大きく、ｑが大き
いほど大きな値を返す特徴を持つ、ｆｐｓは高、低画質
化領域共通の画面更新レートである。

【０１６３】

【数１９】

【０１６４】

【数２０】

【０１６５】

【数２１】

【０１６６】

【数２２】

【０１６７】式（７．１）から式（７．４）を用いて、
高、低画質化領域の量子化値及び、共通の画面更新レー
トを算出する。すなわち、重要領域７０１のサイズが大
きいほど、式（７．２）より高画質化領域の量子化値が
小さく設定され画質を高く保つことができる。また、量
子化値が小さく設定されるため、式（７．４）に従っ
て、画面更新レートはその分小さく設定される。

【０１６８】（２）動き優先モードでは、符号化パラメ
ータ算出部１１０は、重要領域７０１の大きさが入力画
像７１０の大きさの１／２未満の場合には、動き優先モ
ードと判断する。そして、重要領域７０１の大きさが大
きいほど、重要領域７０１の画像更新レートを大きく設
定し、かつ、全体の量子化値を小さく設定する。本実施
形態において、重要領域７０１の大きさとして、横のサ
イズを用いるが、これに限定されるものでなく、大きさ
を表すものであれば、いかなる値でも使用可能である。

【０１６９】以下に示した式（７．１０）に重要領域７
０１の量子化値と画面更新間隔の算出方法を示す。式
（７．１０）において、δは式（７．１）で算出する重
要領域７０１のサイズの比率で、サイズが小さい場合に
小さくなる特徴を持ち、Ａ_Hは式（１．１）より算出す
る高画質化領域への割り当て符号量、ｆ（ｘ）は式
（１．９）と同一の関数でｘが大きい場合に小さい値を
返す特徴を持ち、Ｑは高、低画質化領域共通の量子化値
であり、重要領域７０１のサイズ比率δが小さい場合に
大きく設定される。式（７．１１）において、ｇ（ａ，
ｑ）は式（２．２）と同一の関数であり、ａが大きく、
ｑが大きいほど大きな値を返す特徴を持つ、ｆｐｓ_Hは
高画質化領域の画面更新レートである。式（７．１２）
において、Ａ_Lは式（１．２）により算出する低画質化
領域への割り当て符号量であり、ｆｐｓ_Lは低画質化領
域の画面更新レートである。

【０１７０】

【数２３】

【０１７１】

【数２４】

【０１７２】

【数２５】

【０１７３】式（７．１０）から式（７．１２）を用い
て、高、低画質化領域共通の量子化値及び、高/低画質
化領域それぞれの画面更新レートを算出する。すなわ
ち、重要領域７０１のサイズが小さいほど、式（７．１
０）より高、低画質化領域共通の量子化値が大きく設定
される。また、量子化値が大きく設定されるため、式
（７．１１）に従って、高画質化領域の画面更新レート
はその分大きく設定される。

【０１７４】以上のように、符号化パラメータ算出部１
１０は重要領域７０１の大きさに従って符号化の優先モ
ードを判定し、優先モードに従って領域分割マップ４０
１と、高、低画質化領域の各小ブロック４０２の量子化
値と、画面更新レートを算出し、算出した領域分割マッ
プ４０１と、各量子化値を量子化部１０５に出力する。

【０１７５】さらに、符号化パラメータ算出部１１０
は、第２の実施形態と同様に、算出した画像更新レート
に従い符号化するか否かの判断を行い、符号化しない場
合は、符号化スキップの信号を動き補償部１０４に出力
する。符号化パラメータ算出部１１０はデータの出力
後、フレームカウンタを１つ増加させる。

【０１７６】動き補償部１０４は、符号化パラメータ算
出部１１０から符号化スキップの指示があった画質領域
の小ブロック４０２は、領域分割マップ４０１を参照し
て対応する小ブロック４０２の入力画像７１０をゼロで
初期化してＤＣＴ部１０５に出力する。これにより、符
号化スキップの指示のある領域は画面が更新されない状
態になる。

【０１７７】本実施形態によれば、符号化パラメータ算
出部１１０は、検出された重要領域７０１のサイズが大
きく画質劣化が目立つ場合には、重要領域７０１の量子
化値を小さく設定することにより、画質を優先する符号
化を行うことができる。逆に、重要領域７０１のサイズ
が小さく画質劣化が目立ちにくい場合には、重要領域７
０１の画面更新レートを大きく設定することにより、動
きの滑らかさを優先する符号化を行うことができる。

【０１７８】従って、重要領域７０１の大きさに応じて
視認性を高く保ち符号化を行うことができる。

【０１７９】尚、本発明は上記実施形態に限定されるこ
となく、その要旨を逸脱しない範囲で、具体的な構成、
機能、作用、効果において、他の種々の形態によっても
実施することができ、たとえば、符号化パラメータは量
子化値、更新レート、駒落とし閾値、プレフィルタ、切
り出しサイズ、領域補正パラメータのうちの、少なくと
も２つ以上の組み合わせてとすることもできる。

【０１８０】以上詳細に説明したように、第１の発明に
よれば、ユーザが画面内の任意の領域を選択することが
できる領域選択手段を有し、符号化制御手段はユーザの
選択領域に対して符号化パラメータを変更ですることに
より、ユーザは映像に対して画面内の画質を向上させた
い領域を選択することが可能となる。

【０１８１】第２の発明によれば、画面内で画質を向上
させたい領域を自動で選択することができる重要領域検
出手段を有し、この検出領域に対して符号化パラメータ
算出手段により符号化パラメータを算出して設定するこ
とにより、ユーザが映像に対して画面内の重要領域を手
動で選択する必要がなくなり、映像符号化装置は自動で
重要領域の符号化パラメータを変更して、その画質を他
領域と区別して良好にすることができ、この領域の視認
性を向上させることができる。

【０１８２】第３の発明によれば、画面内で画質を向上
させたい領域を自動で選択することができる重要領域検
出手段を有し、この検出領域の検出結果に対して符号化
パラメータ算出手段により段階的に符号化パラメータを
算出して設定することにより、重要領域なのに検出領域
にならない場合でも極端に画質が落ちて、視認できなく
なることを防止することができる。

【０１８３】第４の発明によれば、前記重要領域検出手
段は、検出結果の精度を示す確度を算出し、前記符号化
パラメータ算出手段は、前記重要領域検出手段により算
出された確度の値に応じて検出領域、或いは検出領域外
の符号化パラメータを算出することにより、確度が高く
重要領域である確率が高い領域ほど視認性が高くなるよ
うに符号化パラメータを設定でき、重要領域であっても
検出領域にならない領域の画質が極端に落ちて、この領
域の視認性が極端に悪化することを防止することができ
る。

【０１８４】第５の発明によれば、重要領域検出手段の
検出結果を用いて、入力画像から検出領域の切り出し、
または見やすい大きさに自動調整処理を行う前処理部を
有することにより、ユーザは入力画像中の重要領域を選
択する必要が無く、自動で重要領域が見やすい大きさに
調整された符号化画像を見ることができる。

【０１８５】第６の発明によれば、前記符号化パラメー
タ算出手段により算出された符号化パラメータである量
子化値を用い、重要領域検出手段の検出領域の確度に応
じて、この検出領域の符号化量を設定することができ
る。

【０１８６】第７の発明によれば、前記符号化パラメー
タ算出手段により算出された符号化パラメータである更
新レートを用い、重要領域検出手段の検出領域の確度に
応じて、この検出領域の符号化量を設定することができ
る。

【０１８７】第８の発明によれば、前記符号化パラメー
タ算出手段により算出された符号化パラメータである駒
落とし閾値を用い、重要領域検出手段の検出領域の確度
に応じて、この検出領域の符号化量を設定することがで
きる。

【０１８８】第９の発明によれば、前記符号化パラメー
タ算出手段により算出された符号化パラメータである各
種強度のプレフィルタを用い、重要領域検出手段の検出
領域の確度に応じて、この検出領域の符号化量を設定す
ることができる。

【０１８９】第１０の発明によれば、前記符号化パラメ
ータ算出手段により算出された符号化パラメータである
切り出しサイズを用い、重要領域検出手段の検出領域の
確度に応じて、この検出領域の符号化量を設定すること
ができる。

【０１９０】第１１の発明によれば、前記符号化パラメ
ータ算出手段により算出された符号化パラメータである
領域補正パラメータを用い、重要領域検出手段の検出領
域の確度に応じて、この検出領域の符号化量を設定する
ことができる。

【０１９１】第１２の発明によれば、前記重要領域検出
手段により確度の値に応じて算出する符号化パラメータ
は、プレフィルタと更新レートなど少なくとも２つ以上
の組み合わせとすることにより、重要領域とそうでない
領域との各種態様に応じて、符号化パラメータの選択肢
を増大させ、重要領域の画質をより適切に高めることが
できる。

【０１９２】第１３の発明によれば、前記符号化パラメ
ータ算出手段は、前記重要領域検出手段の検出結果を用
いて、検出領域の符号化モードを動き優先若しくは、画
質優先に決定することにより、動きがある重要領域は動
きが滑らかになるように符号化することができ、重要領
域に動きがない場合は画質を向上させるように符号化し
て、視認性を高めることができる。

【０１９３】第１４の発明によれば、符号化パラメータ
算出手段は、特定領域検出の確度の値が高い場合は、検
出領域の量子化値の下げ度合いを大きく制御し、確度が
低い場合は、検出領域の量子化値の下げ度合いを小さく
制御することにより、検出の確度に応じて、確度が高く
重要領域である確率が高い領域ほど、その画質劣化を大
幅に低減し、高画質化することができる。また、確度が
低く重要領域である確率が低い領域ほど、画質劣化の低
減度合いを小さくすることによって、検出結果と本当の
重要領域にズレがある場合でも、本当の重要領域で検出
ミス部分の画質が極端に劣化することを防ぐことができ
る。

【０１９４】第１５の発明によれば、符号化パラメータ
算出手段は、特定領域検出の確度が高い場合は、検出領
域の画面更新レートの増大度合いを大きく制御し、逆に
確度が低い場合は、検出領域の画面更新レートの増大度
合いを小さく制御することにより、確度が高く重要領域
である確率が高い領域ほど、画面更新レートをより大き
く設定でき、自動で重量領域の動きが滑らかになるよう
に符号化することができる。また、逆に確度が低く重要
領域である確率が低い領域ほど、画面更新レートの増大
度合いを低くできるため、検出結果と本当の重要領域に
ズレがある場合でも本当の重要領域のうち検出ミス部分
おいて動きの滑らかさが極端に低下することを防ぐこと
ができる。

【０１９５】第１６の発明によれば、符号化パラメータ
算出手段は、特定領域検出の確度が高い場合は、検出領
域の駒落とし閾値の増大度合いを大きく制御し符号化ス
キップが行われにくくし、逆に確度の値が小さい場合
は、検出領域の駒落とし閾値の増大度合いを小さく制御
し確度が高い場合に比べて符号化スキップが行われやす
くすることにより、確度が高く重要領域である確率が高
い領域ほど、符号化において帯域が足りない場合におい
ても符号化スキップされる可能性が低くなるため、動き
の滑らかさを維持して符号化を行うことができる。ま
た、確度が低く重要領域である確率が低い領域は、確度
の高い場合に比べて符号化スキップされる可能性が高く
なるため、帯域が足りなく、且つ検出結果と本当の重要
領域にズレがある場合でも、本当の重要領域のうち検出
ミス部分での動きの滑らかさが極端に低下することを防
ぐことができる。

【０１９６】第１７の発明によれば、符号化パラメータ
算出手段は、重要領域検出の確度に応じて、確度が高く
重要領域である確率が高いほど、特定領域の検出領域以
外のプレフィルタを遮断周波数が高い低域通過フィルタ
に設定し、逆に確度が低い場合は、検出領域以外のプレ
フィルタを遮断周波数が低い低域通過フィルタに設定す
ることにより、重要領域である可能性が高い領域ほど、
検出領域外に対して遮断周波数が高い低域通過フィルタ
を掛け、高周波情報を削減して符号量を節約すること
で、検出領域により多くの符号量を割り当てて高画質化
することができる。また、確度が低く検出領域と本当の
重要領域にズレがある場合においても、本当の重要領域
のうち検出ミス部分が極端にボケた画像となることを防
ぐことができる。

【０１９７】第１８の発明によれば、符号化パラメータ
算出手段は、重要領域検出の確度が高い場合は、入力画
像からの切り出す領域を検出領域と設定し、逆に確度の
値が小さい場合は、入力画像からの切り出しサイズを検
出領域の周辺を含む大きな領域とすることにより、確度
が高く重要領域である確率が高い場合ほど、重要領域を
忠実に切り出して、より拡大して符号化することができ
る。また、確度が低く重要領域の検出精度が低い場合に
おいても、検出領域の周辺も含む領域を切り出すため、
本当の重要領域のうち検出ミス部分が切り出し領域から
はみ出るという問題を起こすことなく、自動で重要領域
を切り出し拡大して符号化することができる。

【０１９８】第１９の発明によれば、符号化パラメータ
算出手段は、特定領域検出の確度が高い場合は、検出領
域の大きさ補正を小さく設定し、逆に確度が低い場合
は、検出領域の大きさ補正を大きく設定することによ
り、重要領域の検出精度が低く、本当の重要領域と検出
領域にズレがある場合においても、検出領域の周辺も含
む領域を高画質化するため、自動で本当の重要領域を高
画質化することができ。

【０１９９】第２０の発明によれば、符号化パラメータ
算出手段は、特定領域検出の確度が高い場合は、入力画
像から切り出す領域を検出領域と設定し、且つ、検出領
域の量子化値を小さくし、逆に確度が低い場合は、入力
画像から検出領域の切り出しは行わず、検出領域の量子
化値を小さくすることにより、確度が高く重要領域であ
る確率が高い領域ほど、自動で高画質、且つ切り出し拡
大を行い、視認性を高めることができる。また、確度が
低く重要領域である確率が低く検出領域と本当の重要領
域にズレがある場合は、高画質化のみを行い、切り出し
によって本当の重要領域のうち検出ミス部分が切り出し
領域からはみ出ることを防ぐことができ、確度に合わせ
て視認性向上の種類を自動的に変えることができる。

【０２００】第２１の発明によれば、符号化パラメータ
算出手段は、検出された重要領域のサイズが大きい場合
には、検出領域の符号化モードを画質優先に設定し、逆
にサイズが小さい場合には、検出領域の符号化モードを
動き優先に設定することにより、重量領域の大きさに応
じて、重要領域が小さく画質劣化が目立ちにくい場合に
は、自動で画質よりも動きを優先することにより、動き
を滑らかに符号化にすることができる。また重要領域が
大きく画質劣化が目立ちやすい場合には、自動で動きよ
りも画質を優先することにより、重要領域の大きさに適
切な視認性を高く保つように符号化することができる。

【０２０１】

【発明の効果】以上説明したように本発明によれば、映
像信号を限られた伝送ビットレートで符号化する制約を
破ることなく、検出領域が本来の重要領域である場合に
この領域を高画質化することは勿論、前記検出領域に本
来の重要領域が含まれないような場合でも、この重要領
域の画質をある程度維持できるようにして、視認性を確
保できる映像符号化装置を提供することが可能となる。

【図面の簡単な説明】

【図１】本発明の映像符号化装置の第１の実施形態に係
わる構成例を示したブロック図である。

【図２】本発明の第１の実施形態における映像符号化処
理の流れを示すフローチャートである。

【図３】本発明の第１の実施形態における重要領域の検
出結果の一例を示した図である。

【図４】本発明の第１の実施形態における領域分割マッ
プの一例を示した図である。

【図５】本発明の第２の実施形態における駒落とし判定
を説明する概念図である。

【図６】本発明の第４の実施形態における切り出し縮小
処理を説明する概念図である。

【図７】本発明の第４の実施形態における切り出し領域
算出例を示した概念図である。

【図８】従来の映像符号化装置の構成例を示したブロッ
ク図である。

【符号の説明】

１映像符号化装置１０２入力部１０３前処理部１０４動き補償部１０５ＤＣＴ部１０６量子化部１０７可変長符号化部１０８復号化部１０９重要領域検出部１１０符号化パラメータ算出部１１１符号量制御部４０１領域分割マップ４０２小ブロック６０１縮小画像１６０２縮小画像２６０３縮小画像３７０１重要領域７０２切り出し領域７１０入力画像

フロントページの続きＦターム(参考） 5C059 KK02 KK22 LB07 LC04 MA05 MA23 MC11 MC38 ME01 NN01 PP04 SS06 TA07 TA46 TA69 TB04 TC34 TC38 TD12 UA02 UA12 5J064 AA01 AA02 BA09 BA16 BB03 BC16 BC22 BC26 BC29 BD01

Claims

【特許請求の範囲】

【請求項１】符号化量を設定する符号化パラメータに
基づいて映像信号を符号化する映像符号化装置であっ
て、前記映像信号が表示される画面内の任意の領域を選択す
る領域選択手段と、前記領域選択手段により選択された領域の符号化パラメ
ータを設定する符号化制御手段と、を備えたことを特徴とする映像符号化装置。
【請求項２】符号化量を設定する符号化パラメータに
基づいて映像信号を符号化する映像符号化装置であっ
て、前記映像信号による表示画像の中の予め設定した特定領
域を検出する重要領域検出手段と、前記重要領域検出手段により検出された領域の符号化パ
ラメータを算出する符号化パラメータ算出手段と、を備えたことを特徴とする映像符号化装置。
【請求項３】符号化量を設定する符号化パラメータに
基づいて映像信号を符号化する映像符号化装置であっ
て、前記映像信号による表示画像の中の予め設定した特定領
域を検出する重要領域検出手段と、前記重要領域検出手段により検出された領域に基づい
て、段階的に値が変化する段階的符号化パラメータを算
出する符号化パラメータ算出手段と、を備えたことを特徴とする映像符号化装置。
【請求項４】前記重要領域検出手段は、前記特定領域
の検出結果の精度を示す確度を算出し、前記符号化パラ
メータ算出手段は、前記重要領域検出手段により算出さ
れた確度の値に応じて検出領域或いは検出領域外の符号
化パラメータを算出することを特徴とする請求項２また
は３に記載の映像符号化装置。
【請求項５】前記重要領域検出手段により検出された
領域に基づいて、前記映像信号による表示画像の特定領
域を切り出したり、或いは前記表示画像中の切り出し領
域を適切な大きさに調整する前処理手段を設けることを
特徴とする請求項２〜４のいずれかに記載の映像符号化
装置。
【請求項６】前記重要領域検出手段により算出された
確度の値に応じて算出する符号化パラメータは、量子化
値であることを特徴とする請求項４に記載の映像符号化
装置。
【請求項７】前記重要領域検出手段により算出された
確度の値に応じて算出する符号化パラメータは、画面の
更新レートであることを特徴とする請求項４に記載の映
像符号化装置。
【請求項８】前記重要領域検出手段により算出された
確度の値に応じて算出する符号化パラメータは、符号化
を行うか否かの決定の際に使用する駒落とし閾値である
ことを特徴とする請求項４に記載の映像符号化装置。
【請求項９】前記重要領域検出手段により算出された
確度の値に応じて算出する符号化パラメータは、前記映
像信号の高周波成分を除去するプレフィルタであること
を特徴とする請求項４に記載の映像符号化装置。
【請求項１０】前記重要領域検出手段により算出され
た確度の値に応じて算出する符号化パラメータは、前記
映像信号により表示される画像を切り出して符号化する
際の切り出しサイズであることを特徴とする請求項４ま
たは５に記載の映像符号化装置。
【請求項１１】前記重要領域検出手段により算出され
た確度の値に応じて算出する符号化パラメータは、この
重要領域検出手段の検出領域の大きさを変更する領域補
正パラメータであることを特徴とする請求項４に記載の
映像符号化装置。
【請求項１２】前記重要領域検出手段により算出され
た確度の値に応じて算出する符号化パラメータは、量子
化値、更新レート、駒落とし閾値、プレフィルタ、切り
出しサイズ、領域補正パラメータの符号化パラメータの
うちの、少なくとも２つ以上の組み合わせであることを
特徴とする請求項４に記載の映像符号化装置。
【請求項１３】前記符号化パラメータ算出手段は、前
記重要領域検出手段の検出結果を用いて、検出領域の符
号化モードを動き優先若しくは画質優先に設定すること
を特徴とする請求項２〜４のいずれかに記載の映像符号
化装置。
【請求項１４】前記符号化パラメータ算出手段は、前
記重要領域検出手段による重要領域検出の確度が高い場
合は、この重要領域検出手段の検出領域の量子化値を下
げる度合いを大きく制御し、前記確度が低い場合は、前
記検出領域の量子化値を下げる度合いを小さく制御する
ことを特徴とする請求項４に記載の映像符号化装置。
【請求項１５】前記符号化パラメータ算出手段は、前
記重要領域検出手段による重要領域検出の確度が高い場
合は、この重要領域検出手段の検出領域の画面更新レー
トの増大度合いを大きく制御し、逆に前記確度が低い場
合は、前記検出領域の画面更新レートの増大度合いを小
さく制御することを特徴とする請求項７に記載の映像符
号化装置。
【請求項１６】前記符号化パラメータ算出手段は、前
記重要領域検出手段による重要領域検出の確度が高い場
合は、この重要領域検出手段の検出領域の駒落とし閾値
の増大度合いを大きく制御し、逆に前記確度が低い場合
は、前記検出領域の駒落とし閾値の増大度合いを小さく
制御することを特徴とする請求項８に記載の映像符号化
装置。
【請求項１７】前記符号化パラメータ算出手段は、前
記重要領域検出手段による重要領域検出の確度が高い場
合は、この重要領域検出手段の検出領域以外のプレフィ
ルタを遮断周波数が高い低域通過フィルタに設定し、逆
に前記確度が低い場合は、前記検出領域以外のプレフィ
ルタを遮断周波数が低い低域通過フィルタに設定するこ
とを特徴とする請求項９に記載の映像符号化装置。
【請求項１８】前記符号化パラメータ算出手段は、前
記重要領域検出手段による重要領域検出の確度が高い場
合は、前記映像信号により表示される画像から切り出す
領域を検出領域と設定し、逆に前記確度が低い場合は、
前記画像からの切り出しサイズを前記検出領域の周辺を
含む大きな領域とすることを特徴とする請求項１０に記
載の映像符号化装置。
【請求項１９】前記符号化パラメータ算出手段は、前
記重要領域検出手段による重要領域検出の確度が高い場
合は、この重要領域検出手段の検出領域の大きさ補正の
度合いを小さく設定し、逆に前記確度が低い場合は、前
記検出領域の大きさ補正の度合いを大きく設定すること
を特徴とする請求項１１に記載の映像符号化装置。
【請求項２０】前記符号化パラメータ算出手段は、前
記重要領域検出手段による重要領域検出の確度が高い場
合は、前記映像信号により表示される画像から切り出す
領域を同重要領域検出手段の検出領域と設定し、且つ、
前記検出領域の量子化値を小さくし、逆に前記確度の値
が小さい場合は、前記画像から前記検出領域を切り出さ
ず、前記検出領域の量子化値を小さくすることを特徴と
する請求項６に記載の映像符号化装置。
【請求項２１】前記符号化パラメータ算出手段は、前
記重要領域検出手段により検出された特定領域のサイズ
が大きい場合は、前記重要領域検出手段の検出領域の符
号化モードを画質優先に設定し、逆に前記特定領域のサ
イズが小さい場合には、前記検出領域の符号化モードを
動き優先に設定することを特徴とする請求項１３に記載
の映像符号化装置。