JP2009027493A - 画像符号化装置および画像符号化方法 - Google Patents

Abstract

【課題】重要領域に符合量を多く割り当てて高画質に符号化を行うこと。
【解決手段】ビデオ信号が符号化部１に入力すると、画像並び替え部１１にて符号化順に並び替えられ、ＤＣＴ部１３によりＤＣＴ符号化され、量子化部１４にて量子化され、可変長符号化部１５にて可変長符号化され、バッファメモリ１６を介し符号化データとして出力される。その際、タッチ式ディスプレイ２に表示されている撮影画像においてユーザが高画質で符号化すべき選択範囲を指定すると、重要領域判定部５は、その指定された選択範囲において特徴量検出部３からの所定の特徴量に基づき高画質に符号化すべき重要領域を判定し、符号化制御部６に対し重要領域を指示する。符号化制御部６は、重要領域判定部５からの重要領域の指示に基づき、重要領域の符号化が重要領域以外よりも高画質になるように符号化部１の量子化部１４および逆量子化部１９に対し量子化スケールを指示する。
【選択図】図１

Description

本発明は、重要領域の符号化画質を改善する画像符号化装置および画像符号化方法に関する。

従来、原画像を所定の画素数で分割したブロックごとに符号化する際、各ブロックの色が所定の色であるか否かを判定し、所定の色のブロックにおける量子化スケールが所定の色ではないブロックにおける量子化スケールよりも小さくなるように、色判定手段の出力に応じて各ブロックの量子化スケールを変更して各ブロックの画像を量子化する画像符号化装置がある（例えば、特許文献１参照。）。
特開２００２−２３８０６０号公報

しかし、上述の背景技術では、画素の色判定で重要領域を設定するため、ユーザが重要としていない同系色の領域に対しても、重要領域と判断され、量子化スケールを小さくしてしまうと共に、重要領域が複数の色を持つ場合には対応できない、という問題がある。

そこで、本発明は、ユーザが重要と考える重要領域を高画質に符号化することができる画像符号化装置および画像符号化方法を提供することを目的とする。

上記課題を解決するため、本発明では、原画像において選択範囲が指定された場合、前記原画像から所定の特徴量を検出し、指定された前記選択範囲において前記所定の特徴量に基づき高画質に符号化すべき重要領域を判定し、判定された前記重要領域が前記重要領域以外よりも高画質になるように前記符号化部における符号化を制御する。

本発明では、原画像において選択範囲が指定された場合、前記原画像から所定の特徴量を検出し、指定された前記選択範囲において前記所定の特徴量に基づき高画質に符号化すべき重要領域を判定し、判定された前記重要領域が前記重要領域以外よりも高画質になるように前記符号化部における符号化を制御するようにしたので、ユーザが重要と考える重要領域に符合量を多く割り当てて高画質に符号化を行うことができる。

以下、本発明に係る画像符号化装置および画像符号化方法の実施の形態について図面に基づいて説明する。
実施の形態１．

図１は、本発明の実施の形態１の画像符号化装置の構成例を示すブロック図である。

図１において、実施の形態１における画像符号化装置は、符号化部１と、タッチパネル式ディスプレイ２と、特徴量検出部３と、モード判定部４と、重要領域判定部５と、符号化制御部６とを有している。

ここで、本実施の形態１の符号化部１０は、画像並び替え部１１、減算部１２、ＤＣＴ部１３、量子化部１４、可変長符号化部１５、バッファメモリ１６、符号化制御部６、逆量子化部１８、逆ＤＣＴ部１９、加算部２０、第１および第２の第１のフレームメモリ２１、２２、動き補償部２３、動き検出部２４を有している。

また、タッチパネル式ディスプレイ２は、ユーザのタッチパネル操作等によりタッチパネル式ディスプレイ２上に表示された画像上でユーザの操作により選択範囲を指定する選択範囲指定手段として機能を有している。

次に動作を説明する。まずは、一般的な符号化動作から説明する。

まず、図示しないカメラ等で撮影したビデオ信号が本装置に入力すると、そのビデオ信号は符号化部１の画像並び替え部１１に入力される。画像並び替え部１１は、入力したビデオ信号をアナログ信号からディジタル信号に変換し、ピクチャの順序を符号化処理に適した順に並び替える。例えば、ＩピクチャおよびＰピクチャが先に符号化され、その後、Ｂピクチャが符号化されるように並び替える。

次に、画像並び替え部１１は、所定の画素数のブロック、例えば、１６×１６のＭＢ（マクロブロック）に分割し、ＭＢごとに出力する。この出力は、減算器１２を介してＤＣＴ部１３に出力される。ここで、フレーム間予測モードの場合、減算器１２には、動き補償部２３からの予測信号が入力しており、画像変換部１１からの画像信号からその予測信号を減算した誤差信号をＤＣＴ部１３へ出力する。これに対し、フレーム内予測モードの場合、減算器１２には動き補償部２３から予測信号が入力しないので、画像変換部１１からの画像信号をそのままＤＣＴ部１３へ出力する。

ＤＣＴ部１３は、減算器１２からの画像信号または誤差信号をＤＣＴ符号化してＤＣＴ係数を量子化部１４に出力する。

量子化部１４では、符号化制御部６から指示された量子化スケール（量子化ステップ）でそのＤＣＴ係数を量子化し、その量子化係数を可変長符号化部１５へ出力する。量子化スケールは、量子化特性のスケーリングを行うことにより発生ビット量を制御するためのパラメータである。量子化特性は、ブロック内におけるＤＣＴ係数値間での相対的な量子化精度を設定するために、８×８のマトリクスで表示され、例えば、イントラマクロブロック量子化マトリクスや非イントラマクロブロック量子化マトリクスなどが用意される。

可変長符号化部１５は、量子化部１４からの量子化係数を、出現頻度がより高いデータにより短いコードを割り当てる可変長符号、例えば、ハフマン符号で符号化して符号化データとしてバッファメモリ１６へ出力する。バッファメモリ１６は、画像符号化装置の出力として符号化データを所定のビットレートで出力する。

符号化制御部６は、可変長符号化部１５で発生する符号量が可変であるため、バッファメモリ１６を監視することによって所定のビットレートを保つように、指定した量子化スケールを量子化部１４および逆量子化部１９にも通知して、量子化部１４の量子化動作および逆量子化部１９の逆量子化を制御する。

また、量子化部１４は、量子化しているＤＣＴ係数がＩピクチャおよびＰピクチャの場合は、動き補償部２３で参照画像として使用されるため、逆量子化部１８にも量子化係数を出力する。

逆量子化部１８は、量子化部１４から入力した量子化係数を、符号化制御部６から通知された量子化スケール、すなわち量子化部１４と同じ量子化スケールで逆量子化してＤＣＴ係数に戻し、逆ＤＣＴ部１９へ出力する。

逆ＤＣＴ部１９は、逆量子化部１８から入力したＤＣＴ係数を逆ＤＣＴして画像信号または誤差信号を復元して、加算部２０へ出力する。

加算部２０は、逆ＤＣＴ部１９からの画像信号または誤差信号を入力し、誤差信号の場合には動き補償部２３からの予測信号と加算して参照画像として第１のフレームメモリ２１へ出力する。

ところで、画像並び替え部１１の出力は、第２のフレームメモリ２２および動き検出部２４にも出力される。

動き検出部２４は、第１のフレームメモリ２１に蓄積されている比較する時間の参照画像データと、画像並び替え部１１からの現時間の画像データとから、各マクロブロック（ＭＢ）の動きベクトル（ＭＶ）をそれぞれ算出する。例えば、動き検出部２４は、各マクロブロック（ＭＢ）に対して予め定められた探索範囲内でマクロブロック（ＭＢ）ごとに現フレームと参照画像フレームとのブロックマッチングを行って、予測誤差が最小となる動き量を検出することで動きベクトル（ＭＶ）を検出する。

動き検出部２４は、動きベクトル（ＭＶ）を算出すると、動き補償部２３に出力する。

動き補償部２３は、第１のフレームメモリ２１に蓄積されている比較すべき時間の復号画像データと動きベクトル（ＭＶ）とを用いて予測画像信号を再構成して、加算部２０および減算部１２へ出力する。

なお、これら逆量子化部１８、逆ＤＣＴ部１９、加算部２０、第１のフレームメモリ２１、第２のフレームメモリ２２、動き補償部２３および動き検出部２４は、いわゆるローカル復号部を構成している。

減算部１２は、画像並び替え部１１の出力（現時間の画像データ）と動き補償部２３の出力（比較すべき時間の画像データ）との間で減算を行い、予測誤差信号を形成する。フレーム内符号化（Ｉピクチャ）の場合では、減算部１２は、減算処理を行わず、単にデータが通過する。

一方、画像並び替え部１１の出力である符号化順に並び替え後のビデオ信号は、特徴量検出部３へも出力される。

次にユーザがタッチパネル式ディスプレイ２に表示されている画像上で選択範囲を指定した場合の動作について説明する。

図２は、タッチパネル式ディスプレイ２に表示されている画像上でユーザが重要領域を指定した場合の本装置の動作を示すフローチャートである。

まず、タッチパネル式ディスプレイ２に表示されている画像上でユーザが選択範囲を指定すると、そのタッチパネル式ディスプレイ２から重要領域判定部５へ選択範囲指定信号が出力され、図２に示すフローチャートが開始する。

すると、重要領域判定部５のモード判定部４では、予めユーザによってビデオ信号上で重要領域を設定して重要領域のみを高画質で符号化する重要領域指定モードであるか、あるいはビデオ信号上に重要領域を設定せずにビデオ信号を通常に符号化する通常モードであるかを判断する（ステップ２００）。なお、常に重要領域指定モードである場合は、モード判定部４およびこのステップ２００は省略可能である。

ここで、モード判定部４は、ユーザによって予め重要領域指定モードに設定されていないと判断した場合（ステップ２００“ＮＯ”）、通常モード指令を符号化制御部６へ出力する。このため、符号化制御部６は、符号化部１に対し上述の通り通常モードで撮影信号の符号化を行わせる。そのため、ユーザが撮影中にタッチパネル式ディスプレイ２上で画面を触っても、重要領域の指定と誤認識することなく通常に撮影および符号化して記録することができる。

これに対し、モード判定部４は、ユーザによって予め重要領域指定モードに設定されていると判断した場合（ステップ２１０“ＹＥＳ”）、続いてユーザよりタッチパネル式ディスプレイ２において重要領域の選択方法の選択を待つ（ステップ２１０）。ユーザによる重要領域の選択方法の選択については後述する。

そして、ユーザよりタッチパネル式ディスプレイ２において重要領域の選択方法の選択があり（ステップ２１０“ＹＥＳ”）、続いてユーザからタッチパネル式ディスプレイ２における重要領域の指定があると（ステップ２２０“ＹＥＳ”）、タッチパネル式ディスプレイ２は、ユーザが指定したる選択範囲を表示する（ステップ２３０）。

次に、重要領域判定部５は、タッチパネル式ディスプレイ２からユーザによって座標情報または座標上の動作情報によって指定された選択範囲の座標情報と、特徴量検出部３からのタッチパネル式ディスプレイ２に表示されているビデオ信号のマクロブロック（ＭＢ）毎の輝度信号Ｙや色差信号Ｃｂ、ＣｒまたはＰｂ、Ｐr等のアクティビティを特徴量として入力して、ユーザが指定した選択範囲において、ユーザが高画質符号化を欲する重要領域を検出してタッチパネル式ディスプレイ２上に他の部分と区別されるように表示し（ステップ２４０）、ユーザにその重要領域で良いか否かを確認させる（ステップ２５０）。ここで、重要領域は、点線で囲んで表示したり、フラッシュ表示などして、重要領域以外と区別できるように表示する。

そして、ユーザからその重要領域では良くない、と入力があった場合（ステップ２５０“ＮＯ”）、再度、ステップ２２０の処理に戻り、ユーザに選択範囲を再度入力させ、それ以降の処理を行わせる。

これに対し、ユーザからその重要領域で良い、と入力があった場合（ステップ２５０“ＹＥＳ”）、重要領域判定部５はその重要領域を符号化制御部６へ指示する（ステップ２６０）、以上の処理を終了する。

符号化制御部５は、後述の図６に示すように、例えば、ピクチャごとに目標ビット量を設定し、その目標ビット量の範囲内において、重要領域判定部５からの重要領域の判断結果に基づきマクロブロック（ＭＢ）単位に量子化方法の基準値を設定し、重要領域と重要領域以外の量子化方法を変更するようにする。

図３は、タッチパネル式ディスプレイ２上における選択範囲の指定および重要領域の選定の一例を示している。

図３に示す重要領域選択方法では、タッチパネル式ディスプレイ２に表示された画像３００における複数の人物３２０〜３５０の中からある特定の位置にいる人物３４０を重要領域として指定する場合である。つまり、タッチパネル式ディスプレイ２に表示された画像上、特定の位置にいる人物３４０に対し注目して高画質での符号化を希望するが、その他の周辺人物３２０、３３０、３５０等には、あまり関心がなく通常画質または低画質での符号化を希望する場合の重要領域選択方法となる。

そこで、ユーザがタッチパネル式ディスプレイ２によって注目する人物３４０を含む領域である選択範囲を指定する。そのため、タッチパネル式ディスプレイ２には、選択範囲を簡単に指定するための領域選択ツール３１０が表示されている。ユーザは、この画像３００上において注目する領域に対して、円形選択ツール３１１や、矩形選択ツール３１２、任意形状描画ツール３１３などの領域選択ツールを指またはタッチペン等によって選択する。ここで、例えば、ユーザが領域選択ツール３１０から円形選択ツール３１１または矩形選択ツール３１２を選択して、この画面３００上で座標（Ｘ０，Ｙ０）に指またはタッチペンによって触れ、そのまま座標（Ｘ１，Ｙ１）にかけて移動した後、放すと、円形または四角形の領域がタッチパネル式ディスプレイ２の画面３００上に表示される。これが図２におけるステップ２３０の処理である。

そして、重要領域判定部５は、図２のステップ２４０により、その選択範囲の座標情報と、特徴量検出部３からのタッチパネル式ディスプレイ２に表示されている画像３００のマクロブロック（ＭＢ）毎のアクティビティ等の特徴量とを入力して、ユーザが指定した選択範囲において、ユーザが高画質符号化を欲する重要領域、この場合であれば人物３４０と、人物３４０以外の領域を検出してタッチパネル式ディスプレイ２上に表示して、ステップ２５０によりユーザにこの人物３４０のみを重要領域として良いか確認させる。なお、この人物３４０の顔だけとか、さらには、この人物３４０と隣の３５０も重要領域とする場合には、ステップ２５０“ＮＯ”により再度ユーザに選択範囲を指定させる。なお、その際、円形選択ツール３１１または矩形選択ツール３１２等によってユーザが指定した選択範囲全てを重要領域として決定するようにしておいても勿論よい。

図４は、タッチパネル式ディスプレイ２上における選択範囲の指定および重要領域の選定の他の例を示している。

図４に示す重要領域選択方法では、タッチパネル式ディスプレイ２に表示された画像４００におおいて、領域の指定を定型の円形選択ツール４１１や四角形選択ツール４１２ではなく、任意形状描画ツール４１３により具体的に指定する場合である。

例えば、図４のような画像４００において、注目している被写体４２０に対して、その被写体４２０周囲の破線４３０等により示すように、被写体４２０を重要領域として具体的に指定したい場合がある。

そこで、タッチパネル式ディスプレイ２におけるタッチパネル入力による座標情報に加え、映像信号の画像特徴量を使用する。

タッチパネルで選択方法をタッチパネル式ディスプレイ２に表示された画面４００上にて任意形状描画ツール４１３を選択して注目する被写体４２０の外形を指またはタッチペンでなぞった場合、そのなぞった外形に周辺のエッジを、輝度信号ＹにＨＰＦをかけた信号から検出するとともに、外形内部の色差信号Ｃｂ，ＣｒまたはＰｂ、Ｐｒを検出して記憶し、周辺ブロックの画素の色差信号パターンと比較することにより、被写体４２０の外形を推定し表示する。表示された外形が、ユーザが意図したもので、ユーザからＯＫという確認が得られれば重要領域として決定する。

図５は、タッチパネル式ディスプレイ２上における選択範囲の指定および重要領域の選定の他の例を示している。

図５に示す重要領域選択方法では、タッチパネル式ディスプレイ２に表示された画像５００上において、図４に示す場合と同様に、領域の指定を定型の円形選択ツール４１１や四角形選択ツール４１２ではなく、任意形状描画ツール４１３により具体的に指定する。

ただし、着目する被写体５２０の周辺部分における画質劣化が大きい場合には、その画質劣化が目立つものである。そこで、重要領域の境界や境界周辺に位置するＭＢの重要度)の評価、すなわち後述の補正係数Ｎ(j)を段階的に割り振ることにより、視覚上の画質を改善させてもよい。

例えば、図５において、重要領域として被写体５２０が指定されている場合、そのすぐ外周との画質の差が大きくならないよう、重要領域外５４０と重要領域５２０との中間の重要度とした準重要領域５３０を設け、マクロブロック（ＭＢ）の重要度評価を行う。なお、準重要領域５３０の重要度は複数段階あって、準重要領域５３０を段階的に設けてもよい。

次に、符号化制御部６における符号化制御について説明する。

図６は、実施の形態１の符号化制御部６における符号化制御の主要な処理を示すフローチャートである。

図６において、符号化制御部６は、重要領域判定をピクチャ内のすべての符号化単位であるマクロブロック（ＭＢ）について実行する。

つまり、符号化制御部６は、ピクチャ内においてユーザによって指定された重要領域５２０を検出すると（ステップ６１０）、マクロブロック（ＭＢ）毎に発生ビット量を検出してマクロブロック（ＭＢ）に関する評価値を生成する（ステップ６２０）。このような処理を、ピクチャ内の全ての最終マクロブロック（ＭＢ）まで繰り返す（ステップ６３０）。

次に、符号化制御部６は、そのピクチャ全体の発生情報量を求め（ステップ６４０）、ピクチャごとに目標ビット量（ピクチャ目標ビット量）を設定し、マクロブロック（ＭＢ）単位に量子化スケールの基準値を設定する（ステップ６５０）。

次に、符号化制御部６は、重要領域として設定されたマクロブロック（ＭＢ）数、及び重要領域５２０周辺として準重要領域５３０として設定されたマクロブロック（ＭＢ）数およびその重要度に応じて、各マクロブロック（ＭＢ）ごとに補正係数Ｎ（ｊ）を生成する（ステップ６６０）。

次に、符号化制御部６は、求めた補正係数Ｎ(j)と量子化スケールの基準値ｒｅｆＱ（ｊ）を、次式１に用いて当該被写体のマクロブロック（ＭＢ）に対する量子化スケールＱ（ｊ）を補正する（ステップ６７０）。

Ｑ（ｊ）＝ｒｅｆＱ（ｊ）×Ｎ（ｊ） …（式1）

その際、符号化制御部６は、重要領域の量子化スケールが基準となる量子化スケールより小さくなるようにする一方、重要領域以外の量子化スケールが基準となる量子化スケールより大きくなるように符号化部１における符号化を制御し、原画像に割り当てられた符号化データ量が維持されるようにしても良い。このようにすれば、ピクチャ全体としての符号量も変わらないので、重要領域を設定しない他のピクチャへの影響を防止することができる。

符号化制御部６は、以上処理をピクチャ内のすべてのマクロブロック（ＭＢ）について実行する（ステップ６７０）。

このようにして、符号化制御部６は、ピクチャ内においてユーザが指定した選択範囲における重要領域については他の重要領域以外より高画質化できるように量子化スケールを小さくして、量子化部１４および逆量子化部１８に指示することになる。

撮影者や視聴者などのユーザが関心の高い被写体におけるマクロブロック（ＭＢ）を設定し検出することにより、全画像中における当該被写体を判別する。そして、画像符号化装置は、補正係数を用いて、検出されたマクロブロック（ＭＢ）に対する量子化スケール値を、他のマクロブロック（ＭＢ）より小さい値を割り振ることで、ピクチャに割当てられたピクチャ目標ビット量を実質的に維持しつつ、特定の被写体の再生画質を改善する。

従って、本実施の形態１に係る画像符号化装置によれば、ユーザにより原画像において選択範囲が指定された場合、特徴量検出部３がその原画像から所定の特徴量を検出し、重要領域判定部５がその指定された選択範囲においてその所定の特徴量に基づき高画質に符号化すべき重要領域を判定し、判定された重要領域の符号化が重要領域以外の符号化よりも高画質になるように符号化部１における符号化を制御するようにしたので、ユーザが重要と考える重要領域に符合量を多く割り当てて高画質に符号化を行うことができる。

また、本実施の形態１において、符号化制御部６は重要領域の量子化スケールが基準となる量子化スケールより小さくなるようにする一方、重要領域以外の量子化スケールが基準となる量子化スケールより大きくなるように符号化部１における符号化を制御して、高画質符号化ブロックの符号量をあげた際、その増加符号量の分、他の通常符号化ブロックの符号量を通常時より下げて、原画像に割り当てられた符号量が維持されるようにした場合には、ピクチャ全体としての符号量も変わらないので、重要領域を設定しない他のピクチャへの影響を防止することができる。

実施の形態２．
上記実施の形態１では、符号化部１としてＭＰＥＧ２符号化方式のものを一例に説明したが、本実施の形態２では、符号化部１としてＨ．２６４符号化方式のものを一例に説明する。

図７は、実施の形態２における画像符号化装置の構成を示すブロック図である。

図７において、実施の形態２における画像符号化装置は、符号化部１としてＨ．２６４符号化方式を採用しているので、画像並び替え部１１、減算部１２、ＤＣＴ部１３、量子化部１４、エントロピー符号化部、バッファメモリ１６、逆量子化部１８、逆ＤＣＴ部１９、加算部２０、第１のフレームメモリ２１、動き検出部７３という図１に示す実施の形態１の画像符号化装置と同じ構成要素の他に、ループ内フィルタ７１、フレーム内予測(イントラ予測)部７２、フレーム間予測（動き補償予測）部７３、切り替えスイッチ７４等を有している。そして、フレーム内予測(イントラ予測)部７２によるイントラ予測と、フレーム間予測（動き補償予測）部７３による動き補償予測とは、符号化制御部６からの指令により、切り替えスイッチ７４により切り替えている

まず、フレーム内予測(イントラ予測)部７２が符号化制御部６からの指令により、イントラ予測を行う場合から説明する。Ｈ．２６４符号化方式は、ＡＶＣ（Advanced Video Coding）とも呼ばれる符号化方式で、隣接ブロックからの画素レベルでの予測によりフレーム内予測を実現している。

輝度信号の場合は、４×４画素のブロックに対し，９通りの予測モードが定義されている。例えば，予測対象の４×４画素ブロックの上側に隣接する復号済みの画素データを用いて，垂直方向の予測を行い，予測画像を生成する。この予測モードは，予測対象の画像領域に垂直方向エッジがある場合に有効な予測モードである。他の予測モードも同様にそれぞれが特定方向のエッジに対して有効な予測モードとなっており，隣接ブロックの復号済み画素を基に予測画像を生成する。また輝度信号の場合は，４×４画素ブロックに対してだけでなく，１６×１６画素ブロックに対しても同様に４通りの予測モードが定義されており，計１３通りの予測モードが存在する。したがって、フレーム内予測部７２は、これら１３通りの予測モードの中から最適な予測モードを選択し符号化に用いる。また、色差信号については，８×８画素ブロックに対し，４通りの予測モードが定義されており、輝度信号とは独立に予測モードを符号化することが可能である。このようにＨ．２６４/ＡＶＣ符号化方式におけるフレーム内予測は、多様な予測モードを備えることで自由度が高い設計となっており、その符号化効率の改善には適切な予測モードを選択することが必要になる。

そこで、本実施の形態２のフレーム内予測部７２では、符号化制御部６からの指示に基づき、重要領内に位置するブロックのフレーム内予測は、画素ブロックサイズが小さくなるように変更する一方、重要領域外に位置するブロックのフレーム内予測の画素ブロックが大きくなるように変更する。

例えば、本実施の形態２のフレーム内予測部７２は、重要領域外に位置するブロックのフレーム内予測の画素ブロックを１６×１６画素ブロックの４つの予測モードのみで行うのに対し、重要領域では、それら画素ブロックを１６×１６画素ブロックの４つの予測モードに４×４画素ブロックの９つの予測モードを加えてフレーム内予測符号化を行う。

これにより、本実施の形態２のフレーム内予測部７２は、重要領域のフレーム内予測符号化の際、１６×１６画素ブロックの４つの予測モードと４×４画素ブロックの９つの予測モードとの１３の予測モードのうちで最適な符号化を行うのに対し、重要領域外に位置するブロックのフレーム内予測の画素ブロックでは、１６×１６画素ブロックのみで行うことで、符号量を減らすることにより、重要領域の符号量の割り当てを増やすことができ、重要領域の再生画質を改善することができる。

次に、フレーム間予測（動き補償予測）部７３が符号化制御部６からの指令により、動き補償予測を行う場合を説明する。本実施の形態２のフレーム間予測部７３では、Ｈ．２６４/ＡＶＣ符号化方式を採用しているので、1マクロブロック（１６×１６画素），１６×８画素，８×１６画素，８×８画素，８×４画素，４×８画素，４×４画素単位の計７種類のブロックサイズで動き補償を行うことができる。

そこで、本実施の形態２のフレーム間予測部７３では、符号化制御部６からの指示に基づき、重要領内に位置するブロックのフレーム間予測は、画素ブロックサイズが小さくなるように変更する一方、重要領域外に位置するブロックのフレーム間予測の画素ブロックが大きくなるように変更する。

これより、本実施の形態２のフレーム間予測部７３は、重要領域内に位置するブロックのフレーム間予測は、小さなブロックサイズで動き補償を行うことで、符号化する動きベクトル数が増加し、符号量が増加する可能性もあるが、単位面積当たりの予測誤差を小さく抑えることができ、結果として、重要領域の符号量の割り当てを増やすことができ、重要領域の再生画質を改善することができる。

なお、フレーム間予測部７３は、動き補償を行う際のブロックサイズを変えるだけでなく、重要領域をフレーム間予測符号化する際の動きベクトル探索範囲を変えるようにしても勿論良い。つまり、重要領域については動きベクトル探索範囲を基準となる動きベクトル探索範囲より大きくするように制御する一方、重要領域以外をフレーム間予測符号化する際の動きベクトル探索範囲は、基準となる動きベクトル探索範囲よりも小さくなるように符号化部１における各ブロックの符号化を制御し、原画像に割り当てられた符号化データ量が維持されるようにするようにしても勿論よい。

以上のように、本実施の形態１，２によれば、撮影時にユーザが重要としない被写体の画像が複雑、またはアクティビティが高い場合、そこに符号量が割り当てられてしまい、重要領域の画質が落としてしまう場合などに有効である。例えば、図４に示すように、撮影画像を表示している画面４００に葉っぱや、砂嵐、水しぶきなどが背景に含まれ、かつそれらの背景に関心が無い場合、重要領域に指定した被写体４２０の画質を確保できる。

また、本実施の形態１，２の画像符号化装置を、テレビ会議、テレビ電話、監視カメラなどに使用し、カメラ位置が固定されている場合も、関心の高い領域の画質を向上させることは有効といえる。例えば、店舗等の防犯カメラで、画像内に犯人顔が位置する領域が予想できる場合はあらかじめその領域を重要領域としてセットするなどできる。また、テレビ会議カメラなどでも近年、超広角レンズを用いたものも存在し、一画面に大人数が登場する場合があるが、本実施の形態１，２により、視聴者の意思で関心のあるブロックの画質をリアルタイムで選択できる利点がある。

本発明の実施の形態１の画像符号化装置の構成例を示すブロック図である。 タッチパネル式ディスプレイ２に表示されている画像上でユーザが重要領域を指定した場合の本装置の動作を示すフローチャートである。 タッチパネル式ディスプレイ２上における選択範囲の指定および重要領域の選定の一例を示す説明図である。 タッチパネル式ディスプレイ２上における選択範囲の指定および重要領域の選定の他の例を示す説明図である。 タッチパネル式ディスプレイ２上における選択範囲の指定および重要領域の選定の他の例を示す説明図である。 実施の形態１の符号化制御部６における符号化制御の主要な処理を示すフローチャートである。 実施の形態２における画像符号化装置の構成を示すブロック図である。

符号の説明

１ 符号化部（符号化手段）
２ タッチパネル式ディスプレイ（重要領域指定手段）
３ 特徴量検出部（特徴量検出手段）
５ 重要領域判定部（重要領域判定手段）
６ 符号化制御部（符号化制御手段）

Claims (6)

1. 原画像を符号化する符号化手段と、
   前記原画像において選択範囲を指定する選択範囲指定手段と、
   前記原画像から所定の特徴量を検出する特徴量検出手段と、
   前記領域指定手段によって指定された前記選択範囲において前記特徴量検出手段によって検出された前記所定の特徴量に基づき高画質に符号化すべき重要領域を判定する重要領域判定手段と、
   前記重要領域判定手段によって判定された前記重要領域が前記重要領域以外よりも高画質になるように前記符号化部における符号化を制御する符号化制御手段と、
   を有する画像符号化装置。
2. 前記符号化制御手段は、
   前記重要領域の量子化スケールが基準となる量子化スケールより小さくなるようにする一方、前記重要領域以外の量子化スケールが前記基準となる量子化スケールより大きくなるように前記符号化部における符号化を制御し、前記原画像に割り当てられた符号化データ量が維持されるようにする請求項１に記載の画像符号化装置。
3. 前記符号化手段は、フレーム内予測符号化を行い、
   前記符号化制御手段は、
   前記重要領域を前記フレーム内予測符号化する際の予測モードのブロックサイズが基準となるブロックサイズより小さくなるようにする一方、前記重要領域以外を前記フレーム内予測符号化する際の予測モードのブロックサイズが前記基準となるブロックサイズより大きくなるように前記符号化部における各ブロックの符号化を制御し、前記原画像に割り当てられた符号化データ量が維持されるようにする請求項１に記載の画像符号化装置。
4. 前記符号化手段は、フレーム内予測符号化を行い、
   前記符号化制御手段は、
   前記重要領域を前記フレーム間予測符号化する際の動き補償のブロックサイズが基準となるブロックサイズより小さくなるようにする一方、前記重要領域以外を前記フレーム内予測符号化する際の予測モードのブロックサイズが前記基準となるブロックサイズより大きくなるように前記符号化部における各ブロックの符号化を制御し、前記原画像に割り当てられた符号化データ量が維持されるようにする請求項１に記載の画像符号化装置。
5. 前記符号化手段は、フレーム間予測符号化を行い、
   前記符号化制御手段は、
   前記重要領域を前記フレーム間予測符号化する際の動きベクトル探索範囲が基準となる動きベクトル探索範囲より大きくなるようにする一方、前記重要領域以外を前記フレーム間予測符号化する際の動きベクトル探索範囲が前記基準となる動きベクトル探索範囲より小さくなるように前記符号化部における各ブロックの符号化を制御し、前記原画像に割り当てられた符号化データ量が維持されるようにする請求項１に記載の画像符号化装置。
6. 原画像において選択範囲を指定するステップと、
   前記原画像から所定の特徴量を検出するステップと、
   指定された前記選択範囲において前記所定の特徴量に基づき高画質に符号化すべき重要領域を判定するステップと、
   判定された前記重要領域が前記重要領域以外よりも高画質になるように前記符号化部における符号化を制御するステップと、
   を有する画像符号化方法。

Images