JP2009141815A - 画像符号化方法、装置及びプログラム - Google Patents

Abstract

【課題】復号化時に符号化時の適応量子化などの効果を容易に確認可能とすること。
【解決手段】画像符号化装置は、適応量子化方法、符号化モード判定方法及び動き検出方法の少なくとも一つを含む符号化制御方法と前記符号化制御方法に基づいて変動する符号化パラメータのレベルに応じた色変換方法とを示す入力パラメータを設定するパラメータ設定部１０６、前記符号化制御方法に従って入力画像を解析して前記符号化パラメータを算出する画像解析部１０１、前記色変換方法及び前記符号化パラメータに従って前記入力画像に色変換を含む加工を施して加工画像を生成する画像加工部１０３と、プレビューモードと非プレビューモードとの選択を行うモード選択部１０２、及び前記入力パラメータの符号化制御方法と前記符号化パラメータに従って、前記プレビューモード時は前記入力画像を符号化し、前記非プレビューモード時は前記加工画像を符号化する符号化部１０４を有する。
【選択図】 図１

Description

本発明は、動画像または静止画のための画像符号化方法、装置及びプログラムに係り、特に符号化側しか所持していない情報を復号化時に容易に確認することを可能とする技術に関する。

一般に、ＤＶＤ（Digital Versatile Disc）やＨＤ ＤＶＤ（high-definition DVD）のような次世代ＤＶＤ（特にセルビデオ）におけるオーサリング作業では、画像符号化装置の符号化パラメータをシーン毎に調整し、画質を最大限高めるように調整の反復作業を行う。この際、符号化パラメータの調整の効果を確認するために、画像復号化装置で圧縮された動画像データを再生して符号化パラメータの調整による画質の変化を目視で確認することが行われる。しかし、このような画質の変化を目視だけで確認するのは、多くの労力と豊富な経験が必要である。

そこで、圧縮された動画像データに含まれる付加情報を復号化し、それを画像の表示画面上にオーバレイする画像復号化装置（例えば、非特許文献１参照）を用いて確認することで、符号化パラメータの調整効果を確認しやすくなる。動画像データに含まれる、オーバレイされる付加情報として、例えば動きベクトル、量子化パラメータ、符号化モード及び発生符号量などの情報が挙げられる。
ニコンシステム Ｈ．２６４解析ツール（ＮＨ２６４Ｂ１・Ｍ１・Ｈ１）製品説明書

画像符号化装置では、一般にビットレート制御と適応量子化のために量子化パラメータの制御が行われる。適応量子化は、入力画像のアクティビティに基づいて行われる。この場合、例えば適応量子化の強度を変えるために、符号化パラメータを調整して量子化パラメータを上下に変化させたとすると、この変動はビットレート制御による量子化パラメータの変化と重なる。このため、ユーザは画像復号化時に、表示画面上にオーバレイされている量子化パラメータからアクティビティに基づいた適応量子化の効果が十分確認できない。

また、画像符号化装置において入力画像の顔領域を検出し、顔領域で量子化パラメータを下げるように制御する適応量子化が行われる場合がある。一方、アクティビティに基づく適応量子化では、顔領域の目、鼻及び口などのテクスチャの細かい部分の影響で逆に量子化パラメータが上がるように制御される可能性がある。このような場合、顔領域ではアクティビティに基づく適応量子化と、顔領域の検出に基づく適応量子化によるそれぞれの量子化パラメータの変化が相殺される。従って、ユーザは画像復号化時に再生画像の表示画面上にオーバレイされている量子化パラメータを見ても、画像符号化装置の各制御が正しく動作しているか確認することができない。

本発明は、復号化時に符号化時の適応量子化などの効果を容易に確認することを可能とする画像符号化方法及び装置を提供することを目的とする。

上記の課題を解決するため、本発明の一観点によると適応量子化方法、符号化モード判定方法及び動き検出方法の少なくとも一つを含む符号化制御方法と前記符号化制御方法に基づいて変動する符号化パラメータのレベルに応じた色変換方法とを示す入力パラメータを設定するパラメータ設定部と、前記符号化制御方法に従って入力画像を解析して前記符号化パラメータを算出する画像解析部と、前記色変換方法及び前記符号化パラメータに従って前記入力画像に色変換を含む加工を施して加工画像を生成する画像加工部と、プレビューモードと非プレビューモードとの選択を行うモード選択部と、前記入力パラメータの符号化制御方法と前記符号化パラメータに従って、前記プレビューモード時は前記入力画像を符号化し、前記非プレビューモード時は前記加工画像を符号化する符号化部と、を具備することを特徴とする画像符号化装置が提供される。

本発明によれば、プレビューモードにおいて入力画像に対して符号化パラメータのレベル（例えば、適応量子化における量子化パラメータの値）に応じた色変換による加工を行うことにより、適応量子化、符号化モード判定方法及び動き検出などに関する情報のうち本来画像符号化装置しか所持していない情報を画像復号化装置において容易に確認することが可能となる。

また、画像復号化装置により符号化データを復号して画像を再生するだけで、画面上の表示から適応量子化などの効果を容易に確認できるため、特別なシステムの構築の必要がなく、コストの増加もない。

以下、図面を参照して本発明の実施形態について説明する。
図１に示されるように、本発明の一実施形態に係る画像符号化装置は、入力画像１１を符号化して符号化データ（符号化ビットストリームと呼ばれる）２０を出力する装置であり、画像解析部１０１、プレビューモード／非プレビューモードの選択を行うためのモード選択部１０２、画像加工部１０３、符号化部１０４、ユーザ入力部１０５及びパラメータ設定部１０６を有する。入力画像１１は、例えばハードディスクドライブのような画像記憶装置１００から読み出されるデジタルの画像データである。

図１の画像符号化装置は、選択部１０２によってプレビューモード／非プレビューモードの選択が可能である。例えば、ユーザ（オーサリング作業を行うオペレータ）がユーザ入力部１０５を介してプレビューモードを選択すると、画像加工部１０３を経由して符号化部１０４において入力画像１１の符号化が行われる。一方、非プレビューモードを選択すると、入力画像１１は画像加工部１０３を経由せずに符号化部１０４において直接符号化される。

一方、図２に示されるように、画像符号化装置により得られる符号化データ２０（符号化ビットストリーム）は、ハードディスクドライブのような符号化データ記憶装置２００に記憶される。記憶装置２００に記憶された符号化データは、必要なときに画像復号化装置２０１により復号され、画像表示装置２０２により表示される。なお、プレビューモードにおいて符号化データを符号化データ記憶装置２００を介さずに画像復号化装置２０１により復号し、画像表示装置２０２により表示してもよい。

次に、図１に示した画像符号化装置の各部について説明する。
画像解析部１０１は、入力画像１１について入力パラメータ設定部１０６により設定される入力パラメータのうちの、ユーザによって指定された符号化制御方法を示す符号化制御方法指示情報１３に従って入力画像１１を解析し、符号化パラメータ１２を算出して出力する。符号化制御方法及び画像解析方法については、後に詳しく説明する。

画像加工部１０３は、符号化パラメータ１２と、入力パラメータ設定部１０６により設定される入力パラメータのうちの、ユーザによって指定された色変換方法を示す色変換方法指示情報１４に従って入力画像１０に色変換を含む加工を施して加工画像を生成する。モード選択部１０２は、ユーザからの指示によってプレビューモードと非プレビューモードとの選択を行う。色変換方法の詳細については、後に述べる。

画像符号化装置は、モード選択部１０２によりプレビューモードと非プレビューモードの選択が可能である。プレビューモードで入力画像１１を符号化する場合は、入力画像１１及び画像解析部１０２からモード選択部１０２を介して出力される符号化パラメータ１２は画像加工部１０３に入力され、前述のように入力画像１１が加工される。画像加工部１０３によって生成される加工画像は符号化部１０４に入力され、符号化パラメータ１２と符号化制御方法指示情報１３に従って符号化される。

一方、非プレビューモードで入力画像１１を符号化する場合は、入力画像１１及び画像解析部１０２から出力される符号化パラメータ１２は画像加工部１０３をバイパスして符号化部１０４に直接入力され、入力画像１１は符号化パラメータ１２と符号化制御方法指示情報１３に従って符号化される。

本実施形態では、入力画像１１は動画像であるとして説明するが、入力画像１１は静止画であってもよい。入力画像１１が動画像の場合、符号化部１０４の符号化方式は、例えばＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４、またはＶＣ−１など、公知の様々な動画像圧縮符号化方式のうちの任意の方式を用いてもよい。本実施形態では、例として符号化部１０４はＨ．２６４を用いるものとする。一方、入力画像１１が静止画の場合、符号化部１０４は例えばＪＰＥＧ、ＪＰＥＧ２０００、またはＨ．２６４イントラなど、公知の様々な静止画圧縮符号化方式のうちの任意の方式を用いればよい。

また、以降の説明では画像解析部１０１での解析や符号化パラメータの算出は、すべてマクロブロック単位で処理するものとして説明するが、複数のマクロブロックをまとめた単位で画像解析部１０１の処理を行っても構わない。

次に、図３に示すフローチャートを用いて本実施形態に係る画像符号化装置の動作について説明する。

まず、ユーザ入力部１０５を介して与えられるユーザからの指示に従って、入力パラメータ設定部１０６により符号化制御方法及び色変換方法を設定する（ステップＳ１）。符号化制御方法とは、符号化部１０４の符号化動作を制御する方法であり、例えば適応量子化方法、符号化モード判定方法及び動き検出方法の少なくとも一つを指す。色変換方法とは、入力画像１１の色を変換する方法を指し、例えば入力画像１１のうちの色差成分のみを変換する方法などを指す。なお、設定される符号化制御方法は複数あってもよく、各符号化制御方法に対応した色変換方法が存在すればよい。例えば、符号化制御方法が複数存在するが、色変換方法の数は全ての符号化制御方法に共通に対応する１つでもよいし、または符号化制御方法の数より少ない数であってもよい。また、各符号化制御方法にそれぞれ別々の色変換方法を対応させてもよい。

次に、画像解析部１０１において入力パラメータ設定部１０６により設定された符号化制御方法に基づいて入力画像１１を解析する。具体的には、画像解析部１０１は入力画像１１について予めユーザによって指定された特徴、例えばアクティビティ、色成分、または画面間差分などを解析し、解析結果に従って符号化パラメータ１２を算出する（ステップＳ２）。但し、入力画像１１が静止画の場合、画像解析部１０１が解析する特徴に画面間差分は含まれない。

次に、ユーザ入力部１０５によりプレビューモードが選択されているか、非プレビューモードが選択されているかどうかを調べ（ステップＳ３）、その結果に応じてモード選択信号１５をモード選択部１０２に送る。

ここで、プレビューモードが選択されていれば、モード選択部１０２によって入力画像１１及び画像解析部１０２からの符号化パラメータ１２を画像加工部１０３に入力し、パラメータ設定部１０６からの色変換方法指示情報１４によって示される、ユーザにより指定された色変換方法に従って入力画像１１を加工する（ステップＳ４）。具体的には、符号化制御方法に応じて変動する符号化パラメータのレベルの変動に基づいて、入力画像１１の色変換を行う。次に、ステップＳ４により生成される加工画像を符号化部１０４により符号化する（ステップＳ５）。

このプレビューモードでは、符号化部１０４から出力される符号化データ２０は画像復号化装置２０１により復号化され、再生画像２１が画像表示装置２０２で表示（プレビュー）される。このときユーザは、画像表示装置２０２の表示画像中の色変換の状態から適応量子化の効果を確認することができる。この点については、以下に具体例を挙げて説明する。

一方、非プレビューモードが選択されていれば、モード選択部１０２によって画像加工部１０３をバイパスさせ、入力画像１１及び画像解析部１０２から出力される符号化パラメータ１２を直接符号化部１０４に入力して入力画像１１を符号化する（ステップＳ５）。この非プレビューモードでは、符号化部１０４から出力される符号化データ２０は通常は符号化データ記憶装置２００に記憶され、適時読み出されて画像復号化装置２０１により復号化される。

符号化部１０４は、入力画像１１が存在すれば符号化処理を継続し、入力画像１１がなければ符号化処理を終了する。符号化処理を継続する場合、ユーザによる入力パラメータの変更がなければステップＳ２に戻り、変更があればステップＳ１に戻って入力パラメータ、すなわち符号化制御方法と色変換方法を再度設定しなおす。

次に、符号化制御方法及び色変換方法について詳細に説明する。
（１）＜符号化制御方法について＞
パラメータ設定部１０６によって設定される入力パラメータの一つである符号化制御方法としては、例えば（１）適応量子化方法、（２）符号化モード判定方法及び（３）動き検出方法が挙げられる。以下、それぞれの場合について具体的に述べる。

（１−１）適応量子化方法
適応量子化では、以下のように量子化パラメータをアクティビティに基づいて制御する方法、顔尤度に基づいて制御する方法、特定色検出に基づいて制御する方法、及びエッジ検出に基づいて制御する方法のうちの少なくとも一つを用いる。

（１−１−１）アクティビティに基づく量子化パラメータの制御方法
一般に、画像のアクティビティの高い領域の画質劣化は目立ちにくく、アクティビティの低い領域の画質劣化は目立ちやすい。従って、画像のアクティビティに応じて量子化パラメータを制御することで主観画質が改善できる場合がある。

そこで、アクティビティ大→量子化パラメータ大（例えば、量子化パラメータオフセット大（プラス））、アクティビティ小→量子化パラメータ小（例えば、量子化パラメータオフセット小（マイナス））となるように、符号化制御方法（適応量子化方法）を設定する。

（１−１−２）顔尤度に基づく量子化パラメータの制御方法
画面内に人の顔があれば、一般的に顔は最も注目されることから、他の領域に比べて画質劣化が知覚されやすい。従って、顔検出を行って画像内で顔と判定された部分（顔領域）に対して量子化パラメータを制御することで、主観画質が改善できる場合がある。

そこで、顔検出結果を受けて顔である確率（顔尤度）が高い→量子化パラメータオフセット小（マイナス）、顔である確率が低い→量子化パラメータオフセット大（プラス）となるように、符号化制御方法（適応量子化方法）を設定する。

（１−１−３）特定色の色類似度に基づく量子化パラメータの制御方法
上記のように人の顔も注目領域の一つであるが、顔だけでなく首や手、体も注目領域となり得る。このため、肌色を検出してその部分に対して量子化パラメータを制御することで主観画質が改善できる場合がある。また、暗部や鮮明な（サチュレーションが高い）赤は符号化歪みが目立ちやすいため、色領域を検出して特定色の領域に対して量子化パラメータを制御することで主観画質が改善できる場合がある。

そこで、入力画像１１のうち肌色、暗部、鮮明な赤などの、ユーザによって予め指定される特定色との類似度（色類似度）が高い代表色の領域→量子化パラメータオフセット小（マイナス）、特定色との類似度が低い代表色の領域→量子化パラメータオフセット大（プラス）となるように、符号化制御方法（適応量子化方法）を設定する。

（１−１−４）エッジ尤度に基づく量子化パラメータの制御方法
画像内の文字などの急峻なエッジにおいては、符号化により高周波成分がなくなるとリンギングが発生して主観画質が低下する場合がある。従って、エッジ検出によりエッジと判定された部分に対して量子化パラメータを制御することで主観画質が改善できる場合がある。

そこで、エッジ領域（エッジ尤度大）→量子化パラメータオフセット小（マイナス）、エッジ領域以外（エッジ尤度小）→量子化パラメータオフセット大（プラス）となるように、符号化制御方法（適応量子化方法）を設定する。

なお、上記の符号化制御方法では適応量子化において量子化パラメータオフセットを顔尤度、特定色検出結果またはエッジ尤度に応じて大、小の方向に制御するとしたが、一方向の制御でもよい。例えば、肌色領域であれば量子化パラメータオフセットを小さくするという制御のみでよく、その他の領域を大きくしなくてもよい。実際の符号化処理ではビットレート制御による量子化パラメータの制御がかかるため、ある領域の量子化パラメータを下げれば、その他の領域においては相対的に量子化パラメータが大きくなるためである。

（１−２）符号化モード判定方法
（１−２−１）アクティビティに基づくコスト関数の制御
一般に符号化モード判定は、次式（１）に示すコストCostを最小化する符号化モードを選ぶ方法が一般である。

ここで、Distortionは歪み、λはラグランジェの未定乗数、Rateは発生符号量をそれぞれ表す。

歪みと発生符号量のバランスをとるためのλは通常、画面内では一定である場合が多いが、画像のアクティビティに応じて符号化モード判定のコストバランスをとるλを変更することで画質が改善できる場合がある。そこで、λbaseを基準にλを調整するための係数α（λ＝α×λbase）がアクティビティ大→α大、アクティビティ小→α小となるように、符号化制御方法（符号化モード判定方法）を設定する。

（１−３）動き検出方法
（１−３−１）アクティビティに基づくコスト関数の制御
動き検出方法は、前記符号化モード判定方法とほぼ同様に、動きベクトルを決定する際に、前記のコストCostを最小化する動きベクトルを探索する方法が一般的である。但し、この場合のRateは一般的には動きベクトルの情報のみを表す。画像のアクティビティに応じて動きベクトルのコストバランスをとるλを変更することで、画質改善ができる場合があるため、λを調整するための係数（λ＝β×λbase）がアクティビティ大→β大、アクティビティ小→β小となるように、符号化制御方法（動きベクトル検出方法）を設定する。

（１−３−２）動き検出アルゴリズムに基づく制御
動き検出アルゴリズムには様々な手法がある。例えば、フルサーチ、階層サーチ、ダイヤモンドサーチ及びヘキサゴンサーチなどが挙げられる。階層サーチ、ダイヤモンドサーチ及びヘキサゴンサーチは、フルサーチと比べて、アーリーターミネーションや間引き処理によって、演算量が少なく高速な動き検出が可能である一方で、これらの高速動きベクトル検出アルゴリズムは局所解に陥りやすい。

すなわち、符号化しようとするカレント画像と、既に符号化された、局部復号により得られる参照画像との間の差分が小さければ、動きも少ないと予測されるため、上記のような高速の動きベクトル検出アルゴリズムでもフルサーチと比較して遜色がない。一方、カレント画像と参照画像間の差分が大きければ、動きが大きいと予測されるため、高速動きベクトル検出アルゴリズムとフルサーチとの差が大きくなりやすい。そこで、カレント画像と参照画像間の差分大→フルサーチ、差分小→階層サーチ、ダイヤモンドサーチまたはヘキサゴンサーチとなるように、符号化制御方法（動きベクトル検出方法）を設定する。

（２）＜色変換方法について＞
（２−１）色差変換
画像加工部１０３においては、符号化制御方法に応じて変動する符号化パラメータのレベル（例えば、符号化制御方法が適応量子化の場合、量子化パラメータの値）の変動に基づいて入力画像１１の色変換を行う。この色変換に際して、輝度信号まで変換してしまうと入力画像１１の情報が損なわれ、例えばオブジェクトがどのような形状であったかなどが不明瞭となる。

そこで、入力画像１１のうち輝度信号については変換せず、色差信号のみを変換することで、入力画像１１の形状等の情報を残しつつ、符号化パラメータのレベルの変動に応じた色変化が確認できる。本実施形態のように符号化部１０４の符号化方式がＨ．２６４の場合、入力画像１１はＹＵＶ（ＹＣｂＣｒ）信号で構成されるため、色変換に際しては色差信号、すなわちＵＶ（ＣｂＣｒ）のみを変換する。例えば、量子化パラメータオフセットの値が大きければ、より赤くなるようにＶ（Ｃｒ）の値を大きくし、逆に量子化パラメータオフセットの値が小さければ、より青くなるようにＵ（Ｃｂ）の値を大きくする、という色変換方法を設定する。

（２−２）ユーザ指定の変換
例えば、量子化パラメータオフセットの値が−１０であれば、Ｙ＝現信号、Ｕ（Ｃｂ）＝２４０、Ｖ（Ｃｒ）＝１２８といったように、直接的に指定した色を変換するようにユーザが色変換方法を設定する。このように色変換方法をユーザが指定することは、特に同じ符号化パラメータに影響を与える符号化制御方法を採用した場合に有効である。

例えば、色変換と同時に符号化制御方法としてアクティビティによる適応量子化と顔尤度による適応量子化を用いる場合は、アクティビティによる適応量子化による量子化パラメータオフセットの変動が赤となり、顔尤度による適応量子化による量子化パラメータオフセットの変動が青となるような色変換方法を設定すれば、アクティビティ及び顔尤度の両方による適応量子化の効果がある領域では、赤成分と青成分が混ざった色が生成されるため、それらの効果が判別可能となる。

（２−３）その他の色変換
例えば、符号化パラメータの大小によってボケ具合を変えても良いし、コントラストを上下させる方法を用いてもよい。また、入力画像１１の輝度信号を反転（Ｙ＝２４０−Ｙbase）させるような色変換を行ってもよい。その他、色変換方法は様々挙げられるが、量子化パラメータのような符号化パラメータのレベルの変動を目視確認しやすいような方法を行うことが好ましい。

（３）＜画像解析方法について＞
次に、画像解析部１０１における画像解析方法について具体的に説明する。画像解析方法には、さらに符号化パラメータ算出方法も含まれるとする。画像解析方法は、符号化制御方法に応じて決定される。以下、符号化制御方法が前述した（１−１）適応量子化方法、（１−２）符号化モード判定方法及び（１−３）動きベクトル検出方法のそれぞれの場合にそれぞれ対応する画像解析方法を述べる。

（３−１）＜適応量子化方法に対応する画像解析方法＞
（３−１−１）適応量子化方法が（１−１−１）「アクティビティに基づく量子化パラメータの制御方法」の場合
パラメータ設定部１０６により設定された符号化制御方法が適応量子化方法のうち、特にアクティビティに基づく量子化パラメータの制御方法の場合、画像解析部１０１では入力画像１１のアクティビティを解析（算出）する。符号化パラメータの制御は一般的にマクロブロック単位が最小粒度であるため、アクティビティの算出はマクロブロック単位で行う。

アクティビティとしては、入力画像１１の分散や標準偏差が挙げられる。算出されたマクロブロック毎のアクティビティから、例えば、次式（２）を用いて量子化パラメータオフセットを算出する。

ここでmaxMB_actは一画面内あるいは複数画面内の最大マクロブロックアクティビティ、minMB_actは一画面内あるいは複数画面内の最小マクロブロックアクティビティ、MB_actは対象となるマクロブロックのアクティビティ、Scaleはユーザによって指定される、量子化パラメータの制御範囲をそれぞれ表す。

（３−１−２）適応量子化方法が（１−１−２）「顔尤度に基づく量子化パラメータの制御方法」の場合
パラメータ設定部１０６により設定された符号化制御方法が適応量子化方法のうち、特に顔尤度に基づく量子化パラメータの制御方法の場合、画像解析部１０１は入力画像１１から顔領域を検出して顔尤度を算出する。顔検出のロジックは様々挙げられるが、例えば、顔データベースを用いたテンプレートマッチングであれば、マッチングの差分が小さいほど顔尤度が高くなるように顔検出を行うことが可能である。ただし、本実施形態は顔検出のロジックに依存するものではなく、顔であるか否かを判定できればよい。

テンプレートマッチングを行う粒度（例えば、１画素単位でマッチングを行うなど）によって得られる顔尤度の粒度が異なるが、最終的に量子化パラメータオフセットを制御することを考慮すれば、顔尤度はマクロブロック単位に統合されている必要がある。マクロブロック単位よりも細かい粒度で顔尤度が算出されていれば、マクロブロック内で平均化すればよいし、粗い粒度で顔尤度が算出されていれば、面積比で算出すればよい。

マクロブロック単位の顔尤度から量子化パラメータオフセットを算出する方法は、前述のアクティビティの代わりに顔尤度となったものを使用してもよい。あるいは、単純に顔尤度が所定の閾値以上であれば量子化パラメータオフセットを所定の値にするという方法でもよい。

（３−１−３）適応量子化方法が（１−１−３）「特定色の色類似度に基づく量子化パラメータの制御方法の場合
パラメータ設定部１０６により設定された符号化制御方法が適応量子化方法のうち、特に色類似度に基づく量子化パラメータの制御方法の場合、画像解析部１０１では入力画像１１について指定された特定色との類似度（色類似度）を算出する。符号化パラメータの制御は、一般的にマクロブロック単位が最小粒度であるため、マクロブロック単位で色類似度の算出を行う。

このために、まずマクロブロック単位の代表色を算出する。代表色の算出方法としては、マクロブロック内の色の平均値あるいは中央値でもよいし、サブサンプルした値の平均値あるいは中央値でもよい。マクロブロック単位の色類似度は、代表色と指定された特定色との差として算出される。例えば、特定色がＹＵＶで指定されれば、Ｙ，Ｕ及びＶのそれぞれの絶対値差分和を算出すればよい。また、例えば、暗部を検出するという目的で特定色が設定されるのであれば、Ｙの差分に対して重みを大きくし、Ｕ及びＶに対しては重みを小さくするという方法もある。

こうして算出されるマクロブロック単位の色類似度から符号化パラメータである量子化パラメータオフセットを算出する際には、前述のアクティビティの代わりに色類似度を使用することみできる。あるいは、色類似度が単純に所定の閾値以上であれば量子化パラメータオフセットを所定の値にするという方法でもよい。

なお、ここではＹＵＶ表色系で特定色が指定されているとしているが、ＲＧＢ表色系、ＨＳＶ表色系などで指定されてもよい。例えば、ＨＳＶ表色系で特定色が指定されたとすれば、入力画像１１（ＹＵＶ信号）をＲＧＢ信号へと変換した後、ＨＳＶ信号に変換して類似度を計算してもよい。また、指定されたＨＳＶ表色系の色をＲＧＢへ変換した後、ＹＵＶに変換して入力画像１１との類似度を計算してもよい。

（３−１−４）適応量子化方法が（１−１−４）「エッジ尤度に基づく量子化パラメータの制御方法」の場合
パラメータ設定部１０６により設定された符号化制御方法が適応量子化方法のうち、特にエッジ尤度に基づく量子化パラメータの制御方法であれば、画像解析部１０１では入力画像１１からエッジ領域を検出する。

エッジ検出のロジックは様々挙げられるが、例えば、エッジ検出オペレータ（ソベルなど）によるエッジ検出であれば、急峻なエッジであるほどエッジ成分の値（エッジ尤度）が大きくなるようにエッジ検出を行うことが可能である。ただし、本実施形態はエッジ検出のロジックに依存するものではなく、エッジであるか否かを判定できれば動作することが可能な方法であればよい。エッジ検出オペレータによるエッジ検出は、前述の顔検出におけるテンプレートマッチングと同様の処理で実現でき、量子化パラメータオフセットも同様の処理で算出可能である。

（３−２）＜符号化モード判定方法に対応する画像解析方法＞
（３−２−１）アクティビティに基づくコスト関数の制御の場合
パラメータ設定部１０６により設定された符号化制御方法が符号化モード判定方法のうち、特にアクティビティに基づく符号化モード判定のコスト関数の制御方法であれば、画像解析部１０１では適応量子化方法の場合について述べたように、アクティビティを算出する。算出されたマクロブロック毎のアクティビティから、例えば次式（３）を用いてλを調整する係数αを算出する。

あるいは、単純にアクティビティが所定の閾値以上であればλを調整する係数αを所定の値にするという方法でもよい。

（３−３）＜動き検出方法に対応する画像解析方法＞
（３−３−１）アクティビティに基づくコスト関数の制御
パラメータ設定部１０６により設定された符号化制御方法が動き検出方法のうち、特にアクティビティに基づくコスト関数の制御方法であれば、画像解析部１０１では（３−２−１）で述べた符号化モード判定に対応する画像解析方法の（３−２−１）アクティビティに基づくコスト関数の制御の場合と同様の処理を行うため、その説明は割愛する。

（３−３−２）動き検出アルゴリズムに基づく制御
パラメータ設定部１０６により設定された符号化制御方法が動き検出方法のうち、特に画面間差分に基づく動き検出アルゴリズムの選択方法であれば、画像解析部１０１では入力画像１１から画面間差分を算出する。符号化パラメータの制御は、一般的にマクロブロック単位が最小粒度であるため、画面間差分についてもマクロブロック単位で算出を行うようにする。

画面間差分の算出方法としては、空間的に同じ座標の画面間から差分を算出する方法でもよいし、参照する画像の所定範囲内から最小の画面間差分を算出する方法でもよい。算出された画面間差分から動き検出アルゴリズムを選択する方法は、例えば画面間差分が所定の閾値以上であればフルサーチを選択し、所定の閾値以下であればダイヤモンドサーチを選択するという方法でよい。

表１〜表７には、以上述べた符号化制御方法と色変換方法（ただし、色差変換のみ）とを対応付けたテーブルであり、画像加工部１０３は画像解析部１０１で算出された符号化パラメータとパラメータ設定部１０６で設定された色変換方法に従って入力画像１１を例えば表１〜表７に基づいて変換することにより加工する。すなわち、図示しない記憶装置に表１〜７に示されるようなテーブルが保持されており、画像加工部１０３は当該テーブルを参照して入力画像１１に対して加工を行う。

表１は、アクティビティに基づく適応量子化の場合、すなわち符号化制御方法が前記（１−１−１）のアクティビティに基づく量子化パラメータの制御方法である場合のアクティビティの変化に対する量子化パラメータオフセットと色差変換値（変換後の色差信号）との関係を示している。色変換方法がユーザ指定であれば、色差変換値の上下の代わりに指定された色（ＹＵＶすべての成分、あるいはＵＶのみ）が当てはめられる。また、表１では量子化パラメータオフセットの制御範囲、すなわち先の式（２）のscaleが＋１０〜−１０の２１階調となっているが、これらはユーザの設定で自由に設定可能である。これらの点については、表２〜表７も同様である。

表２は、顔尤度に基づく適応量子化の場合、すなわち符号化制御方法が前記（１−１−２）の顔尤度に基づく量子化パラメータの制御方法である場合の顔尤度の変化に対する量子化パラメータオフセットと色差変換値との関係を示している。

表３は、特定色検出に基づく適応量子化の場合、すなわち符号化制御方法が前記（１−１−３）の特定色の色類似度に基づく量子化パラメータの制御方法である場合の色類似度（色の差）の変化に対する量子化パラメータオフセットと色差変換値との関係を示している。

表４は、エッジ尤度に基づく適応量子化の場合、すなわち符号化制御方法が前記（１−１−４）のエッジ尤度に基づく量子化パラメータの制御方法である場合のエッジ尤度の変化に対する量子化パラメータオフセットと色差変換値との関係を示している。

表５は、符号化制御方法が前記（１−２）の符号化モード判定方法であって、（１−２−１）のアクティビティに基づくコスト関数の制御方法である場合のアクティビティの変化に対するラグランジェの未定乗数λの調整係数α（すなわちλbaseを基準にλを調整するための係数）と色差変換値との関係を示している。

表６は、符号化制御方法が前記（１−３）の動き検出方法のうちの（１−３−１）のアクティビティに基づくコスト関数の制御方法である場合のアクティビティの変化に対するλの調整係数αと色差変換値との関係を示している。

最後に、表７は符号化制御方法が前記（１−３）の動き検出方法のうちの（１−３−２）の動き検出アルゴリズムに基づく制御方法である場合の画面間差分の変化に対するλの動く検出アルゴリズムと色差変換値との関係を示している。

以上のようなテーブルを用いてプレビューモードで画像加工部１０３において入力画像１１に対し色変換による加工を行い、加工画像を符号化部１０４によって符号化することにより、符号化データを画像復号化装置２０１により復号して画像表示装置２０２で表示した際、色変換の結果から適応量子化等の効果を確認することができる。

図４〜図６を用いて、本実施形態による効果の一例について説明する。入力画像１１が図４に示すような人の画像であり、これに対して例えば特定色、特に肌色に基づく適応量子化方法が符号化制御方法として設定され、また色変換方法として肌色らしいほどマクロブロックを濃く塗りつぶすというような方法が設定されたとする。この場合、画像加工部１０３の処理により図５に示すような加工画像が得られる。さらに、ユーザが設定する強度（前述のアクティビティに基づく適応量子化であげられるScale）を強くすれば、図６に示すような加工画像が得られる。

以上の説明では入力画像１１が動画像の場合について述べたが、入力画像１１が静止画であって、符号化部１０４の符号化方式が例えばＪＰＥＧであったとした場合、アクティビティや顔尤度、エッジ尤度、色類似度に基づく適応量子化は動画像の場合と同様に行うことが可能である。ただし、静止画の場合、当然のことながら動き検出のアルゴリズムや動き検出方法に関しては例外となる。

なお、上述した本発明の実施形態に係る画像符号化装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、例えば特に画像解析部１０１、画像加工部１０３及び符号化部１０４については、コンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、画像符号化装置は上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、画像記憶装置１００及び符号化データ記憶装置は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の一実施形態に係る画像符号化装置を示すブロック図 図１の画像符号化装置に対応する画像復号化装置及を含む再生側システムを示すブロック図 図１の画像符号化装置の処理手順を示すフローチャート 入力画像の一例を示す図 本実施形態による加工後の入力画像の例を示す図 本実施形態による加工後の入力画像の例を示す図

符号の説明

１００・・・画像記憶装置
１０１・・・画像解析部
１０２・・・モード選択部
１０３・・・画像加工部
１０４・・・符号化部
１０５・・・ユーザ入力部
１０６・・・入力パラメータ設定部
２００・・・符号化データ記憶装置む
２０１・・・画像復号化装置
２０２・・・画像表示装置
１１・・・入力画像
１２・・・符号化パラメータ
１３・・・符号化制御方法指示情報
１４・・・色変換方法指示情報
２０・・・符号化データ
２１・・・再生画像

Claims (11)

1. 適応量子化方法、符号化モード判定方法及び動き検出方法の少なくとも一つを含む符号化制御方法と前記符号化制御方法に基づいて変動する符号化パラメータのレベルに応じた色変換方法とを示す入力パラメータを設定するステップと、
   前記符号化制御方法に従って入力画像を解析して前記符号化パラメータを算出するステップと、
   前記色変換方法及び前記符号化パラメータに従って前記入力画像に色変換を含む加工を施して加工画像を生成するステップと、
   プレビューモードと非プレビューモードとの選択を行うステップと、
   前記入力パラメータの符号化制御方法と前記符号化パラメータに従って、前記非プレビューモード時は前記入力画像を符号化し、前記プレビューモード時は前記加工画像を符号化するステップと、を具備することを特徴とする画像符号化方法。
2. 適応量子化方法、符号化モード判定方法及び動き検出方法の少なくとも一つを含む符号化制御方法と前記符号化制御方法に基づいて変動する符号化パラメータのレベルに応じた色変換方法とを示す入力パラメータを設定するパラメータ設定部と、
   前記符号化制御方法に従って入力画像を解析して前記符号化パラメータを算出する画像解析部と、
   前記色変換方法及び前記符号化パラメータに従って前記入力画像に色変換を含む加工を施して加工画像を生成する画像加工部と、
   プレビューモードと非プレビューモードとの選択を行うモード選択部と、
   前記入力パラメータの符号化制御方法と前記符号化パラメータに従って、前記非プレビューモード時は前記入力画像を符号化し、前記プレビューモード時は前記加工画像を符号化する符号化部と、を具備することを特徴とする画像符号化装置。
3. 前記色変換方法は、前記符号化パラメータのレベルに応じて前記入力画像の色差信号を変換する方法であることを特徴とする請求項２記載の画像符号化装置。
4. 前記符号化制御方法は、前記入力画像のアクティビティの大小に基づいて量子化パラメータの大小を制御する方法であって、前記画像解析部は、前記アクティビティを算出することを特徴とする請求項２記載の画像符号化装置。
5. 前記符号化制御方法は、前記入力画像の顔尤度に基づいて量子化パラメータの大小を制御する方法であって、前記画像解析部は、前記入力画像から顔領域を検出して前記顔尤度を算出することを特徴とする請求項２記載の画像符号化装置。
6. 前記符号化制御方法は、前記入力画像内のエッジ尤度に基づいて量子化パラメータの大小を制御する方法であって、前記画像解析部は、前記入力画像からエッジ領域を検出して前記エッジ尤度を算出することを特徴とする請求項２記載の画像符号化装置。
7. 前記符号化制御方法は、指定された特定色と前記入力画像内の指定された領域毎の代表色との類似度に基づいて量子化パラメータの大小を制御する方法であって、前記画像解析部は、前記類似度を算出することを特徴とする請求項２記載の画像符号化装置。
8. 前記符号化制御方法は、前記入力画像のアクティビティの大小に基づいて符号化モード判定のコスト関数を制御する方法であって、前記画像解析部は、前記アクティビティを算出することを特徴とする請求項２記載の画像符号化装置。
9. 前記符号化制御方法は、前記入力画像内のアクティビティの大小に基づいて動きベクトル検出のコスト関数を制御する方法であって、前記画像解析部は、前記アクティビティを算出することを特徴とする請求項２記載の画像符号化装置。
10. 前記符号化制御方法は、前記入力画像の画面間差分の大小に基づいて動き検出アルゴリズムを選択する方法であって、前記画像解析部は、前記画面間差分を算出することを特徴とする請求項２記載の画像符号化装置。
11. 適応量子化方法、符号化モード判定方法及び動き検出方法の少なくとも一つを含む符号化制御方法と前記符号化制御方法に基づいて変動する符号化パラメータのレベルに応じた色変換方法とを示す入力パラメータを設定することと、
    前記符号化制御方法に従って入力画像を解析して前記符号化パラメータを算出することと、
    前記色変換方法及び前記符号化パラメータに従って前記入力画像に色変換を含む加工を施して加工画像を生成することと、
    プレビューモードと非プレビューモードとの選択を行うことと、
    前記入力パラメータの符号化制御方法と前記符号化パラメータに従って、前記非プレビューモード時は前記入力画像を符号化し、前記プレビューモード時は前記加工画像を符号化することと、を含む画像符号化処理をコンピュータに行わせるためのプログラム。

Images