JP2010041654A

JP2010041654A - 動画像符号化方法および装置

Info

Publication number: JP2010041654A
Application number: JP2008205532A
Authority: JP
Inventors: Naoto Date; 直人伊達; Tomoo Yamakage; 朋夫山影
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2008-08-08
Filing date: 2008-08-08
Publication date: 2010-02-18

Abstract

【課題】復号化側において入力画像を忠実に再現できるような適切なモデル情報を符号化側において選定可能な動画像符号化装置を提供する。
【解決手段】符号化対象の入力画像をノイズ成分とノイズ成分以外のベース画像に分離する。ベース画像を圧縮符号化して符号化データを得る。ノイズ成分を複数のブロックに分割する。ノイズ成分のブロック毎の第１特徴量を算出する。様々な形状パターンのノイズ画像の第２特徴量を保持するデータベースから第１特徴量との類似度が最も高い第２特徴量を探索する。該探索された第２特徴量を示すインデックスを生成する。第２特徴量の強度を第２特徴量の強度で除して変調係数を算出する。インデックスおよび変調係数のそれぞれの代表値を決定する。符号化データに代表値を多重化して符号化ストリームを生成する。
【選択図】図１

Description

この発明は、フィルムグレインを良好に再現可能な動画像符号化方法および装置に関する。

デジタルバーサタイルディスク（ＤＶＤ）のコンテンツ用途等を目的として映画フィルム映像を符号化する場合、映画本来の雰囲気を損なってしまうという問題がある。これは、符号化に伴い映像中のフィルムグレイン（フィルムの粒子感）が失われるためである。フィルムグレインはハリウッドの魂とも呼ばれており、ＤＶＤオーサリングスタジオにおいて非常に重要視されている。

フィルムグレインをうまく再現するための方法として、特許文献１に開示されたフィルムグレインシミュレーション方法があげられる。代表例に、動画像符号化の国際標準規格の一つであるＨ．２６４におけるフィルムグレインテクノロジー（Film Grain Technology：ＦＧＴ）がある。

ＦＧＴにおける符号化処理では、まず動画像である入力画像に対してフィルムグレイン除去処理を施すことにより、フィルムグレインを除去したメイン画像を生成する。生成されたメイン画像に対して、符号化部により動き補償、直交変換および量子化を用いた圧縮符号化の処理を行う。一方、ノイズ推定部により入力画像とメイン画像との差分からフィルムグレイン画像を生成し、フィルムグレインを再現するための情報（引用するフィルムグレイン画像データベースを識別するための情報、フィルムグレインの強度等）を推定してモデル情報を生成する。

次に、ＦＧＴにおける復号処理では、復号部によって復号画像としてフィルムグレインが除去されているメイン画像を生成し、ノイズ生成部によって符号化部から送られてきたモデル情報を用いてメイン画像からノイズ画像、すなわちフィルムグレイン画像を生成する。生成されたメイン画像とフィルムグレイン画像を足し合わせることで、フィルムグレインが再現された出力画像を得る。

このようなＦＧＴの利点は、フィルムグレインを分離してモデル化するため、符号化処理によってフィルムグレインが失われることがなく、映画本来の雰囲気を再現できることである。
米国特許出願公開第２００６／００８２６４９号明細書

ＦＧＴでは、フィルムグレインを再現するためのモデル情報に従い、フィルムグレインを生成する、復号側の処理のみが規定されており、符号化側の処理は規定されていない。

本発明は、復号化側において入力画像を忠実に再現できるような適切なモデル情報を符号化側において選定可能な動画像符号化方法および装置を提供することを目的とする。

本発明の第１様態によると、符号化対象画像をノイズ成分とノイズ成分以外のベース画像に分離するステップと、前記ベース画像を圧縮符号化して符号化データを得るステップと、前記ノイズ成分を複数のブロックに分割するステップと、前記ノイズ成分の前記ブロック毎の第１特徴量を算出するステップと、様々な形状パターンのノイズ画像の第２特徴量を保持したデータベースから前記第１特徴量との類似度が最も高い第２特徴量を探索し、探索された第２特徴量を示すインデックスを生成するステップと、前記第１特徴量の強度を前記第２特徴量の強度で除して変調係数を算出するステップと、前記インデックスおよび前記変調係数のそれぞれの代表値を決定するステップと、前記符号化データに前記代表値を多重化して符号化ストリームを生成するステップと、を具備する動画像符号化方法を提供する。

本発明の第２の態様によると、符号化対象画像を圧縮符号化して符号化データを得るステップと、前記符号化データを復号化して復号画像を得るステップと、前記符号化対象画像および復号画像をそれぞれ複数のブロックに分割するステップと、前記符号化対象画像のブロック毎の第１特徴量を算出するステップと、前記復号画像のブロック毎の第２特徴量を算出するステップと、前記第１特徴量から前記第２特徴量を差し引いて第３特徴量を算出するステップと、様々な形状パターンのノイズ画像の第４特徴量を保持したデータベースから前記第３特徴量との類似度が最も高い第４特徴量を探索し、該探索された第４特徴量を示すインデックスを生成するステップと、前記第３特徴量の強度を前記第４特徴量の強度で除して変調係数を算出するステップと、前記インデックスおよび前記変調係数のそれぞれの代表値を決定するステップと、前記符号化データに前記代表値を多重化して符号化ストリームを生成するステップと、を具備する動画像符号化方法を提供する。

本発明の第３の態様によると、符号化対象画像をノイズ成分とノイズ成分以外のベース画像に分離するステップと、前記ベース画像を圧縮符号化して符号化データを得るステップと、前記ノイズ成分を複数のブロックに分割するステップと、前記ノイズ成分の前記ブロック毎の第１特徴量を算出するステップと、様々な形状パターンのノイズ画像の第２特徴量を保持したデータベースから前記第１特徴量との類似度が最も高い第２特徴量を探索し、探索された第２特徴量を示す第１インデックス列を生成するステップと、前記第１特徴量の強度を前記第２特徴量の強度で除して第１変調係数列を算出するステップと、前記符号化対象画像を圧縮符号化して符号化データを得るステップと、前記符号化データを復号化して復号画像を得るステップと、前記符号化対象画像および復号画像をそれぞれ複数のブロックに分割するステップと、前記符号化対象画像のブロック毎の第３特徴量を算出するステップと、前記復号画像のブロック毎の第４特徴量を算出するステップと、前記第３特徴量から前記第４特徴量を差し引いて第５特徴量を算出するステップと、前記データベースから前記第５特徴量との類似度が最も高い第２特徴量を探索し、該探索された第２特徴量を示す第２インデックス列を生成するステップと、前記第５特徴量の強度を前記第２特徴量の強度で除して第２変調係数列を算出するステップと、前記第２変調係数列の要素が前記第１変調係数列の要素より大きい場合は、前記第２インデックス列の要素を前記第１インデックス列の要素で置き換え、かつ前記第２変調係数列の要素を前記第１変調係数列の要素で置き換えることによって、前記第２インデックス列および第２変調係数列を更新するステップと、更新後の第２インデックスおよび第２変調係数列のそれぞれの代表値を決定するステップと、前記符号化データに前記代表値を多重化して符号化ストリームを生成するステップと、を具備する動画像符号化方法を提供する。

さらに、本発明によると上述した動画像符号化処理をハードウェアにより実現する動画像符号化装置、あるいは上述した動画像符号化処理をコンピュータに行わせるためのプログラムが提供される。

一般的に映画に対して動画像符号化処理を施すと、高周波成分であるフィルムグレインが損失し映画の雰囲気を損なってしまう傾向がある。これに対し、本発明によるとフィルムグレインを忠実に再現するためのモデル情報を選定することが可能となり、これを映像圧縮データに付加できる。従って、より高品質な映像をデジタルバーサタイルディスク（ＤＶＤ）のコンテンツ等に収録し、ユーザに提供することが可能となる。

以下、添付図面を参照して本発明の実施の形態を説明する。
（第１の実施形態）
＜動画像符号化装置について＞
本発明の第１の実施形態に係る動画像符号化装置は、図１に示されるようにノイズリダクション部１１、符号化部１２、減算部１３、ブロック分割部１４、特徴量算出部１５、データベース探索／インデックス生成部１６、変調係数算出部１７、インデックスと変調係数のための代表値決定化部１８、多重化部１９およびノイズデータベース２０を備えている。

以下、図２に示すフローチャートを参照しつつ図１の動画像符号化装置について詳しく説明する。

符号化対象画像である動画像入力端子１０からの入力画像１００は、まずノイズリダクション部１１によってノイズ成分であるフィルムグレインが除去される（ステップＳ２０１）。フィルムグレインが除去された画像１０１をベース画像と呼ぶ。ベース画像１０１は符号化部１２に入力され、動き補償、直交変換および量子化による周知の動画像圧縮符号化処理が施されることにより、ベース画像符号化データ１０２が生成される（ステップＳ２０２）。

一方、減算部１３においてフィルムグレインを含む入力画像１００とフィルムグレインが除去されたベース画像１０１との差分がとられ、ノイズ成分であるフィルムグレイン画像１０３が生成される（ステップＳ２０３）。言い換えれば、入力画像１０はノイズリダクション部１１と減算部１３によって、ベース画像１０１とフィルムグレイン画像１０３とに分離される。ノイズリダクション部１１および減算部１３は、このような分離を行うための分離部を形成している。

次に、フィルムグレイン画像１０３はブロック分割部１４によって複数のブロックに分割され、ブロック画像１０４が生成される（ステップＳ２０４）。さらに、特徴量算出部１５においてブロック画像１０４の特徴量、つまりフィルムグレイン画像１０３のブロック毎の特徴量１０５（以下、特徴量Ａと記載する）が算出される（ステップＳ２０５）。

ノイズデータベース２０は、例えば図３に示すような様々な形状パターンのノイズ画像（登録ノイズ画像という）の特徴量を記憶保持している。ノイズデータベース２０内の登録ノイズ画像の特徴量には、ノイズ画像の水平方向の位置を表す水平インデックスと垂直方向の位置を表す垂直インデックスが対応付けられている。特徴量Ａおよびノイズデータベース２０内の特徴量の具体例については、後述する。

特徴量算出部１５においてフィルムグレイン画像１０３のブロック毎の特徴量Ａが算出されると、次にデータベース探索／インデックス生成部１６によってデータベース探索、すなわちノイズデータベース２０から特徴量Ａとの類似度が最も高い、登録ノイズ画像の特徴量Ｂを探索する処理が行われる（ステップＳ２０６）。このデータベース探索により、ノイズデータベース２０内の探索された特徴量Ｂを示すインデックス１０６が生成される（ステップＳ２０７）。図４は、このようにしてインデックスが生成される様子を示している。

次に、変調係数算出部１７において特徴量算出部１５で算出された特徴量Ａの強度をノイズデータベース２０から探索された特徴量Ｂの強度で除することにより変調係数１０７が算出される（ステップＳ２０８）。変調係数１０７は、後述する復号化側（動画像復号化装置）においてフィルムグレイン画像（ノイズ成分）を生成する際に必要な、ノイズ画像に対して乗じる係数である。

次に、代表値決定部１８においてインデックス１０６および変調係数１０７の代表値が決定され、それに基づきモデル情報１０８、具体的には後述するFilm Grain SEIが生成される（ステップＳ２０９）。

最後に、多重化部１９においてベース画像符号化データ１０２にモデル情報１０８が多重化され、符号化ストリーム１０９が生成される（ステップＳ２１０）。

ここで、ノイズ画像であるフィルムグレイン画像の特徴量やノイズデータベース２０内の登録ノイズ画像の特徴量としては、例えば周波数振幅スペクトル、正規化ノイズ画像の分散値、または正規化ノイズ画像の全変動が挙げられる。これらの場合、特徴量どうしの類似度を示す指標としては、周波数振幅スペクトルの正規化相関、正規化ノイズ画像の分散値の近さ、または正規化ノイズ画像の全変動の近さ、といった位相成分を考慮しない指標を用いる。

ノイズ画像同士の照合においては、一般的な画像照合（顔画像照合、指紋照合等）で用いられる画像同士の内積や、位相限定相関のような、形状情報が強く意味をもつ指標で相関をとることは適切ではない。これは、ノイズ画像の見た目の雰囲気が同様であっても、必ずしも同一形状の波形（特徴量）が現れるとは限らないためである。言い換えると、見た目の雰囲気が同様なノイズ画像をそれぞれ周波数帯域分割した場合に、周波数成分間の位相差は必ずしも同一とはならないということである。

変調係数算出部１７は、入力画像１００に含まれるフィルムグレインの信号強度を算出するために、フィルムグレイン画像のブロック毎に特徴量Ａの強度をインデックスの指し示すノイズデータベース２０内の登録ノイズ画像の特徴量Ｂの強度で除して変調係数を算出するという処理を行う。特徴量の強度としては、特徴量の絶対値積分値、標準偏差、または絶対値の最大値などを用いることができる。

上記のような処理の結果、データベース探索／インデックス生成部１６および変調係数算出部１７では、例えば図５に示すようなインデックスおよび変調係数が得られる。動画像復号化装置においては、各ブロックのインデックスが指し示す、ノイズデータベース内の登録ノイズ画像の特徴量に変調係数を掛け合わせることで、入力画像１００に含まれるフィルムグレインを再現することが可能となる。

インデックスおよび変調係数の代表値決定部１７は、図５中に示したインデックスと変調係数の情報量を削減するため、インデックスおよび変調係数それぞれについて代表値の決定（代表値化）を行う。前述のＦＧＴにおいて、フィルムグレインを再現するためのモデル情報１０８はfilm grain characteristics SEI message(Film Grain SEI)として規定されており、Film Grain SEI中には図６に示されるようにレンジ、変調係数、水平インデックスおよび垂直インデックスの情報が記載されている。

例えば、図６の一行目の情報（レンジ０〜１００、変調係数０．０６、水平インデックス６、垂直インデックス１０）の意味は、動画像復号化時のフィルムグレイン生成処理において、復号画像のブロックの信号平均値が０〜１００に収まるブロックに対し、水平インデックス６、垂直インデックス１０の登録ノイズ画像からノイズ画像を切り出して０．０６倍に変調し、それらを加算するという処理を表す。

代表値決定部１８におけるインデックスおよび変調係数の代表値化では、まず、インデックスおよび変調係数をベース画像（または復号画像）のブロック信号平均値に関連づける。次にレンジを決定し、インデックスおよび変調係数をレンジ毎にクラス分けする。レンジの決定法には、信号レベルを単純にＮ等分する、信号値のヒストグラムをＮ等分する等が挙げられる。最後に、各レンジに対応するクラス内で、インデックスおよび変調係数の平均値や中央値をそれぞれ代表値として算出することで、Film Grain SEIのフォーマットに合致した代表値化が完了する。

こうして代表値化されたインデックスおよび変調係数の記載されたFilm Grain SEIは、多重化部１９においてベース画像符号化データ１０２に付加され、符号化ストリーム１０９が生成される。符号化ビットストリーム１０９は、例えば図示しないＤＶＤあるいはＨＤＤＶＤのような蓄積媒体に記録されるか、あるいはインターネットのような伝送媒体に送出される。

以上述べた動画像符号化装置の処理により、入力画像１００に含まれるフィルムグレインを忠実に再現するためのモデル情報（Film Grain SEI）を選定し、符号化ストリーム１０９に付加することが可能となる。なお、これらの処理は色空間のそれぞれの要素に対して独立に適用され得る。例えば、ＹＣｂＣｒ空間であれば、Ｙ成分、Ｃｂ成分、Ｃｒ成分それぞれに独立に適用され得る。

＜動画像復号化装置について＞
次に、図７を用いて図１の動画像符号化装置に対応する動画像復号化装置について説明する。図７の動画像復号化装置は、分離部（デマルチプレクサ）３１、復号化部（デコーダ）３２、ノイズ生成部３３、ノイズデータベース３４および加算部３５を有する。

入力端子３０に前記の蓄積媒体から再生される、あるいは伝送媒体を介して送られてくる符号化ストリーム３００（基本的に、図１の動画像符号化装置から出力される符号化ストリーム１０９と同じ）が入力される。分離部３１では、符号化ビットストリーム３００から符号化データ３０１とモデル情報３０２が分離される。復号化部３２では、符号化データ３０１が復号されることによって、ベース画像３０４が生成される。

ノイズ生成部３３では、モデル情報３０２中のインデックスに従ってノイズデータベース３４からノイズ画像の特徴量が探索されると共に、探索された特徴量にモデル情報３０２中の変調係数が乗じられることにより、ノイズ画像（フィルムグレイン画像）３０４が生成される。最後に、加算部３５においてベース画像３０３とノイズ画像３０４が加算されることによって、フィルムグレインが再現された動画像の出力画像３０５が得られる。

（第２の実施形態）
図８は、本発明の第２の実施形態に係る動画像符号化装置であり、符号化部１２、復号化部２１、ブロック分割部２２Ａ，２２Ｂ、特徴量算出部２３Ａ，２３Ｂ、減算部２４、ノイズデータベース２０、データベース探索／インデックス生成部２６、変調係数算出部２７、代表値決定部２８および多重化部１９を有する。本実施形態では、図１中に示したノイズリダクション部１１は存在しない。

以下、図９に示すフローチャートを参照しつつ図８の動画像符号化装置について詳しく説明する。

符号化対象画像である動画像入力端子１０からの入力画像１００は、本実施形態ではまず符号化部１２に入力され、動き補償、直交変換および量子化による周知の動画像圧縮符号化処理が施されることにより符号化データ１０２が生成される（ステップＳ２１１）。符号化データ１０２は復号化部２１により復号化され、復号画像１１１が生成される（ステップＳ２１２）。符号化部１２においては、高周波成分が損失するという一般的な画像圧縮の性質のため、フィルムグレインが減少する。従って、符号化部１２から出力される符号化データ１０２を復号化部２１により復号化して得られる復号画像１１１は、第１の実施形態においてノイズリダクション部１１により得られるベース画像１０１とほぼ等価であるということができる。

次に、ブロック分割部２２Ａ，２２Ｂにより入力画像１００および復号画像１１１がそれぞれ複数のブロックに分割され、ブロック画像１１２Ａ，１１２Ｂが生成される（ステップＳ２１３）。さらに、特徴量算出部２３Ａ，２３Ｂにおいてブロック画像１１２Ａ，１１２Ｂの特徴量１１３Ａ，１１３Ｂ（特徴量Ｃ，Ｄとする）が算出される（ステップＳ２２１４）。次に、減算部２４において特徴量１１３Ａから特徴量１１３Ｂが差し引かれることにより、差分特徴量１１４（特徴量Ａとする）が生成される（ステップＳ２１５）。

ここで、具体的に特徴量Ｃ，Ｄは例えば周波数振幅スペクトルであるとする。この場合、減算部２４において特徴量Ｃから特徴量Ｄが差し引かれることにより得られる特徴量Ａは、符号化部１２の圧縮符号化処理によって失われた周波数振幅スペクトル（損失分周波数振幅スペクトルという）、言い換えればフィルムグレイン画像のブロック毎の特徴量を示すことになる。

ノイズデータベース２０は、第１の実施形態と同様に、例えば図３に示すような様々な形状パターンのノイズ画像（登録ノイズ画像）の特徴量を記憶保持している。ノイズデータベース２０内の登録ノイズ画像の特徴量には、ノイズ画像の水平方向の位置を表す水平インデックスと垂直方向の位置を表す垂直インデックスが対応付けられている。

特徴量算出部２３Ａ，２３Ｂおよび減算器２４においてフィルムグレイン画像１０３のブロック毎の特徴量Ａが算出されると、次にデータベース探索／インデックス生成部１６によってデータベース探索、すなわちノイズデータベース２０から特徴量Ａとの類似度が最も高い、登録ノイズ画像の特徴量Ｂを探索する処理が行われる（ステップＳ２１６）。例えば、特徴量Ａが各ブロックの損失周波数振幅スペクトルの場合、損失周波数振幅スペクトルとの正規化相関が最も高いノイズデータベース２０内の登録ノイズ画像の周波数振幅スペクトルが特徴量Ｂとして探索される。このようなデータベース探索により、ノイズデータベース２０内の特徴量Ｂを示すインデックス１１６が生成される（ステップＳ２１７）。図４は、このようにしてインデックスが生成される様子を示している。

次に、変調係数算出部２７において特徴量Ａの強度を特徴量Ｂの強度で除することにより、変調係数１１７が算出される（ステップＳ２１８）。具体的には、例えば各ブロックの損失周波数振幅スペクトルの強度（総和）をインデックスの指し示す登録ノイズの周波数振幅スペクトルの強度（総和）で除することにより、変調係数が算出される。変調係数１１７は、図７で説明した動画像復号化装置においてフィルムグレイン画像（ノイズ成分）を生成する際に必要な、ノイズ画像に対して乗じる係数である。

次に、代表値決定部２８においてインデックス１１６および変調係数１１７の代表値が決定され（代表値化）、それに基づきモデル情報１１８、具体的にはFilm Grain SEIが生成される（ステップＳ２１９）。代表値化の手法は第１の実施形態と同様であるため、説明を省略する。

最後に、多重化部１９においてベース画像符号化データ１０２にモデル情報１１８が多重化されることにより、符号化ストリーム１０９が生成される（ステップＳ２２０）。

このように本実施形態においても、第１の実施形態と同様に入力画像１００に含まれるフィルムグレインを忠実に再現するためのモデル情報（Film Grain SEI）を選定し、符号化ストリーム１０９に付加することが可能となる。なお、これらの処理は色空間のそれぞれの要素に対して独立に適用され得る。例えば、ＹＣｂＣｒ空間であれば、Ｙ成分、Ｃｂ成分、Ｃｒ成分それぞれに独立に適用され得る。

なお、本実施形態に係る動画像符号化装置に対応する動画像復号化装置は、例えば第１の実施形態で説明した図７に示した構成でよい。

（第３の実施形態）
図１０は、本発明の第３の実施形態に係る動画像符号化装置であり、図１に示した第１の実施形態と図８に示した第２の実施形態に係る動画像符号化装置を組み合わせた構成となっている。すなわち、図１０の動画像符号化装置は、ノイズリダクション部１１、符号化部１２、減算部１３、ブロック分割部１４、第１の特徴量算出部１５、第１のデータベース探索／インデックス列生成部１６、第１の変調係数列算出部１７、符号化部１２、復号化部２１、ブロック分割部２２Ａ，２２Ｂ、第２、第３の特徴量算出部２３Ａ，２３Ｂ、減算部２４、第２のデータベース探索／インデックス列生成部２６、第２の変調係数列算出部２７、ノイズデータベース２０、更新部２９、代表値決定部２８および多重化部１９を有する。

ここで、ノイズリダクション部１１、減算部１３、ブロック分割部１４、第１の特徴量算出部１５、データベース探索／インデックス列生成部１６および変調係数列算出部１７を経由して処理を行う経路を「第１処理経路」と呼び、また符号化部１２、復号化部２１、ブロック分割部２２Ａ，２２Ｂ、第２、第３の特徴量算出部２３Ａ，２３Ｂ、減算部２４、データベース探索／インデックス列生成部２６および変調係数列算出部２７を経由して処理を行う経路を「第２処理経路」と呼ぶことにする。

＜第１処理経路について＞
第１処理経路では、代表値決定部１８の前までの処理について第１の実施形態と同様の処理が行われる。すなわち、符号化対象画像である動画像入力端子１０からの入力画像１００から、ノイズリダクション部１１によってノイズ成分であるフィルムグレインが除去され、ベース画像１０１が生成される。ベース画像１０１は、符号化部１２によって動き補償、直交変換および量子化による周知の動画像圧縮符号化処理が施されることにより、ベース画像符号化データ１０２が生成される。

一方、減算部１３においてフィルムグレインを含む入力画像１００とフィルムグレインが除去されたベース画像１０１との差分がとられ、ノイズ成分であるフィルムグレイン画像１０３が生成される。言い換えれば、入力画像１０はノイズリダクション部１１と減算部１３からなる分離部によって、ベース画像１０１とフィルムグレイン画像１０３とに分離される。

次に、フィルムグレイン画像１０３はブロック分割部１４によって複数のブロックに分割され、ブロック画像１０４が生成される。さらに、特徴量算出部１５においてブロック画像１０４の特徴量、つまりフィルムグレイン画像１０３のブロック毎の特徴量１０５（特徴量Ａ）が算出される。

特徴量算出部１５においてフィルムグレイン画像１０３のブロック毎の特徴量Ａが算出されると、次にデータベース探索／インデックス列生成部１６によってデータベース探索、すなわち図３に示したようなノイズデータベース２０から特徴量Ａとの類似度が最も高い、登録ノイズ画像の特徴量Ｂを探索する処理が行われる。このデータベース探索により、ノイズデータベース２０内の特徴量Ｂを示すインデックス１０６が図４に示すように生成され、第１インデックス列として出力される。さらに、第１の変調係数列算出部１７において特徴量Ａの強度を特徴量Ｂの強度で除することにより、変調係数１０７の列（第１変調係数列）が算出される。

＜第２処理経路について＞
第２処理経路では、代表値決定部１８の前までの処理について第２の実施形態と同様の処理が行われる。すなわち、動画像入力端子１０からの入力画像１００は、符号化部１２に入力され、動き補償、直交変換および量子化による周知の動画像圧縮符号化処理が施されることにより、符号化データ１０２が生成される。符号化データ１０２は復号化部２１により復号化され、復号画像１１１が生成される。符号化部１２においては、高周波成分が損失するという一般的な画像圧縮の性質のため、フィルムグレインが減少する。従って、符号化部１２から出力される符号化データ１０２を復号化部２１により復号化して得られる復号画像１１１は、第１の実施形態においてノイズリダクション部１１により得られるベース画像１０１とほぼ等価であるということができる。

次に、ブロック分割部２２Ａ，２２Ｂにより入力画像１００および復号画像１１１がそれぞれ複数のブロックに分割され、ブロック画像１１２Ａ，１１２Ｂが生成される。さらに、特徴量算出部２３Ａ，２３Ｂにおいてブロック画像１１２Ａ，１１２Ｂの特徴量１１３Ａ，１１３Ｂ（特徴量Ｃ，Ｄとする）が算出される。次に、減算部２４において特徴量１１３Ａから特徴量１１３Ｂが差し引かれることにより、差分特徴量１１４（特徴量Ａとする）が生成される。

特徴量算出部２３Ａ，２３Ｂおよび減算器２４においてフィルムグレイン画像１０３のブロック毎の特徴量Ａが算出されると、次にデータベース探索／インデックス生成部１６によってデータベース探索、すなわちノイズデータベース２０から特徴量Ａとの類似度が最も高い、登録ノイズ画像の特徴量Ｂを探索する処理が行われる。例えば、特徴量Ａが各ブロックの損失周波数振幅スペクトルの場合、損失周波数振幅スペクトルとの正規化相関が最も高いノイズデータベース２０内の登録ノイズ画像の周波数振幅スペクトルが特徴量Ｂとして探索される。このようなデータベース探索により、ノイズデータベース２０内の特徴量Ｂを示すインデックス１１６が図４に示すようにして生成され、第２インデックス列として出力される。

次に、第２の変調係数列算出部２７において特徴量Ａの強度を特徴量Ｂの強度で除することにより、変調係数１１７の列（第２変調係数列）が算出される。具体的には、例えば各ブロックの損失周波数振幅スペクトルの強度（総和）をインデックスの指し示す登録ノイズの周波数振幅スペクトルの強度（総和）で除することにより、変調係数が算出される。変調係数１１７は、図７で説明した動画像復号化装置においてフィルムグレイン画像（ノイズ成分）を生成する際に必要な、ノイズ画像に対して乗じる係数である。

＜更新処理および代表値化について＞
次に、更新部２９において第１処理経路で得られる第１インデックス列および第１変調係数列を用いて、第２処理経路で得られる第２インデックス列および第２変調係数列が適宜更新される。具体的には、更新部２９は第１変調係数列の要素と第２変調係数列の要素を比較し、第２変調係数列の要素が第１変調係数列の要素よりも大きければ、図１１に示すように第２インデックス列の要素と第２変調係数列の要素を第１インデックス列の要素と第１変調係数列の要素で置き換えることによって、第２インデックス列および第２変調係数列の更新を行う。符号化品質が低い場合、第２変調係数列の要素にはフィルムグレイン以外にもエッジやテクスチャの成分が加味され、必要以上に大きな値となってしまう。この影響を抑えるため、本実施形態では上述の置き換え処理を行う。

代表値決定部３１０は、更新部２９において上記のように更新された図１１中に示す第２インデックス列および第２変調係数列の情報量を削減するために代表値化、すなわち第２インデックスおよび第２変調係数列それぞれについての代表値の決定を行い、モデル情報１１８、具体的にはFilm Grain SEIを生成する。代表値化の手法は第１の実施形態と同様であるため、説明を省略する。

こうして代表値化された第２インデックス列および第２変調係数列の記載されたFilm Grain SEIは、多重化部１９においてベース画像符号化データ１０２に付加され、符号化ストリーム１０９が生成される。符号化ビットストリーム１０９は、例えば図示しないＤＶＤあるいはＨＤＤＶＤのような蓄積メディアに記録されるか、あるいはインターネットのような伝送媒体に送出される。

以上のような処理により、本実施形態においても入力画像１００に含まれるフィルムグレインを忠実に再現するためのモデル情報（Film Grain SEI）を選定し、符号化ストリーム１０９に付加することが可能となる。なお、これらの処理は色空間のそれぞれの要素に対して独立に適用され得る。例えば、ＹＣｂＣｒ空間であれば、Ｙ成分、Ｃｂ成分、Ｃｒ成分それぞれに独立に適用され得る。

第１の実施形態に係る動画像符号化装置を示すブロック図図１の動画像符号化装置の処理手順を示すフローチャート同実施形態におけるノイズデータベースの内容の一例を示す図同実施形態において生成されるインデックスを示す図同実施形態において生成されるインデックスおよび変調係数を示す図 film grain characteristics SEI messageに記載される情報を示す図第１の実施形態に係る動画像復号化装置を示すブロック図第２の実施形態に係る動画像符号化装置を示すブロック図第２の実施形態の処理手順を示すフローチャート第３の実施形態に係る動画像符号化装置を示すブロック図第３の実施形態において第２インデックス列および第２変調係数列が更新される様子を示す図

符号の説明

１０・・・動画像入力端子
１１・・・ノイズリダクション部
１２・・・符号化部
１３・・・減算部
１４・・・ブロック分割部
１５・・・特徴量算出部
１６・・・データベース探索／インデックス列生成部
１７・・・変調係数列算出部
１８・・・代表値決定部
１９・・・多重化部
２０・・・ノイズデータベース
１０７・・・動画像符号化装置
１００・・・入力画像
１０１・・・ベース画像
１０２・・・ベース画像符号化データ
１０３・・・フィルムグレイン画像（ノイズ成分）
１０４・・・ブロック画像
１０５・・・特徴量
１０６・・・インデックス
１０７・・・変調係数
１０８・・・代表値（モデル情報）
１０９・・・符号化ストリーム
２１・・・復号化部
２２Ａ，２２Ｂ・・・ブロック分割部
２３Ａ，２３Ｂ・・・特徴量算出部
２４Ａ・・・減算部
２６・・・データベース探索／インデックス列生成部
２７・・・変調係数列算出部
２８・・・代表値決定部
２９・・・更新部
１１１・・・復号画像
１１２Ａ，１１２Ｂ・・・ブロック画像
１１３Ａ，１１３Ｂ・・・特徴量
１１４・・・差分特徴量
３０・・・符号化データ入力端子
３１・・・分離部
３２・・・復号化部
３３・・・ノイズ生成部
３４・・・ノイズデータベース
３５・・・加算部
３００・・・入力符号化ストリーム
３０１・・・符号化データ
３０２・・・モデル情報
３０３・・・ベース画像
３０４・・・ノイズ画像
３０５・・・出力画像

Claims

符号化対象画像をノイズ成分とノイズ成分以外のベース画像に分離するステップと、
前記ベース画像を圧縮符号化して符号化データを得るステップと、
前記ノイズ成分を複数のブロックに分割するステップと、
前記ノイズ成分の前記ブロック毎の第１特徴量を算出するステップと、
様々な形状パターンのノイズ画像の第２特徴量を保持したデータベースから前記第１特徴量との類似度が最も高い第２特徴量を探索し、探索された第２特徴量を示すインデックスを生成するステップと、
前記第１特徴量の強度を前記第２特徴量の強度で除して変調係数を算出するステップと、
前記インデックスおよび前記変調係数のそれぞれの代表値を決定するステップと、
前記符号化データに前記代表値を多重化して符号化ストリームを生成するステップと、を具備する動画像符号化方法。
符号化対象画像を圧縮符号化して符号化データを得るステップと、
前記符号化データを復号化して復号画像を得るステップと、
前記符号化対象画像および復号画像をそれぞれ複数のブロックに分割するステップと、
前記符号化対象画像のブロック毎の第１特徴量を算出するステップと、
前記復号画像のブロック毎の第２特徴量を算出するステップと、
前記第１特徴量から前記第２特徴量を差し引いて第３特徴量を算出するステップと、
様々な形状パターンのノイズ画像の第４特徴量を保持したデータベースから前記第３特徴量との類似度が最も高い第４特徴量を探索し、該探索された第４特徴量を示すインデックスを生成するステップと、
前記第３特徴量の強度を前記第４特徴量の強度で除して変調係数を算出するステップと、
前記インデックスおよび前記変調係数のそれぞれの代表値を決定するステップと、
前記符号化データに前記代表値を多重化して符号化ストリームを生成するステップと、を具備する動画像符号化方法。
符号化対象画像をノイズ成分とノイズ成分以外のベース画像に分離するステップと、
前記ベース画像を圧縮符号化して符号化データを得るステップと、
前記ノイズ成分を複数のブロックに分割するステップと、
前記ノイズ成分の前記ブロック毎の第１特徴量を算出するステップと、
様々な形状パターンのノイズ画像の第２特徴量を保持したデータベースから前記第１特徴量との類似度が最も高い第２特徴量を探索し、探索された第２特徴量を示す第１インデックス列を生成するステップと、
前記第１特徴量の強度を前記第２特徴量の強度で除して第１変調係数列を算出するステップと、
前記符号化対象画像を圧縮符号化して符号化データを得るステップと、
前記符号化データを復号化して復号画像を得るステップと、
前記符号化対象画像および復号画像をそれぞれ複数のブロックに分割するステップと、
前記符号化対象画像のブロック毎の第３特徴量を算出するステップと、
前記復号画像のブロック毎の第４特徴量を算出するステップと、
前記第３特徴量から前記第４特徴量を差し引いて第５特徴量を算出するステップと、
前記データベースから前記第５特徴量との類似度が最も高い第２特徴量を探索し、該探索された第２特徴量を示す第２インデックス列を生成するステップと、
前記第５特徴量の強度を前記第２特徴量の強度で除して第２変調係数列を算出するステップと、
前記第２変調係数列の要素が前記第１変調係数列の要素より大きい場合は、前記第２インデックス列の要素を前記第１インデックス列の要素で置き換え、かつ前記第２変調係数列の要素を前記第１変調係数列の要素で置き換えることによって、前記第２インデックス列および第２変調係数列を更新するステップと、
更新後の第２インデックスおよび第２変調係数列のそれぞれの代表値を決定するステップと、
前記符号化データに前記代表値を多重化して符号化ストリームを生成するステップと、を具備する動画像符号化方法。
符号化対象画像をノイズ成分とノイズ成分以外のベース画像に分離する分離部と、
前記ベース画像を圧縮符号化して符号化データを得る符号化部と、
前記ノイズ成分を複数のブロックに分割する分割部と、
前記ノイズ成分の前記ブロック毎の第１特徴量を算出する特徴量算出部と、
様々な形状パターンのノイズ画像の第２特徴量を保持したデータベースと、
前記データベースから前記第１特徴量との類似度が最も高い第２特徴量を探索し、探索された第２特徴量を示すインデックスを生成するデータベース探索／インデックス生成部と、
前記第１特徴量の強度を前記第２特徴量の強度で除して変調係数を算出する変調係数算出部と、
前記インデックスおよび前記変調係数のそれぞれの代表値を決定する代表値決定部と、
前記符号化データに前記代表値を多重化して符号化ストリームを生成する多重化部と、を具備する動画像符号化装置。
符号化対象画像を圧縮符号化して符号化データを得る符号化部と、
前記符号化データを復号化して復号画像を得る復号化部と、
前記符号化対象画像および復号画像をそれぞれ複数のブロックに分割する分割部と、
前記符号化対象画像のブロック毎の第１特徴量を算出する第１の特徴量算出部と、
前記復号画像のブロック毎の第２特徴量を算出する第２の特徴量算出部と、
前記第１特徴量から前記第２特徴量を差し引いて第３特徴量を算出する減算部と、
様々な形状パターンのノイズ画像の第４特徴量を保持したデータベースと、
前記データベースから前記第３特徴量との類似度が最も高い第４特徴量を探索し、該探索された第４特徴量を示すインデックスを生成するデータベース探索／インデックス生成部と、
前記第３特徴量の強度を前記第４特徴量の強度で除して変調係数を算出する変調係数算出部と、
前記インデックスおよび前記変調係数のそれぞれの代表値を決定する代表値決定部と、
前記符号化データに前記代表値を多重化して符号化ストリームを生成する多重化部と、を具備する動画像符号化装置。
符号化対象画像をノイズ成分とノイズ成分以外のベース画像に分離する分離部と、
前記ベース画像を圧縮符号化して符号化データを得る符号化部と、
前記ノイズ成分を複数のブロックに分割する分割部と、
前記ノイズ成分の前記ブロック毎の第１特徴量を算出する第１の特徴量算出部と、
様々な形状パターンのノイズ画像の第２特徴量を保持したデータベースと、
前記データベースから前記第１特徴量との類似度が最も高い第２特徴量を探索し、探索された第２特徴量を示す第１インデックス列を生成する第１のデータベース探索／インデックス生成部と、
前記第１特徴量の強度を前記第２特徴量の強度で除して第１変調係数列を算出する第１の変調係数列算出部と、
前記符号化対象画像を圧縮符号化して符号化データを得る符号化部と、
前記符号化データを復号化して復号画像を得る復号化部と、
前記符号化対象画像および復号画像をそれぞれ複数のブロックに分割する分割部と、
前記符号化対象画像のブロック毎の第３特徴量を算出する第３の特徴量算出部と、
前記復号画像のブロック毎の第４特徴量を算出する第４の特徴量算出部と、
前記第３特徴量から前記第４特徴量を差し引いて第５特徴量を算出する減算部と、
前記データベースから前記第５特徴量との類似度が最も高い第２特徴量を探索し、該探索された第２特徴量を示す第２インデックス列を生成する第２のデータベース探索／インデックス生成部と、
前記第５特徴量の強度を前記第２特徴量の強度で除して第２変調係数列を算出する第２の変調係数列算出部と、
前記第２変調係数列の要素が前記第１変調係数列の要素より大きい場合は、前記第２インデックス列の要素を前記第１インデックス列の要素で置き換え、かつ前記第２変調係数列の要素を前記第１変調係数列の要素で置き換えることによって、前記第２インデックス列および第２変調係数列を更新する更新部と、
更新後の第２インデックスおよび第２変調係数列のそれぞれの代表値を決定する代表値決定部と、
前記符号化データに前記代表値を多重化して符号化ストリームを生成する多重化部と、を具備する動画像符号化装置。
前記特徴量は、正規化した周波数振幅スペクトルであることを特徴とする請求項４乃至６のいずれか１項記載の動画像符号化装置。
前記特徴量は、正規化した波形の分散値であることを特徴とする請求項４乃至６のいずれか１項記載の動画像符号化装置。
前記特徴量は、正規化した波形の全変動であることを特徴とする請求項４乃至６のいずれか１項記載の動画像符号化装置。
前記特徴量の強度は、前記特徴量の絶対値積分値であることを特徴とする請求項４乃至６のいずれか１項記載の動画像符号化装置。
前記特徴量の強度は、前記特徴量の標準偏差であることを特徴とする請求項４乃至６のいずれか１項記載の動画像符号化装置。
前記特徴量の強度は、前記特徴量の絶対値の最大値であることを特徴とする請求項４乃至６のいずれか１項記載の動画像符号化装置。