JP2006115380A - 画像処理装置および処理方法 - Google Patents

Abstract

【課題】 復号側においてフィルム粒子情報の喪失がほとんど感知されず、入力画像におけるフィルムの質感は保つことができ、大幅な画質の改善を可能とする。
【解決手段】 基本パターン生成装置８１によって、ランダムノイズのヒストグラムがフィルム粒子基本パターン情報５３とほぼ同一とされたフィルム粒子基本パターン８６が生成される。フィルム粒子基本パターン８６は、（６４×６４）画素であり、その中の（１６×１６）画素の領域が切り出されて乗算器８４に供給される。符号化側で作成されたフィルム粒子強度情報５４と、復号画像情報４２の（１６×１６）画素の領域の画素値の平均値８７に基づいて強度情報８８が生成される。この強度情報８８によって基本パターン８６の強度が調整される。強度調整がされたフィルム粒子画像８９が加算器８５にて復号画像情報４２の（１６×１６）画素の領域に対して画素単位で加算される。
【選択図】 図１０

Description

この発明は、例えばフィルム画像をMPEG-4 AVC(またはH.264)符号化を用いて符号化す
る場合に対して適用される画像処理装置および処理方法に関する。

従来の画像伝送受信、または画像記録再生装置（以下、両者を単に画像伝送装置と総称する。）について、図１を参照して説明する。まず、入力画像１１が画像符号化装置１２で符号化され、符号化情報は伝送系に応じて、無線・有線伝送路１３または蓄積メディア１４に送出または記録される。受信再生側では得られたデータが画像復号装置１５によって復号され、復号画像１６が得られる。

画像符号化装置１２において、入力画像データが数分の一から数十分の一にそのデータ量を削減された後に送信または記録される。例えばMPEG-4 AVC(またはH.264)符号化によ
って画像データを１．５Ｍbpsの伝送レートまで低くできる。このような符号化を行って
いるために、復号側で得られる復号画像１６と入力画像１１の違いは人間によって劣化として認識される。

従来の画像伝送装置においては送信または記録時に入力画像データ量の削減を行う。一般的にMPEG-4 AVC(またはH.264)符号化などの画像符号化規格においては人間の視覚にと
って顕著な劣化無しに効率的にデータ量を削減する方式が規定されている。しかしながら、限られた伝送帯域幅や記憶容量の下では画像のディテール情報が大幅に損なわれる。特に映画のようなフィルム画像を伝送または記録する場合は、映画の質感の多くを表現しているフィルム粒子情報が失われるために得られる復号画像の質が著しく劣化する。

図２Ａは、入力画像１１として適用されるフィルム画像の一例を示し、図２Ｂは、復号画像１６の一例を示す。図２から分かるように、入力画像２１ではフィルムの質感として検知されるフィルム粒子が知覚できるにも関わらず、復号画像２２ではそのフィルム粒子情報がほとんど失われてのっぺりした画像となっている。このようにフィルム粒子が失われるために、フィルムの質感を感じることができない問題が生じる。

従来では、スキャナで取り込んだ画像のノイズを抑制し、シャープネスを強調することが下記の特許文献１に記載されている。

特開平１１−２５０２４６号公報

かかる特許文献１に記載のものは、フィルム画像に特有の粒状ノイズを抑制するものであり、高能率符号化による符号化のために失われたフィルム画像の質感を復号側で改善するものではない。

従って、この発明の目的は、復号側においてフィルム粒子情報の喪失がほとんど感知されず、入力画像におけるフィルムの質感は保つことができ、結果として大幅な画質の改善を可能とする画像処理装置および処理方法を提供することにある。

上述した課題を解決するために、この発明の第１の態様は、入力画像信号を高能率符号化する画像処理装置において、
入力画像中で急峻な変化を含まない領域を検出する領域検出手段と、
領域検出手段により検出された領域内の画素値のレベル分布を示す基本パターン情報を抽出する第１の抽出手段と、
付加すべきフィルム粒子の強度を表す強度情報を求める第２の抽出手段と、
符号化データと基本パターン情報と強度情報とを伝送または記録する手段と
からなることを特徴とする画像処理装置である。また、この発明は、上述した符号化側の装置の処理を実現する符号化側の画像処理方法である。

この発明の第２の態様は、高能率符号化された符号化データと、入力画像中で急峻な変化を含まない領域内の画素値のレベル分布を示す基本パターン情報と、フィルム粒子を付加すべき程度を表す強度情報とを受信または再生する画像処理装置であって、
符号化データを復号する復号手段と、
ランダムノイズのレベル分布を基本パターン情報に示されるレベル分布と同様のものに変換してフィルム粒子画像を再構成する基本パターン生成手段と、
強度情報によってフィルム粒子画像の強度を調整する強度調整手段と、
強度が調整されたフィルム粒子画像を復号手段により得られた復号画像情報に付加する付加手段と
からなる画像処理装置である。また、この発明は、上述した復号側の装置の処理を実現する復号側の画像処理方法である。

この発明は、入力画像信号を高能率符号化し、符号化データを伝送または記録し、受信または再生された符号化データを復号する画像処理装置において、
符号化側に、
入力画像中で急峻な変化を含まない領域を検出する領域検出手段と、
領域検出手段により検出された領域内の画素値のレベル分布を示す基本パターン情報を抽出する第１の抽出手段と、
付加すべきフィルム粒子の強度を表す強度情報を求める第２の抽出手段と、
符号化データと基本パターン情報と強度情報とを伝送または記録する手段と
を設け、
復号側に、
符号化データと、基本パターン情報と、強度情報とを受信または再生する手段と、
ランダムノイズのレベル分布を基本パターン情報に示されるレベル分布と同様のものに変換してフィルム粒子画像を再構成する基本パターン生成手段と、
強度情報によってフィルム粒子画像の強度を調整する強度調整手段と、
強度が調整されたフィルム粒子画像を復号手段により得られた復号画像情報に付加する付加手段と
を設けた画像処理装置である。また、この発明は、上述した符号化側および復号側の装置の処理を実現する符号化側および復号側の画像処理方法である。

この発明によれば、復号側で失われるフィルム粒子情報を符号化側で予め効率よく抽出した上で復号側に伝送し、または、記録メディアに対して記録し、復号側では得られた情報から画像に付加するべきフィルム粒子情報を再構成して復号画像に付加することにより、フィルムの質感を復号画像に与え、結果として大幅な画質の改善を行うことを可能とする。

以下、この発明の一実施形態について図面を参照して説明する。図３は、この発明による画像伝送装置を示す。先ず符号化側について説明する。入力画像３１が画像符号化装置３２で高能率符号化され、データ量が圧縮された符号化情報３４が生成される。符号化情報３４は、伝送系に応じて、無線・有線伝送路３６に送出され、またはＤＶＤ(Digital Versatile Disc)等の蓄積メディア３７に記録される。

参照符号３３がフィルム粒子情報抽出装置を示す。フィルム粒子情報抽出装置３３は、入力画像３１からフィルム粒子情報を抽出し、抽出されたフィルム粒子情報３５が符号化情報３４と同様に伝送系に応じて、無線・有線伝送路３６に送出され、または蓄積メディア３７に記録される。

次に復号側について説明する。復号側において、受信符号化情報３８が画像復号装置４０に供給され、画像復号装置４０が受信符号化情報３８から復号画像情報４２を生成する。参照符号４１がフィルム粒子付加装置を示す。フィルム粒子付加装置４１は、受信フィルム粒子情報３９からフィルム粒子情報を再生した後、復号画像情報４２の特性に応じて再構成されたフィルム粒子情報を付加し、復号画像４３として出力する。

上述した画像符号化装置３２および画像復号装置４０は、一例としてMPEG-4 AVC(また
はH.264)符号化規格による処理を行う。この場合では、符号化情報３４が所定長のユニットを単位とするストリームデータの構成を有する。ストリームデータの中で、動画像の復号に必須でない、補足的な付加情報（ＳＥＩ：Supplemental Enhancement Informationと称される）を伝送するためのユニットを使用してフィルム粒子情報３５が伝送または記録される。すなわち、ＳＥＩには、ユーザが独自に定義する情報が存在しているので、このユーザ・データを利用してフィルム粒子情報３５が伝送または記録される。

図４は、フィルム粒子抽出装置３３の一例を示す。フィルム粒子抽出装置３３は、基本パターン抽出装置５１および強度抽出装置５２とから構成されている。基本パターン抽出装置５１は、入力画像３１からフィルム粒子を表すための情報を抽出し、フィルム粒子基本パターン情報５３として出力する。強度抽出装置５２は、フレーム毎にある平均値を持つ領域にどの程度の強度のフィルム粒子を付加すべきかという情報を画素値の範囲、例えば、０−２０, ２１−４０,・・・毎に計算し、その情報をフィルム粒子強度情報５４と
して出力する。フィルム粒子情報３５は、フィルム粒子基本パターン情報５３およびフィルム粒子強度情報５４の両者を総称するものである。

図５は、基本パターン抽出装置５１の一例の構成を示す。 基本パターン抽出装置５１
は、均一領域抽出装置６１とフィルタバンク６２とヒストグラム計算装置６３，６４，６５，６６および６７からなる。

均一領域抽出装置６１は、入力画像３１からフィルム粒子が均一に分布しており、且つ、画像が急峻な変化を含まない所定の大きさの領域（このような領域を均一領域と称する）を抽出し、均一領域データ６８を出力する。均一領域の例は、背景の空の画像のような平坦な画像である。均一領域データ６８は、均一領域内に存在する複数の画素データからなる。なお、均一領域データ６８を得るために、人間が直接指定する方法、または装置が出力した候補の中から一つを指定するといった方法も可能である。

このように得られた均一領域データ６８が以降の複数のハイパスフィルタ（図中Ｈで表す）と、ローパスフィルタ（図中Ｈで表す）とで構成されるフィルタバンク６２ａおよび６２ｂによって複数のサブバンドに分割される。フィルタバンク６２ａ，６２ｂを構成する各フィルタは、２次元にフィルタ係数が規定されたディジタルフィルタである。

なお、図５に示す構成例のように、一つのハイパスバンドと、一つのローパスバンドでフィルタバンク６２ａおよび６２ｂのそれぞれを構成しているが、これに加え、複数のバンドパスフィルタを設けるような構成も可能であり、段数も図５に示した２段ではなく多段の構成が可能である。

ベースバンドと、各サブバンドの出力は、それぞれのバンドに対応したヒストグラム計算装置６３〜６７に供給される。ヒストグラム計算装置６３〜６７によって各バンドの画素値の度数分布情報（以下、ヒストグラムと適宜称する）がそれぞれ抽出され、抽出されたヒストグラム情報がフィルム粒子基本パターン情報５３として出力される。

ヒストグラム情報は、予め定められた画素値範囲（以下、分割区間と適宜称する）に含まれる画素の個数を示す頻度情報である。例えば、予め定めた分割区間が−１９〜−１０，−９〜０，１〜＋１０，＋１１〜+２０の４区間であったとし、その時のヒストグラム
計算装置への入力データの各画素の値が例えば〔−１１,−５,−１,＋３，＋８，＋１４
〕であったとすると、出力されるヒストグラム情報は、各範囲に含まれる画素データの度数、すなわち、〔１，２，２，１〕となる。ヒストグラム情報は、それぞれのバンド毎に出力される。

図６は、強度抽出装置５２の一例の構成を示す。強度抽出装置５２は、均一領域抽出装置７１と強度計算装置７２とから構成されている。均一領域抽出装置６１と同様の均一領域抽出装置７１によって、入力画像３１から、均一領域が抽出され、均一領域情報７３が出力される。この場合、画像の急峻な領域については、非均一領域として、他の均一領域とは区別された情報が出力される。図６に示すように、入力画像中のａ，ｂ，ｃ，ｄ，ｅ，ｆが均一領域であり、黒くぬりつぶした領域が非均一領域である。

均一領域情報７３が強度計算装置７２に供給される。強度計算装置７２では、各均一領域に対して、その領域の平均画素値とフィルム粒子の分散値を算出する。フィルム粒子の分散値の算出には、例えば、均一領域内の画素値の分散値そのものを用いる、といった方法が可能である。そして、平均画素値とフィルム粒子の分散値を使用してフィルム粒子強度情報５４が算出される。フィルム粒子強度情報５４は、予め定められた領域平均値の範囲におけるフィルム粒子の分散の平均値である。

例えば、予め定めた領域例えば（１６×１６）画素の領域の画素値の平均値の範囲を、０〜１５,１６〜３１,・・・，２４０〜２５５とし、入力画像の均一領域における領域平均値と分散値の組が(領域平均値＝２８，分散値＝５００), (３０, １０００), (４４,
４００), (２５０, ２０)であったとすると、出力フィルム粒子強度情報は、〔０, ７５
０（＝（５００＋１０００）／２，４００,・・・，２０〕となる。これらは、画像がＲ
，Ｇ，ＢまたはＹ，Ｃｂ，Ｃｒのコンポーネントで構成されていた際には、各コンポーネント毎に出力される。このフィルム粒子強度情報は、１／１０００にされる等の正規化処理がなされ、復号側で生成されたフィルム粒子基本パターンに乗算されるのに適した値に変換される。

コンポーネントビデオ信号例えばＹ，Ｃｂ，Ｃｒのコンポーネントからなる場合、輝度信号Ｙのみでフィルム粒子情報を検出し、検出した結果によってＹ，Ｃｂ，Ｃｒの各コンポーネントに生成したフィルム粒子情報を付加する方法と、各コンポーネント毎にフィルム粒子情報を検出し、検出した結果によってＹ，Ｃｂ，Ｃｒの各コンポーネントに生成したフィルム粒子情報を付加する方法とが可能である。

上述した符号化側の処理における基本パターン抽出処理について図７を参照して概略的に説明する。図７Ａに示すように、１フレームの入力画像Ｉから均一領域Ｒが検出される。均一領域Ｒの大きさは、所定の大きさ例えば（６４×６４）画素とされる。均一領域Ｒの画素がフィルタバンク６２ａによって、ベースバンド、低域および高域に分割される。図５の構成では、さらにフィルタバンク６２ｂによって低域を周波数分割しているが、図７では、簡単のために、フィルタバンク６２ａのみを使用した例を示している。

図７Ｂは、周波数分割の一例を示している。図７Ｂにおいて、横軸が空間水平周波数を示し、縦軸が空間垂直周波数を示す。矩形の領域がベースバンドＢ１であり、水平および垂直の両周波数が高くなる領域が高域Ｂ２であり、水平および垂直の両周波数が低くなる領域が低域Ｂ３である。破線が高域の境界の位置を示し、実線が低域の境界の位置を示している。この例では、低域および高域の周波数領域が中域付近で重なっている。

各サブバンドの出力データがヒストグラム計算装置６３，６４および６５にそれぞれ供給される。ヒストグラム計算装置６３が図７Ｃにおいて、Ｆ１で示すようなベースバンドに関するヒストグラムを計算し、ヒストグラム計算装置６３が図７Ｃにおいて、Ｆ１で示すようなベースバンドに関するヒストグラムを計算し、ヒストグラム計算装置６３が図７Ｃにおいて、Ｆ１で示すようなベースバンドに関するヒストグラムを計算する。

図７Ｃにおいて、縦軸が度数であり、横軸が画素値の分割区間であり、各分割区間は、バンド毎に予め定められた画素値の範囲を有している。ヒストグラムＦ１，Ｆ２，Ｆ３がフィルム粒子基本パターン情報である。

図７では、フィルム粒子強度情報については説明されていないが、上述したように、フィルム粒子強度情報は、（１６×１６）画素のように、予め定められた領域の画素値の平均値の範囲におけるフィルム粒子の分散の平均値であり、必要に応じて正規化処理を受けたものである。

次に復号側の構成および処理について説明する。図８は、復号側のフィルム粒子付加装置４１の一例を示す。フィルム粒子付加装置４１は、フィルム粒子の基本パターン生成装置８１と、パターン強度計算装置８２と、領域平均値計算装置８３と、乗算器８４と、加算器８５とから構成されている。基本パターン生成装置８１は、フィルム粒子基本パターン情報５３から復号画像情報４２に付加される元となるフィルム粒子のパターンを生成し、フィルム粒子基本パターン８６を出力する。フィルム粒子のパターンは、符号化側で基本パターン抽出のために設定された領域と同一の大きさの領域例えば（６４×６４）画素の領域とされる。

領域平均値計算装置８３は、復号画像情報４２の予め決められた領域、例えば（１６×１６）画素の領域の画素値の平均値を求め、領域平均値８７を出力する。領域平均値８７がパターン強度計算装置８２に供給される。パターン強度計算装置８２は、領域平均値８７がフィルム粒子強度情報５４中のどの平均値区間に属するのかを判定し、その区間に対応したフィルム粒子強度をフィルム粒子強度情報８８として出力する。

例えば、予め定めた領域平均値の範囲が０〜１５，１６〜３１，・・・，２４０〜２５５であったとし、その時のフィルム粒子強度情報５４が〔０，７５０，４００，・・・，２０〕の場合、入力された領域平均値が２３であったとすると、その時出力されるフィルム粒子強度が７５０となる。但し、フィルム粒子強度情報は、上述したように、予め符号化側で正規化処理を受けている場合には、そのまま強度調整のための乗算に使用できる値に変換されている。この正規化は、復号側で行うこともできる。

フィルム粒子基本パターン８６は、フィルム粒子強度情報８８と乗算器８４によって乗算される。乗算器８４から再構成されたフィルム粒子画像８９が得られる。フィルム粒子画像８９が加算器８５にて復号画像情報４２に加算される。加算器８５から復号画像４３が出力される。加算器８５では、例えば（１６×１６）画素単位でフィルム粒子画像８９が復号画像情報４２の（１６×１６）画素に対して対応する位置の画素同士が加算される。フィルム粒子画像８９は、基本パターン生成装置８１にて生成された（６４×６４）画素の基本パターンから切り出されたものである。

なお、フィルム粒子基本パターン８６は、画面における均一性を出すために、フィルム粒子パターンを付加する領域単位、例えば１６×１６（画素）毎にそのパターンをシフトして加算することも可能である。例えば、領域のサイズをＨ×Ｖ、パターンの画素値をＧ（ｈ，ｖ）（０≦ｈ≦Ｈ）（０≦ｖ＜Ｖ）とした場合、領域ごとに乱数randh，randv（０≦randh≦Ｈ，０≦randv≦Ｖ）を生成し、実際に付加するパターンＡを以下のように計算することによって乱数でシフトされたパターンを得ることができる。このパターンを、フィルム粒子基本パターン８６としても良い。

Ａ(h,v)＝Ｇ(mod(h+randh,Ｈ)，mod(v＋+randv,Ｖ))

図９は、フィルム粒子基本パターン生成装置８１の一例の構成を示す。基本パターン生
成装置８１は、ノイズ生成装置９１と、ヒストグラムマッチング装置９２，９３，９４，９５，９６と、ハイパスフィルタ９７，９９と、ローパスフィルタ９８，１００と、合成フィルタバンク１０１とから構成されている。

ノイズ生成装置９１は、フィルム粒子基本パターンと同一サイズ（Ｈ×Ｖ）例えば（６４×６４）画素のノイズ（ガウスノイズ、一様乱数などのランダムノイズ）を生成する。生成されたノイズがヒストグラムマッチング装置９２に供給される。ヒストグラムマッチング装置９２は、フィルム粒子基本パターン情報５３とほぼ同一のヒストグラムを持つようにノイズに対して変換を行う。ヒストグラムマッチング装置９２をソフトウェア処理によって実現した場合の変換アルゴリズムの一例を下記に示す。

〔ヒストグラムマッチング装置におけるヒストグラムマッチアルゴリズム〕
１．フィルム粒子基本パターン情報５３におけるマッチさせる対象となるヒストグラムの最小値をCMIN、最大値をCMAX、CMINとCMAXの間のヒストグラムの分割区間の数をnumber of binsとする。binsは、ヒストグラム分割区間の一つを表している。また、符号化側で作成され、受信または再生されたヒストグラムの累積分布関数をCDF ref(bin) (０≦bin＜number of bins-１)とする。

２．入力信号（ノイズ生成装置９１の出力）をval org(h,v)とし、入力信号の累積分布関数をCDF org(bin) (０≦bin＜number of bins-１)とする。

３.入力信号val org(h,v)のそれぞれの要素について、以下の擬似コードによってval replを得、val org(h,v)をその値で置き換える。

val = CDF org(((val org(h,v)−CMIN)／(CMAX−CMIN)*(number of bins-１)));

for (i = ０; i < number of bins; i++)
if (CDF ref(i) >= val)
break;
if (i == number of bins)i--;

val repl = i / (number of bins−1) * (CMAX − CMIN)＋CMIN;

他のヒストグラムマッチング装置９３，９４，９５，９６も、上述したアルゴリズムのヒストグラムマッチング機能を有する。ヒストグラムマッチング装置９２の出力信号が分析ハイパスフィルタ９７および分析ローパスフィルタ９８に供給され、分析ハイパスフィルタ９７の出力がヒストグラムマッチング装置９３に供給され、分析ローパスフィルタ９８の出力がヒストグラムマッチング装置９４に供給される。

さらに、ヒストグラムマッチング装置９４の出力信号が分析ハイパスフィルタ９９および分析ローパスフィルタ１００に供給され、分析ハイパスフィルタ９９の出力がヒストグラムマッチング装置９５に供給され、分析ローパスフィルタ１００の出力がヒストグラムマッチング装置９６に供給される。

フィルム粒子基本パターン情報５３は、ヒストグラムマッチング装置９２〜９６のそれぞれに対して異なるヒストグラム情報を与える。図７Ｃにおけるヒストグラム情報Ｆ１がベースバンドに関するものであるので、ヒストグラムマッチング装置９２に対して供給され、ヒストグラム情報Ｆ２が高域に関するものであるので、ヒストグラムマッチング装置９３に対して供給され、ヒストグラムマッチング装置９２に対して供給され、ヒストグラム情報Ｆ３が低域に関するものであるので、ヒストグラムマッチング装置９４に対して供給される。

分析ハイパスフィルタ９７および９９、分析ローパスフィルタ９８および１００によってサブバンド分割が行われ、各サブバンドの成分が合成フィルタバンク１０１に供給される。合成フィルタバンク１０１は、ヒストグラムマッチング装置９３の出力信号が供給される合成ハイパスフィルタ１０２と、ヒストグラムマッチング装置９５の出力信号が供給される合成ハイパスフィルタ１０３と、ヒストグラムマッチング装置９６の出力信号が供給される合成ローパスフィルタ１０４とから構成されている。

合成ハイパスフィルタ１０３の出力信号および合成ローパスフィルタ１０４の出力信号が加算器１０５において加算され、合成ハイパスフィルタ１０２の出力信号と加算器１０５の出力信号とが加算器１０６で加算される。加算器１０６の出力にフィルム粒子基本パターン情報８６が取り出される。なお、合成フィルタバンクの構成は、符号化側におけるサブバンドの分割の構成に対応したものとされる。

フィルム粒子基本パターン情報８６が上述したように、フィルム粒子強度情報８８と乗算器８４によって乗算されることによって、強度が補正または調整される。強度調整されたフィルム粒子画像８９が復号画像情報４２に加算され、高能率符号化および復号化によって失われたフィルム粒子情報が有する高画質の復号画像４３が得られる。

図１０は、復号側におけるフィルム粒子画像の再構成処理を概略的に説明するものである。基本パターン生成装置８１によって、ノイズのヒストグラムがフィルム粒子基本パターン情報５３とほぼ同一とされたフィルム粒子基本パターン８６が生成される。フィルム粒子基本パターン８６は、（６４×６４）画素であり、その中の（１６×１６）画素の領域が切り出されて乗算器８４に供給される。

符号化側で作成され、フィルム粒子強度情報５４が保存され、復号画像情報４２の（１６×１６）画素の領域の画素値の平均値８７に応じて強度情報８８が出力される。この強度情報８８によって基本パターン８６の強度が調整される。強度調整がされたフィルム粒子画像８９が加算器８５にて復号画像情報４２の（１６×１６）画素の領域に対して画素単位で加算される。

次に、フィルム粒子情報の抽出とフィルム粒子画像の再構成の処理のいくつかの方法について、コンポーネントビデオ信号の場合を例に説明する。図１１は、第１の処理方法を示す。第１の処理方法は、コンポーネントＹ，Ｃｒ，Ｃｂのそれぞれで別々にフィルム粒子基本パターン情報とフィルム粒子強度情報とを抽出し、また、各フレームにおいて、これらの情報を抽出するものである。シーンＡとシーンＢとが存在する画像信号が示されている。復号側においても、コンポーネントＹ，Ｃｒ，Ｃｂのそれぞれに関して、フレーム毎のフィルム粒子基本パターン情報とフィルム粒子強度情報とを使用してフィルム粒子が再構成される。

図１２は、第２の処理方法を示す。第２の処理方法では、コンポーネントＹ，Ｃｒ，Ｃｂのそれぞれで別々にフィルム粒子基本パターン情報とフィルム粒子強度情報とが抽出される。フィルム粒子基本パターン情報は、各シーンの先頭のフレームにおいてのみ抽出される。復号側では、抽出された基本パターン情報が同じシーン内の全フレームに対して共通に使用される。フィルム粒子強度情報は、第１の処理方法と同様に、コンポーネント毎に抽出され、また、各フレームで抽出される。

図１３は、第３の処理方法を示す。第３の処理方法では、コンポーネント中の輝度信号Ｙのみからフィルム粒子基本パターン情報が抽出される。また、フィルム粒子基本パターン情報は、各シーンの先頭のフレームにおいてのみ抽出される。復号側では、抽出された基本パターン情報が同じシーン内の全フレームおよび全コンポーネントに対して共通に使用される。フィルム粒子強度情報は、第１の処理方法と同様に、コンポーネント毎に抽出され、また、各フレームで抽出される。

図１４は、第４の処理方法を示す。第４の処理方法では、コンポーネントＹ，Ｃｒ，Ｃｂのそれぞれで別々にフィルム粒子基本パターン情報とフィルム粒子強度情報とが抽出される。フィルム粒子基本パターン情報およびフィルム粒子強度情報の両者は、各シーンの先頭のフレームにおいてのみ抽出される。復号側では、抽出された基本パターン情報および強度情報が同じシーン内の全フレームに対して共通に使用される。

図１５は、第５の処理方法を示す。第５の処理方法では、コンポーネント中の輝度信号Ｙのみからフィルム粒子基本パターン情報が抽出される。また、フィルム粒子基本パターン情報は、各シーンの先頭のフレームにおいてのみ抽出される。復号側では、抽出された基本パターン情報が同じシーン内の全フレームおよび全コンポーネントに対して共通に使用される。フィルム粒子強度情報は、コンポーネントＹ，Ｃｒ，Ｃｂのそれぞれで別々に抽出される。フィルム粒子強度情報は、各シーンの先頭のフレームにおいてのみ抽出される。復号側では、抽出されたフィルム粒子強度情報が同じシーン内の全フレームに対してコンポーネント毎に共通に使用される。

図１６は、第６の処理方法を示す。第６の処理方法では、フィルム粒子基本パターン情報およびフィルム粒子強度情報の両者がコンポーネント中の輝度信号Ｙのみから抽出される。復号側では、抽出された基本パターン情報および強度情報の両者が同じシーン内の全フレームおよび全コンポーネントに対して共通に使用される。

上述した第１乃至第６の処理方法は、フィルム粒子付加による画質改善効果と、伝送するフィルム粒子情報のデータ量との兼ね合いを考慮して適切なものが使用される。また、第１乃至第６の処理方法の２以上の方法を選択可能と構成してユーザの操作で切り替えるようにしても良い。

以上、この発明の実施の形態について具体的に説明したが、この発明は、上述の実施の形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。例えば、サブバンドの分割方法としては、水平周波数方向および垂直周波数方向のそれぞれを２分割して４個のサブバンドを形成しても良い。また、ノイズ成分をフィルム粒子基本パターン情報にしたがって加工する方法としては、上述したアルゴリズム以外のものを適用できる。さらに、この発明においては、動画の高能率符号化方法としては、MPEG-4 AVC(またはH.264)符号化以外のＭＰＥＧ２等の符号化を使用しても良い。

この発明を適用できる従来の画像伝送装置の一例を示すブロック図である。 従来の画像伝送装置における入力画像と復号画像の例を示す略線図である。 この発明による画像伝送装置の一実施形態の概略を示すブロック図である。 この発明の一実施形態におけるフィルム粒子情報抽出装置の一例のブロック図である。 フィルム粒子抽出装置におけるフィルム粒子基本パターン情報抽出装置の一例のブロック図である。 フィルム粒子抽出装置におけるフィルム粒子強度情報抽出装置の一例のブロック図である。 フィルム粒子基本パターン情報の抽出処理を概略的に説明する略線図である。 この発明の一実施形態におけるフィルム粒子付加装置の一例のブロック図である。 フィルム粒子付加装置における基本パターン生成装置の一例のブロック図である。 フィルム粒子付加処理を概略的に説明する略線図である。 フィルム粒子情報抽出およびフィルム粒子付加処理の処理の第１の方法を説明するタイミングチャートである。 フィルム粒子情報抽出およびフィルム粒子付加処理の処理の第２の方法を説明するタイミングチャートである。 フィルム粒子情報抽出およびフィルム粒子付加処理の処理の第３の方法を説明するタイミングチャートである。 フィルム粒子情報抽出およびフィルム粒子付加処理の処理の第４の方法を説明するタイミングチャートである。 フィルム粒子情報抽出およびフィルム粒子付加処理の処理の第５の方法を説明するタイミングチャートである。 フィルム粒子情報抽出およびフィルム粒子付加処理の処理の第６の方法を説明するタイミングチャートである。

符号の説明

３１ 入力画像
３２ 画像符号化装置
３３ フィルム粒子情報抽出装置
３４ 符号化情報
３５ フィルム粒子情報
４０ 画像復号装置
４１ フィルム粒子付加装置
４２ 復号画像情報
４３ 復号画像
５１ 基本パターン抽出装置
５２ 強度抽出装置
５３ フィルム粒子基本パターン情報
５４ フィルム粒子強度情報
６１ 均一領域抽出装置
６２ａ，６２ｂ フィルタバンク
６３〜６７ ヒストグラム計算装置
７１ 均一領域抽出装置
７２ 強度計算装置
８１ 基本パターン生成装置
８２ パターン強度計算装置
８３ 領域平均値計算装置
９１ ノイズ生成装置
９２〜９６ ヒストグラムマッチング装置
１０１ 合成フィルタバンク

Claims (15)

1. 入力画像信号を高能率符号化する画像処理装置において、
   入力画像中で急峻な変化を含まない領域を検出する領域検出手段と、
   上記領域検出手段により検出された上記領域内の画素値のレベル分布を示す基本パターン情報を抽出する第１の抽出手段と、
   付加すべきフィルム粒子の強度を表す強度情報を求める第２の抽出手段と、
   符号化データと上記基本パターン情報と上記強度情報とを伝送または記録する手段と
   からなることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   上記第１の抽出手段は、上記領域内の画素の値の度数分布を上記基本パターン情報とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   上記第１の抽出手段は、上記領域内の画素を複数の周波数帯域に分割し、各周波数帯域毎に上記基本パターン情報を抽出する画像処理装置。
4. 請求項１に記載の画像処理装置において、
   上記第２の抽出手段は、領域毎の画素の平均値に応じて上記強度情報を生成する画像処理装置。
5. 請求項１に記載の画像処理装置において、
   上記第１および第２の抽出手段が上記基本パターン情報および上記強度情報を上記入力画像中のフレーム毎に検出する画像処理装置。
6. 請求項１に記載の画像処理装置において、
   上記第１および第２の抽出手段が上記基本パターン情報および上記強度情報を上記入力画像中のシーン毎に検出する画像処理装置。
7. 請求項１に記載の画像処理装置において、
   上記第１および第２の抽出手段の一方が上記基本パターン情報および上記強度情報の一方を上記入力画像のフレーム毎に検出し、上記第１および第２の抽出手段の他方が上記基本パターン情報および上記強度情報の他方を上記入力画像中のシーン毎に検出する画像処理装置。
8. 高能率符号化された符号化データと、入力画像中で急峻な変化を含まない領域内の画素値のレベル分布を示す基本パターン情報と、フィルム粒子を付加すべき程度を表す強度情報とを受信または再生する画像処理装置であって、
   符号化データを復号する復号手段と、
   ランダムノイズのレベル分布を上記基本パターン情報に示されるレベル分布と同様のものに変換してフィルム粒子画像を再構成する基本パターン生成手段と、
   上記強度情報によって上記フィルム粒子画像の強度を調整する強度調整手段と、
   強度が調整された上記フィルム粒子画像を上記復号手段により得られた復号画像情報に付加する付加手段と
   からなる画像処理装置。
9. 請求項８に記載の画像処理装置において、
   上記基本パターン生成手段により生成された上記フィルム粒子画像内の領域を切り出して上記復号画像情報に付加する画像処理装置。
10. 請求項９に記載の画像処理装置において、
    切り出される上記領域の位置をランダムに変化させる画像処理装置。
11. 請求項８に記載の画像処理装置において、
    上記強度調整手段は、画像の一定領域単位で強度を調整する画像処理装置。
12. 入力画像信号を高能率符号化し、符号化データを伝送または記録し、受信または再生された上記符号化データを復号する画像処理装置において、
    符号化側に、
    入力画像中で急峻な変化を含まない領域を検出する領域検出手段と、
    上記領域検出手段により検出された上記領域内の画素値のレベル分布を示す基本パターン情報を抽出する第１の抽出手段と、
    付加すべきフィルム粒子の強度を表す強度情報を求める第２の抽出手段と、
    符号化データと上記基本パターン情報と上記強度情報とを伝送または記録する手段と
    を設け、
    復号側に、
    上記符号化データと、上記基本パターン情報と、上記強度情報とを受信または再生する手段と、
    ランダムノイズのレベル分布を上記基本パターン情報に示されるレベル分布と同様のものに変換してフィルム粒子画像を再構成する基本パターン生成手段と、
    上記強度情報によって上記フィルム粒子画像の強度を調整する強度調整手段と、
    強度が調整された上記フィルム粒子画像を上記復号手段により得られた復号画像情報に付加する付加手段と
    を設けた画像処理装置。
13. 入力画像信号を高能率符号化する画像処理方法において、
    入力画像中で急峻な変化を含まない領域を検出する領域検出ステップと、
    上記領域検出ステップにより検出された上記領域内の画素値のレベル分布を示す基本パターン情報を抽出する第１の抽出ステップと、
    付加すべきフィルム粒子の強度を表す強度情報を求める第２の抽出ステップと、
    符号化データと上記基本パターン情報と上記強度情報とを伝送または記録するステップと
    からなることを特徴とする画像処理方法。
14. 高能率符号化された符号化データと、入力画像中で急峻な変化を含まない領域内の画素値のレベル分布を示す基本パターン情報と、フィルム粒子を付加すべき程度を表す強度情報とを受信または再生する画像処理方法であって、
    符号化データを復号する復号ステップと、
    ランダムノイズのレベル分布を上記基本パターン情報に示されるレベル分布と同様のものに変換してフィルム粒子画像を再構成する基本パターン生成ステップと、
    上記強度情報によって上記フィルム粒子画像の強度を調整する強度調整ステップと、
    強度が調整された上記フィルム粒子画像を上記復号ステップにより得られた復号画像情報に付加する付加ステップと
    からなる画像処理方法。
15. 入力画像信号を高能率符号化し、符号化データを伝送または記録し、受信または再生された上記符号化データを復号する画像処理方法において、
    符号化側の処理は、
    入力画像中で急峻な変化を含まない領域を検出する領域検出ステップと、
    上記領域検出ステップにより検出された上記領域内の画素値のレベル分布を示す基本パターン情報を抽出する第１の抽出ステップと、
    付加すべきフィルム粒子の強度を表す強度情報を求める第２の抽出ステップと、
    符号化データと上記基本パターン情報と上記強度情報とを伝送または記録するステップと
    からなり、
    復号側の処理は、
    上記符号化データと、上記基本パターン情報と、上記強度情報とを受信または再生するステップと、
    ランダムノイズのレベル分布を上記基本パターン情報に示されるレベル分布と同様のものに変換してフィルム粒子画像を再構成する基本パターン生成ステップと、
    上記強度情報によって上記フィルム粒子画像の強度を調整する強度調整ステップと、
    強度が調整された上記フィルム粒子画像を上記復号ステップにより得られた復号画像情報に付加する付加ステップと
    からなる画像処理方法。