JP2005006007A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】効率的に主観画質を向上させることができる画像処理装置及び画像処理方法を提供することを目的とする。
【解決手段】直交変換係数の量子化処理により符号化された画像信号に対して復号画像信号を生成する画像処理装置において、前記符号化された画像信号の直交変換係数に、乱数に基づいたランダム信号を選択的に付加するランダム信号付加部と、前記ランダム信号付加部により前記ランダム信号が付加された信号を逆直交変換により画素空間データに変換する逆直交変換部とを有することにより、上記課題を解決する。
【選択図】 図２

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置及び画像処理方法に係り、特に、復号画像の主観画質を改善するための画像処理装置及び画像処理方法に関する。
【０００２】
【従来の技術】
従来、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）やＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ ＥｘｐｅｒｔｓＧｒｏｕｐ）等に代表される画像符号化方式では、効率良く情報量の削減を行うために、人間の視覚特性が比較的に鈍感な高周波画像領域に対して重点的に量子化が行われている。
【０００３】
ここで、画像を周波数成分に変換する手法としては、直交変換の一種であるＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）が広く用いられており、変換後のＤＣＴ係数値に対して重み付けをした量子化処理が行われる。一般に、ＤＣＴ及び量子化処理は画素ブロック単位で行われており、例えば、ＭＰＥＧ−２では８×８画素を単位とした画素ブロック毎に処理が行われる。
【０００４】
また、符号化された画像を復号するための復号装置として、例えば非特許文献１に記載の復号装置がある。
【０００５】
ここで、非特許文献１に記載されているＭＰＥＧ−２復号装置による画像処理について図を用いて説明する。
【０００６】
図１は、従来のＭＰＥＧ−２復号装置の一構成例を示す図である。
【０００７】
図１に示す復号装置は、バッファ１１と、可変長復号化部１２と、逆量子化部１３と、逆ＤＣＴ部１４と、動き補償予測部１５と、フォーマット変換部１６と、ビデオメモリ１７とを有するよう構成されている。
【０００８】
図１に示す復号装置に入力される符号化されたビットストリームは、一旦バッファ１１に蓄積され、バッファ１１からデータの読み出しが行われる。可変長復号化部１２は、マクロブロック（８×８画素ブロックの集合）毎の符号化情報が復号され、符号化モード、動きベクトル、量子化情報、及び量子化ＤＣＴ係数に分離される。
【０００９】
可変長復号化部１２で復号された８×８画素の量子化ＤＣＴ係数は、逆量子化部１３でＤＣＴ係数に復元されて逆ＤＣＴ部１４に出力され、逆ＤＣＴ部１４では、入力されたデータを画素空間データに変換する。
【００１０】
ここで、入力された符号化データの符号化モードがイントラ（画面内）符号化モードの場合は、そのままフォーマット変換部１６に出力される。また、符号化モードが動き補償予測モードの場合は、可変長復号化部１２から動き補償予測部１５に出力される予測モードと動きベクトルを用いて、動き補償予測部１５で動き補償予測されたブロックデータが逆ＤＣＴ部１４から出力された信号と加算されてフォーマット変換部１６に出力される。
【００１１】
上述の手順で画面内の全てのマクロブロックが復号され、フォーマット変換部１６に出力されると、フォーマット変換部１６は元の入力順序に並べ替えられて画面出力が行われ、必要に応じて画像サイズの変換を行った後、映像信号として出力される。
【００１２】
なお、画像フレームのピクチャタイプがＩピクチャ（画面内符号化画面）、又はＰピクチャ（前方向予測符号化画面）の場合には、その後の復号における画像処理において参照画面として用いる必要があるため、ビデオメモリ１７に画像フレームが順次蓄積される。
【００１３】
ここで、上述したような符号化、復号化を行うことによる画像の圧縮伸張に伴い、画質劣化要因であるブロックノイズ、モスキートノイズ等のノイズ成分が発生するが、その対応として画像処理における符号化、復号化により失われた画像の輪郭部分の高周波数成分をパラメータとして適応的にフィルタ処理を行い、ノイズ成分の除去と、画像のエッジ強調を行い画質改善を行う技術がある（例えば、特許文献１参照）。
【００１４】
【非特許文献１】
「総合マルチメディア選書 ＭＰＥＧ」（テレビジョン学会編、オーム社刊、１９９６）
【００１５】
【特許文献１】
特開平８−２７４９９６号公報
【００１６】
【発明が解決しようとする課題】
ところで、画像符号化では、限られた符号量で画像情報を表現しなくてはならないため、量子化により高域の情報量を重点的に削減する処理が行われている。これにより、復号画像においては細かい階調成分が失われてのっぺりとした画像になってしまい、また、エッジ部分ではリンギングが生じてモスキートノイズとして知覚されてしまう。これらは量子化ステップサイズ次第では大きな画質劣化につながってしまう。
【００１７】
また、上述したように量子化処理はブロック単位で量子化を行っているため、ブロック境界では隣接画素であっても量子化精度の違いからブロック境界がパターンとなって見えてしまういわゆるブロック歪が発生しやすい。これも量子化ステップサイズが大きいほど知覚されやすくなり画質劣化につながる。
【００１８】
また、上述の特許文献１では、デコード画像を周波数成分に分割するため、帯域通過（バンドパス）フィルタ処理を行っている。この例では、周波数毎に重み付けされた加算処理を行うことで、本来のエッジを強調させ、ノイズ成分を軽減させる処理を行っている。しかしながら、特許文献１では周波数変換に関する処理が必要となるため、画質改善のための画像処理ステップが多くなり効率的な画像処理を行うことができているとは言えない。
【００１９】
本発明は、上述した問題点に鑑みなされたものであり、効率的に人間が見た視覚的な画質を示す主観画質を向上させる画像処理装置及び画像処理方法を提供することを目的とする。
【００２０】
【課題を解決するための手段】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００２１】
請求項１に記載された発明は、直交変換係数の量子化処理により符号化された画像信号に対して復号画像信号を生成する画像処理装置において、前記符号化された画像信号の直交変換係数に、乱数に基づいたランダム信号を選択的に付加するランダム信号付加部と、前記ランダム信号付加部により前記ランダム信号が付加された信号を逆直交変換により画素空間データに変換する逆直交変換部とを有することを特徴とする。
【００２２】
請求項１記載の発明によれば、画像信号の直交変換係数に対して選択的に処理を行うことができ、直交変換係数にランダム信号を付加することにより、直交変換係数量子化に伴い失われた画像成分を擬似的に回復し、且つブロック歪やモスキートノイズといった符号化歪を低減し、効率的に主観画質を向上させることができる。
【００２３】
請求項２に記載された発明は、前記ランダム信号付加部は、前記符号化された画像信号における符号化に用いられた量子化情報に基づいて前記画像信号の直交変換係数に前記ランダム信号を付加することを特徴とする。
【００２４】
請求項２記載の発明によれば、量子化情報を用いることにより、例えば、粗く量子化を行っている部分には強めにランダム信号を加えたり、細かく量子化を行っている部分には弱めにランダム信号を加えたりすることで、視聴者に不要なノイズ感を与えず効率的にランダム信号を付加することができる。これにより、符号化パラメータを用いることにより、効率的に主観画質を向上させることができる。
【００２５】
請求項３に記載された発明は、前記ランダム信号付加部は、前記画像信号がピクチャ間の動き補償予測により符号化された動画像信号である場合に、前記動画像信号のストリームの中から符号化に用いられたパラメータ情報に基づいて前記ストリーム中の直交変換係数に前記ランダム信号を付加することを特徴とする。
【００２６】
請求項３記載の発明によれば、例えば、ストリームから動きベクトルを取得することで、動きベクトルの大きいマクロブロックの直交変換係数には弱めにランダム信号を加えたり、動きベクトルの小さいマクロブロックの直交変換係数には強めにランダム信号を加えたりすることで視聴者に不要なノイズ感を与えず効率的にランダム信号を付加することができる。これにより、効率的に主観画質を向上させることができる。
【００２７】
請求項４に記載された発明は、前記ランダム信号付加部は、前記画像信号がピクチャ間の動き補償予測により符号化された動画像信号である場合に、前記動画像信号のストリームにおけるピクチャタイプに基づいて前記ストリーム中の直交変換係数に前記ランダム信号を付加することを特徴とする。
【００２８】
請求項４記載の発明によれば、ピクチャタイプに応じてランダム信号を付加することで、例えば、ＩピクチャもしくはＢピクチャにのみランダム信号を加えたり、Ｉピクチャと比べてＰピクチャ、Ｂピクチャに加えるランダム信号のレベルを小さくしたりする処理を行うことで、ランダム信号の過剰な累積による画質劣化を抑えることができる。これにより、効率的に主観画質を向上させることができる。
【００２９】
請求項５に記載された発明は、前記ランダム信号付加部は、前記ストリーム中の直交変換係数に前記ランダム信号を付加する場合に、動き補償予測の参照画面となる画像には前記ランダム信号を付加しないことを特徴とする。
【００３０】
請求項５記載の発明によれば、ランダム信号を付加しないようにすることで、動き補償予測の参照画面にはランダム信号が付加されていないものを用いることができ、ランダム信号の累積による画質の劣化を防ぐことができる。これにより、主観画質を向上させることができる。
【００３１】
請求項６に記載された発明は、直交変換係数の量子化処理により符号化された画像信号に対して復号画像信号を生成する画像処理方法において、前記符号化された画像信号の直交変換係数に、乱数に基づいたランダム信号を選択的に付加するランダム信号付加段階と、前記ランダム信号付加段階により前記ランダム信号が付加された信号を逆直交変換により画素空間データに変換する逆直交変換段階とを有することを特徴とする。
【００３２】
請求項６記載の発明によれば、画像信号の直交変換係数に対して選択的に処理を行うことができ、直交変換係数にランダム信号を付加することにより、直交変換係数量子化に伴い失われた画像成分を擬似的に回復し、且つブロック歪やモスキートノイズといった符号化歪を低減し、効率的に主観画質を向上させることができる。
【００３３】
【発明の実施の形態】
＜本発明の特徴＞
本発明は、上記従来例のように、デコード画像に対して再び周波数成分に変換する処理を行わず、符号化ストリーム中の画像周波数情報を利用する。したがって周波数変換に関わる処理を低減させることができる。
【００３４】
更に具体的に説明すれば、符号化ストリーム中の画像における周波数情報に基づいて、ＤＣＴ係数値に対して乱数に基づいたランダム信号を加える。ここで、ＤＣＴ係数値は対応する画像信号の周波数毎に異なるため、各基底のＤＣＴ係数に対して操作を加えるということは、画像信号における周波数成分に操作を加えることと等価となる。
【００３５】
したがって、復号（デコード）後の処理でＦＦＴ（Ｆａｓｔ ＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ：高速フーリエ変換）等により画像を周波数成分に変換しなくても、ストリーム復号前のＤＣＴ係数を利用することで画像に対して周波数毎に選択的な処理を行うことが可能となる。
【００３６】
つまり本発明は、ＤＣＴ係数等の直交変換係数の量子化処理により符号化された画像の画質改善に関するもので、符号化画像の直交変換係数にランダム信号を付加することにより、直交変換係数量子化に伴い失われた階調及び高周波成分を擬似的に回復し、且つブロック歪やモスキートノイズといった符号化歪を低減し、主観画質を向上させるものである。
【００３７】
以下に、上記のような特徴を有する本発明における画像処理装置を好適に実施した形態について、図面を用いて詳細に説明する。また、以下発明の実施の形態の説明では、ＭＰＥＧ−２符号化方式を具体例として用いる。なお、本発明の適用範囲はＭＰＥＧ−２に限らず、直交変換とその係数の量子化を用いる静止画像、動画像符号化方式全般に適用することができる。
【００３８】
＜第１の実施の形態＞
図２は、本発明における画像処理装置の第１の実施の形態の一構成例を示す図である。図２の画像処理装置は、バッファ２１と、可変長復号化部２２と、逆量子化部２３と、逆ＤＣＴ部２４と、動き補償予測部２５と、フォーマット変換部２６と、ビデオメモリ２７と、ランダム信号付加器２８とを有するよう構成されている。
【００３９】
ここで、図２の画像処理装置は、上述の図１で説明した従来の復号装置にランダム信号付加器２８が設けられた構成となっている。
【００４０】
符号化されたビットストリームは、一旦バッファ２１に蓄積され、バッファ２１からデータの読み出しが行われる。可変長復号化部２２は、マクロブロック（８×８画素ブロックの集合）毎の符号化情報が復号され、符号化モード、動きベクトル、量子化情報、及び量子化ＤＣＴ係数が分離される。復号された８×８画素の量子化ＤＣＴ係数は、逆量子化部２３でＤＣＴ係数に復元され、逆ＤＣＴ部２４に出力される。ランダム信号付加器２８は、逆量子化部２３にて逆量子化された信号のＤＣＴ係数に対しランダム信号を付加して逆ＤＣＴ部２４へ出力する。逆ＤＣＴ部２４では、入力された画像データを画素空間データに変換する。
【００４１】
ここで、ランダム信号付加部２８におけるランダム信号の付加は、例えば、ＭＰＥＧ−２であれば、画像信号の構成要素である１つの輝度信号（Ｙ信号）と２つの色差信号（Ｕ信号、Ｖ信号）の夫々のＤＣＴ係数の値に対して選択的に行うことが可能であり、且つ各構成成分における個々のＤＣＴ係数の値に対しても選択的に行うことが可能である。
【００４２】
また、ランダム信号の取りうる範囲（乱数に基づくランダム信号の強度）も任意に指定することが可能である。なお、このとき発生されるランダム信号の発生頻度の分布は一様分布に限らず、ガウス分布等の非一様分布もあり得る。
【００４３】
上述のＹ信号、Ｕ信号、及びＶ信号の各信号のＤＣＴ係数に対して選択的にランダム信号の付加の制御を行うことで、例えば、モノクロ画像へのランダム信号付加の際にＹ信号にのみランダム信号を付加して、不要な色彩の発生による違和感を抑えられ、より自然な画像にすることができる。
【００４４】
また、各基底のＤＣＴ係数に選択的にランダム信号を付加することで、結果として周波数選択的にランダム信号を加えることができるため、画像符号化に伴い失われた高周波画像成分の回復を重点的に行うことが可能である。
【００４５】
更に、高周波画像成分の回復を重点的に行うことで人間の視覚が敏感な低周波領域にランダム信号を加えない処理が可能であるため、視聴者に不要なノイズ感を与えずに済む。
【００４６】
ここで、入力された符号化データの符号化モードがイントラ（画面内）符号化モードの場合は、そのままフォーマット変換部２６に出力される。また、符号化モードが動き補償予測モードの場合は、可変長復号化部２２から得られる予測モード、動きベクトルから動き補償予測部２５で動き補償予測が行われ、動き補償予測されたブロックデータが逆ＤＣＴ部２４の出力と加算されてフォーマット変換部２６に出力される。
【００４７】
次に、画面内の全てのマクロブロックが復号され、フォーマット変換部２６で元の入力順序に並べ替えられて画面出力が行われ、必要に応じて画像サイズの変換を行った後、映像信号として出力する。
【００４８】
なお、画像フレームのピクチャタイプがＩピクチャ（画面内符号化画面）、又はＰピクチャ（前方向予測符号化画面）の場合には、その後の復号における画像処理において参照画面として用いる必要があるため、ビデオメモリ２７に画像フレームが順次蓄積される。
【００４９】
このように、ランダム信号付加器２８からのランダム信号をＤＣＴ係数に選択的に加えることで、画像符号化に伴い失われた高周波画像成分を擬似的に回復し、且つブロック歪みやモスキートノイズを低減し、主観画質を向上させることができる。また、各基底のＤＣＴ係数値により選択して必要な周波数成分にのみランダム信号を付加することにより、効率的に主観画質を向上することができる。
【００５０】
なお、図２では、ランダム信号付加器２８が逆量子化部２３の後に設けられ、逆量子化後のＤＣＴ係数に対してランダム信号を付加する構成になっているが、量子化された状態におけるＤＣＴ係数に対してランダム信号を加える構成とすることも可能である。ここで、上述の画像処理装置の構成について図を用いて説明する。
【００５１】
図３は、図２に示す第１の実施の形態の変形例を示す図である。図３に示すように、ランダム信号付加器２８を可変長復号化部２２の出力信号に対してランダム信号が付加できるよう位置付けることにより、上述したようなランダム信号をＤＣＴ係数に選択的に加えて画像符号化に伴い失われた高周波画像成分を擬似的に回復し、且つブロック歪みやモスキートノイズを低減し、主観画質を向上させることができる。なお、この変形例は、後述する他の実施の形態においても同様に構成することができる。
【００５２】
＜第２の実施の形態＞
次に、本発明における画像処理装置の第２の実施の形態を図４に示す。図４の画像処理装置は、バッファ３１と、可変長復号化部３２と、逆量子化部３３と、逆ＤＣＴ部３４と、動き補償予測部３５と、フォーマット変換部３６と、ビデオメモリ３７と、ランダム信号付加器３８とを有するよう構成されている。
【００５３】
なお、基本的な構成は図２に示した第１の実施の形態と同様であるが、本実施の形態では、ストリーム中に存在する画像の符号化パラメータを抽出し、これに基づいてＤＣＴ係数へのランダム信号の付加を行う構成となっている。
【００５４】
ここで、本実施の形態では、例としてストリームから量子化パラメータを抽出する場合について述べる。
【００５５】
一般に、画像符号化では、ファイルサイズやビットレート等の情報量の制御は量子化精度の調整により行われている。例えば、ＭＰＥＧ−２ではピクチャタイプ毎に設定可能な量子化マトリクスと、マクロブロック単位で指定可能な量子化スケールとに基づいて各ＤＣＴ係数の量子化精度を制御している。ここで、画像が複雑である部分は、情報量を削減しても劣化が目立ちにくい部分であるため、粗く量子化を行っている。反対に画像が単純でレベル的にもあまり変化がないところでは、少ない変化でも知覚できるため細かく量子化を行っている。
【００５６】
すなわち、可変長復号化部３２は、分離された量子化情報をランダム信号付加器３８に出力し、ランダム信号付加器３８は入力された量子化情報をパラメータとして逆量子化後のＤＣＴ係数に対して、例えば、粗く量子化を行っている部分には強めにランダム信号を加え、細かく量子化を行っている部分には弱めにランダム信号を加えることで視聴者に不要なノイズ感を与えず効率的にランダム信号を付加することができる。
【００５７】
このように、選択的にランダム信号を加え、その後は上述の第１の実施の形態で示した構成部分における処理を行うことで、画像符号化に伴い失われた高周波画像成分を擬似的に回復し、且つブロック歪みやモスキートノイズを低減し、主観画質を向上させることができる。
【００５８】
＜第３の実施の形態＞
次に、本発明における画像処理装置の第３の実施の形態について説明する。なお、第３の実施の形態については、図４を用いて説明する。基本構成は第２の実施の形態と同様であるが、本実施の形態は、特にピクチャ間の動き補償予測を用いる動画像符号化について適用される。本実施の形態ではストリーム中に存在する符号化パラメータを抽出し、これに基づいてＤＣＴ係数へのランダム信号付加を行う構成となっている。ここで、本実施の形態では、例としてストリームから動きベクトルを抽出する場合について述べる。
【００５９】
一般に、動画像符号化では、情報量削減のために、時間的に前後にある画面から対象となる画面を予測するという手法が用いられている。例えば、ＭＰＥＧ−２では、マクロブロック毎に参照画面からの動き量を動きベクトルとして検出し、これを予測に用いている。
【００６０】
ここで、画像の動きの激しい部分は、フレーム周波数の関係から動きボケが生じ、原画像の解像度自体が劣化しているので、ランダム信号の付加による画質改善効果は小さい。反対に動きが少ない風景画等の画像では、動きの激しい画像と比べて原画像の解像感が高いため、ランダム信号付加による画質改善が期待される。
【００６１】
したがって、可変長復号化部３２にて分離された動きベクトルをランダム信号付加器３８に出力し、ランダム信号付加器３８では入力された動きベクトルに基づいて、動きベクトルの大きいマクロブロックのＤＣＴ係数には弱めにランダム信号を加え、動きベクトルの小さいマクロブロックのＤＣＴ係数には強めにランダム信号を加えることで視聴者に不要なノイズ感を与えず効率的にランダム信号を付加することができる。
【００６２】
このように、動きベクトルを用いて選択的にランダム信号を加えることで、画像符号化に伴い失われた高周波画像成分を擬似的に回復し、且つブロック歪みやモスキートノイズを低減し、主観画質を向上させることができる。
【００６３】
＜第４の実施の形態＞
次に、本発明における画像処理装置の第４の実施の形態について、上述した図４を再度用いて説明する。基本構成は、第２の実施の形態と同様であるが、本実施の形態は、特にピクチャ間の動き補償予測を用いる動画像符号化について適用される。
【００６４】
例えば、ＭＰＥＧ−２では、効率的な符号化のためにＩピクチャ（画面内符号化）、Ｐピクチャ（前方向予測符号化）、Ｂピクチャ（両方向予測符号化）の３つのピクチャタイプが存在し、このうちＰピクチャとＢピクチャが、ある参照画面を基準とした動き補償予測により生成されるピクチャである。
【００６５】
ここで、参照画面として用いられるピクチャは復号したＩピクチャ及びＰピクチャの画像フレームで、これらはビデオメモリ３７に順次蓄えられる。動き補償予測部３５では予測モードや動きベクトルの情報から、ビデオメモリ３７のデータを動き補償されたブロックデータに変換し出力する。
【００６６】
このブロックデータが逆ＤＣＴ部３４から出力された信号と加算されることによりＰピクチャ及びＢピクチャは復号される。復号されたＰピクチャは再び参照画面として用いる必要があるためビデオメモリ３７に蓄えられる。
【００６７】
すなわち、ランダム信号付加器３８によってランダム信号が付加された画像を参照画面として用いることで、動き補償されたブロックデータもランダム信号が付加されたものとなってしまい、Ｐピクチャ、Ｂピクチャの復号の際にはランダム信号が累積付加されてしまう結果となる。この現象は、次にＩピクチャのフレームが入力されるまで続き、Ｉピクチャから次のＩピクチャまでのピクチャ間隔が長くなるほど画質劣化につながる。
【００６８】
そこで、可変長復号化部３２にて分離された符号化モードをランダム信号付加器３８に出力し、ランダム信号付加器３８では入力された符号化モードのピクチャタイプに応じてランダム信号の付加レベルを制御する処理を行う。例えば、ＩピクチャもしくはＢピクチャにのみランダム信号を加える処理や、Ｉピクチャに比べて、ＰピクチャやＢピクチャに加えるランダム信号のレベルを小さくする処理を行う。
【００６９】
なお、ＭＰＥＧ−２ではＰピクチャ、Ｂピクチャに関してはマクロブロック単位でイントラ（画面内）符号化を行うことが可能であるため、Ｉピクチャのみにランダム信号を加える場合や、Ｉピクチャと比べてＰピクチャ、Ｂピクチャに加えるランダム信号のレベルを小さくする場合にも、Ｐピクチャ、Ｂピクチャのイントラマクロブロックには、Ｉピクチャに加えるレベルと同等のレベルでランダム信号を加えることが望ましい。このような処理を行うことで、ランダム信号の過剰な累積による画質劣化を抑えることができる。
【００７０】
このように、選択的にランダム信号を加えることで、画像符号化に伴い失われた高周波画像成分を擬似的に回復し、且つブロック歪みやモスキートノイズを低減し、主観画質を向上させることができる。
【００７１】
＜第５の実施の形態＞
次に、本発明における画像処理装置の第５の実施の形態を図５に示す。図５の画像処理装置は、バッファ４１と、可変長復号化部４２と、逆量子化部４３と、動き補償予測部４５と、フォーマット変換部４６と、ビデオメモリ４７と、ランダム信号付加部４８と、第１逆ＤＣＴ部５１と、第２逆ＤＣＴ部５２とを有するよう構成されている。
【００７２】
本実施の形態は、第３及び第４の実施の形態と同じく、特に動画像信号のストリームにおけるピクチャ間の動き補償予測を用いる動画像符号化について適用される。
【００７３】
第４の実施の形態でも述べたように、直交変換係数へのランダム信号の付加を動き補償予測を行うピクチャタイプについても相当の強度で行うと、Ｉピクチャから次のＩピクチャまでのピクチャ間隔次第では画質劣化につながる。
【００７４】
そこで、本実施例では、実際の映像信号として出力するための第１逆ＤＣＴ部５１と、動き補償予測用の参照画面を生成するための第２逆ＤＣＴ部５２を分けることでこの問題を解決する。すなわちランダム信号付加器４８によるＤＣＴ係数へのランダム信号付加の前に信号を分岐し、一方にはランダム信号を付加し、もう一方はランダム信号を付加せずビデオメモリ４７に蓄積する。
【００７５】
なお、動き補償予測部４５は、第１逆ＤＣＴ部５１の出力及び第２逆ＤＣＴ部５２の出力に対してビデオメモリ４７からの動き補償予測されたブロックデータを加算する。また、上述以外の動作においては、上述の実施の形態の同名主要構成部と同様である。
【００７６】
上述したような装置構成にすることで、動き補償予測の参照画面にはランダム信号が付加されていないものを用いることができ、第４の実施の形態で述べたようなランダム信号の累積による画質の劣化を防ぐことができる。
【００７７】
このように、選択的にランダム信号を加えることで、画像符号化に伴い失われた高周波画像成分を擬似的に回復し、且つブロック歪みやモスキートノイズを低減し、主観画質を向上させることができる。
【００７８】
なお、図５では逆量子化部４３とランダム信号付加器４８によるランダム信号付加の位置の間に信号分岐点が設けられているが、分岐点を可変長符号化部４２と逆量子化部４３の間に設ける構成も可能である。また、この構成と図５で示したランダム信号付加器４８のランダム信号付加位置の構成を組み合わせる場合は、当然信号分岐位置の方がランダム信号付加位置よりも処理の前に構成することができる。
【００７９】
ここで、上述の画像処理装置の第５の実施の形態の変形例について図を用いて説明する。図６は、図５に示す第５の実施の形態の変形例を示す図である。図６の画像処理装置は、図５の示した構成に対して第１逆量子化部５３と、第２逆量子化部５４とを有しており、第１逆量子化部５３は、図５における逆量子化部４３と同等である。
【００８０】
図６に示すように可変長復号化部４２と第１逆量子化部５３との間に分岐点を設けることで、第５の実施の形態と同様の効果を得ることができる。
【００８１】
上述したように本発明によれば、乱数に基づいたランダム信号を符号化画像信号の直交変換係数（ＤＣＴ係数）に選択的に加えることで、画像符号化に伴い失われた階調及び高周波成分を、復号画像において擬似的に回復させることができる。更にブロック歪の発生する画素ブロック境界部やモスキートノイズ発生部ではランダムな高周波成分信号が出現することで歪みがマスキングされ知覚されにくくなる。また画素ブロック境界部やモスキートノイズ発生部では、高周波信号を発生させることで視覚的にレベル変化を滑らかに表現することができ歪みを低減することができる。
【００８２】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【００８３】
【発明の効果】
上述の如く本発明によれば、効率的に主観画質を向上させることができる画像処理装置及び画像処理方法を提供することができる。
【図面の簡単な説明】
【図１】従来のＭＰＥＧ−２復号装置の一構成例を示す図である。
【図２】本発明における画像処理装置の第１の実施の形態の一構成例を示す図である。
【図３】図２に示す第１の実施の形態の変形例を示す図である。
【図４】本発明における画像処理装置の第２の実施の形態の一構成例を示す図である。
【図５】本発明における画像処理装置の第５の実施の形態の一構成例を示す図である。
【図６】図５に示す第５の実施の形態の変形例を示す図である。
【符号の説明】
１１，２１，３１，４１ バッファ
１２，２２，３２，４２ 可変長復号化部
１３，２３，３３，４３ 逆量子化部
１４，２４，３４ 逆ＤＣＴ部
１５，２５，３５，４５ 動き補償予測部
１６，２６，３６，４６ フォーマット変換部
１７，２７，３７，４７ ビデオメモリ
２８，３８，４８ ランダム信号付加器
５１ 第１逆ＤＣＴ部
５２ 第２逆ＤＣＴ部
５３ 第１逆量子化部
５４ 第２逆量子化部

Claims (6)

1. 直交変換係数の量子化処理により符号化された画像信号に対して復号画像信号を生成する画像処理装置において、
   前記符号化された画像信号の直交変換係数に、乱数に基づいたランダム信号を選択的に付加するランダム信号付加部と、
   前記ランダム信号付加部により前記ランダム信号が付加された信号を逆直交変換により画素空間データに変換する逆直交変換部とを有することを特徴とする画像処理装置。
2. 前記ランダム信号付加部は、
   前記符号化された画像信号における符号化に用いられた量子化情報に基づいて前記画像信号の直交変換係数に前記ランダム信号を付加することを特徴とする請求項１に記載の画像処理装置。
3. 前記ランダム信号付加部は、
   前記画像信号がピクチャ間の動き補償予測により符号化された動画像信号である場合に、前記動画像信号のストリームの中から符号化に用いられたパラメータ情報に基づいて前記ストリーム中の直交変換係数に前記ランダム信号を付加することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記ランダム信号付加部は、
   前記画像信号がピクチャ間の動き補償予測により符号化された動画像信号である場合に、前記動画像信号のストリームにおけるピクチャタイプに基づいて前記ストリーム中の直交変換係数に前記ランダム信号を付加することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記ランダム信号付加部は、
   前記ストリーム中の直交変換係数に前記ランダム信号を付加する場合に、動き補償予測の参照画面となる画像には前記ランダム信号を付加しないことを特徴とする請求項３又は４に記載の画像処理装置。
6. 直交変換係数の量子化処理により符号化された画像信号に対して復号画像信号を生成する画像処理方法において、
   前記符号化された画像信号の直交変換係数に、乱数に基づいたランダム信号を選択的に付加するランダム信号付加段階と、
   前記ランダム信号付加段階により前記ランダム信号が付加された信号を逆直交変換により画素空間データに変換する逆直交変換段階とを有することを特徴とする画像処理方法。

Images