JP2004336478A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2004336478A JP2004336478A JP2003130550A JP2003130550A JP2004336478A JP 2004336478 A JP2004336478 A JP 2004336478A JP 2003130550 A JP2003130550 A JP 2003130550A JP 2003130550 A JP2003130550 A JP 2003130550A JP 2004336478 A JP2004336478 A JP 2004336478A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- random signal
- image
- random
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Processing Of Color Television Signals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
【課題】復号器から離されて符号化時の情報が分からない状況であっても、ブロック歪やモスキートノイズを低減し、主観画質を向上させる画像処理装置を提供することを目的とする。
【解決手段】符号化画像を復号した画像信号の有効領域にランダム信号を付加するランダム信号付加手段１５を備える画像処理装置において、ランダム信号付加手段１５は、ランダム信号の振幅を制御するランダム信号振幅制御手段１４３と、ランダム信号の水平、垂直方向それぞれで高周波成分を取り出す周波数制御手段１４４を有する。
【選択図】 図２
【解決手段】符号化画像を復号した画像信号の有効領域にランダム信号を付加するランダム信号付加手段１５を備える画像処理装置において、ランダム信号付加手段１５は、ランダム信号の振幅を制御するランダム信号振幅制御手段１４３と、ランダム信号の水平、垂直方向それぞれで高周波成分を取り出す周波数制御手段１４４を有する。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に関し、復号画像の画質改善を行う画像処理装置に関する。
【０００２】
【従来の技術】
ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）に代表される静止画像符号化方式や、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）に代表される動画像符号化方式では、情報量削減のために量子化が行われる。量子化ステップサイズを大きくすることにより大幅な情報量圧縮が行えるが、画質は劣化する。
【０００３】
通常は人間の視覚が鈍感な高周波領域に対して粗く量子化を行うことにより、画質劣化が主観的に認知されにくくなるようにしている。この量子化は一般に画素ブロック単位で行われており、例えば動画像符号化方式であるＭＰＥＧ−２においては、８×８画素を単位とした画素ブロックのＤＣＴ係数値に対して行われている。
【０００４】
図１に量子化の原理を示すように、「１」〜「１５」のレベルは、例えば「３」，「８」，「１３」の量子化代表値に集約されて量子化される。このため、逆量子化されたときの量子化誤差範囲は量子化代表値±２となり、このような量子化誤差がＤＣＴ符号化歪み発生の原因となる。従来のＤＣＴ符号化歪みを低減する技術としては、フィルタリングによりブロック歪みの発生境界部の高域成分を平滑化する方法が一般的である（例えば、非特許文献１参照。）。
【０００５】
また、画像にランダム信号を付加して量子化による画質劣化を目立たなくさせる方法がある（例えば、特許文献１参照。）。これには符号化時の量子化粗さによってランダム信号のレベルを制御し、復号器内で逆量子化後の信号に重畳する手法が示されている。
【０００６】
また、ブロック歪みの補正演算により算出される補正値を、ランダム信号を用いて一定範囲内で変化させる方法がある（例えば、特許文献２参照。）。これによると、ブロック歪み補正演算で発生する規則的なパターンを拡散し、目立たなくしている。
【０００７】
【非特許文献１】
茂木「適応的平滑化によるＤＣＴ符号化歪みの低減」２０００年電子情報通信学会総合大会，Ｄ−１１−２８ ｐｐ２８
【０００８】
【特許文献１】
特開平３−２１０８８９号公報
【０００９】
【特許文献２】
特開平１０−１９１３３２号公報
【００１０】
【発明が解決しようとする課題】
前述のように画像符号化では、限られた符号量で画像情報を表現しなくてはならないため、量子化により高域の情報量を重点的に削減する処理が行われており、復号画像においては細かい階調成分が失われてのっぺりとした画像になってしまい、また、画像のエッジ部分ではリンギングが生じてモスキートノイズとして知覚されてしまう。これらは量子化ステップサイズ次第では大きな画質劣化につながる。また、ブロック単位で量子化を行っているため、ブロック境界では隣接画素であっても量子化精度の違いからブロック境界がパターンとなって見えてしまういわゆるブロック歪が発生しやすい。これも量子化ステップサイズが大きいほど知覚されやすくなり画質劣化につながるという問題があった。
【００１１】
また、画像にランダム信号を付加して量子化による画質劣化を目立たなくさせる方法では、復号器から離されて符号化時の情報（符号化パラメータ）が分からない状況では利用できず、また、復号後にフォーマット変換（例えば４：２：０から４：２：２への変換や、画素数変換を伴う拡大、縮小処理）があると、それに伴い付加したランダム信号の周波数成分が変化するため、ランダム信号による画質改善効果が期待通り発揮できないという問題があった。
【００１２】
また、ブロック歪みの補正演算により算出される補正値を、ランダム信号を用いて一定範囲内で変化させる方法では、ブロック境界部の補正は行えるが、符号化により失われた高周波信号成分に対する処理は行われないために、復号画像ののっぺり感や張り付き感は解消されないという問題があった。
【００１３】
本発明は、上記の点に鑑みなされたもので、復号器から離されて符号化時の情報が分からない状況であっても、ブロック歪やモスキートノイズを低減し、主観画質を向上させる画像処理装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
請求項１に記載の発明は、ランダム信号の振幅を制御するランダム信号振幅制御手段と、
前記ランダム信号の水平、垂直方向それぞれで高周波成分を取り出す周波数制御手段を有することにより、
復号器から離されて符号化時の情報が分からない状況であっても、符号化で失われた高周波領域の信号を擬似的に回復し、かつ、ブロック歪やモスキートノイズを低減することができ、更に、人間の視覚が敏感な低域信号成分がランダム信号から除去され視聴者に不要なノイズ感を与えることを防止できる。
【００１５】
請求項２に記載の発明は、画素ブロック中央部に対して境界付近で前記ランダム信号の振幅を大きくするよう前記ランダム信号の振幅を制御するランダム信号振幅制御手段を有することにより、特に、ブロック歪を低減することができる。
【００１６】
請求項３に記載の発明は、画素ブロック中央部に対して境界付近で前記ランダム信号の振幅を大きくするよう前記ランダム信号の振幅を制御するランダム信号振幅制御手段と、
前記ランダム信号の水平、垂直方向それぞれで高周波成分を取り出す周波数制御手段を有することにより、
復号器から離されて符号化時の情報が分からない状況であっても、符号化で失われた高周波領域の信号を擬似的に回復し、かつ、ブロック歪やモスキートノイズを低減することができ、更に、人間の視覚が敏感な低域信号成分がランダム信号から除去され視聴者に不要なノイズ感を与えることを防止でき、特に、ブロック歪を低減することができる。
【００１７】
請求項４に記載の発明は、符号化画像を復号した画像信号である輝度信号と色差信号の各信号成分を画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換するデータ変換手段を有し、前記データ変換手段の出力する輝度信号と色差信号の各信号成分に対し前記ランダム信号を付加することにより、
ランダム信号がアップサンプリング処理により他の画素へ影響を及ぼし画質に不要な影響を与えることを防ぐことができる。
【００１８】
請求項５に記載の発明は、データ変換手段の出力する輝度信号と色差信号の各信号成分のレベルに応じて前記ランダム信号の振幅を制御することにより、
ランダム信号を加えることにより起こる不要なノイズ感を抑制することができる。
【００１９】
請求項６に記載の発明は、データ変換手段の出力する輝度信号と色差信号を原色信号に変換するマトリクス変換手段を有し、前記マトリクス変換手段の出力する原色信号に対し前記ランダム信号を付加することにより、
ランダム信号がアップサンプリング処理により他の画素へ影響を及ぼし画質に不要な影響を与えることを防ぐことができる。
【００２０】
請求項７に記載の発明は、マトリクス変換手段の出力する原色信号のレベルに応じて前記ランダム信号の振幅を制御することにより、
ランダム信号を加えることにより起こる不要なノイズ感を抑制することができる。
【００２１】
【発明の実施の形態】
以下、図面を参照して本発明の実施例について説明する。本実施例では、符号化方式としてＨＤＴＶを対象としたＭＰＥＧ−２を用い、復号された画像のフォーマットとしてＳＭＰＴＥ２９２Ｍ規格準拠のＨＤ−ＳＤＩ（Ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ−ｓｅｒｉａｌ ｄｉｇｉｔａｌ ｉｎｔｅｒｆａｃｅ）信号を用いたものを例として説明する。但し、復号画像フォーマットはＨＤ−ＳＤＩに限定されるものではなく、画像符号化方式もＭＰＥＧ−２に限定されるものではなく、また動画像の符号化に限定されるものでもない。
【００２２】
図２は、本発明の画像処理装置を適用した画像符号化及び復号システムの第１実施例のブロック図を示す。同図中、入力画像信号は符号化器１０に供給され、例えばＭＰＥＧ−２方式による画像符号化が行われる。ここで、符号化器１０に入力される画像信号は、例えばＨＤ−ＳＤＩ信号である。符号化器１０により生成されたＭＰＥＧ−２信号は伝送された後、復号器１２に供給され、ＨＤ−ＳＤＩ信号に復号される。
【００２３】
しかし、ＭＰＥＧ−２方式は不可逆符号化であるため、復号器１２から出力される信号は符号化器１０に入力された信号と全く同じにはならず、符号化歪が発生したものとなっている。
【００２４】
復号器１２から出力される復号信号は、ランダム信号付加器１５に供給され、ここで入力画像信号の有効領域にノイズ状のランダム信号を付加される。なお画像信号の有効領域とは、ヘッダや同期などの付加データ部分を除いた実際の画像データの部分を指し、ＨＤ−ＳＤＩ信号では、水平、垂直の同期データ部分を除いた有効映像データ領域にランダム信号が付加される。
【００２５】
図３は、ランダム信号付加器１５の一実施例のブロック図を示す。同図中、ランダム信号付加器１５は、加算処理部１４１とランダム信号発生部１４２とランダム信号振幅制御部１４３と周波数制御部１４４から構成されている。
【００２６】
ランダム信号発生部１４２は、ランダム信号振幅制御部１４３から振幅制御信号を受け、乱数に基づいたある規定振幅内のランダム信号を生成する。ＨＤ−ＳＤＩ信号では輝度信号レベル及び色差信号レベルを１０ビット即ち「０」〜「１０２３」で表しているが、ランダム信号振幅制御部１４３から供給される振幅制御信号が例えば固定値「４」であるとき、ランダム信号発生部１４２は「−４」〜「＋４」の範囲の整数をランダム信号として発生する。
【００２７】
このとき、各整数の発生頻度の分布は例えば一様とされる。但し、上記各整数の発生頻度の分布は一様分布に限らず、ガウス分布などの非一様分布も選択できる。非一様分布とは、例えば整数「０」の発生頻度を最大とし、整数「−１」，「＋１」の発生頻度を低下させ、整数「−２」，「＋２」の発生頻度をさらに低下させるような分布である。
【００２８】
また、ランダム信号振幅制御部１４３は、８×８画素のブロック毎に、図４に示すように、ブロックの中央部で小さな値をとり、ブロックの周辺部に行くほど大きな値となる振幅制御信号を発生してランダム信号発生部１４２に供給することができる。これにより、ランダム信号発生部１４２はブロックの中央部で「−２」〜「＋２」の範囲のランダム信号を発生し、周辺部で「−８」〜「＋８」の範囲のランダム信号を発生して、周波数制御部１４４に供給する。
【００２９】
周波数制御部１４４では、ランダム信号に対して周波数領域での操作を行って水平、垂直方向の２次元の高域フィルタ処理を行い、得られたランダム信号を加算処理部１４１に供給する。加算処理部１４１では、入力信号に対して、周波数制御部１４４から供給されるランダム信号を加算する。この加算処理は画像信号の有効領域を対象として行われる。これにより、ランダム信号が付加された画像信号が出力される。
【００３０】
図５は、周波数制御部１４４の一実施例のブロック図を示す。同図中、ランダム信号はＤＦＴ（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）部１４５にて周波数領域の信号に変換される。ＤＦＴ部１４５ではランダム信号付加器１５に入力される画像信号のフォーマットにおけるフレーム画素数と同じフォーマットのランダム信号配列で２次元ＤＦＴを行う。ランダム信号付加器１５に入力される画像信号フォーマットがＨＤ−ＳＤＩの場合、ＤＦＴ部１４５では１９２０×１０８０の２次元配列のランダム信号に対して水平方向及び垂直方向のＤＦＴを行う。
【００３１】
次に、ランダム信号は振幅制御部１４６にて周波数に依存した振幅制御を受けた後、ＩＤＦＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）部１４７により再び空間領域の信号に変換される。振幅制御部１４６での制御で周波数フィルタと同等の効果が得られ、例えば水平、垂直方向それぞれで高周波信号ほどレベルの大きくなる信号に整形する三角フィルタと同等な効果が得られる。
【００３２】
即ち、ランダム信号の水平、垂直方向それぞれで高周波成分を重点的に取り出し、復号画像信号に対して付加するという操作が可能になり、画像符号化に伴い失われた高周波画像成分の回復が重点的に行える。更に、人間の視覚が敏感な低域信号成分がランダム信号から除去されているため、視聴者に不要なノイズ感を与えることを防止できる。
【００３３】
以上の構成により、符号化画像を復号した画像信号に対し、復号器から離されて符号化時の情報が分からない状況であっても、符号化画像を復号した画像信号に対し、周波数制御されたランダム信号を付加することができる。この構成により、画像符号化に伴い失われた高周波画像成分を擬似的に回復し、かつ、マスキング効果によりブロック歪やモスキートノイズを低減し、主観画質を向上させることができる。
【００３４】
なお、ランダム信号振幅制御部１４３は、図４に示すように、８×８画素の画素ブロック毎に、ブロックの中央部で小さな値をとり、ブロックの周辺部に行くほど大きな値となる振幅制御信号を発生してランダム信号発生部１４２に供給しても良い。このとき、ランダム信号発生部１４２はブロックの中央部で「−２」〜「＋２」の範囲のランダム信号を発生し、周辺部で「−８」〜「＋８」の範囲のランダム信号を発生する。
【００３５】
このように、量子化の単位となる画素ブロックの境界付近で大きな振幅のランダム信号を付加し、信号レベルの変化範囲を大きくすることで、特にブロック歪の原因である画素ブロック境界付近の急激なレベル変化を、マスキング効果により知覚されにくくすることができ、ブロック歪を低減し、主観画質を向上させることができる。
【００３６】
図６は、本発明の画像処理装置を適用した画像符号化及び復号システムの第２実施例のブロック図を示す。同図中、図２と同一部分には同一符号を付す。本実施例では、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べる。即ち、符号化画像を復号した後で画素数変換による拡大・縮小処理は行われないものとする。
【００３７】
図６において、入力画像信号は符号化器１０に供給され、例えばＭＰＥＧ−２方式による画像符号化が行われる。ここで、符号化器１０に入力される画像信号は、例えばＨＤ−ＳＤＩ信号である。符号化器１０により生成されたＭＰＥＧ−２信号は伝送された後、復号器１２に供給され、ＨＤ−ＳＤＩ信号に復号される。復号器１２から出力される復号信号は、データ変換器１６に供給される。
【００３８】
データ変換器１６は入力画像信号の各成分Ｙ，Ｃｂ，Ｃｒに対し、それぞれ画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換して分離出力する。ＨＤ−ＳＤＩ信号の場合は、１つの輝度信号Ｙと、２つの色差信号Ｃｂ，Ｃｒが４：２：２フォーマットで時間多重されているので、データ変換器１６では、これをＹ，Ｃｂ，Ｃｒが４：４：４のフルサンプリング信号に変換して分離出力する。また、後続の画像表示媒体がプログレッシブ走査方式である場合は、Ｉ／Ｐ変換もデータ変換器１６において行われる。データ変換器１６から出力された各信号はランダム信号付加器１５ａ，１５ｂ，１５ｃに供給される。ランダム信号付加器１５ａ，１５ｂ，１５ｃは図３に示すランダム信号付加器１５と同一構成であり、入力信号の有効映像領域にランダム信号を付加する。
【００３９】
なお、このとき各信号成分に付加されるランダム信号のレベルはランダム信号振幅制御部１４３で制御することにより個別に設定することが可能である。例えばランダム信号振幅制御部１４３において設定振幅を０とすることにより、実質的にはランダム信号を付加しないようにすることも可能である。
【００４０】
その後、ランダム信号付加器１５ａ，１５ｂ，１５ｃそれぞれの出力信号はマトリクス変換器１８に入力される。マトリクス変換器１８では信号Ｙ，Ｃｂ，Ｃｒのマトリクス変換により原色信号Ｒ，Ｇ，Ｂを生成して出力する。生成されたＲＧＢフルサンプリング信号はＣＲＴや液晶などの表示媒体の駆動部に送られて画像表示に用いられる。
【００４１】
本実施例では、復号画像信号の各成分を画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換した後にランダム信号の付加を行うことで、ランダム信号を付加したＨＤ−ＳＤＩ信号を表示用のＲＧＢフルサンプリング信号に変換する際の画質劣化を抑えることができる。即ち、付加したランダム信号がアップサンプリング処理により他の画素へ影響を及ぼして、画質に不要な影響を与えることを防ぐことができる。
【００４２】
また、Ｙ，Ｃｂ，Ｃｒの各信号成分に対し独立にランダム信号の付加制御を行うことができるため、例えばモノクロ画像へのランダム信号付加の際にＹ信号にのみランダム信号を付加することで、不要な色彩の発生による違和感を抑えられ、より自然な画像にすることができる。
【００４３】
本実施例では、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べたが、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致しない場合でも、復号後のＨＤ−ＳＤＩ信号を画像表示媒体で表示される解像度のＨＤ−ＳＤＩ信号に変換した後、上記のデータ変換器１６以降の処理を行えば、同じ効果が得られる。
【００４４】
図７は、本発明の画像処理装置を適用した画像符号化及び復号システムの第３実施例のブロック図を示す。同図中、図６と同一部分には同一符号を付す。本実施例では、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べる。即ち、符号化画像を復号した後で画素数変換による拡大・縮小処理は行われないものとする。
【００４５】
図７において、入力画像信号は符号化器１０に供給され、例えばＭＰＥＧ−２方式による画像符号化が行われる。ここで、符号化器１０に入力される画像信号は、例えばＨＤ−ＳＤＩ信号である。符号化器１０により生成されたＭＰＥＧ−２信号は伝送された後、復号器１２に供給され、ＨＤ−ＳＤＩ信号に復号される。復号器１２から出力される復号信号は、データ変換器１６に供給される。
【００４６】
データ変換器１６は入力画像信号の各成分Ｙ，Ｃｂ，Ｃｒに対し、それぞれ画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換して分離出力する。また、後続の画像表示媒体がプログレッシブ走査方式である場合は、Ｉ／Ｐ変換もデータ変換器１６において行われる。データ変換器１６から出力された各信号はレベル依存型ランダム信号付加器２０ａ，２０ｂ，２０ｃに供給される。レベル依存型ランダム信号付加器２０ａ，２０ｂ，２０ｃは同一構成であり、入力信号の有効映像領域にランダム信号を付加する。
【００４７】
その後、レベル依存型ランダム信号付加器２０ａ，２０ｂ，２０ｃそれぞれの出力信号はマトリクス変換器１８に入力される。マトリクス変換器１８では信号Ｙ，Ｃｂ，Ｃｒのマトリクス変換により原色信号Ｒ，Ｇ，Ｂを生成して出力する。生成されたＲＧＢフルサンプリング信号はＣＲＴや液晶などの表示媒体の駆動部に送られて画像表示に用いられる。
【００４８】
本実施例では、復号画像信号の各成分を画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換した後にランダム信号の付加を行うことで、ランダム信号を付加したＨＤ−ＳＤＩ信号を表示用のＲＧＢフルサンプリング信号に変換する際の画質劣化を抑えることができる。即ち、付加したランダム信号がアップサンプリング処理により他の画素へ影響を及ぼして、画質に不要な影響を与えることを防ぐことができる。
【００４９】
図８は、レベル依存型ランダム信号付加器２０ａ，２０ｂ，２０ｃの一実施例のブロック図を示す。同図中、図３と同一部分には同一符号を付す。図８において、入力信号はレベル監視部１４８によって常時そのレベルが監視されている。レベル監視部１４８は検出した入力信号レベルをランダム信号振幅制御部１４３に供給する。
【００５０】
ランダム信号振幅制御部１４３は入力信号のレベルに応じた振幅制御信号を生成してランダム信号発生部１４２に供給する。ランダム信号発生部１４２では、ランダム信号振幅制御部１４３からの振幅制御信号を受け、乱数に基づいたある規定振幅内のランダム信号を生成ずる。このとき、各整数の発生頻度の分布は例えば一様とされる。但し、上記各整数の発生頻度の分布は一様分布に限らず、ガウス分布などの非一様分布も選択できる。
【００５１】
加算処理部１４１では、入力信号に対して、ランダム信号発生部１４２で生成したランダム信号を加算する。この加算処理は画像信号の有効領域を対象として行われる。これにより、ランダム信号が付加された画像信号が出力される。
【００５２】
上記のレベル依存型ランダム信号発生器２０ａ，２０ｂ，２０ｃを用いることで、例えば高レベルの画像信号に加えるランダム信号の振幅は大きくし、低レベルの画像信号に加えるランダム信号の振幅は小さくするといった処理が行える。この処理は、人間の視覚特性が低レベル部のレベル変動に対して敏感であるため、ランダム信号を加えることにより起こる不要なノイズ感を抑制するのに効果がある。
【００５３】
本実施例では、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べたが、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致しない場合でも、復号後のＨＤ−ＳＤＩ信号を画像表示媒体で表示される解像度のＨＤ−ＳＤＩ信号に変換した後、上記のデータ変換器１６以降の処理を行えば、同じ効果が得られる。
【００５４】
図９は、本発明の画像処理装置を適用した画像符号化及び復号システムの第４実施例のブロック図を示す。同図中、図６と同一部分には同一符号を付す。この実施例では、原色信号Ｒ，Ｇ，Ｂにランダム信号を付加する。本実施例では、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べる。即ち、符号化画像を復号した後で画素数変換による拡大・縮小処理は行われないものとする。
【００５５】
図９において、入力画像信号は符号化器１０に供給され、例えばＭＰＥＧ−２方式による画像符号化が行われる。ここで、符号化器１０に入力される画像信号は、例えばＨＤ−ＳＤＩ信号である。符号化器１０により生成されたＭＰＥＧ−２信号は伝送された後、復号器１２に供給され、ＨＤ−ＳＤＩ信号に復号される。復号器１２から出力される復号信号は、データ変換器１６に供給される。
【００５６】
データ変換器１６は入力画像信号の各成分Ｙ，Ｃｂ，Ｃｒに対し、それぞれ画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換して分離出力する。ＨＤ−ＳＤＩ信号の場合は、１つの輝度信号Ｙと、２つの色差信号Ｃｂ，Ｃｒが４：２：２フォーマットで時間多重されているので、データ変換器１６では、これをＹ，Ｃｂ，Ｃｒが４：４：４のフルサンプリング信号に変換して分離してマトリクス変換器１８に供給する。また、後続の画像表示媒体がプログレッシブ走査方式である場合は、Ｉ／Ｐ変換もデータ変換器１６において行われる。マトリクス変換器１８では信号Ｙ，Ｃｂ，Ｃｒのマトリクス変換により原色信号Ｒ，Ｇ，Ｂを生成して出力する。
【００５７】
マトリクス変換器１８から出力された各信号はランダム信号付加器１５ａ，１５ｂ，１５ｃに供給される。ランダム信号付加器１５ａ，１５ｂ，１５ｃは図３に示すランダム信号付加器１５と同一構成であり、入力信号の有効映像領域にランダム信号を付加する。
【００５８】
その後、ランダム信号付加器１５ａ，１５ｂ，１５ｃそれぞれの出力するＲＧＢフルサンプリング信号はＣＲＴや液晶などの表示媒体の駆動部に送られて画像表示に用いられる。
【００５９】
本実施例では、復号画像信号の各成分を画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換した後にランダム信号の付加を行うことで、ランダム信号を付加したＨＤ−ＳＤＩ信号を表示用のＲＧＢフルサンプリング信号に変換する際の画質劣化を抑えることができる。即ち、付加したランダム信号がアップサンプリング処理により他の画素へ影響を及ぼして、画質に不要な影響を与えることを防ぐことができる。
【００６０】
また、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べたが、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致しない場合でも、復号後のＨＤ−ＳＤＩ信号を画像表示媒体で表示される解像度のＨＤ−ＳＤＩ信号に変換した後、上記のデータ変換器１６以降の処理を行えば、同じ効果が得られる。
【００６１】
図１０は、本発明の画像処理装置を適用した画像符号化及び復号システムの第５実施例のブロック図を示す。同図中、図７と同一部分には同一符号を付す。この実施例では、原色信号Ｒ，Ｇ，Ｂにランダム信号を付加する。本実施例では、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べる。即ち、符号化画像を復号した後で画素数変換による拡大・縮小処理は行われないものとする。
【００６２】
図１０において、入力画像信号は符号化器１０に供給され、例えばＭＰＥＧ−２方式による画像符号化が行われる。ここで、符号化器１０に入力される画像信号は、例えばＨＤ−ＳＤＩ信号である。符号化器１０により生成されたＭＰＥＧ−２信号は伝送された後、復号器１２に供給され、ＨＤ−ＳＤＩ信号に復号される。復号器１２から出力される復号信号は、データ変換器１６に供給される。
【００６３】
データ変換器１６は入力画像信号の各成分Ｙ，Ｃｂ，Ｃｒに対し、それぞれ画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換して分離してマトリクス変換器１８に供給する。また、後続の画像表示媒体がプログレッシブ走査方式である場合は、Ｉ／Ｐ変換もデータ変換器１６において行われる。マトリクス変換器１８では信号Ｙ，Ｃｂ，Ｃｒのマトリクス変換により原色信号Ｒ，Ｇ，Ｂを生成して出力する。
【００６４】
マトリクス変換器１８から出力された各信号はレベル依存型ランダム信号付加器２０ａ，２０ｂ，２０ｃに供給される。レベル依存型ランダム信号付加器２０ａ，２０ｂ，２０ｃは図８に示す構成であり、入力信号の有効映像領域にランダム信号を付加する。
【００６５】
その後、レベル依存型ランダム信号付加器２０ａ，２０ｂ，２０ｃそれぞれの出力するＲＧＢフルサンプリング信号はＣＲＴや液晶などの表示媒体の駆動部に送られて画像表示に用いられる。
【００６６】
本実施例では、復号画像信号の各成分を画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換した後にランダム信号の付加を行うことで、ランダム信号を付加したＨＤ−ＳＤＩ信号を表示用のＲＧＢフルサンプリング信号に変換する際の画質劣化を抑えることができる。即ち、付加したランダム信号がアップサンプリング処理により他の画素へ影響を及ぼして、画質に不要な影響を与えることを防ぐことができる。
【００６７】
また、レベル依存型ランダム信号発生器２０ａ，２０ｂ，２０ｃを用いることで、例えば高レベル画像信号部に加えるランダム信号の振幅は大きくし、低レベル画像信号部に加えるランダム信号の振幅は小さくするといった処理が行える。この処理は、人間の視覚特性が低レベル部のレベル変動に対して敏感であるため、ランダム信号を加えることにより起こる不要なノイズ感を抑制するのに効果がある。
【００６８】
また、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べたが、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致しない場合でも、復号後のＨＤ−ＳＤＩ信号を画像表示媒体で表示される解像度のＨＤ−ＳＤＩ信号に変換した後、上記のデータ変換器１６以降の処理を行えば、同じ効果が得られる。
【００６９】
なお、ランダム信号付加器１５が請求項記載のランダム信号付加手段に対応し、ランダム信号振幅制御部１４３がランダム信号振幅制御手段に対応し、周波数制御部１４４が周波数制御手段に対応し、データ変換器１６がデータ変換手段に対応し、マトリクス変換器１８がマトリクス変換手段に対応する。
【００７０】
【発明の効果】
上述の如く、請求項１に記載の発明は、復号器から離されて符号化時の情報が分からない状況であっても、符号化で失われた高周波領域の信号を擬似的に回復し、かつ、ブロック歪やモスキートノイズを低減することができ、更に、人間の視覚が敏感な低域信号成分がランダム信号から除去され視聴者に不要なノイズ感を与えることを防止できる。
【００７１】
また、請求項２に記載の発明によれば、特に、ブロック歪を低減することができる。
【００７２】
また、請求項３に記載の発明によれば、復号器から離されて符号化時の情報が分からない状況であっても、符号化で失われた高周波領域の信号を擬似的に回復し、かつ、ブロック歪やモスキートノイズを低減することができ、更に、人間の視覚が敏感な低域信号成分がランダム信号から除去され視聴者に不要なノイズ感を与えることを防止でき、特に、ブロック歪を低減することができる。
【００７３】
また、請求項４に記載の発明によれば、ランダム信号がアップサンプリング処理により他の画素へ影響を及ぼし画質に不要な影響を与えることを防ぐことができる。
【００７４】
また、請求項５に記載の発明によれば、ランダム信号を加えることにより起こる不要なノイズ感を抑制することができる。
【００７５】
また、請求項６に記載の発明によれば、ランダム信号がアップサンプリング処理により他の画素へ影響を及ぼし画質に不要な影響を与えることを防ぐことができる。
【００７６】
また、請求項７に記載の発明によれば、ランダム信号を加えることにより起こる不要なノイズ感を抑制することができる。
【図面の簡単な説明】
【図１】量子化の原理を示す図である。
【図２】本発明の画像処理装置を適用した画像符号化及び復号システムの第１実施例のブロック図である。
【図３】ランダム信号付加器の一実施例のブロック図である。
【図４】画素ブロックにおけるランダム信号の振幅を表す図である。
【図５】周波数制御部の一実施例のブロック図である。
【図６】本発明の画像処理装置を適用した画像符号化及び復号システムの第２実施例のブロック図である。
【図７】本発明の画像処理装置を適用した画像符号化及び復号システムの第３実施例のブロック図である。
【図８】レベル依存型ランダム信号付加器の一実施例のブロック図である。
【図９】本発明の画像処理装置を適用した画像符号化及び復号システムの第４実施例のブロック図である。
【図１０】本発明の画像処理装置を適用した画像符号化及び復号システムの第５実施例のブロック図である。
【符号の説明】
１０ 符号化器
１２ 復号器
１５，１５ａ〜１５ｃ ランダム信号付加器
１６ データ変換器
１８ マトリクス変換器
２０ａ〜２０ｃ レベル依存型ランダム信号付加器
１４１ 加算処理部
１４２ ランダム信号発生部
１４３ ランダム信号振幅制御部
１４４ 周波数制御部
１４５ ＤＦＴ部
１４６ 振幅制御部
１４７ ＩＤＦＴ部
１４８ レベル監視部
【発明の属する技術分野】
本発明は、画像処理装置に関し、復号画像の画質改善を行う画像処理装置に関する。
【０００２】
【従来の技術】
ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）に代表される静止画像符号化方式や、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）に代表される動画像符号化方式では、情報量削減のために量子化が行われる。量子化ステップサイズを大きくすることにより大幅な情報量圧縮が行えるが、画質は劣化する。
【０００３】
通常は人間の視覚が鈍感な高周波領域に対して粗く量子化を行うことにより、画質劣化が主観的に認知されにくくなるようにしている。この量子化は一般に画素ブロック単位で行われており、例えば動画像符号化方式であるＭＰＥＧ−２においては、８×８画素を単位とした画素ブロックのＤＣＴ係数値に対して行われている。
【０００４】
図１に量子化の原理を示すように、「１」〜「１５」のレベルは、例えば「３」，「８」，「１３」の量子化代表値に集約されて量子化される。このため、逆量子化されたときの量子化誤差範囲は量子化代表値±２となり、このような量子化誤差がＤＣＴ符号化歪み発生の原因となる。従来のＤＣＴ符号化歪みを低減する技術としては、フィルタリングによりブロック歪みの発生境界部の高域成分を平滑化する方法が一般的である（例えば、非特許文献１参照。）。
【０００５】
また、画像にランダム信号を付加して量子化による画質劣化を目立たなくさせる方法がある（例えば、特許文献１参照。）。これには符号化時の量子化粗さによってランダム信号のレベルを制御し、復号器内で逆量子化後の信号に重畳する手法が示されている。
【０００６】
また、ブロック歪みの補正演算により算出される補正値を、ランダム信号を用いて一定範囲内で変化させる方法がある（例えば、特許文献２参照。）。これによると、ブロック歪み補正演算で発生する規則的なパターンを拡散し、目立たなくしている。
【０００７】
【非特許文献１】
茂木「適応的平滑化によるＤＣＴ符号化歪みの低減」２０００年電子情報通信学会総合大会，Ｄ−１１−２８ ｐｐ２８
【０００８】
【特許文献１】
特開平３−２１０８８９号公報
【０００９】
【特許文献２】
特開平１０−１９１３３２号公報
【００１０】
【発明が解決しようとする課題】
前述のように画像符号化では、限られた符号量で画像情報を表現しなくてはならないため、量子化により高域の情報量を重点的に削減する処理が行われており、復号画像においては細かい階調成分が失われてのっぺりとした画像になってしまい、また、画像のエッジ部分ではリンギングが生じてモスキートノイズとして知覚されてしまう。これらは量子化ステップサイズ次第では大きな画質劣化につながる。また、ブロック単位で量子化を行っているため、ブロック境界では隣接画素であっても量子化精度の違いからブロック境界がパターンとなって見えてしまういわゆるブロック歪が発生しやすい。これも量子化ステップサイズが大きいほど知覚されやすくなり画質劣化につながるという問題があった。
【００１１】
また、画像にランダム信号を付加して量子化による画質劣化を目立たなくさせる方法では、復号器から離されて符号化時の情報（符号化パラメータ）が分からない状況では利用できず、また、復号後にフォーマット変換（例えば４：２：０から４：２：２への変換や、画素数変換を伴う拡大、縮小処理）があると、それに伴い付加したランダム信号の周波数成分が変化するため、ランダム信号による画質改善効果が期待通り発揮できないという問題があった。
【００１２】
また、ブロック歪みの補正演算により算出される補正値を、ランダム信号を用いて一定範囲内で変化させる方法では、ブロック境界部の補正は行えるが、符号化により失われた高周波信号成分に対する処理は行われないために、復号画像ののっぺり感や張り付き感は解消されないという問題があった。
【００１３】
本発明は、上記の点に鑑みなされたもので、復号器から離されて符号化時の情報が分からない状況であっても、ブロック歪やモスキートノイズを低減し、主観画質を向上させる画像処理装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
請求項１に記載の発明は、ランダム信号の振幅を制御するランダム信号振幅制御手段と、
前記ランダム信号の水平、垂直方向それぞれで高周波成分を取り出す周波数制御手段を有することにより、
復号器から離されて符号化時の情報が分からない状況であっても、符号化で失われた高周波領域の信号を擬似的に回復し、かつ、ブロック歪やモスキートノイズを低減することができ、更に、人間の視覚が敏感な低域信号成分がランダム信号から除去され視聴者に不要なノイズ感を与えることを防止できる。
【００１５】
請求項２に記載の発明は、画素ブロック中央部に対して境界付近で前記ランダム信号の振幅を大きくするよう前記ランダム信号の振幅を制御するランダム信号振幅制御手段を有することにより、特に、ブロック歪を低減することができる。
【００１６】
請求項３に記載の発明は、画素ブロック中央部に対して境界付近で前記ランダム信号の振幅を大きくするよう前記ランダム信号の振幅を制御するランダム信号振幅制御手段と、
前記ランダム信号の水平、垂直方向それぞれで高周波成分を取り出す周波数制御手段を有することにより、
復号器から離されて符号化時の情報が分からない状況であっても、符号化で失われた高周波領域の信号を擬似的に回復し、かつ、ブロック歪やモスキートノイズを低減することができ、更に、人間の視覚が敏感な低域信号成分がランダム信号から除去され視聴者に不要なノイズ感を与えることを防止でき、特に、ブロック歪を低減することができる。
【００１７】
請求項４に記載の発明は、符号化画像を復号した画像信号である輝度信号と色差信号の各信号成分を画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換するデータ変換手段を有し、前記データ変換手段の出力する輝度信号と色差信号の各信号成分に対し前記ランダム信号を付加することにより、
ランダム信号がアップサンプリング処理により他の画素へ影響を及ぼし画質に不要な影響を与えることを防ぐことができる。
【００１８】
請求項５に記載の発明は、データ変換手段の出力する輝度信号と色差信号の各信号成分のレベルに応じて前記ランダム信号の振幅を制御することにより、
ランダム信号を加えることにより起こる不要なノイズ感を抑制することができる。
【００１９】
請求項６に記載の発明は、データ変換手段の出力する輝度信号と色差信号を原色信号に変換するマトリクス変換手段を有し、前記マトリクス変換手段の出力する原色信号に対し前記ランダム信号を付加することにより、
ランダム信号がアップサンプリング処理により他の画素へ影響を及ぼし画質に不要な影響を与えることを防ぐことができる。
【００２０】
請求項７に記載の発明は、マトリクス変換手段の出力する原色信号のレベルに応じて前記ランダム信号の振幅を制御することにより、
ランダム信号を加えることにより起こる不要なノイズ感を抑制することができる。
【００２１】
【発明の実施の形態】
以下、図面を参照して本発明の実施例について説明する。本実施例では、符号化方式としてＨＤＴＶを対象としたＭＰＥＧ−２を用い、復号された画像のフォーマットとしてＳＭＰＴＥ２９２Ｍ規格準拠のＨＤ−ＳＤＩ（Ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ−ｓｅｒｉａｌ ｄｉｇｉｔａｌ ｉｎｔｅｒｆａｃｅ）信号を用いたものを例として説明する。但し、復号画像フォーマットはＨＤ−ＳＤＩに限定されるものではなく、画像符号化方式もＭＰＥＧ−２に限定されるものではなく、また動画像の符号化に限定されるものでもない。
【００２２】
図２は、本発明の画像処理装置を適用した画像符号化及び復号システムの第１実施例のブロック図を示す。同図中、入力画像信号は符号化器１０に供給され、例えばＭＰＥＧ−２方式による画像符号化が行われる。ここで、符号化器１０に入力される画像信号は、例えばＨＤ−ＳＤＩ信号である。符号化器１０により生成されたＭＰＥＧ−２信号は伝送された後、復号器１２に供給され、ＨＤ−ＳＤＩ信号に復号される。
【００２３】
しかし、ＭＰＥＧ−２方式は不可逆符号化であるため、復号器１２から出力される信号は符号化器１０に入力された信号と全く同じにはならず、符号化歪が発生したものとなっている。
【００２４】
復号器１２から出力される復号信号は、ランダム信号付加器１５に供給され、ここで入力画像信号の有効領域にノイズ状のランダム信号を付加される。なお画像信号の有効領域とは、ヘッダや同期などの付加データ部分を除いた実際の画像データの部分を指し、ＨＤ−ＳＤＩ信号では、水平、垂直の同期データ部分を除いた有効映像データ領域にランダム信号が付加される。
【００２５】
図３は、ランダム信号付加器１５の一実施例のブロック図を示す。同図中、ランダム信号付加器１５は、加算処理部１４１とランダム信号発生部１４２とランダム信号振幅制御部１４３と周波数制御部１４４から構成されている。
【００２６】
ランダム信号発生部１４２は、ランダム信号振幅制御部１４３から振幅制御信号を受け、乱数に基づいたある規定振幅内のランダム信号を生成する。ＨＤ−ＳＤＩ信号では輝度信号レベル及び色差信号レベルを１０ビット即ち「０」〜「１０２３」で表しているが、ランダム信号振幅制御部１４３から供給される振幅制御信号が例えば固定値「４」であるとき、ランダム信号発生部１４２は「−４」〜「＋４」の範囲の整数をランダム信号として発生する。
【００２７】
このとき、各整数の発生頻度の分布は例えば一様とされる。但し、上記各整数の発生頻度の分布は一様分布に限らず、ガウス分布などの非一様分布も選択できる。非一様分布とは、例えば整数「０」の発生頻度を最大とし、整数「−１」，「＋１」の発生頻度を低下させ、整数「−２」，「＋２」の発生頻度をさらに低下させるような分布である。
【００２８】
また、ランダム信号振幅制御部１４３は、８×８画素のブロック毎に、図４に示すように、ブロックの中央部で小さな値をとり、ブロックの周辺部に行くほど大きな値となる振幅制御信号を発生してランダム信号発生部１４２に供給することができる。これにより、ランダム信号発生部１４２はブロックの中央部で「−２」〜「＋２」の範囲のランダム信号を発生し、周辺部で「−８」〜「＋８」の範囲のランダム信号を発生して、周波数制御部１４４に供給する。
【００２９】
周波数制御部１４４では、ランダム信号に対して周波数領域での操作を行って水平、垂直方向の２次元の高域フィルタ処理を行い、得られたランダム信号を加算処理部１４１に供給する。加算処理部１４１では、入力信号に対して、周波数制御部１４４から供給されるランダム信号を加算する。この加算処理は画像信号の有効領域を対象として行われる。これにより、ランダム信号が付加された画像信号が出力される。
【００３０】
図５は、周波数制御部１４４の一実施例のブロック図を示す。同図中、ランダム信号はＤＦＴ（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）部１４５にて周波数領域の信号に変換される。ＤＦＴ部１４５ではランダム信号付加器１５に入力される画像信号のフォーマットにおけるフレーム画素数と同じフォーマットのランダム信号配列で２次元ＤＦＴを行う。ランダム信号付加器１５に入力される画像信号フォーマットがＨＤ−ＳＤＩの場合、ＤＦＴ部１４５では１９２０×１０８０の２次元配列のランダム信号に対して水平方向及び垂直方向のＤＦＴを行う。
【００３１】
次に、ランダム信号は振幅制御部１４６にて周波数に依存した振幅制御を受けた後、ＩＤＦＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）部１４７により再び空間領域の信号に変換される。振幅制御部１４６での制御で周波数フィルタと同等の効果が得られ、例えば水平、垂直方向それぞれで高周波信号ほどレベルの大きくなる信号に整形する三角フィルタと同等な効果が得られる。
【００３２】
即ち、ランダム信号の水平、垂直方向それぞれで高周波成分を重点的に取り出し、復号画像信号に対して付加するという操作が可能になり、画像符号化に伴い失われた高周波画像成分の回復が重点的に行える。更に、人間の視覚が敏感な低域信号成分がランダム信号から除去されているため、視聴者に不要なノイズ感を与えることを防止できる。
【００３３】
以上の構成により、符号化画像を復号した画像信号に対し、復号器から離されて符号化時の情報が分からない状況であっても、符号化画像を復号した画像信号に対し、周波数制御されたランダム信号を付加することができる。この構成により、画像符号化に伴い失われた高周波画像成分を擬似的に回復し、かつ、マスキング効果によりブロック歪やモスキートノイズを低減し、主観画質を向上させることができる。
【００３４】
なお、ランダム信号振幅制御部１４３は、図４に示すように、８×８画素の画素ブロック毎に、ブロックの中央部で小さな値をとり、ブロックの周辺部に行くほど大きな値となる振幅制御信号を発生してランダム信号発生部１４２に供給しても良い。このとき、ランダム信号発生部１４２はブロックの中央部で「−２」〜「＋２」の範囲のランダム信号を発生し、周辺部で「−８」〜「＋８」の範囲のランダム信号を発生する。
【００３５】
このように、量子化の単位となる画素ブロックの境界付近で大きな振幅のランダム信号を付加し、信号レベルの変化範囲を大きくすることで、特にブロック歪の原因である画素ブロック境界付近の急激なレベル変化を、マスキング効果により知覚されにくくすることができ、ブロック歪を低減し、主観画質を向上させることができる。
【００３６】
図６は、本発明の画像処理装置を適用した画像符号化及び復号システムの第２実施例のブロック図を示す。同図中、図２と同一部分には同一符号を付す。本実施例では、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べる。即ち、符号化画像を復号した後で画素数変換による拡大・縮小処理は行われないものとする。
【００３７】
図６において、入力画像信号は符号化器１０に供給され、例えばＭＰＥＧ−２方式による画像符号化が行われる。ここで、符号化器１０に入力される画像信号は、例えばＨＤ−ＳＤＩ信号である。符号化器１０により生成されたＭＰＥＧ−２信号は伝送された後、復号器１２に供給され、ＨＤ−ＳＤＩ信号に復号される。復号器１２から出力される復号信号は、データ変換器１６に供給される。
【００３８】
データ変換器１６は入力画像信号の各成分Ｙ，Ｃｂ，Ｃｒに対し、それぞれ画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換して分離出力する。ＨＤ−ＳＤＩ信号の場合は、１つの輝度信号Ｙと、２つの色差信号Ｃｂ，Ｃｒが４：２：２フォーマットで時間多重されているので、データ変換器１６では、これをＹ，Ｃｂ，Ｃｒが４：４：４のフルサンプリング信号に変換して分離出力する。また、後続の画像表示媒体がプログレッシブ走査方式である場合は、Ｉ／Ｐ変換もデータ変換器１６において行われる。データ変換器１６から出力された各信号はランダム信号付加器１５ａ，１５ｂ，１５ｃに供給される。ランダム信号付加器１５ａ，１５ｂ，１５ｃは図３に示すランダム信号付加器１５と同一構成であり、入力信号の有効映像領域にランダム信号を付加する。
【００３９】
なお、このとき各信号成分に付加されるランダム信号のレベルはランダム信号振幅制御部１４３で制御することにより個別に設定することが可能である。例えばランダム信号振幅制御部１４３において設定振幅を０とすることにより、実質的にはランダム信号を付加しないようにすることも可能である。
【００４０】
その後、ランダム信号付加器１５ａ，１５ｂ，１５ｃそれぞれの出力信号はマトリクス変換器１８に入力される。マトリクス変換器１８では信号Ｙ，Ｃｂ，Ｃｒのマトリクス変換により原色信号Ｒ，Ｇ，Ｂを生成して出力する。生成されたＲＧＢフルサンプリング信号はＣＲＴや液晶などの表示媒体の駆動部に送られて画像表示に用いられる。
【００４１】
本実施例では、復号画像信号の各成分を画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換した後にランダム信号の付加を行うことで、ランダム信号を付加したＨＤ−ＳＤＩ信号を表示用のＲＧＢフルサンプリング信号に変換する際の画質劣化を抑えることができる。即ち、付加したランダム信号がアップサンプリング処理により他の画素へ影響を及ぼして、画質に不要な影響を与えることを防ぐことができる。
【００４２】
また、Ｙ，Ｃｂ，Ｃｒの各信号成分に対し独立にランダム信号の付加制御を行うことができるため、例えばモノクロ画像へのランダム信号付加の際にＹ信号にのみランダム信号を付加することで、不要な色彩の発生による違和感を抑えられ、より自然な画像にすることができる。
【００４３】
本実施例では、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べたが、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致しない場合でも、復号後のＨＤ−ＳＤＩ信号を画像表示媒体で表示される解像度のＨＤ−ＳＤＩ信号に変換した後、上記のデータ変換器１６以降の処理を行えば、同じ効果が得られる。
【００４４】
図７は、本発明の画像処理装置を適用した画像符号化及び復号システムの第３実施例のブロック図を示す。同図中、図６と同一部分には同一符号を付す。本実施例では、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べる。即ち、符号化画像を復号した後で画素数変換による拡大・縮小処理は行われないものとする。
【００４５】
図７において、入力画像信号は符号化器１０に供給され、例えばＭＰＥＧ−２方式による画像符号化が行われる。ここで、符号化器１０に入力される画像信号は、例えばＨＤ−ＳＤＩ信号である。符号化器１０により生成されたＭＰＥＧ−２信号は伝送された後、復号器１２に供給され、ＨＤ−ＳＤＩ信号に復号される。復号器１２から出力される復号信号は、データ変換器１６に供給される。
【００４６】
データ変換器１６は入力画像信号の各成分Ｙ，Ｃｂ，Ｃｒに対し、それぞれ画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換して分離出力する。また、後続の画像表示媒体がプログレッシブ走査方式である場合は、Ｉ／Ｐ変換もデータ変換器１６において行われる。データ変換器１６から出力された各信号はレベル依存型ランダム信号付加器２０ａ，２０ｂ，２０ｃに供給される。レベル依存型ランダム信号付加器２０ａ，２０ｂ，２０ｃは同一構成であり、入力信号の有効映像領域にランダム信号を付加する。
【００４７】
その後、レベル依存型ランダム信号付加器２０ａ，２０ｂ，２０ｃそれぞれの出力信号はマトリクス変換器１８に入力される。マトリクス変換器１８では信号Ｙ，Ｃｂ，Ｃｒのマトリクス変換により原色信号Ｒ，Ｇ，Ｂを生成して出力する。生成されたＲＧＢフルサンプリング信号はＣＲＴや液晶などの表示媒体の駆動部に送られて画像表示に用いられる。
【００４８】
本実施例では、復号画像信号の各成分を画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換した後にランダム信号の付加を行うことで、ランダム信号を付加したＨＤ−ＳＤＩ信号を表示用のＲＧＢフルサンプリング信号に変換する際の画質劣化を抑えることができる。即ち、付加したランダム信号がアップサンプリング処理により他の画素へ影響を及ぼして、画質に不要な影響を与えることを防ぐことができる。
【００４９】
図８は、レベル依存型ランダム信号付加器２０ａ，２０ｂ，２０ｃの一実施例のブロック図を示す。同図中、図３と同一部分には同一符号を付す。図８において、入力信号はレベル監視部１４８によって常時そのレベルが監視されている。レベル監視部１４８は検出した入力信号レベルをランダム信号振幅制御部１４３に供給する。
【００５０】
ランダム信号振幅制御部１４３は入力信号のレベルに応じた振幅制御信号を生成してランダム信号発生部１４２に供給する。ランダム信号発生部１４２では、ランダム信号振幅制御部１４３からの振幅制御信号を受け、乱数に基づいたある規定振幅内のランダム信号を生成ずる。このとき、各整数の発生頻度の分布は例えば一様とされる。但し、上記各整数の発生頻度の分布は一様分布に限らず、ガウス分布などの非一様分布も選択できる。
【００５１】
加算処理部１４１では、入力信号に対して、ランダム信号発生部１４２で生成したランダム信号を加算する。この加算処理は画像信号の有効領域を対象として行われる。これにより、ランダム信号が付加された画像信号が出力される。
【００５２】
上記のレベル依存型ランダム信号発生器２０ａ，２０ｂ，２０ｃを用いることで、例えば高レベルの画像信号に加えるランダム信号の振幅は大きくし、低レベルの画像信号に加えるランダム信号の振幅は小さくするといった処理が行える。この処理は、人間の視覚特性が低レベル部のレベル変動に対して敏感であるため、ランダム信号を加えることにより起こる不要なノイズ感を抑制するのに効果がある。
【００５３】
本実施例では、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べたが、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致しない場合でも、復号後のＨＤ−ＳＤＩ信号を画像表示媒体で表示される解像度のＨＤ−ＳＤＩ信号に変換した後、上記のデータ変換器１６以降の処理を行えば、同じ効果が得られる。
【００５４】
図９は、本発明の画像処理装置を適用した画像符号化及び復号システムの第４実施例のブロック図を示す。同図中、図６と同一部分には同一符号を付す。この実施例では、原色信号Ｒ，Ｇ，Ｂにランダム信号を付加する。本実施例では、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べる。即ち、符号化画像を復号した後で画素数変換による拡大・縮小処理は行われないものとする。
【００５５】
図９において、入力画像信号は符号化器１０に供給され、例えばＭＰＥＧ−２方式による画像符号化が行われる。ここで、符号化器１０に入力される画像信号は、例えばＨＤ−ＳＤＩ信号である。符号化器１０により生成されたＭＰＥＧ−２信号は伝送された後、復号器１２に供給され、ＨＤ−ＳＤＩ信号に復号される。復号器１２から出力される復号信号は、データ変換器１６に供給される。
【００５６】
データ変換器１６は入力画像信号の各成分Ｙ，Ｃｂ，Ｃｒに対し、それぞれ画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換して分離出力する。ＨＤ−ＳＤＩ信号の場合は、１つの輝度信号Ｙと、２つの色差信号Ｃｂ，Ｃｒが４：２：２フォーマットで時間多重されているので、データ変換器１６では、これをＹ，Ｃｂ，Ｃｒが４：４：４のフルサンプリング信号に変換して分離してマトリクス変換器１８に供給する。また、後続の画像表示媒体がプログレッシブ走査方式である場合は、Ｉ／Ｐ変換もデータ変換器１６において行われる。マトリクス変換器１８では信号Ｙ，Ｃｂ，Ｃｒのマトリクス変換により原色信号Ｒ，Ｇ，Ｂを生成して出力する。
【００５７】
マトリクス変換器１８から出力された各信号はランダム信号付加器１５ａ，１５ｂ，１５ｃに供給される。ランダム信号付加器１５ａ，１５ｂ，１５ｃは図３に示すランダム信号付加器１５と同一構成であり、入力信号の有効映像領域にランダム信号を付加する。
【００５８】
その後、ランダム信号付加器１５ａ，１５ｂ，１５ｃそれぞれの出力するＲＧＢフルサンプリング信号はＣＲＴや液晶などの表示媒体の駆動部に送られて画像表示に用いられる。
【００５９】
本実施例では、復号画像信号の各成分を画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換した後にランダム信号の付加を行うことで、ランダム信号を付加したＨＤ−ＳＤＩ信号を表示用のＲＧＢフルサンプリング信号に変換する際の画質劣化を抑えることができる。即ち、付加したランダム信号がアップサンプリング処理により他の画素へ影響を及ぼして、画質に不要な影響を与えることを防ぐことができる。
【００６０】
また、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べたが、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致しない場合でも、復号後のＨＤ−ＳＤＩ信号を画像表示媒体で表示される解像度のＨＤ−ＳＤＩ信号に変換した後、上記のデータ変換器１６以降の処理を行えば、同じ効果が得られる。
【００６１】
図１０は、本発明の画像処理装置を適用した画像符号化及び復号システムの第５実施例のブロック図を示す。同図中、図７と同一部分には同一符号を付す。この実施例では、原色信号Ｒ，Ｇ，Ｂにランダム信号を付加する。本実施例では、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べる。即ち、符号化画像を復号した後で画素数変換による拡大・縮小処理は行われないものとする。
【００６２】
図１０において、入力画像信号は符号化器１０に供給され、例えばＭＰＥＧ−２方式による画像符号化が行われる。ここで、符号化器１０に入力される画像信号は、例えばＨＤ−ＳＤＩ信号である。符号化器１０により生成されたＭＰＥＧ−２信号は伝送された後、復号器１２に供給され、ＨＤ−ＳＤＩ信号に復号される。復号器１２から出力される復号信号は、データ変換器１６に供給される。
【００６３】
データ変換器１６は入力画像信号の各成分Ｙ，Ｃｂ，Ｃｒに対し、それぞれ画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換して分離してマトリクス変換器１８に供給する。また、後続の画像表示媒体がプログレッシブ走査方式である場合は、Ｉ／Ｐ変換もデータ変換器１６において行われる。マトリクス変換器１８では信号Ｙ，Ｃｂ，Ｃｒのマトリクス変換により原色信号Ｒ，Ｇ，Ｂを生成して出力する。
【００６４】
マトリクス変換器１８から出力された各信号はレベル依存型ランダム信号付加器２０ａ，２０ｂ，２０ｃに供給される。レベル依存型ランダム信号付加器２０ａ，２０ｂ，２０ｃは図８に示す構成であり、入力信号の有効映像領域にランダム信号を付加する。
【００６５】
その後、レベル依存型ランダム信号付加器２０ａ，２０ｂ，２０ｃそれぞれの出力するＲＧＢフルサンプリング信号はＣＲＴや液晶などの表示媒体の駆動部に送られて画像表示に用いられる。
【００６６】
本実施例では、復号画像信号の各成分を画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換した後にランダム信号の付加を行うことで、ランダム信号を付加したＨＤ−ＳＤＩ信号を表示用のＲＧＢフルサンプリング信号に変換する際の画質劣化を抑えることができる。即ち、付加したランダム信号がアップサンプリング処理により他の画素へ影響を及ぼして、画質に不要な影響を与えることを防ぐことができる。
【００６７】
また、レベル依存型ランダム信号発生器２０ａ，２０ｂ，２０ｃを用いることで、例えば高レベル画像信号部に加えるランダム信号の振幅は大きくし、低レベル画像信号部に加えるランダム信号の振幅は小さくするといった処理が行える。この処理は、人間の視覚特性が低レベル部のレベル変動に対して敏感であるため、ランダム信号を加えることにより起こる不要なノイズ感を抑制するのに効果がある。
【００６８】
また、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べたが、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致しない場合でも、復号後のＨＤ−ＳＤＩ信号を画像表示媒体で表示される解像度のＨＤ−ＳＤＩ信号に変換した後、上記のデータ変換器１６以降の処理を行えば、同じ効果が得られる。
【００６９】
なお、ランダム信号付加器１５が請求項記載のランダム信号付加手段に対応し、ランダム信号振幅制御部１４３がランダム信号振幅制御手段に対応し、周波数制御部１４４が周波数制御手段に対応し、データ変換器１６がデータ変換手段に対応し、マトリクス変換器１８がマトリクス変換手段に対応する。
【００７０】
【発明の効果】
上述の如く、請求項１に記載の発明は、復号器から離されて符号化時の情報が分からない状況であっても、符号化で失われた高周波領域の信号を擬似的に回復し、かつ、ブロック歪やモスキートノイズを低減することができ、更に、人間の視覚が敏感な低域信号成分がランダム信号から除去され視聴者に不要なノイズ感を与えることを防止できる。
【００７１】
また、請求項２に記載の発明によれば、特に、ブロック歪を低減することができる。
【００７２】
また、請求項３に記載の発明によれば、復号器から離されて符号化時の情報が分からない状況であっても、符号化で失われた高周波領域の信号を擬似的に回復し、かつ、ブロック歪やモスキートノイズを低減することができ、更に、人間の視覚が敏感な低域信号成分がランダム信号から除去され視聴者に不要なノイズ感を与えることを防止でき、特に、ブロック歪を低減することができる。
【００７３】
また、請求項４に記載の発明によれば、ランダム信号がアップサンプリング処理により他の画素へ影響を及ぼし画質に不要な影響を与えることを防ぐことができる。
【００７４】
また、請求項５に記載の発明によれば、ランダム信号を加えることにより起こる不要なノイズ感を抑制することができる。
【００７５】
また、請求項６に記載の発明によれば、ランダム信号がアップサンプリング処理により他の画素へ影響を及ぼし画質に不要な影響を与えることを防ぐことができる。
【００７６】
また、請求項７に記載の発明によれば、ランダム信号を加えることにより起こる不要なノイズ感を抑制することができる。
【図面の簡単な説明】
【図１】量子化の原理を示す図である。
【図２】本発明の画像処理装置を適用した画像符号化及び復号システムの第１実施例のブロック図である。
【図３】ランダム信号付加器の一実施例のブロック図である。
【図４】画素ブロックにおけるランダム信号の振幅を表す図である。
【図５】周波数制御部の一実施例のブロック図である。
【図６】本発明の画像処理装置を適用した画像符号化及び復号システムの第２実施例のブロック図である。
【図７】本発明の画像処理装置を適用した画像符号化及び復号システムの第３実施例のブロック図である。
【図８】レベル依存型ランダム信号付加器の一実施例のブロック図である。
【図９】本発明の画像処理装置を適用した画像符号化及び復号システムの第４実施例のブロック図である。
【図１０】本発明の画像処理装置を適用した画像符号化及び復号システムの第５実施例のブロック図である。
【符号の説明】
１０ 符号化器
１２ 復号器
１５，１５ａ〜１５ｃ ランダム信号付加器
１６ データ変換器
１８ マトリクス変換器
２０ａ〜２０ｃ レベル依存型ランダム信号付加器
１４１ 加算処理部
１４２ ランダム信号発生部
１４３ ランダム信号振幅制御部
１４４ 周波数制御部
１４５ ＤＦＴ部
１４６ 振幅制御部
１４７ ＩＤＦＴ部
１４８ レベル監視部
Claims (7)
- 符号化画像を復号した画像信号の有効領域にランダム信号を付加するランダム信号付加手段を備える画像処理装置において、
前記ランダム信号付加手段は、前記ランダム信号の振幅を制御するランダム信号振幅制御手段と、
前記ランダム信号の水平、垂直方向それぞれで高周波成分を取り出す周波数制御手段を
有することを特徴とする画像処理装置。 - 符号化画像を復号した画像信号の有効領域にランダム信号を付加するランダム信号付加手段を備える画像処理装置において、
前記ランダム信号付加手段は、画素ブロック中央部に対して境界付近で前記ランダム信号の振幅を大きくするよう前記ランダム信号の振幅を制御するランダム信号振幅制御手段を
有することを特徴とする画像処理装置。 - 符号化画像を復号した画像信号の有効領域にランダム信号を付加するランダム信号付加手段を備える画像処理装置において、
前記ランダム信号付加手段は、画素ブロック中央部に対して境界付近で前記ランダム信号の振幅を大きくするよう前記ランダム信号の振幅を制御するランダム信号振幅制御手段と、
前記ランダム信号の水平、垂直方向それぞれで高周波成分を取り出す周波数制御手段を
有することを特徴とする画像処理装置。 - 請求項１乃至３のいずれか記載の画像処理装置において、
前記符号化画像を復号した画像信号である輝度信号と色差信号の各信号成分を画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換するデータ変換手段を有し、
前記データ変換手段の出力する輝度信号と色差信号の各信号成分に対し前記ランダム信号を付加することを特徴とする画像処理装置。 - 請求項４記載の画像処理装置において、
前記ランダム信号振幅制御手段は、前記データ変換手段の出力する輝度信号と色差信号の各信号成分のレベルに応じて前記ランダム信号の振幅を制御することを特徴とする画像処理装置。 - 請求項４記載の画像処理装置において、
前記データ変換手段の出力する輝度信号と色差信号を原色信号に変換するマトリクス変換手段を有し、
前記マトリクス変換手段の出力する原色信号に対し前記ランダム信号を付加することを特徴とする画像処理装置。 - 請求項６記載の画像処理装置において、
前記ランダム信号振幅制御手段は、前記マトリクス変換手段の出力する原色信号のレベルに応じて前記ランダム信号の振幅を制御することを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003130550A JP2004336478A (ja) | 2003-05-08 | 2003-05-08 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003130550A JP2004336478A (ja) | 2003-05-08 | 2003-05-08 | 画像処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004336478A true JP2004336478A (ja) | 2004-11-25 |
Family
ID=33506039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003130550A Pending JP2004336478A (ja) | 2003-05-08 | 2003-05-08 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004336478A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101287119B (zh) * | 2008-04-28 | 2010-06-02 | 北京大学深圳研究生院 | 基于频谱的图像分层编解码方法及系统 |
| US7916967B2 (en) | 2006-07-20 | 2011-03-29 | Panasonic Corporation | Image processing apparatus and image processing method |
-
2003
- 2003-05-08 JP JP2003130550A patent/JP2004336478A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7916967B2 (en) | 2006-07-20 | 2011-03-29 | Panasonic Corporation | Image processing apparatus and image processing method |
| CN101287119B (zh) * | 2008-04-28 | 2010-06-02 | 北京大学深圳研究生院 | 基于频谱的图像分层编解码方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8750390B2 (en) | Filtering and dithering as pre-processing before encoding | |
| KR100281099B1 (ko) | 동영상의부호화에따른블록화현상제거방법 | |
| EP1676446B1 (en) | Video comfort noise addition technique | |
| JP5351038B2 (ja) | 画像データ及び深度データの組合せを処理する画像処理システム | |
| CN102714723B (zh) | 使用胶片颗粒遮蔽压缩伪影 | |
| US20080123979A1 (en) | Method and system for digital image contour removal (dcr) | |
| JP5490544B2 (ja) | 画像におけるアーティファクトを低減するシステム及び方法 | |
| US20150085943A1 (en) | Video processing device, video processing method, television receiver, program, and recording medium | |
| JPH0832975A (ja) | イメージデータ後処理方法及びその装置 | |
| JP2001285867A (ja) | Ｉｄｃｔミスマッチについて補償するｄｃｔドメイン下方変換システム | |
| JP3540855B2 (ja) | ブロック歪み補正器 | |
| JP2003517796A (ja) | 「ムラのあるピクチャ」効果を減らす方法 | |
| JP4592562B2 (ja) | 画像復号装置 | |
| JP2004518337A (ja) | ビデオエンハンスメントのために符号化情報に基づく有用メトリックを提供するための装置及び方法 | |
| JP2002359845A (ja) | ディザ処理装置 | |
| JP5516842B2 (ja) | 動画像処理装置、動画像処理方法、および動画像処理プログラム | |
| JP4053460B2 (ja) | 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム、および記録媒体 | |
| JP2004336478A (ja) | 画像処理装置 | |
| JP2006128744A (ja) | ブロック歪み低減装置 | |
| JP2004056190A (ja) | フィルタ装置 | |
| JP4570081B2 (ja) | 動画像エラー隠蔽方法および装置 | |
| JP2001078187A (ja) | 画像復号化装置 | |
| JP2005295371A (ja) | ブロックノイズ除去装置 | |
| JP4185413B2 (ja) | フリッカ低減量子化器、フリッカ低減量子化方法、及びそのプログラム | |
| JP2005006007A (ja) | 画像処理装置及び画像処理方法 |