JP2001078187A - 画像復号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 圧縮符号化された画像の復号化後にフォーマ
ット変換が必要な場合に、少ない処理量及びメモリ量で
ノイズ除去を行う。 【解決手段】 符号列に対して画像復号化手段１０１が
復号化した後、ノイズ除去手段１０２はノイズ除去を施
して出力する。フォーマット変換手段１０３は、画像復
号化手段１０１からのフォーマット情報に基づいて、ノ
イズ除去後のデータに対して、符号化時のフォーマット
から出力画像のフォーマットへの変換を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、圧縮符号化された
画像を復号化した際に生じる符号化ノイズであるブロッ
クノイズおよびモスキートノイズを除去する画像復号化
技術に属する。

【０００２】

【従来の技術】近年、放送、通信や蓄積の分野における
画像の高能率圧縮符号化方法として、ＭＰＥＧ（Ｍｏｖ
ｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）
方式等が広く用いられている。ＭＰＥＧ方式では、画像
から空間方向と時間方向の冗長度を取り除くことにより
符号化を行う。

【０００３】空間方向の冗長度を取り除くためには、離
散コサイン変換（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅ Ｔｒ
ａｎｓｆｏｒｍ、以下ＤＣＴ）と量子化処理が用いられ
る。まず、画像を８×８画素のブロックと呼ばれる単位
に分割した後ＤＣＴにより周波数領域の係数（ＤＣＴ係
数）に変換する。そして、ＤＣＴ係数に対して量子化処
理を行う。量子化処理はＤＣＴ領域の各周波数に対応し
た値を有する量子化マトリクスと量子化ステップとの両
者を用いて、ＤＣＴ係数を除する処理である。この量子
化処理により、ＤＣＴ係数値が小さい周波数成分が０に
なる。一般に画像信号はエネルギーが低域に集中してい
るために、この処理によって高周波数成分が削除され
る。しかしながら、人間の視覚特性は高域になるほど悪
くなるので、量子化処理で用いる量子化ステップが小さ
ければ、画質劣化は目立ちにくい。

【０００４】また時間方向の冗長度を取り除くために
は、動き補償が用いられる。動き補償では、１６×１６
画素のマクロブロックを単位として参照画像から最も近
い領域を選び出す。そして参照画像との差分値を符号化
する。動きがそれ程速くない場合には差分値はほぼ０と
なるため、時間的冗長度を削減することができる。

【０００５】通常ビットレートが高い（圧縮率が小さ
い）場合には、ＭＰＥＧ方式では画質劣化は非常に目立
ちにくい。しかしながら、ビットレートが低く（圧縮率
が高く）なると画質劣化、すなわち符号化ノイズが目立
ち始める。ＭＰＥＧ方式における符号化ノイズの代表的
なものとして、ブロックノイズ（ブロック歪みとも呼ば
れる）とモスキートノイズ（リンギングノイズとも呼ば
れる）がある。

【０００６】ブロックノイズは、ブロック境界がはっき
りとタイル状に見える現象である。これは、ブロック内
の画像信号が低域周波数成分しか持たず、かつ隣接する
ブロック間での周波数成分値が異なるために生じる。ま
たモスキートノイズは、エッジ周辺に蚊が飛んでいるよ
うにチラチラと生じるノイズである。これは本来画像信
号が有していた高周波数成分が、量子化処理によりなく
なることにより生じる。

【０００７】ブロックノイズやモスキートノイズはアナ
ログ系のノイズとは異なり、画質劣化として大きく目立
つため、これらを除去する方法がいくつか提案されてい
る。

【０００８】従来の画像復号化装置の例を図４を用いて
説明する。図４は、画像復号化手段１００１、フォーマ
ット変換手段１００２、ノイズ除去手段１００３を備え
た従来の画像復号化装置のブロック図である。符号列は
画像復号化手段１００１で復号化されて復号化画像とな
り、フォーマット変換手段１００２に入力される。フォ
ーマット変換手段１００２では、復号化画像のフォーマ
ットを出力画像フォーマットに変換する。例えば、符号
列が画像を水平方向に１／２に縮小してから圧縮符号化
したような符号列である場合、フォーマット変換手段１
００２では、復号化画像のサイズを元のサイズに拡大し
て出力する。出力された画像はノイズ除去手段１００３
でブロックノイズやモスキートノイズを除去されて出力
される。

【０００９】

【発明が解決しようとする課題】しかしながら上記従来
の方法では、符号化の際における画像フォーマットとノ
イズ除去手段１００３での処理時点における画像フォー
マットとが異なる。したがって、ノイズ除去手段１００
３での処理時点における画像フォーマットが符号化の際
における画像フォーマットよりも画素数や画面レート等
が多い場合、ノイズ除去手段１００３での処理量が多く
なることになる。また、例えばノイズ除去手段１００３
でブロックノイズを除去する場合、フォーマット変換手
段１００２で画像フォーマットを変換すると、どのよう
にフォーマット変換を施したかという情報をノイズ除去
手段１００３に伝えなければならない。なぜならば、そ
の情報がなければノイズ除去手段はブロック境界がどの
位置にあるかを判断できないからである。また、フォー
マット変換手段１００２でフォーマット変換する場合に
は、通常フィルタ処理が入るため、ブロックノイズやモ
スキートノイズの影響を受けたままフォーマット変換さ
れて、フォーマット変換によりさらに画質劣化が生じる
ことがある。

【００１０】このように上記従来の方法は問題点を有し
ていた。

【００１１】本発明は上記問題点を解決するものであ
り、画像の復号化後にフォーマット変換が必要な場合で
あっても、少ない処理量でブロックノイズとモスキート
ノイズを除去することができ、また高画質な出力画像を
得ることができる画像復号化装置を提供することを課題
とする。

【００１２】

【課題を解決するための手段】前記課題を解決するた
め、請求項１の発明が講じた手段は、画像復号化装置と
して、圧縮符号化された画像の符号列を復号化し、復号
化画像を得て出力する画像復号化手段と、前記画像復号
化手段の出力である復号化画像からノイズを除去するノ
イズ除去手段と、前記ノイズ除去手段の出力であるノイ
ズ除去を施された復号化画像を所定の画像フォーマット
に変換して出力するフォーマット変換手段とを備えたも
のである。

【００１３】また、請求項２の発明は、画像復号化装置
として、圧縮符号化された画像の符号列を復号化し、復
号化画像と前記復号化画像の画像フォーマット情報を出
力する画像復号化手段と、前記画像復号化手段の出力で
ある復号化画像からノイズを除去するノイズ除去手段
と、前記画像復号化手段の出力である復号化画像の画像
フォーマット情報を用いて、前記ノイズ除去手段の出力
であるノイズ除去を施された復号化画像を所定の画像フ
ォーマットに変換して出力するフォーマット変換手段と
を備えたものである。

【００１４】さらに、請求項３の発明では、請求項１ま
たは２に記載の画像復号化装置において、前記圧縮符号
化された画像は、本来の画面サイズよりも縮小された状
態で符号化されたものであり、前記フォーマット変換手
段は、前記復号化画像を前記所定の画像フォーマットと
しての前記本来の画面サイズに拡大して出力するもので
ある。

【００１５】また、請求項４の発明では、請求項１また
は２に記載の画像復号化装置において、前記圧縮符号化
された画像は、順次走査画像として符号化されたもので
あり、前記フォーマット変換手段は、前記復号化画像を
前記所定の画像フォーマットとしての飛越し走査画像に
変換して出力するものである。

【００１６】また、請求項５の発明では、請求項４に記
載の画像復号化装置において、前記順次走査画像の画面
レートは毎秒２４フレームであり、前記飛越し走査画像
の画面レートは毎秒６０フィールドであることを特徴と
する。

【００１７】また、請求項６の発明では、請求項１また
は２に記載の画像復号化装置において、前記圧縮符号化
された画像は、飛越し走査画像として符号化されたもの
であり、前記フォーマット変換手段は、前記復号化画像
を前記所定の画像フォーマットとしての順次走査画像に
変換して出力するものである。

【００１８】

【発明の実施の形態】以下、図面を参照しながら本発明
の一実施形態について説明する。

【００１９】図１は画像復号化手段１０１、ノイズ除去
手段１０２、フォーマット変換手段１０３を備えた画像
復号化装置のブロック図である。

【００２０】画像復号化手段１０１に入力された符号列
は、その符号列の符号化方法に適した方法で復号化され
て復号化画像となる。例えばＪＰＥＧで符号化されてい
る場合にはＪＰＥＧ方式で復号化を行い、ＭＰＥＧ方式
で符号化されている場合には、ＭＰＥＧ方式で復号化を
行う。復号化画像はノイズ除去手段１０２に対して出力
される。

【００２１】また画像復号化手段１０１では、符号列の
ヘッダ情報等から画像がどのようなフォーマットで符号
化されているかを示す情報を抽出し、それをフォーマッ
ト変換手段１０３に対して出力する。どのようなフォー
マットで符号化されているかを示す情報としては、画面
サイズ、フレーム周波数等がある。例えばＭＰＥＧ２符
号化方式の場合には、画面サイズはシーケンスヘッダ内
のｈｏｒｉｚｏｎｔａｌ＿ｓｉｚｅ＿ｖａｌｕｅ、ｖｅ
ｒｔｉｃａｌ＿ｓｉｚｅ＿ｖａｌｕｅに記述されてい
る。また、フィルム素材のように毎秒２４フレームのプ
ログレッシブ（順次走査）画像のフォーマットで符号化
されている画像を毎秒６０フィールドの画像に変換する
ときには、ピクチャコーディングエクステンション内に
記述されているｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ、ｒｅ
ｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄのフラグを用いる。

【００２２】ノイズ除去手段１０２は、画像復号化手段
１０１から復号化画像を入力として受け取る。そしてノ
イズ除去手段１０２では復号化画像に対して、ブロック
ノイズやモスキートノイズ等の除去を施す。ブロックノ
イズやモスキートノイズ等の除去方法としては従来の方
法を用いることができる。

【００２３】ノイズ除去手段１０２では、復号化画像が
符号化されていた時点での画像フォーマットのままノイ
ズ除去を施す。例えば、復号化画像が元のサイズの１／
２の大きさに縮小された後符号化されていたとすると、
ノイズ除去手段１０２では元のサイズの１／２の大きさ
の状態でノイズ除去を施す。また例えば、復号化画像が
毎秒２４フレームのプログレッシブ画像のフォーマット
で符号化されていたとすると、ノイズ除去手段１０２で
は毎秒２４フレームのプログレッシブ（順次走査）画像
のままノイズ除去を施す。

【００２４】このようにしてノイズ除去を施された復号
化画像はフォーマット変換手段１０３に対して出力され
る。

【００２５】フォーマット変換手段１０３は、ノイズ除
去手段１０２からはノイズ除去を施された復号化画像
を、画像復号化手段１０１からは復号化画像がどのよう
なフォーマットで符号化されていたかを示す情報を入力
として受け取る。フォーマット変換手段１０３では、復
号化画像のフォーマットを出力画像のフォーマットに変
換する。

【００２６】例えば、復号化画像が元のサイズに対して
水平方向に１／２の大きさに縮小された後符号化されて
いたとすると、フォーマット変換装置１０３では復号化
画像に対して水平方向に補間フィルタを施すことによっ
て元のサイズに戻して出力する。この様子を図２に示
す。図２（ａ）はノイズ除去手段１０２から出力された
時点での復号化画像の状態であり、白丸は画素ｐを示
す。そして図２（ｂ）は、フォーマット変換装置１０３
により変換された後の復号化画像の状態を示しており、
黒丸は補間により生成された画素ｑを示している。

【００２７】また復号化画像がフィルム素材のように毎
秒２４フレームのプログレッシブ画像のフォーマットで
符号化されていたとすると、フォーマット変換装置１０
３では復号化画像に対して同じフィールドを繰り返して
出力することにより、毎秒６０フィールドのインターレ
ース（飛越し走査）画像に変換して出力する。この様子
を図３に示す。図３（ａ）はノイズ除去手段１０２から
出力された時点での復号化画像の状態であり、毎秒２４
フレームのフレームＦＲの並びを時間軸に沿って示して
いる。図３（ｂ）は図３（ａ）のフレームをフィールド
単位で示した図である。各フレームＦＲを第１フィール
ドＦＬ１、第２フィールドＦＬ２に分けて示している。
そして特定のフィールドを繰り返して出力することによ
り図３（ｃ）のように毎秒６０フィールドのインターレ
ース画像として出力することができる。符号列がＭＰＥ
Ｇ２符号化方式で符号化されている場合には、この変換
の際にはｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ、ｒｅｐｅａ
ｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄといった情報を利用するこ
とができる。

【００２８】また復号化画像が毎秒６０フィールドのイ
ンターレース画像のフォーマットで符号化されており、
出力フォーマットが毎秒６０フレームのプログレッシブ
画像であるとすると、フォーマット変換装置１０３では
復号化画像に対してインターレース・プログレッシブ変
換を施してプログレッシブ画像として出力する。

【００２９】以上のように本実施形態の画像復号化装置
は、符号列を復号化して得られた復号化画像から、ブロ
ックノイズやモスキートノイズ等のノイズを除去する。
そして、ノイズ除去後の復号化画像に対して出力画像フ
ォーマットに一致するようにフォーマット変換を施して
出力する。

【００３０】このような動作により、本実施形態の画像
復号化装置を用いることによって、従来よりも少ない処
理量、メモリ量でノイズ除去を行うことができる。ま
た、フォーマット変換前にノイズ除去を行うために、ノ
イズの影響を受けずにフォーマット変換を行うことがで
き画質向上を図ることができる。また、ノイズ除去の方
法は符号列のフォーマットのみで決定されるので、ノイ
ズ除去における動作の切り替え（例えばブロックノイズ
除去におけるブロック位置の設定）等が不要となる。

【００３１】なお本実施形態では、ノイズ除去手段１０
２がブロックノイズとモスキートノイズとを除去する場
合を例に挙げて説明したが、ノイズ除去手段１０２が他
の種類のノイズを除去する場合も同様である。

【００３２】また本実施形態では、フォーマット変換手
段１０３におけるフォーマット変換の例として、画面サ
イズの変換、画面レートの変換、インターレース・プロ
グレッシブ変換を例に挙げたが、これらとは異なるフォ
ーマット変換であってもよい。

【００３３】

【発明の効果】以上のように本発明の画像復号化装置で
は、符号列を復号化して得られた復号化画像から、ブロ
ックノイズやモスキートノイズ等のノイズを除去する。
そして、ノイズ除去後の画像に対して出力画像フォーマ
ットに一致するようにフォーマット変換を施して出力す
る。

【００３４】このような動作により、本発明の画像復号
化装置を用いることによって、従来よりも少ない処理
量、メモリ量でノイズ除去を行うことができる。また、
フォーマット変換前にノイズ除去を行うために、ノイズ
の影響を受けずにフォーマット変換を行うことができ画
質向上を図ることができる。また、ノイズ除去の方法は
符号列のフォーマットのみで決定されるので、ノイズ除
去における動作の切り替え等が不要となる。

【図面の簡単な説明】

【図１】本発明の実施形態に係る画像復号化装置のブロ
ック図である。

【図２】画素の補間を伴うフォーマット変換の例の説明
図である。

【図３】プログレッシブ画像をインターレース画像に変
換するフォーマット変換の例の説明図である。

【図４】従来の画像復号化装置のブロック図である。

【符号の説明】

１０１ 画像復号化手段 １０２ ノイズ除去手段 １０３ フォーマット変換手段 ｐ 画素 ｑ 補間により生成された画素 ＦＲ フレーム ＦＬ１ 第１フィールド ＦＬ２ 第２フィールド

フロントページの続き (72)発明者 谷内 弘志 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Ｆターム(参考） 5C059 KK03 KK04 LA00 LA06 LB15 MA00 UA05

Claims (6)

【特許請求の範囲】
1. 【請求項１】 圧縮符号化された画像の符号列を復号化
   し、復号化画像を得て出力する画像復号化手段と、 前記画像復号化手段の出力である復号化画像からノイズ
   を除去するノイズ除去手段と、 前記ノイズ除去手段の出力であるノイズ除去を施された
   復号化画像を所定の画像フォーマットに変換して出力す
   るフォーマット変換手段とを備えたことを特徴とする画
   像復号化装置。
2. 【請求項２】 圧縮符号化された画像の符号列を復号化
   し、復号化画像と前記復号化画像の画像フォーマット情
   報を出力する画像復号化手段と、 前記画像復号化手段の出力である復号化画像からノイズ
   を除去するノイズ除去手段と、 前記画像復号化手段の出力である復号化画像の画像フォ
   ーマット情報を用いて、前記ノイズ除去手段の出力であ
   るノイズ除去を施された復号化画像を所定の画像フォー
   マットに変換して出力するフォーマット変換手段とを備
   えたことを特徴とする画像復号化装置。
3. 【請求項３】 請求項１または２に記載の画像復号化装
   置において、 前記圧縮符号化された画像は、本来の画面サイズよりも
   縮小された状態で符号化されたものであり、 前記フォーマット変換手段は、 前記復号化画像を前記所定の画像フォーマットとしての
   前記本来の画面サイズに拡大して出力することを特徴と
   する画像復号化装置。
4. 【請求項４】 請求項１または２に記載の画像復号化装
   置において、 前記圧縮符号化された画像は、順次走査画像として符号
   化されたものであり、 前記フォーマット変換手段は、 前記復号化画像を前記所定の画像フォーマットとしての
   飛越し走査画像に変換して出力することを特徴とする画
   像復号化装置。
5. 【請求項５】 請求項４に記載の画像復号化装置におい
   て、 前記順次走査画像の画面レートは毎秒２４フレームであ
   り、前記飛越し走査画像の画面レートは毎秒６０フィー
   ルドであることを特徴とする画像復号化装置。
6. 【請求項６】 請求項１または２に記載の画像復号化装
   置において、 前記圧縮符号化された画像は、飛越し走査画像として符
   号化されたものであり、 前記フォーマット変換手段は、 前記復号化画像を前記所定の画像フォーマットとしての
   順次走査画像に変換して出力することを特徴とする画像
   復号化装置。