JP2008301366A - 画像復号化装置、及び画像復号化方法 - Google Patents

Abstract

【課題】復号化された画像データのエッジ部がぼけてしまうのを防止すると共に、復号画像データのエッジ部におけるモスキートノイズを低減する。
【解決手段】領域分離部５ではエッジ情報信号１５に基づき、復号画像データ１３がエッジ領域画像データ２３と、非エッジ領域画像データ１７とに分離され、前者は切り替え部９に、後者は雑音低減部７に、夫々出力される。雑音低減部７では非エッジ領域画像データ１７に対し、モスキートノイズを低減するための雑音低減処理が施される。雑音低減処理が施された後の非エッジ領域画像データ１９は切り替え部９に出力される。切り替え部９ではエッジ領域画像データ２３と、非エッジ領域画像データ１７とが合成され、元の復号画像データが復元される。
【選択図】図１

Description

本発明は、符号化された画像データに、所定の復号化処理を施して復号画像データを得る画像復号化装置、及び画像復号化方法に関する。

従来、画像復号化装置において、画像の特性に適合したフィルタリングが行えると共に、フィルタリングによる画像のぼけを防止しつつ、雑音が適切に低減された復号画像データを得ることを目的とした技術が提案されている。該提案の概要は、ブロック毎に符号化された画像フレームが復号化され、復号画像データに発生する雑音が低減され、復号画像データから抽出されたエッジの状態によりブロックが分類される。また、画像フレームが所定の処理単位に分割され、該処理単位において、上記ブロックの符号化データの量子化パラメータに対し、所定の演算が実施され、各処理単位における量子化パラメータの状態が算出される。更に、ブロック毎の分類結果と該ブロックが属する画像フレームの所定の処理単位における量子化パラメータの状態に従い、復号画像データに発生する雑音低減のためのフィルタリング処理が制御される（例えば特許文献１参照）。
特開2006-032999号公報

ところで、上述した従来の画像復号化装置においては、画像データのブロックを単位としてエッジ部と非エッジ部とを判定し、エッジ部と判定されたブロックに対し、該ブロック内に含まれる全画素についてフィルタリング処理を施すことによりモスキートノイズを低減する手法が採用されている。上記画像復号化装置では、復号画像データに発生する雑音を低減するためのフィルタリング処理が、モスキートノイズの発生し易い、復号画像データのエッジ部に対してのみ施される。そのため、復号画像デーラの非エッジ部においては、フィルタリング処理に起因する画像のぼけ等の歪みを回避することが可能である。

しかし、画像データのエッジ部においては、該エッジ部、及びその近傍部位を含む領域における全ての画素に対し、フィルタリング処理が施されるため、（復号画像データの）エッジ部における高域（高周波）成分が損なわれ、それにより復号画像データのエッジ部がぼけてしまう（復号画像データのエッジ部の鮮鋭度が劣化する）という問題点があった。

従って本発明の目的は、復号化された画像データのエッジ部がぼけてしまう（復号画像データのエッジ部の鮮鋭度が劣化する）のを防止できるようにすると共に、復号画像データのエッジ部におけるモスキートノイズを低減することができるようにすることにある。

本発明の第１の観点に従う画像復号化装置は、符号化された画像データに、所定の復号化処理を施して復号画像データを得るもので、入力した復号画像データを、エッジ領域に係る画像データと、非エッジ領域に係る画像データとに分離する分離部と、上記分離部により分離された非エッジ領域に係る画像データに、雑音低減処理を施す雑音低減処理部と、
上記分離部により分離されたエッジ領域に係る画像データと、上記雑音低減処理部により雑音低減処理が施された後の非エッジ領域に係る画像データとを合成する画像デ−タ合成部と、を備える。

本発明の第１の観点に係る好適な実施形態では、入力した復号画像データからエッジ情報を抽出するエッジ情報抽出部、を更に備える。

上記とは別の実施形態では、上記分離部が、上記エッジ情報抽出部により抽出されるエッジ情報に基づき、上記復号画像データからエッジ領域に係る画像データと、非エッジ領域に係る画像データとを分離する。

また、上記とは別の実施形態では、上記画像データ合成部が、上記エッジ情報抽出部により抽出されるエッジ情報に基づき、上記エッジ領域に係る画像データと、上記非エッジ領域に係る画像データとを合成する。

また、上記とは別の実施形態では、上記雑音低減処理部による雑音低減処理が、上記非エッジ領域に係る画像データに対するモスキートノイズを低減するための処理である。

また、上記とは別の実施形態では、上記雑音低減処理部が上記雑音低減処理を行うに際してのフィルタリングの強度を調節するフィルタリング強度調節部、を更に備える。

また、上記とは別の実施形態では、上記フィルタリング強度調節部による上記フィルタリングの強度の調節が、上記エッジ情報抽出部により抽出されるエッジ情報に基づいて行われる。

また、上記とは別の実施形態では、上記フィルタリング強度調節部による上記フィルタリングの強度の調節が、上記符号化された画像データに係わる符号化パラメータの値に基づいて行われる。

更に、上記とは別の実施形態では、上記符号化パラメータが、上記符号化された画像データに係わる量子化パラメータ、又は動きベクトル情報である。

本発明の第２の観点に従う画像復号化方法は、符号化された画像データに、所定の復号化処理を施して復号画像データを得るもので、入力した復号画像データを、エッジ領域に係る画像データと、非エッジ領域に係る画像データとに分離する第１のステップと、上記第１のステップにおいて分離された非エッジ領域に係る画像データに、雑音低減処理を施す第２のステップと、上記第１のステップにおいて分離されたエッジ領域に係る画像データと、上記第２のステップにおいて雑音低減処理が施された後の非エッジ領域に係る画像データとを合成する第３のステップと、を備える。

本発明の第３の観点に従う動画像記録装置は、入力したディジタル形式の映像・音声信号から夫々ディジタル形式の映像信号と音声信号とを分離する信号分離部と、上記信号分離部から出力されるディジタル形式の映像信号を復号化する映像デコーダと、入力したディジタル形式の映像・音声信号を、再生可能な状態で記録する記録部と、を備え、上記映像デコーダが、入力した復号画像データを、エッジ領域に係る画像データと、非エッジ領域に係る画像データとに分離する分離部と、上記分離部により分離された非エッジ領域に係る画像データに、雑音低減処理を施す雑音低減処理部と、上記分離部により分離されたエッジ領域に係る画像データと、上記雑音低減処理部により雑音低減処理が施された後の非エッジ領域に係る画像データとを合成する画像デ−タ合成部と、を有する。

本発明の第４の観点に従う画像表示装置は、受信した映像・音声信号から所望のディジタル形式の映像・音声信号を抽出する映像・音声信号抽出部と、入力したディジタル形式の映像・音声信号から夫々ディジタル形式の映像信号と音声信号とを分離する信号分離部と、上記信号分離部から出力されるディジタル形式の映像信号を復号化する映像デコーダと、を備え、上記映像デコーダが、入力した復号画像データを、エッジ領域に係る画像データと、非エッジ領域に係る画像データとに分離する分離部と、上記分離部により分離された非エッジ領域に係る画像データに、雑音低減処理を施す雑音低減処理部と、上記分離部により分離されたエッジ領域に係る画像データと、上記雑音低減処理部により雑音低減処理が施された後の非エッジ領域に係る画像データとを合成する画像デ−タ合成部と、を有する。

本発明によれば、復号化された画像データのエッジ部がぼけてしまう（復号画像データのエッジ部の鮮鋭度が劣化する）のを防止できるようにすると共に、復号画像データのエッジ部におけるモスキートノイズを低減することができるようにすることが可能になる。

以下、本発明の実施の形態を、図面により詳細に説明する。

図１は、本発明の第１の実施形態に係る画像復号化装置の全体構成の一例を示す機能ブロック図である。

図１に示す画像復号化装置１００は、ハードウェアとして具現化することも可能であるし、例えば所定のディジタル演算処理を行うハードウェア（コンピュータ）に搭載される、画像復号化処理を実施するためのソフトウェアとして具現化することも可能である。上記画像復号化装置１００は、図１に示すように、復号化部１と、エッジ情報抽出部３と、領域分離部５と、雑音低減部７と、切り替え部９と、を備える。

復号化部１は、画像符号化装置（ここでは、図示を省略）において生成された画像信号（画像情報）の符号化データ１１を入力し、該符号化データ１１に復号化のための信号処理を施すことにより、復号画像データ１３を生成する。復号化部１は、該生成された復号画像データ１３を、エッジ情報抽出部３、及び領域分離部５に夫々出力する。

エッジ情報抽出部３は、復号化部１より出力された復号画像デ−タ１３を入力し、所定の信号処理を施すことによって該復号画像データ１３からエッジ情報を抽出する。該エッジ情報はエッジ情報信号１５として、エッジ情報抽出部３から領域分離部５、及び切り替え部９に夫々出力される。

領域分離部５は、復号化部１から出力される復号画像データ１３、及びエッジ情報抽出部３から出力されるエッジ情報信号１５を、夫々入力する。領域分離部５では、エッジ情報信号１５に基づいて、復号画像データ１３がエッジ領域に含まれる画像データと、非エッジ領域に含まれる画像データとに分離される。そして、エッジ領域に含まれる画像データについては、エッジ領域画像データ２３として領域分離部５から切り替え部９に、非エッジ領域に含まれる画像データについては、非エッジ領域画像データ１７として領域分離部５から雑音低減部７に、夫々出力される。

雑音低減部７は、領域分離部５から出力される非エッジ領域画像データ１７を入力する。そして、該非エッジ領域画像データ１７に対し、モスキートノイズを低減するための雑音低減処理を施す。該雑音低減処理が施された後の非エッジ領域画像データ、即ち、雑音低減化非エッジ領域画像データ１９は、雑音低減部７から切り替え部９に出力される。

切り替え部９は、領域分離部５において分離されたエッジ領域に含まれる画像データと、非エッジ領域に含まれる画像データとを合成することにより、元の復号画像データとして出力するものである。即ち、切り替え部９は、エッジ情報抽出部３から出力されるエッジ情報信号１５、領域分離部５から出力されるエッジ領域画像データ２３、及び雑音低減部７から出力される雑音低減化非エッジ領域画像データ１９を、夫々入力する。切り替え部９では、エッジ情報信号１５に基づき、画像信号の非エッジ領域については、雑音低減化非エッジ領域画像データ１９が、上記画像信号のエッジ領域については、エッジ領域画像データ２３が、夫々選択されて出力される。

図２は、図１に記載の画像復号化装置１００における復号化部１の内部構成の一例を示す機能ブロック図である。

復号化部１は、図２に示すように、可変長復号化部２５と、逆量子化部２７と、逆離散コサイン変換部（Inverse Discrete Cosine Transform部）(以下、「IDCT部」と表記する。)２９と、加算器３１と、フレームメモリ３３と、動き補償部３５と、を備える。復号化部１では、可変長復号化部２５、逆量子化部２７、IDCT部２９、及び加算器３１を通じて図１で示したエッジ情報抽出部３、及び領域分離部５に接続するループと、該ループに接続する、フレームメモリ３３、及び動き補償部３５を介して加算器３１に接続するフィードバックループと、可変長復号化部２５の出力側と動き補償部３５の入力側とを接続するループと、が形成されている。

可変長復号化部２５は、画像符号化装置（ここでは、図示を省略）において生成された画像信号（画像データ）の符号化データ１１を入力し、該符号化データ１１に可変長復号化のための信号処理を施すことによって得られた量子化データを、逆量子化部２７に出力する。可変長復号化部２５は、また、上記符号化データ１１から動きベクトル情報を検出すると共に、検出した動きベクトル情報を、動き補償部３５に出力する。

逆量子化部２７は、可変長復号化部２５から出力された量子化データを入力して、該量子化データを逆量子化するための処理を施す。この逆量子化処理により得られた画像ブロックデータは、逆量子化部２７からＩＤＣＴ部２９に出力される。

IDCT部２９は、逆量子化部２７から出力された画像ブロックデータを入力して、該画像ブロックデータに逆直交変換処理（画像を周波数座標から空間座標へ変換すること）を施すことにより、差分ブロックデータを生成する。この逆直交変換処理により得られた差分ブロックデータは、IDCT部２９から加算器３１に出力される。

加算器３１は、IDCT部２９から出力された上記差分ブロックデータ、及び動き補償部３５から出力された予測画像ブロックデータを、夫々入力する。加算器３１において、上記差分ブロックデータに上記予測画像ブロックデータが加算されることにより、復号画像データ１３が生成される。該復号画像データ１３は、加算器３１から図１で示したエッジ情報抽出部３、領域分離部５に出力される。これと共に、上記復号画像データ１３は、上記復号画像データ１３を、次に画像符号化装置（ここでは、図示を省略）から出力される符号化データを復号化するのに必要な参照データとして用いるため、フレームメモリ３３にも出力される。

上述したように、フレームメモリ３３は、加算器３１から出力される復号画像データ１３を、新たな符号化データ（１１）を復号化するための参照データとして記憶する。上記復号化データ１３は、動き補償部３５からのデータ読み出し要求に応じて、フレームメモリ３３から出力される。

動き補償部３５は、画像符号化装置（ここでは、図示を省略）から可変長復号化部２５に出力される符号化データが、上記画像符号化装置において画像ブロックを画像予測符号化の処理により符号化したもの（データ）である場合には、可変長復号化部２５から出力される動きベクトル情報を入力する。そして、該入力した動きベクトル情報に対応する参照画像データ、即ち、復号画像データ１３を、フレームメモリ３３から読み出す。動き補償部３５は、フレームメモリ３３から読み出した上記復号画像データ１３を、予測画像ブロックデータとして加算器３１に出力する。

なお、上記画像予測符号化の処理とは、画像データの時間方向の相関性を利用した処理のことを指す。

図３は、図１に記載の画像復号化装置１００に出力する画像信号（画像データ）の符号化データ１１を生成するための画像符号化装置２００の全体構成の一例を示す機能ブロック図である。

上記画像符号化装置２００は、図３に示すように、減算器１２５と、離散コサイン変換部（Discrete Cosine Transform部）（以下、「DCT部」と表記する。）１２７と、量子化部１２９と、可変長符号化部１３１と、逆量子化部１３３と、IDCT部１３５と、加算器１３７と、フレームメモリ１３９と、動き探索部１４１と、を備える。上記画像符号化装置２００では、減算器１２５からDCT部１２７、量子化部１２９、及び可変長符号化部１３１を通じて図１で示した画像復号化装置１００に接続するループと、該ループに接続する、逆量子化部１３３からIDCT部１３５、加算器１３７、フレームメモリ１３９、及び動き探索部１４１を介して減算器１２５に接続するフィードバックループと、動き探索部１４１の出力側と加算器１３７の入力側とを接続するフィードバックループと、が形成されている。

ところで、テレビジョン（TV）放送信号等の動画像データを、高能率に符号化して記録、或いは伝送する手法として、MPEG（Moving Picture Experts Group）方式等の符号化方式が策定されており、MPEG-1規格、MPEG-2規格、MPEG-4規格等として国際標準の符号化方式となっている。また、更に、動画像データの圧縮率を向上させる方式として、H.264/AVC（Advanced Video Coding）規格等が定められている。

一般に、動画像符号化では、画像データの空間方向、又は時間方向の相関性を利用した予測符号化、周波数変換、量子化、可変長符号化等の処理により高い圧縮効率を実現するが、上記予測符号化の過程では、元の信号に戻らない非可逆符号化手法が用いられている。そのため、復号画像データでは原画像データに対し、信号の劣化が生じることになる。上記予測符号化によって生じる信号の劣化は、符号化歪みと称される。符号化歪みは、画像データの符号化時における圧縮率が高くなるほど大きくなり、個々の人間が符号化歪みの大きい復号画像データを見た場合に、目に付き易くなる。上記予測符号化歪みの１つとして挙げられるモスキートノイズは、画像デ−タにおけるエッジ近辺に生じ易く、蚊が飛んでいるような細かい歪みが生じることからこのように称されており、肉眼で観察した場合に目立ち易い符号化歪みの１つである。

図３において、減算器１２５は、映像信号が画像ブロック分割部（図示しない）によって分割されることにより形成された画像ブロックと、動き探索部１４１から出力される予測画像ブロックとを入力する。減算器１２５は、上記画像ブロックから上記予測画像ブロックを減算する処理を行い、その減算処理により得られた差分、即ち、差分画像データを、DCT部１２７に出力する。

DCT部１２７は、減算器１２５から出力される上記差分画像信号を、各画像ブロック毎に直交変換（画像を空間座標から周波数座標へ変換すること）し、該直交変換を行った後の上記差分画像信号を、量子化部１２９に出力する。

量子化部１２９は、DCT部１２７から出力される上記直交変換後の差分画像信号、即ち、DCT変換データを入力する。そして、該入力したDCT変換データを、量子化（或る振幅の範囲で連続的な値をとる標本値を、定められた振幅毎の区間に区切ると共に、その区切られた範囲内の全ての値を、その範囲内において１個の値で表す操作のこと。）する。該量子化された後のデータは、量子化部１２９から可変長符号化部１３１、及び逆量子化部１３３に、夫々出力される。

可変長符号化部１３１は、量子化部１２９から出力される、上記量子化された後のデータ、即ち、残差データと、動き探索部１４１から出力される動きベクトル情報とを、夫々入力する。ここで、動き探索部１４１から出力される動きベクトル情報とは、動き探索部１４１が上述した予測画像ブロックを求めるに際して、フレームメモリ１３９に格納されている参照画像から検出された動きベクトル情報のことを指す。可変長符号化部１３１は、上記残差データ、及び上記動きベクトルを可変長符号化すると共に、該可変長符号化されたデータ、及び動きベクトルを、伝送回線の伝送特性等に合わせて出力する。

逆量子化部１３３は、量子化部１２９から出力された量子化データを入力すると共に、該量子化データを逆量子化することにより、画像ブロックデータを得る。この逆量子化により得られた画像ブロックデータは、逆量子化部１３３からIDCT部１３５に出力される。

IDCT部１３５は、逆量子化部１３３から出力された上記画像ブロックデータを入力すると共に、上記画像ブロックデータを逆直交変換することにより、差分ブロックのデータに復元する。IDCT部１３５は、上記差分ブロックデータを、加算器１３７に出力する。

加算器１３７は、IDCT部１３５から出力された上記差分ブロックデータ、及び動き探索部１４１から出力された上記予測画像ブロックデータを、夫々入力する。加算器１３７において、上記差分ブロックデータに上記予測画像ブロックデータが加算されることにより、局部復号画像データが生成される。該局部復号画像データは、加算器１３７からフレームメモリ１３９に出力される。

フレームメモリ１３９は、加算器１３７から出力される上記局部復号画像データを、格納する。上記局部復号画像データは、該画像符号化装置２００が、次回に符号化する入力画像データを画面間予測符号化する際に参照画像として用いられる。フレームメモリ１３９は、動き探索部１４１からのデータ読み出し要求に応じて、格納している上記局部復号画像データを動き探索部１４１に出力する。

動き探索部１４１は、フレームメモリ１３９から読み出した参照画像データ、即ち、上記局部復号画像データに対し、画像の動き探索を実行する。動き探索部１４１は、上述した画像ブロック分割部（図示しない）から出力される画像ブロックデータ（入力画像データ）と、上記局部復号画像データとの差分が最小になる予測画像データを求め、該求めた予測画像データを減算器１２５に出力する。動き探索部１４１は、また、予測画像ブロックを求めるに際して（フレームメモリ１３９に格納されている）上記参照画像データから検出された動きベクトル情報を、可変長符号化部１３１に出力する。

図４は、本発明の第１の実施形態に係る画像のエッジ強度算出手法の一例を示す説明図である。

図１で示した画像復号化装置１００が、画像データのエッジ強度を算出する手法として採用し得る方法の１つに、Sobelオペレータが挙げられる。Sobelオペレータとは、３×３の行列を用いるもので、注目画素の周囲の画素に係数を乗じて加えたものを中央画素の濃度として抽出する手法であり、水平方向、垂直方向のフィルタで平滑化の操作を含んでいるため、雑音（ノイズ）に強いという特徴がある。

例えば、対象画像を構成する画素A（i、j）におけるエッジ強度は、図５に示す画素A（i、j）を中心とした３×３画素を用いて下記の（１）式により水平方向のエッジ強度（hx（i、j））を、下記の（２）式により垂直方向のエッジ強度（hy（i、j））を、夫々算出し、算出した(hx（i、j）)、(hy(i、j))を用いて、下記の（３）式により演算することによって求められる。

図５は、図１に記載のエッジ情報抽出部３における処理動作を示すフローチャートである。

以下では、説明の都合上、復号画像データ（１３）を構成する画素をA（i、j）とする。(i、j)は、夫々復号画像データ（１３）の左上隅を基準とした水平位置と、垂直位置とを表す。

図５において、エッジ情報抽出部３は、まず、最初に復号画像データ（１３）について、各々の画素のエッジ強度(h(i、j))を算出する（ステップS１５１）。エッジ強度を算出する具体的な方法については、図４において説明したので、ここでの詳細な説明を省略する。次に、エッジ情報抽出部３は、ステップS１５１で算出したエッジ強度(h(i、j))と、予め決められている閾値(TH＿h)とを比較し、エッジ強度(h(i、j))が閾値(TH＿h)より大きいかどうかをチェックする（ステップS１５２）。該チェックの結果、h(i、j)＞TH＿hであると判断すると（ステップS１５２でYES）、エッジ情報抽出部３は、エッジ情報信号(Edge＿flag(I,j))を１に設定する（ステップS１５３）。

そして、画素A(i、j)が復号画像データ（１３）中の最後の画素であるかどうかチェックする（ステップS１５４）。該チェックの結果、画素A(i、j)が最後の画素ではないと判断すれば（ステップS１５４でNO）、上記画素A(i、j)の次の画素（例えば、画素A(i＋１、j)）に進んで（ステップS１５５）、ステップS１５１に示した処理動作に復帰する。そして、該次の画素A(i＋１、j)について上記態様でエッジ強度(h(i＋１、j))を算出し（ステップS１５１）、次に、算出したエッジ強度(h(i＋１、j))が閾値(TH＿h)より大きいかどうかをチェックする（ステップS１５２）。

該チェックの結果、h(i＋１、j)＜TH＿hであると判断すると（ステップS１５２でNO）、エッジ情報抽出部３は、エッジ情報信号(Edge＿flag(i＋１、j))を０に設定する（ステップS１５６）。そして、画素A(i＋１、j)が復号画像データ（１３）中の最後の画素であるかどうかチェックする（ステップS１５４）。該チェックの結果、画素A(i＋１、j)が最後の画素ではないと判断すれば（ステップS１５４でNO）、上記画素A(i＋１、j)の次の画素に進んで（ステップS１５５）、ステップS１５１に示した処理動作に復帰する。

上記の処理を繰り返した結果、ステップS１５４のチェックの結果において最後の画素であると判断した場合には（ステップS１５４でYES）、エッジ情報抽出部３による一連の処理動作が終了する。

図６は、図１に記載の復号化部１から出力された復号画像データ（１３）の一例を示す説明図、図７は、図１に記載の画像復号化装置１００において、エッジ情報抽出部３が、図６に記載の復号画像デ−タ（１３）から抽出したエッジ領域を示す説明図である。

図６、及び図７において、復号化部１から図６に示すような黒く塗り潰された太い“A”の画像データが、復号画像データ（１３）として出力されると、エッジ情報抽出部３からは、図７で示すようなエッジ情報信号が１に設定された領域と、エッジ情報信号が０に設定された領域とが明確に区別された画像データが出力される。図７では、エッジ情報信号が１に設定された領域、即ち、(Edge＿flag(i、j))＝１の領域は、黒色で、エッジ情報信号が０に設定された領域、即ち、(Edge＿flag(i、j))＝０の領域は、白色で、夫々表記している。エッジ情報信号が１に設定された領域、即ち、(Edge＿flag(i、j))＝１の領域（白抜きの太線領域を取り囲んでいる輪郭線部分）が、エッジ領域である。よって、図７に記載の画像データは、エッジ情報抽出部３が復号画像データ（１３）に対し、所定の処理を施すことにより、復号画像データ（１３）からエッジ領域の情報が抽出された状態を示している。

図８は、図１に記載の画像復号化装置１００において、領域分離部５が、エッジ情報抽出部３から出力されるエッジ情報信号に基づき、復号化部１から出力される復号画像データ（１３）に対して施す一連の処理動作を示す説明図である。

図８において、図６で示した復号画像データ（１３）が、復号化部１から領域分離部５に出力されると、領域分離部５では、エッジ情報抽出部３からのエッジ情報信号に基づいて、復号画像データ（１３）が、前景領域を構成するエッジ領域１７１、背景領域を構成する第１の非エッジ領域１７３、前景領域を構成する第２の非エッジ領域１７５、及び背景領域を構成する、（エッジ領域１７１により囲まれた）非エッジ領域１７７の４つの領域に分離される。

領域分離部５は、エッジ領域１７１についてはエッジ領域画像データ２３として切り替え部９に、非エッジ領域１７３、１７５、１７７については非エッジ領域画像データ１７として雑音低減部７に、夫々出力する。

図９、図１０、及び図１１は、図１に記載の画像復号化装置１００において、雑音低減処理部７が、領域分離部５から出力される非エッジ領域画像データ（１７）に対して施す雑音処理に係わる一連の処理動作を示す説明図である。

領域分離部５から雑音低減処理部７には、図８で示したエッジ領域１７１を除き、非エッジ領域画像データ１７として、非エッジ領域１７５、非エッジ領域１７７、及び非エッジ領域１７３が、出力される。そして、雑音低減処理部７において、図９で示す非エッジ領域１７５、図１０で示す非エッジ領域１７７、及び図１１で示す非エッジ領域１７３の各々を１つの単位として、夫々の非エッジ領域１７５、１７７、１７３につき、フィリタリング処理が施されることにより、非エッジ領域画像データ１７に含まれるモスキートノイズの低減化が行われる。

このようにして、非エッジ領域画像データ１７に含まれるモスキートノイズの低減化が行われることにより、雑音低減処理部７において雑音低減化非エッジ領域画像データ１９が生成される。該雑音低減化非エッジ領域画像データ１９は、雑音低減処理部７から切り替え部９に出力され、切り替え部９において、エッジ情報抽出部３から出力されるエッジ情報信号１５に基づき、領域分離部５から出力されるエッジ領域画像データ２３と合成される。これにより、元の復号画像データが復元される。

以上説明したように、本発明の第１の実施形態に係る画像復号化装置１００では、復号画像データに含まれるモスキートノイズを低減するための処理において、該復号画像データからエッジ領域画像データと、非エッジ領域画像データとを分離すると共に、非エッジ領域画像データについて、該非エッジ領域画像データを構成する各々の非エッジ領域を単位としてフィルタリング処理を行うこととした。このように、非エッジ領域画像データについてのみフィルタリング処理を行うこととしたので、復号画像データにおけるエッジ成分を損なうことなくモスキートノイズを効果的に低減することが可能となった。

図１２は、本発明の第２の実施形態に係る画像復号化装置の全体構成の一例を示す機能ブロック図である。

図１２に示す画像復号化装置３００は、フィルタ強度制御部１８１を備える点で、図１で示した画像復号化装置３００と構成が相違する。その他の構成については、図１で示した画像復号化装置１００と同一であるので、図１２において、図１で示した物と同一物には、同一符号を付してそれらの詳細な説明を省略する。

フィルタ強度制御部１８１は、雑音低減部７による非エッジ領域画像データ１７の雑音低減化処理において、雑音低減部７によるフィルタリングの度合（強度）を調節すべく雑音低減部７の動作を制御する。即ち、非エッジ領域画像データ１７中のモスキートノイズの除去の度合をより大きく設定する場合には、雑音低減部７によるフィルタリングの強度を高めるように、フィルタ強度制御部１８１が、エッジ情報抽出部３から出力されるエッジ情報信号１５に基づき、雑音低減部７の動作を制御する。一方、上記モスキートノイズの除去の度合をあまり大きく設定しない場合には、雑音低減部７によるフィルタリングの強度を低めるように、フィルタ強度制御部１８１が、エッジ情報抽出部３から出力されるエッジ情報信号１５に基づき、雑音低減部７の動作を制御する。

図１３は、図１２に記載の画像復号化装置３００において、雑音低減処理部７が、フィルタ強度制御部１８１の制御下で、領域分離部５から出力される非エッジ領域画像データ１７に対して施す雑音処理に係わる一連の処理動作を示す説明図である。

図１３に示す非エッジ領域画像データにおいて、符号１８３で示す非エッジ領域は、モスキートノイズに対し係わりの薄い領域であり、符号１８５で示す非エッジ領域は、エッジ領域に近接する領域であって、モスキートノイズに対し非エッジ領域１８３よりも係わりの濃い領域である。よって、フィルタ強度制御部１８１は、非エッジ領域１８３においては、フィルタリングの強度を低めるように、非エッジ領域１８５においては、フィルタリングの強度を高めるように、夫々雑音低減部７の動作を制御する。

上記態様で、フィルタ強度制御部１８１が雑音低減部７によるフィルタリングの強度を調節することにより、非エッジ領域画像データ１７におけるモスキートノイズの効果的な低減を図ることが可能になる。

図１４は、本発明の第２の実施形態の変形例に係る画像復号化装置の全体構成の一例を示す機能ブロック図である。

図１４に示す画像復号化装置４００は、フィルタ強度制御部１８１が、復号化部１から出力される符号化パラメータ１８３に基づき、雑音低減部７の動作を制御する点で、図１２で示した画像復号化装置３００と構成が相違する。その他の構成については、図１２で示した画像復号化装置３００と同一であるので、図１４において、図１２で示した物と同一物には、同一符号を付してそれらの詳細な説明を省略する。

符号化パラメータ１８３とは、符号化データ１１中の各ブロック毎に存在する。フィルタ強度制御部１８１は、復号化部１から出力される上記符号化パラメータ１８３を入力する。そして、雑音低減部７が領域分離部５から出力される非エッジ領域画像データ１７に対し、上記符号化パラメータ１８３の値に応じて上述した雑音低減処理を施すに際してのフィルタリングの強度を制御する。上記符号化パラメータ１８３としては、例えば、量子化パラメータ(QP)や、動きベクトル情報等が挙げられる。

一般に、量子化パラメータ(QP)の値が大きければ大きいほど、符号化歪みが大きくなりモスキートノイズも発生し易くなる。そのため、復号画像データにおいて、量子化パラメータ(QP)の値が大きい領域に対しては、雑音低減部７におけるフィルタリング処理の強度を高めることで、モスキートノイズ低減の効果を高めることが可能になる。また、量子化パラメータ(QP)の値が小さい領域に対しては、符号化歪みが小さいため、モスキートノイズが発生し難いので、雑音低減部７におけるフィルタリング処理の強度を低めることで、復号画像データにおけるぼけを低減することが可能になる。

以上説明したように、本発明の第２の実施形態の変形例によれば、復号画像データに含まれるモスキートノイズを低減するための映像信号処理において、復号画像データからエッジ領域画像データを除いた残りの非エッジ領域画像データについて、独立して１つの非エッジ領域を形成し得る各々の非エッジ領域を単位としてフィルタリング処理を行うことにより、エッジ領域画像データにおけるエッジ成分を損なうことなく、モスキートノイズ低減の効果を高めることが可能になる。

即ち、復号画像データにおいて、モスキートノイズが発生し易いエッジの近辺ほど、雑音低減部７におけるフィルタリング処理の強度を高めることで、モスキートノイズ低減の効果を高めることが可能になると共に、エッジから遠い領域ほど、雑音低減部７におけるフィルタリング処理の強度を低めることで、復号画像データにおけるぼけを低減することが可能になる。

図１５は、本発明の第１の実施形態に係る画像復号化装置１００、本発明の第２の実施形態に係る画像復号化装置３００、第２の実施形態の変形例に係る画像復号化装置４００の何れかがが適用される動画像記録装置の全体構成の一例を示す機能ブロック図である。

図１５に示すように、動画像記録装置５００は、アンテナ１９１と、チューナ部１９３と、デマルチプレクサ部１９５と、映像デコーダ部１９７と、音声デコーダ部１９９と、画像出力部２０１と、音声出力部２０３と、外部入力部２０５と、エンコーダ２０７と、を備える。動画像記録装置５００は、上記各部に加えて、更に、記憶部２０９と、制御部２１１と、録画再生制御部２１３と、出力部２１５と、蓄積部２１７と、リムーバルメデ
ィア読み取り／書き込み部２１９、をも備える。図１５に係る動画像記録装置５００では、図１で示した画像復号化装置１００、図１２で示した画像復号化装置３００、図１４で示した画像復号化装置４００の何れかが、映像デコーダ部１９７として用いられる。

動画像記録装置５００には、合計で４つの信号処理系統が存在する。

第１の信号処理系統は、アンテナ１９１からチューナ部１９３、デマルチプレクサ部１９５を経て映像デコーダ１９７、及び画像出力部２０１、並びに音声デコーダ１９９、及び音声出力部２０３に到るものである。第２の信号処理系統は、アンテナ１９１からチューナ部１９３、デマルチプレクサ部１９５を経て映像デコーダ１９７、及び音声デコーダ１９９に到り、更に、映像デコーダ１９７、及び音声デコーダ１９９からエンコーダ２０７、録画再生制御部２１３を経て、蓄積部２１７に到るものである。第３の信号処理系統は、外部入力部２０５からデマルチプレクサ部１９５を経て映像デコーダ１９７、及び画像出力部２０１、並びに音声デコーダ１９９、及び音声出力部２０３に到るものである。第４の信号処理系統は、外部入力部２０５からエンコーダ２０７、及び録画再生制御部２１３を経て蓄積部２１７に到るものである。第５の信号処理系統は、アンテナ１９１からチューナ部１９３、デマルチプレクサ部１９５、及び録画再生制御部２１３を経て蓄積部２１７に到るものである。

第１の信号処理系統では、放送局から送信される、例えばディジタルテレビジョン（TV）放送電波等のTV放送電波がアンテナ１９１によって受信され、チューナ部１９３において該受信されたTV放送電波より、ユーザが所望する映像・音声信号が抽出される。この映像・音声信号は、デマルチプレクサ部１９５に出力され、デマルチプレクサ部１９５では、該映像・音声信号より必要な符号化ストリームが分離される。分離された符号化ストリ−ムのうち、映像に係わる符号化ストリームについては、デマルチプレクサ部１９５から映像デコーダ１９７に出力される。該符号化ストリームは、映像デコーダ１９７において復号化され、再生されて、再生された映像情報は、画像出力部２０１を通じて外部機器である映像再生機器等（図示しない）に出力される。

一方、上記分離された符号化ストリームのうちの、音声に係わる符号化ストリームについては、デマルチプレクサ部１９５から音声デコーダ１９９に出力される。該符号化ストリームは、音声デコーダ１９９において復号化されて再生され、再生された音声情報は、音声出力部２０３を通じて外部機器である音声再生機器等（図示しない）に出力される。

第２の信号処理系統では、映像デコーダ１９７において復号化され、再生された映像情報、及び音声デコーダ１９９において復号化され、再生された音声情報が、共にエンコーダ２０７で再度符号化される。そして、符号化された映像情報、及び符号化された音声情報が、エンコーダ２０７から録画再生制御部２１３に出力され、録画再生制御部２１３によって蓄積部２１７に蓄積される。

第３の信号処理系統では、非圧縮の映像・音声信号が、例えばインターネット等の通信ネットワーク上のコンテンツサーバ（図示しない）等からインタフェースとして機能する外部入力部２０５に送信されると、該映像・音声信号が、外部入力部２０５からデマルチプレクサ部１９５に入力される。デマルチプレクサ部１９５、映像デコーダ１９７、画像出力部２０１、音声デコーダ１９９、及び音声出力部２０３の各々における処理動作の詳細については、重複するので説明を省略する。

第４の信号処理系統では、非圧縮の映像・音声信号が、上述したコンテンツサーバ（図示しない）から外部入力部２０５に送信されると、該映像・音声信号が、エンコーダ２０７で符号化された後、録画再生制御部２１３に出力される。そして、該符号化された映像・音声信号が、録画再生制御部２１３によって蓄積部２１７に蓄積される。

第５の信号処理系統では、チューナ部１９３において、アンテナ１９１によって受信されたTV放送電波からユーザが所望する映像・音声信号が抽出され、デマルチプレクサ部１９５において、該抽出された映像・音声信号から必要な符号化ストリームが分離される。そして、該分離された符号化ストリームが、録画再生制御部２１３によって蓄積部２１７に蓄積される。

符号化された状態で、蓄積部２１７に蓄積された映像・音声情報は、録画再生制御部２１３により読み出され、出力部２１５を通じて外部機器である各種のAV（Audio-Visual）機器（図示しない）に出力される。また、上記映像・音声情報は、録画再生制御部２１３から、デマルチプレクサ部１９５を通じて、映像情報については映像デコーダ１９７、及び画像出力部２０１を通じて外部に出力され、また、音声情報については音声デコーダ１９９、及び音声出力部２０３を通じて外部に出力される場合もあり得る。

リムーバルメディア読み取り／書き込み部２１９は、動画像記録装置５００に挿入された、例えばDVD（Digital Versatile Disk）等の記録媒体に記録されている映像・音声情報を読み取って録画再生制御部２１３に出力する処理動作や、録画再生制御部２１３を通じて蓄積部２１７から出力される映像・音声情報を上記DVDに書き込む処理動作を実行する。

記憶部２０９には、制御部２１１が、動画像記録装置５００を構成する各部の処理動作を制御するためのプログラムが内蔵されており、また、種々の不揮発性固定データが記憶されている。

制御部２１１は、記憶部２０９に格納されている上記プログラムに基づき、動画像記録装置５００を構成する上述した各部の処理動作を制御する。

なお、図示は省略するが、図１５に示した動画像記録装置５００では、蓄積部２１７に蓄積されている符号化された映像情報については、録画再生制御部２１３から映像デコーダ１９７に、同様に、蓄積部２１７に蓄積されている符号化された音声情報については、録画再生制御部２１３から音声デコーダ１９９に、夫々直接出力することも可能である。これにより、蓄積部２１７に蓄積されている映像・音声情報は、録画再生制御部２１３からデマルチプレクサ部１９５を経ずに映像デコーダ１９７や、音声デコーダ１９９に出力されることになるから、デマルチプレクサ部１９５における処理量を低減することができる。

また、画像出力部２０１、音声出力部２０３を一体的に構成して、画像・音声出力部とすることも可能である。この場合には、映像信号と音声信号とを１本のケーブルで出力することが可能なコネクタ等を備えることにより、ユーザが該コネクタを利用して動画像記録装置５００と外部機器（図示しない）とを接続する作業を比較的容易に行うことが可能になる。

図１６は、本発明の第１の実施形態に係る画像復号化装置１００、本発明の第２の実施形態に係る画像復号化装置３００、第２の実施形態の変形例に係る画像復号化装置４００の何れかがが適用される画像表示装置の全体構成の一例を示す機能ブロック図である。

図１６に示すように、画像表示装置６００は、図１５で示した動画像記録装置５００から、エンコーダ２０７、録画再生制御部２１３、蓄積部２１７、リムーバルメディア読み取り／書き込み部２１９、及び出力部２１５を除いた構成となっている。即ち、画像表示装置６００は、アンテナ１９１と、チューナ部１９３と、デマルチプレクサ部１９５と、映像デコーダ部１９７と、音声デコーダ部１９９と、映像出力部２０１と、音声出力部２０３と、外部入力部２０５と、記憶部２０９と、制御部２１１と、を備える。図１６において、アンテナ、チューナ部、デマルチプレクサ部、映像デコーダ部、音声デコーダ部、映像出力部、音声出力部、外部入力部、記憶部、及び制御部は、図１５で示したものと構成が同一であるので、夫々図１５で示した物と同一物には、同一符号を付した。

図１６に示した画像表示装置６００では、チューナ部１９３において、アンテナ１９１によって受信されたTV放送電波からユーザが所望する映像・音声信号が抽出され、デマルチプレクサ部１９５において、該抽出された映像・音声信号から必要な符号化ストリームが分離される。そして、該分離された符号化ストリームのうち、映像に係わる符号化ストリームについては、デマルチプレクサ部１９５から映像デコーダ１９７に出力され、映像デコーダ１９７において復号化され、再生されて、画像出力部２０１を通じて外部機器である映像再生機器等（図示しない）に出力される。分離された符号化ストリームのうちの、音声に係わる符号化ストリームについては、デマルチプレクサ部１９５から音声デコーダ１９９に出力され、音声デコーダ１９９において復号化され、再生されて、音声出力部２０３を通じて外部機器である音声再生機器等（図示しない）に出力される。

外部入力部２０５からデマルチプレクサ部１９５に出力される非圧縮の映像・音声信号についても、上記と同様の信号処理系統を経て、映像信号については映像再生機器等の外部機器（図示しない）に、また、音声信号については音声再生機器等の外部機器（図示しない）に、夫々出力される。

以上、本発明の好適な実施形態を説明したが、これらは本発明の説明のための例示であって、本発明の範囲をこれらの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。

本発明の第１の実施形態に係る画像復号化装置の全体構成の一例を示す機能ブロック図。 図１に記載した画像復号化装置における復号化部の内部構成の一例を示す機能ブロック図。 図１に記載した画像復号化装置に出力する画像信号の符号化データを生成するための画像符号化装置の全体構成の一例を示す機能ブロック図。 本発明の第１の実施形態に係る画像のエッジ強度算出手法の一例を示す説明図。 図１に記載したエッジ情報抽出部における処理動作を示すフローチャート。 図１に記載した復号化部から出力された復号画像データの一例を示す説明図、 図１に記載した画像復号化装置において、エッジ情報抽出部が、図６に記載した復号画像デ−タから抽出したエッジ領域を示す説明図。 図１に記載した画像復号化装置において、領域分離部が、エッジ情報抽出部から出力されるエッジ情報信号に基づき、復号化部から出力される復号画像データに対して施す一連の処理動作を示す説明図。 図１に記載した画像復号化装置において、雑音低減処理部が、領域分離部から出力される非エッジ領域画像データに対して施す雑音処理に係わる一連の処理動作を示す説明図。 図１に記載した画像復号化装置において、雑音低減処理部が、領域分離部から出力される非エッジ領域画像データに対して施す雑音処理に係わる一連の処理動作を示す説明図。 図１に記載した画像復号化装置において、雑音低減処理部が、領域分離部から出力される非エッジ領域画像データに対して施す雑音処理に係わる一連の処理動作を示す説明図。 本発明の第２の実施形態に係る画像復号化装置の全体構成の一例を示す機能ブロック図。 図１２に記載した画像復号化装置において、雑音低減処理部が、フィルタ強度制御部の制御下で、領域分離部から出力される非エッジ領域画像データに対して施す雑音処理に係わる一連の処理動作を示す説明図。 本発明の第２の実施形態の変形例に係る画像復号化装置の全体構成の一例を示す機能ブロック図。 図１、図１２、図１４で示した画像復号化装置の何れかが適用される動画像記録装置の全体構成の一例を示す機能ブロック図。 図１、図１２、図１４で示した画像復号化装置の何れかが適用される画像表示装置の全体構成の一例を示す機能ブロック図。

符号の説明

１ 復号化部
３ エッジ情報抽出部
５ 領域分離部
７ 雑音低減部
９ 切り替え部
２５ 可変長復号化部
２７、１３３ 逆量子化部
２９、１３５ 逆離散コサイン変換部(IDCT部)
３１、１３７ 加算器
３３、１３９ フレームメモリ
３５ 動き補償部
１００、３００、４００ 画像復号化装置
１２５ 減算器
１２７ 離散コサイン変換部（DCT部）
１２９ 量子化部
１３１ 可変長符号化部
１４１ 動き探索部
１８１ フィルタ強度制御部
１９１ アンテナ
１９３ チューナ部
１９５ デマルチプレクサ部
１９７ 映像デコーダ部
１９９ 音声デコーダ部
２００ 画像符号化装置
２０１ 映像出力部
２０３ 音声出力部
２０５ 外部入力部
２０７ エンコーダ
２０９ 記憶部
２１１ 制御部
２１３ 録画再生制御部
２１５ 出力部
２１７ 蓄積部
２１９ リムーバルメディア読み取り／書き込み部
５００ 動画像記録装置
６００ 画像表示装置

Claims (12)

1. 符号化された画像データに、所定の復号化処理を施して復号画像データを得る画像復号化装置において、
   入力した復号画像データを、エッジ領域に係る画像データと、非エッジ領域に係る画像データとに分離する分離部と、
   前記分離部により分離された非エッジ領域に係る画像データに、雑音低減処理を施す雑音低減処理部と、
   前記分離部により分離されたエッジ領域に係る画像データと、前記雑音低減処理部により雑音低減処理が施された後の非エッジ領域に係る画像データとを合成する画像デ−タ合成部と、
   を備える画像復号化装置。
2. 請求項１記載の画像復号化装置において、
   入力した復号画像データからエッジ情報を抽出するエッジ情報抽出部、
   を更に備える画像復号化装置。
3. 請求項２記載の画像復号化装置において、
   前記分離部が、前記エッジ情報抽出部により抽出されるエッジ情報に基づき、前記復号画像データからエッジ領域に係る画像データと、非エッジ領域に係る画像データとを分離する画像復号化装置。
4. 請求項２記載の画像復号化装置において、
   前記画像データ合成部が、前記エッジ情報抽出部により抽出されるエッジ情報に基づき、前記エッジ領域に係る画像データと、前記非エッジ領域に係る画像データとを合成する画像復号化装置。
5. 請求項１記載の画像復号化装置において、
   前記雑音低減処理部による雑音低減処理が、前記非エッジ領域に係る画像データに対するモスキートノイズを低減するための処理である画像復号化装置。
6. 請求項２記載の画像復号化装置において、
   前記雑音低減処理部が前記雑音低減処理を行うに際してのフィルタリングの強度を調節するフィルタリング強度調節部、
   を更に備える画像復号化装置。
7. 請求項６記載の画像復号化装置において、
   前記フィルタリング強度調節部による前記フィルタリングの強度の調節が、前記エッジ情報抽出部により抽出されるエッジ情報に基づいて行われる画像復号化装置。
8. 請求項６記載の画像復号化装置において、
   前記フィルタリング強度調節部による前記フィルタリングの強度の調節が、前記符号化された画像データに係わる符号化パラメータの値に基づいて行われる画像復号化装置。
9. 請求項８記載の画像復号化装置において、
   前記符号化パラメータが、前記符号化された画像データに係わる量子化パラメータ、又は動きベクトル情報である画像復号化装置。
10. 符号化された画像データに、所定の復号化処理を施して復号画像データを得る画像復号化方法において、
    入力した復号画像データを、エッジ領域に係る画像データと、非エッジ領域に係る画像データとに分離する第１のステップと、
    前記第１のステップにおいて分離された非エッジ領域に係る画像データに、雑音低減処理を施す第２のステップと、
    前記第１のステップにおいて分離されたエッジ領域に係る画像データと、前記第２のステップにおいて雑音低減処理が施された後の非エッジ領域に係る画像データとを合成する第３のステップと、
    を備える画像復号化方法。
11. 入力したディジタル形式の映像・音声信号から夫々ディジタル形式の映像信号と音声信号とを分離する信号分離部と、前記信号分離部から出力されるディジタル形式の映像信号を復号化する映像デコーダと、入力したディジタル形式の映像・音声信号を、再生可能な状態で記録する記録部と、
    を備え、
    前記映像デコーダが、
    入力した復号画像データを、エッジ領域に係る画像データと、非エッジ領域に係る画像データとに分離する分離部と、
    前記分離部により分離された非エッジ領域に係る画像データに、雑音低減処理を施す雑音低減処理部と、
    前記分離部により分離されたエッジ領域に係る画像データと、前記雑音低減処理部により雑音低減処理が施された後の非エッジ領域に係る画像データとを合成する画像デ−タ合成部と、
    を有する動画像記録装置。
12. 受信した映像・音声信号から所望のディジタル形式の映像・音声信号を抽出する映像・音声信号抽出部と、入力したディジタル形式の映像・音声信号から夫々ディジタル形式の映像信号と音声信号とを分離する信号分離部と、前記信号分離部から出力されるディジタル形式の映像信号を復号化する映像デコーダと、
    を備え、
    前記映像デコーダが、
    入力した復号画像データを、エッジ領域に係る画像データと、非エッジ領域に係る画像データとに分離する分離部と、
    前記分離部により分離された非エッジ領域に係る画像データに、雑音低減処理を施す雑音低減処理部と、
    前記分離部により分離されたエッジ領域に係る画像データと、前記雑音低減処理部により雑音低減処理が施された後の非エッジ領域に係る画像データとを合成する画像デ−タ合成部と、
    を有する画像表示装置。

Images