JP2004040732A

JP2004040732A - ディジタル画像信号処理装置

Info

Publication number: JP2004040732A
Application number: JP2002198910A
Authority: JP
Inventors: Manabu Sagawa; 左川　学; Tadao Matsuura; 松浦　忠男
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2002-07-08
Filing date: 2002-07-08
Publication date: 2004-02-05

Abstract

【課題】簡単にかつ安価な回路構成により画像圧縮符号化におけるモスキートノイズを軽減するディジタル画像信号処理装置を提供する。
【解決手段】ディジタル再生画像のノイズを軽減する機能を有するディジタル画像信号処理装置であって、ディジタル画像データの画素値に基づいてノイズが発生する箇所を特定するノイズ発生箇所特定手段と、ノイズ発生箇所特定手段で特定されたノイズ発生箇所にノイズを軽減するフィルター処理をするフィルター処理手段とを備えてなる。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　ｃｏｄｉｎｇＥｘｐｅｒｔｓ　Ｇｒｏｕｐ）方式等によって圧縮符号化された画像が再生される場合に発生するノイズを軽減する機能を有するディジタル画像信号処理装置に関する。
【０００２】
【従来の技術】
一般にディジタル画像データの圧縮に用いられるＭＰＥＧ方式において伝送ビットレートが不足する場合、画像のデータは高周波成分が削除されて圧縮される。この圧縮されたデータを伸張した場合、高周波成分が削除されているため画像のエッジ部分にモスキートノイズと呼ばれるノイズが発生する。モスキートノイズ（リンギングノイズとも呼ばれる）とは画像のエッジ部分に蚊が飛んでいる様にチラチラと生じるノイズの事である。このノイズは伝送ビットレートが低くなる（圧縮率が高い）につれてより多く発生する様になる。そこで、このノイズを軽減する方法として、例えば、伝送ビットレートを高くする方法、画像圧縮時に高周波成分を減らして（ローパスフィルターをかける）圧縮する方法、または符号化する際に用いた量子化スケールや直交変換係数、動きベクトル等の符号化情報、または符号化されたデータから抽出されるＤＣＴ係数、量子化スケール、動きベクトルをもとに符号化ノイズを検出してフィルター処理を行う方法等が考えられる。
【０００３】
それぞれの方法について、伝送ビットレートを高くする方法はシステムの限界がある事と特定の用途以外では効率的ではない。
画像圧縮時に高周波成分を減らして圧縮する方法としては、例えば、特開２００１−２３１０３８号公報に開示されている。この従来例では入力映像信号を分割ブロック毎に処理して任意のパラメータを作成し、このパラメータ用いてローパスフィルターの特性を制御する。この制御は画面の制御に応じて最適に制御されモスキートノイズ等の障害を軽減する方法である。
符号化情報を利用し符号化ノイズを検出してフィルター処理を行う方法としては、例えば、特開平７−２０３４４２号公報で開示されている。この従来例は符号化時に前のフレームの現フレームに対応するブロック情報から動きベクトルとこの動きベクトルの信頼性を示すクラス情報を伝送データと共に送り復号時にこの情報をもとにフレーム相関の無いノイズを軽減するためのフレームメモリーを用いた巡回型フィルターを制御しノイズを軽減する方法である。
また特開２００１−２０４０２９号公報で開示された従来例では符号データから各ブロックについての動きベクトル等を抽出し、抽出された動きベクトルから各ブロックの参照領域を求める。そのブロックにおいて直交変換係数の各周波数成分の分布に基づいて軽減すべき符号化ノイズを検出し、フィルター処理を行いノイズを軽減する方法である。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の技術では、例えば、画像圧縮時に高周波成分を減らして（ローパスフィルターをかける）圧縮する方法ではローパスフィルターの特性を画面に応じて最適に制御できてもある条件のもとでは画面全体にローパスフィルター処理がかかってしまい、全体にぼやけた画像になってしまうという問題点がある。
また、符号化情報を利用し符号化ノイズを検出してフィルター処理を行う方法では特開平７−２０３４４２号の場合、符号化装置と復号化装置が連動して処理される必要があるため特定のシステムでなければノイズ軽減の効果は得られない事となる。またフレームメモリーを用いた巡回型フィルターであるためフレームメモリーが必要となりコストが嵩むとう問題点がある。また、特開２００１−２０４０２９号の場合はマクロブロックがフレーム内符号化（イントラ符号化）されているか、フレーム間符号化（非イントラ符号化）されているかで処理方法が異なるためフレームメモリーが必要となり同様にコストが嵩むという問題点がある。
【０００５】
本発明は、このような状況を鑑みてなされたもので、簡単にかつ安価な回路構成により画像圧縮符号化におけるモスキートノイズを軽減するディジタル画像信号処理装置を提供することを課題とする。
【０００６】
【課題を解決するための手段】
前述の課題を解決するため、本発明に係るディジタル画像信号処理装置は、次のような手段を採用する。
【０００７】
即ち、本発明のディジタル画像信号処理装置は、ディジタル再生画像のノイズを軽減する機能を有するディジタル画像信号処理装置であって、ディジタル画像データの画素値に基づいてノイズが発生する箇所を特定するノイズ発生箇所特定手段と、ノイズ発生箇所特定手段で特定されたノイズ発生箇所にノイズを軽減するフィルター処理をするフィルター処理手段とを備えることを特徴とする。
【０００８】
また、本発明のディジタル画像信号処理装置は、ノイズ発生箇所特定手段は、ディジタル画像データの一の画素値と当該画素と隣接する前／後画素値との絶対差分値を検出する絶対差分値検出手段と、絶対差分値検出手段で検出した絶対差分値を予め定められた絶対差分値基準値と比較する絶対差分値比較手段と、絶対差分値比較手段で比較した結果に基づいて画像のエッジ画素を検出する画像エッジ画素検出手段と、ディジタル画像データの画素値の絶対値を予め定められた絶対値基準値と比較する絶対値比較手段と、絶対値比較手段で比較した結果に基づいて高レベル画素を検出する高レベル画素検出手段とを有し、高レベル画素検出手段で検出した高レベル画素の両端エッジ画素から低レベル画素側に向けて所定数の画素をノイズが発生する箇所であると特定する手段であることを特徴とする。
【０００９】
また、本発明のディジタル画像信号処理装置は、高レベル画素検出手段で検出した高レベル画素の両端エッジ画素から低レベル画素側に向けて所定数の画素はフィルター処理しないことを特徴とする。
【００１０】
また、本発明のディジタル画像信号処理装置は、高レベル画素検出手段で検出した高レベル画素の両端エッジ画素から低レベル画素側に向けて次のエッジ画素まで所定数の画素未満である場合、その画素間はフィルター処理しないことを特徴とする。
【００１１】
また、本発明のディジタル画像信号処理装置は、フィルター処理手段は、フィルター処理をする画素と当該画素の前後２画素の画素値を平均する処理、フィルター処理をする画素が両端エッジ画素の左エッジ画素側の最後画素である場合にフィルター処理をする画素と当該画素の前画素の画素値を平均する処理およびフィルター処理をする画素が両端エッジ画素の右エッジ画素側の最前画素である場合にフィルター処理をする画素と当該画素の後画素の画素値を平均する処理であることを特徴とする。
【００１２】
また、本発明のディジタル画像信号処理装置は、外部信号によってフィルター処理の許可／不許可が命令可能であることを特徴とする。
【００１３】
【発明の実施の形態】
以下、本発明に係るディジタル画像信号処理装置の実施の形態を図面に基づいて説明する。
ＭＰＥＧ方式による圧縮画像においてモスキートノイズは非常に明るい場面や非常に暗い場面では目立ちにくく、中間の明るさのレベルから非常に明るいレベルへの画素値の変化があった場合にモスキートノイズが目立ちやすくなる。例えば図３の様に中間レベルの背景に白色のテロップが挿入されている場面などでモスキートノイズはかなり目立つ事が観察される。
【００１４】
図１は本発明の実施形態の構成を示すブロック図である。各図を参照に各ブロックの処理を輝度部について説明する。
【００１５】
まず図５に示す入力データＹｉｎが図１の輝度部フラグ生成部１０１に入力される。輝度部フラグ生成部１０１は図２に示す構成になっており入力されたＹｉｎはエッジ検出部１１５に送られる。エッジ検出部１１５では入力信号Ｙｉｎに対して図６に示す様にＹｉｎとＹｉｎを１画素ずらしたデータＳＦＴ＿ＹＩＮとの差分の絶対値を検出し（絶対差分値検出手段）、その絶対差分値があらかじめ設定された閾値（絶対差分値基準値）（例えばＴＨ１が４０）を超えた画素についてエッジであるとする信号ＥＤＧＥを生成する（絶対差分値比較手段、画像エッジ画素検出手段）。また入力信号Ｙｉｎは高レベル検出部１１７にも入力される。
【００１６】
高レベル検出部１１７では図８（ａ）に示す様に入力されたＹｉｎについてあらかじめ設定された閾値（絶対値基準値）（例えばＴＨ２が１８０）以上の画素を検出する（絶対値比較手段、高レベル画素検出手段）がこれがテロップの場合テロップ画素の前後は黒レベルである事が多い。この場合本発明のフィルター部１０４の例では図９に示す様に現画素と前後２画素及び現画素と１つ前、または１つ後の画素の平均を取る方式であるので黒レベルの値が参照されると黒レベルに近い画素値になってしまう。例として図１０（ａ）に示す様にエッジの手前でなだらかな変化（ぼやけ）となってしまう。これを防ぐために図１０（ｂ）に示す様にテロップ画素の前後の画素はフィルター対象画素としない様にする事で余計なぼやけを回避している。この様に実際のテロップ部とその前後の画素を含めた範囲を示すフラグ２を生成する。
【００１７】
また図８（ｂ）で示す様にフラグ２が有効でテロップの終わりのエッジと次に発生するエッジの間隔がＮ画素（例えば５画素）未満の場合、本来テロップ部である画素が外来ノイズ等で突発的に低レベルの画素値に変化したと判断し、この場合は過敏な反応を抑えるためフラグ２は次のエッジまで有効としている。この様に生成されたフラグ２はエッジ右方向画素フィルター範囲設定部１１８とイネーブル信号生成部１０２へ送られる。
【００１８】
エッジ検出部１１５で検出された信号ＥＤＧＥはエッジ左方向画素フィルター範囲設定部１１６とエッジ右方向画素フィルター範囲設定部１１８に入力される。エッジ左方向画素フィルター範囲設定部１１６は入力された信号ＥＤＧＥをもとに図７で示す様なタイミング図で動作する。図７（ａ）ではエッジ検出部１１５で検出された信号ＥＤＧＥをもとに信号ＥＤＧＥより左方向のＮ画素（例えば４画素）分についてフィルター対象画素としそれに対応する範囲の信号フラグ１を生成する。このフラグ１は入力データＹｉｎに対して遅れて生成されるためフィルター処理させる対象画素データも相対的にディレイさせる必要がある。このため入力データＹｉｎをディレイ部１０３で必要な分だけディレイ（ＤＬＹ＿Ｙｉｎ）させている。またフィルター対象範囲内でフィルター処理を可変するための画素位置（左エッジ画素側の最後画素）を示すＦ＿ＥＤＧＥを生成する。図７（ｂ）はエッジの間隔がＮ画素未満（例えば５画素未満）の場合、フィルター対象画素としない様にするためフラグ１は生成しない事を示した図である。このことは外来ノイズ等で突発的に画素値が変化した場合に過敏に反応しないためと、画素値が大きく違う画素での平均化を防ぐことにもなる。
【００１９】
エッジ右方向画素フィルター範囲設定部１１８ではエッジ検出部１１５から提供される信号ＥＤＧＥと高レベル検出部１１７から提供される信号フラグ２により図１１（ａ）の例で示す様な動作を行う。高レベル検出部１１７で生成されたフラグ２が発生している条件のもとでエッジ検出部１１５が検出した信号ＥＤＧＥから右にＮ画素（例えば４画素）分をフィルター対象画素としそれに対応する信号フラグ３と、その対象範囲内でフィルター処理を可変するための画素位置（右エッジ画素側の最前画素）を示すＢ＿ＥＤＧＥを生成する。図１１（ｂ）の例はエッジの間隔がＮ画素未満（例えば５画素未満）の場合はフィルター対象画素としない様にするためフラグ３は生成しない事を示した図である。このことは外来ノイズ等で突発的に画素値が変化した場合に過敏に反応しないためと、画素値が大きく違う画素での平均化を防ぐことにもなる。
【００２０】
なお、前述されたフィルター対象画素範囲設定の画素数（文中の「Ｎ画素分」）とＴＨ１、ＴＨ２は外部より設定出来る様になっており例として挙げた「４画素」等はこれに限らず可変可能である。
【００２１】
この様にモスキートノイズが発生しやすいテロップ部について、テロップの内部はフィルター処理を行わない様にするためテロップ部を示すフラグ２を生成し、テロップの前後Ｎ画素についてモスキートノイズが発生している箇所としてフィルター処理を行うためのフラグ１及びフラグ３と、フィルター処理対象範囲内でフィルター処理方法を可変するための画素位置を示すＦ＿ＥＤＧＥ及びＢ＿ＥＤＧＥを生成する（ノイズ発生箇所特定手段）。
【００２２】
フラグ１およびフラグ３の生成フローを図１２および図１３に示す。図１２よりフラグ１は、ステップｆ１で入力データと１画素ディレイしたデータの絶対差分値があらかじめ設定された閾値（ＴＨ１）以上かを判断する。ＴＨ１以上であるならステップｆ２で現在のエッジとこれより前のエッジの間隔が４画素以上あるかを判断する。４画素以上であるならステップｆ３でエッジの画素値があらかじめ設定された閾値（ＴＨ２）以上かを判断する。ＴＨ２以上であるならステップｆ４でフラグ１を生成し終了する。また図１３よりフラグ３は、ステップｆ５にて高レベル検出部１１７で生成されたフラグ２が有効か否かを判断する。有効であるならステップｆ６でデータの絶対差分値がＴＨ１以上かを判断する。ＴＨ１以上であるならステップｆ７で現在のエッジとこれより後に発生するエッジの間隔が４画素以上であるかを判断する。４画素以上であるならステップｆ８で現エッジの後の画素値がＴＨ２以下かを判断する。ＴＨ２以下であるならステップｆ９でフラグ３を生成し終了する。
【００２３】
次にイネーブル信号生成部１０２について説明する。高レベル検出部１１７およびエッジ左方向画素フィルター範囲設定部１１６、エッジ右方向画素フィルター範囲設定部１１８で生成されたフラグ１、フラグ２、フラグ３および左方向のフィルター対象画素の右端を示すＦ＿ＥＤＧＥと右方向のフィルター対象画素の左端を示すＢ＿ＥＤＧＥとがイネーブル信号生成部１０２に入力される。イネーブル信号生成部１０２では上記フラグをもとに図１４に示す様にＥＮ＿Ｐ（０）とＥＮ＿Ｐ（１）を生成する。３タップのフィルターを行う範囲を示すＥＮ＿Ｐ（０）はフラグ１がＨでＦ＿ＥＤＧＥがＬのとき有効となる。またフラグ３がＨの期間も有効となる。２タップのフィルターを行う範囲を示すＥＮ＿Ｐ（１）はフラグ１がＨでＦ＿ＥＤＧＥがＨのとき有効となる。またフラグ３がＨでＢ＿ＥＤＧＥもＨのときも有効となる。このＥＮ＿Ｐ（０）とＥＮ＿Ｐ（１）から状態「０」、「１」、「２」、「３」をデコードしフィルター部１０４でフィルター制御を行うＥＮ＿Ｐを生成する。またＥＮ＿Ｐは外部からも制御可能であり、例えば他のノイズ軽減回路からの情報（ＥＮＰ＿ＣＴＬ）により現在の画質が高画質と判断された場合はＥＮ＿Ｐを「０」とする。イネーブル生成部１０２で生成されたＥＮ＿Ｐはフィルター部１０４に入力される。
【００２４】
フィルター部１０４では入力されたＥＮ＿Ｐの状態によりディレイ部１０３でディレイされた輝度データに対して、「０」はフィルター処理を行わない画素に対応させる。「１」は図９に示す３タップのフィルター処理を行う画素に対応させる。「２」は図９の２ｔａｐ＿ａの処理で現画素（左エッジ画素側の最後画素）と１つ前の画素の２タップフィルター処理を行う画素に対応させる。「３」は図９の２ｔａｐ＿ｂの処理で現画素（右エッジ画素側の最前画素）と１つ後の画素の２タップフィルター処理を行う画素に対応させる（フィルター処理手段）。
【００２５】
以上は輝度データについての動作説明であるが色差データについても基本的な動作は同じであり図５に示すＣｉｎがＣｂ／Ｃｒ分離部１１３でＣｂデータとＣｒデータに分離されＣｂデータはＣｂ部フラグ生成部１０５とディレイ部１０７に入力される。その後の動作は輝度部と同じである。またＣｒ部の処理はＣｂ部の処理と同じで色差データミックス部１１４にてフィルター処理を施した色差データをミックスする。
【００２６】
この様に本発明では復号されたデータに対してモスキートノイズが目立ちやすい箇所にのみフィルター処理を行うので本来高周波成分が多い画素については余計なフィルター処理は行われないので全体になまった様な画像になることはない。
【００２７】
また復号されたデータの画素値のみでノイズ検出およびノイズ軽減を行うため大規模なメモリーを必要とせず、単独でかつ簡単な回路が構成できる。
【００２８】
また本発明は水平方向の処理について説明してきたがラインメモリーを数個持つことにより垂直方向の処理が可能となる。また垂直方向の処理も基本的に同じであり数ライン分のデータをラインメモリーに蓄え、同じ垂直方向の画素値を参照してエッジを検出後、前後Ｎ画素についてフィルター処理を施すことで更なるモスキートノイズの軽減が可能となる。
【００２９】
【発明の効果】
以上のように、本発明によれば、伝送のビットレートが不足した場合に発生するモスキートノイズについて入力される画素データのみからモスキートノイズの発生する箇所が特定でき、フィルター処理を行う画素についてもフィルター処理方法を画素によって変えフィルター処理後の画質の低下を防ぐ様にしている。また突発性のエラーで画素値が大きく変わるような箇所についても閾値を設け、過敏な反応を防ぎ余計なフィルター処理がかからない様にしている。また前記してきたＴＨ１、ＴＨ２、Ｎ画素の設定は外部より可変可能であり、状況に応じて値を変えることでより適切なノイズ軽減が出来る。これによって、大規模なメモリーを必要とせず、単独でかつ簡単な回路が構成でき画質の劣化を極力抑えモスキートノイズを軽減する事が可能となる。
【図面の簡単な説明】
【図１】本発明の全体ブロック図である。
【図２】本発明の適用される輝度データ処理部のブロック図である。
【図３】モスキートノイズの発生例の図である。
【図４】フィルター処理を施す画素の例を示した図である。
【図５】本発明に入力される画素データの例を示した図である。
【図６】入力画素データからエッジを検出するタイミング図である。
【図７】画素の高レベル（例えばテロップ）の前方向のフィルター対象画素を設定するためのタイミング図である。
【図８】画素の高レベル（例えばテロップ）を検出するためのタイミング図である。
【図９】一例のフィルター部構成図である。
【図１０】フィルターの処理例を示した図である。
【図１１】画素の高レベル（例えばテロップ）の後方向のフィルター対象画素を設定するためのタイミング図である。
【図１２】画素の高レベル（例えばテロップ）の前方向のフィルター対象画素を設定するためのフローチャートである。
【図１３】画素の高レベル（例えばテロップ）の後方向のフィルター対象画素を設定するためのフローチャートである。
【図１４】輝度データについてフィルター処理を行う場合のタイミング図である。
【符号の説明】
１００　　輝度データ処理部
１０１　　輝度部フラグ生成部
１０２　　輝度部イネーブル信号生成部
１０３　　輝度データディレイ部
１０４　　輝度データ用フィルター部
１０５　　Ｃｂ部フラグ生成部
１０６　　Ｃｂ部イネーブル信号生成部
１０７　　Ｃｂデータディレイ部
１０８　　Ｃｂデータ用フィルター部
１０９　　Ｃｒ部フラグ生成部部
１１０　　Ｃｒ部イネーブル信号生成部
１１１　　Ｃｒデータディレイ部
１１２　　Ｃｒデータ用フィルター部
１１３　　Ｃｂ／Ｃｒ分離部
１１４　　色差データミックス部
１１５　　輝度データエッジ検出部
１１６　　エッジ左方向画素フィルター範囲設定部
１１７　　高レベル検出部
１１８　　エッジ右方向画素フィルター範囲設定部

Claims

ディジタル再生画像のノイズを軽減する機能を有するディジタル画像信号処理装置であって、
ディジタル画像データの画素値に基づいてノイズが発生する箇所を特定するノイズ発生箇所特定手段と、ノイズ発生箇所特定手段で特定されたノイズ発生箇所にノイズを軽減するフィルター処理をするフィルター処理手段とを備えることを特徴とするディジタル画像信号処理装置。
ノイズ発生箇所特定手段は、ディジタル画像データの一の画素値と当該画素と隣接する前／後画素値との絶対差分値を検出する絶対差分値検出手段と、絶対差分値検出手段で検出した絶対差分値を予め定められた絶対差分値基準値と比較する絶対差分値比較手段と、絶対差分値比較手段で比較した結果に基づいて画像のエッジ画素を検出する画像エッジ画素検出手段と、ディジタル画像データの画素値の絶対値を予め定められた絶対値基準値と比較する絶対値比較手段と、絶対値比較手段で比較した結果に基づいて高レベル画素を検出する高レベル画素検出手段とを有し、高レベル画素検出手段で検出した高レベル画素の両端エッジ画素から低レベル画素側に向けて所定数の画素をノイズが発生する箇所であると特定する手段であることを特徴とする請求項１に記載のディジタル画像信号処理装置。
高レベル画素検出手段で検出した高レベル画素の両端エッジ画素から低レベル画素側に向けて所定数の画素はフィルター処理しないことを特徴とする請求項２に記載のディジタル信号処理装置。
高レベル画素検出手段で検出した高レベル画素の両端エッジ画素から低レベル画素側に向けて次のエッジ画素まで所定数の画素未満である場合、その画素間はフィルター処理しないことを特徴とする請求項２または３に記載のディジタル画像信号処理装置。
フィルター処理手段は、フィルター処理をする画素と当該画素の前後２画素の画素値を平均する処理、フィルター処理をする画素が両端エッジ画素の左エッジ画素側の最後画素である場合にフィルター処理をする画素と当該画素の前画素の画素値を平均する処理およびフィルター処理をする画素が両端エッジ画素の右エッジ画素側の最前画素である場合にフィルター処理をする画素と当該画素の後画素の画素値を平均する処理であることを特徴とする請求項２〜４のいずれか１項に記載のディジタル画像信号処理装置。
外部信号によってフィルター処理の許可／不許可が命令可能であることを特徴とする請求項１〜５のいずれか１項に記載のディジタル画像信号処理装置。