JP2013031028A

JP2013031028A - 画像信号処理装置

Info

Publication number: JP2013031028A
Application number: JP2011166195A
Authority: JP
Inventors: Yusuke Yatabe; 祐介谷田部; Hironori Komi; 弘典小味
Original assignee: Hitachi Consumer Electronics Co Ltd
Current assignee: Hitachi Consumer Electronics Co Ltd
Priority date: 2011-07-29
Filing date: 2011-07-29
Publication date: 2013-02-07

Abstract

【課題】圧縮画像のノイズ除去において、ブロックノイズとモスキートノイズ除去の際のラインメモリを削減する。
【解決手段】デジタル画像に対して、画像圧縮により発生したブロックノイズとモスキートノイズを除去する画像信号処理装置において、ブロックノイズ除去を施した後にモスキートノイズを除去し、ブロックノイズを行うための入力ラインを保持するラインメモリを用いて、モスキートノイズ除去のエッジ検出処理を行う事を特徴とする画像信号処理装置。
【選択図】図３

Description

本技術は、デジタル画像の信号処理に関するものであり、特にデジタル画像の圧縮ノイズ除去に関するものである。

デジタル画像の圧縮ノイズ除去を行う装置としては、ブロックノイズ除去やモスキートノイズ除去をそれぞれ独立に処理を行う手法が開示されている。

特開２００５−１６７３９３号公報

圧縮画像に対してブロックノイズ除去とモスキートノイズ除去を行う技術がある。これらをテレビシステムなどの低コスト、省電力なシステムに適用をする場合には、ハードウェア実装し、ライン毎に入力される画像データに対して、リアルタイムに処理を行う必要がある。

上記画像処理は、入力ラインを数ライン保持し、そのラインについて、フィルタリング処理を行うことで、ノイズ除去を行うのが一般的である。この際に、ノイズ成分か否かの判定を行うために、画像を解析して制御信号を作成して、その信号によりフィルタリングの強度や実施を制御する。

この制御信号が広範囲の領域から解析される場合には、制御信号生成できるまでの入力画像を保持しておく必要が生じ、ラインメモリが多く必要となり、コストアップや消費電力が増えてしまうという問題が生じる。

ブロックノイズ除去とモスキートノイズ除去を行う従来技術として、特許文献１がある。ブロックノイズ除去を行ってからもモスキートノイズを行う順番については開示されているが、実ハードウェア開発時のラインメモリ削減技術については、開示されていない。

本発明は、上記課題を解決し、従来よりも少ないラインメモリ量でブロックノイズ除去とモスキートノイズ除去を行うことができる画像信号処理装置を提供するものである。

また、本発明は、同様な特徴を持つ他信号処理においても、少ないラインメモリ量で信号処理を行うことができる画像信号処理装置を提供するものである。

本願によって開示される発明のうち代表的なものの概要を簡単に説明すれば次のとおりである。
（１）入力されたデータに対して少なくとも１ライン以上のライン遅延をする前段処理部と、前段処理部の出力を保持するラインメモリ部と、ラインメモリ部の出力に対して、制御データ保持部からのデータを元に、データ変換を行うデータ変換部と、入力データに対して、データ解析を行いデータ変換部の制御用の信号を生成するデータ解析部と、データ解析部で作成された制御信号を保存する制御データ保持メモリ部と、を有した画像信号処理装置において、データ解析部の入力を前段処理部のデータとする事を特徴とする画像信号処理装置である。
（２）ブロックノイズ除去用に用いる画像を保持しておくブロックノイズラインメモリ部と、ブロックノイズラインメモリ部の出力に対して、ブロックノイズ除去を行うブロックノイズ除去部と、モスキートノイズ除去のためエッジ検出を行うモスキートノイズエッジ検出部と、モスキートノイズエッジ検出部の結果を保持しておく、エッジ検出フラグ保持用ラインメモリ部と、モスキートノイズの除去を行うモスキートノイズ除去部と、を有する画像信号処理装置において、モスキートノイズエッジ検出部の入力するデータは、ブロックノイズラインメモリから取得することを特徴とする画像信号処理装置である。

本発明によれば、従来よりも少ないラインメモリ量で信号処理を行うことができる画像信号処理装置を提供することができる。

圧縮ノイズ除去部の処理順番を示す図である。従来方式のBNRとMNRを組み合わせたノイズ除去部の構成例を示す図である。本発明に係るノイズ除去部の一構成例を示す図である。処理対象画素に対してBNRとMNRの両ノイズ除去に必要な処理範囲の例を示す図である。従来方式と本発明とで必要となるラインメモリの本数を概念的に示す図である。本発明に係るノイズ除去部をテレビに搭載した構成の一例を示す図である。データ解析処理とデータ変換処理の関係を示す図である。効果的な信号処理連結の構成例を示す図である。本発明に係る画像信号処理装置の構成例を示す図である。

以下、本発明の実施の形態を、図面を用いて詳しく説明する。なお、発明の実施の形態を説明するために添付する各図面において、同一機能を有するものは同一符号を付け、その繰返しの説明は適宜省略する。ここでは、本発明に係る画像信号処理装置の第一の実施形態として、画像圧縮ノイズ部を例にとって説明する。

デジタル画像は、データ容量が多いため、画像圧縮が用いられる事が多い。この画像圧縮は、データ量を削減することができるが、モスキートノイズやブロックノイズが発生してしまう。ブロックノイズとは、エンコード時の量子化を行う周波数変換ブロックの単位毎に量子化精度が異なり、その周波数変換ブロックの境界にブロック状のノイズが発生することである。モスキートノイズとは、圧縮時の周波数変換データの量子化により、量子化誤差が逆周波数変換により周波数変換ブロックの内部に拡散してしまい、蚊が飛んでいるような「チリチリ」としたノイズが発生してしまう。特に、エッジ周辺で目立ち、物体の境界や字幕などでの発生が顕著に目立つ。本実施形態では、上記２つのノイズを除去する除去装置を提供する。

次に、本ノイズ除去部の前提について説明する。ノイズ除去は、ブロックの境界位置や量子化の情報などを取得すると上記発生理由から高精度に除去が可能であるが、実際のテレビシステムなどではデコード情報を取得できない場合も存在するため、その様な環境下において、精度良いノイズ除去を実現が必要である。具体的には、圧縮時の情報を参照せずに、ノイズ成分を検出し、除去する必要性がある。

また、デジタルテレビなどのコンシューマプロダクトでは、HDMI I/Fなどがあり、放送のデコード時のサイズにかかわらず、常に1080p ( 1920画素x1080画素 60fps progressive) の形式で入力されてくる画像に対して、ノイズ除去を行わなければならない場合がある。例えば、SDサイズの480p（720x480画素 60fps progressive）でデコードされた画像であれば、その画像が1080pに拡大されて入力されることになる。この場合、デコード時のモスキートノイズが発生する周波数変換のブロックサイズが8x8画素であったとすると、拡大後には、22x18画素に拡大されていることになる。8x8画素で発生していたモスキートノイズも、その拡大後のブロックに拡散していることになる。さらに、本発明の前提である、圧縮時のブロック位置が不明である場合には、対象画素を中心に、周囲21x17画素を検索する必要があり、合計43x35画素の範囲についてエッジ検出を行う必要が生じてしまう。

一方、ノイズ除去部のハードウェア実装にあたっては、画像の左上からライン毎にラスタ順に入力される画像に対して、リアルタイムに処理が行えることが、コスト、処理パフォーマンスの面で有効であり、本ブロックでもラインメモリを用いてリアルタイムの処理とする。

図１は、圧縮ノイズ除去部の基本構成を示す。ノイズ除去部101の構成としては、ブロックノイズ除去部102にてブロックノイズ除去(BNR)を行った後にモスキートノイズ除去部103にてモスキートノイズ除去(MNR)を行う。

両ノイズ除去の処理イメージを示す。図４は、ある処理対象画素401に対して、それぞれのノイズ除去に必要な処理範囲を示している。図４(a)はブロックノイズ除去の処理イメージを示す。ブロックノイズは前述したようにブロック毎の境界402に発生する。除去処理については、エッジ検出エリア403と、ノイズ判定とフィルタリングエリア404（フィルタリングエリアは、フィルタリングに必要な参照画素も含む）があり、それぞれの処理の範囲はほぼ同じ様なサイズでよいと考えられる。

次にモスキートノイズの除去について図４(b)で説明する。モスキートノイズは、発生原理より、広範囲にエッジ406が存在するかを検出する必要がある。そのため、エッジ検出エリア405は、実際にノイズを除去するか判定、実行するエリアであるノイズ判定とフィルタリングエリア406に比べて非常に広範囲となると考えられる。

従来方式の構成について示す。図２は、従来方式であるBNRとMNRを組み合わせたノイズリダクション部201である。入力画像に対して、BNR用のBNRラインメモリ部202で保持し、BNRエッジ検出部204とBNR用のノイズ検出とフィルタリング処理を行うBNRフィルタリング部203によりブロックノイズを除去する。その後、MNR用のMNRラインメモリ部205でデータの保持を行い、そのデータを入力として、MNRエッジ検出部206でエッジ検出を行い、その検出結果を保持用のエッジ検出ラインメモリ部208に保持し、その結果を広範囲に解析し、MNRフィルタリング部207にてMNR用のノイズ判定とノイズ除去フィルタリングを実行する。

この際、ノイズ除去のためのフィルタとしては、low pass filterやメディアンフィルタやバイラテラルフィルタなどのフィルタリングや、そのフィルタをエッジ成分が保存できるように改良したものが用いられる。エッジ検出やノイズ検出としては、周波数解析やテンプレートマッチングなどの手法が用いられる。

従来方式の必要となるラインメモリの本数について例を交えて説明する。図５(a)は、n番目のラインが入力された際の、ラインバッファ(1)、(2)、(3)（それぞれ、図２のバッファに相当）の保持本数の例を示す。なお、図中のラインメモリ数は、上記例である480pから1080pに変換した場合を想定したものとなっている。図の縦軸はラスタ順（画像の左上から、ライン方向に、右下までの順番）に入力されたラインの番号501を示しており、現在n番目のラインが入力された際の各処理のラインメモリ数を表している。BNRラインメモリ部202を(1)502とし、本例では上下ラインそれぞれ４ラインとした。その保持したラインを用いて203, 204の処理を行い、中心位置503で結果が出力されるとする。その出力結果は、MNRの205で保持される((3)508)とともに、206の処理を行い、結果を208((2)504)に保持する。なお、この際、簡単化のため、エッジ検出にかかるライン数はなしとしている。実際には、このエッジ検出にかかるライン数も加味して計算する。そして、この208に保持した結果を上下１７ライン部参照して、判定結果として出力し505、207によりモスキートノイズ除去を実行する。このノイズ除去は、(3)の上段部506で実行し、最終出力ラインを出力507する。この際、(1)の出力503から(2)が出力505されるまで、(3)の処理が実行できないため、(3)の下段508に表記した17ライン分を保持する必要性が生じる。

本発明の課題は、ラインメモリの削減を行うことであり、特にこの508に示したライン遅延の為だけに、必要となるラインメモリを削除することである。

解決手段について、以下に示す。図３に本発明に係るノイズ除去部の一構成例を示す。提案ノイズ除去部301は、図２の構成に対して、MNRエッジ検出部302の入力を、MNRのラインメモリ部205からではなく、BNRのラインメモリ部202からとする。

これによるラインメモリの削減について、図５(b)で説明する。モスキートノイズ用のエッジ検出部の入力ラインをBNRからの入力とすることで、(2)504の処理は(1)502と同ラインから処理が開始できる（なお、前述したが簡単化のため(2)のエッジ検出用に必要なラインメモリ数は０としている）。これにより、従来方式に比べて、(2)の出力結果505が早いラインから出力できるようになる。これにより、MNRのノイズ検出とノイズ除去506までの間の必要であったライン保持550を減らすことができ、その分のラインメモリを削減できる。本例では、4ライン分のラインメモリ551を削減することができる。

これにより、ラインメモリ量を削減することができ、ハードウェアコストの削減や消費電力の低減ができる。また、本手法により最終出力ラインが早くなることから、処理遅延の低減が可能となる。

更に、本手法では、全体のラインメモリ量を増やさずに、ブロックノイズ除去のフィルタリング領域を広げることができる。図５(b)の例では、(1)502のライン数を、全体の総量を増やさずに上下のライン数を８にする事ができる。

これは、(2)の終了ラインは、(1)の終了ラインに関係が無く、(1)の出力の遅延分が削減できるラインメモリ量となるためであり、４ラインの削減分をそのまま、(1)の処理で新たに使っても全体の総量が増えない。これにより、ブロックノイズ除去の性能を上げることができる。

次に、本ノイズ除去部をテレビに搭載した構成を図６に示す。601はデコーダＬＳＩ部であり、放送信号に対してデコード処理、画像の拡大や縮小を行う拡縮処理、IP変換を行う。また、外部ＨＤＤレコーダなどからの外部画像入力としてＨＤＭＩＩ／Ｆ602を設ける。本発明の実施例に係るノイズ除去部は、超解像、フレームレート変換、カラーマネージメント、コントラスト調整機能と一緒に高画質化ＬＳＩ603で実装し、デコーダＬＳＩ601とＨＤＭＩＩ／Ｆ602の出力に対して処理を行う。処理画像はディスプレイコントロールＬＳＩ604に渡され表示の処理が行われる。また、全体制御は、ＣＰＵ部605が行う。

次に、本発明の拡張について説明する。本発明は、ラスタ（２次元配列の左上から横方向にライン毎）の入力データ自体を変換して出力するデータ変換処理と、そのデータ変換処理の実行有無や強度を調整するための解析データを作成する解析データ作成処理からなるブロックにおいて、これを他ブロックと連結する際の効率的な連結方法として考えることができる。この際、広域に少ないメモリ量でデータ解析を行いたいという課題がある。

上記課題に対して、局所的な解析を行い、その結果を入力のデータよりもデータ量が少ないデータ解析結果として、広い範囲をメモリで保持し、その結果を広範囲に解析することで、判定結果とする。この様にする事で、広い範囲を少ないメモリ量で解析できる様になる。

図７に、このデータ解析処理とデータ変換処理の関係について示す。パターン１は、データ変換範囲701は広く、データ解析範囲は狭い場合を示す。パターン２はエリアがほぼ同範囲の場合を示す。パターン３は、データ解析範囲が広く、データ変換範囲が狭い場合を表している。これらについて、データ変換用の保持ラインの違いを考える。これは、パターン３が少なく、それ以外は多く必要となる。但し、このデータ変換処理は入力ラインについて行う必要があり、この本数を変えることは変換精度の劣化を招くことから、本発明でこのラインメモリの削減については考慮しない。

次に、データ解析処理用に必要なライン数について考える。これは、パターン１以外については、多くラインが必要である。この必要ラインについては、上記解析結果のみを広範囲で覚えておくことでデータ量を大幅に削減することができる。

しかし、データ解析範囲が広いということは、この解析範囲の解析が終了しないと、データ変換が開始できないことを意味する。これは、ラスタ入力の場合には、解析処理終了まで、データ変換に必要なラインを保持し続けなければならない。
よって、パターン１、２については、データ変換時は、ほぼ解析が終わっているため、ラインを保持し続けるためのバッファはほぼ必要ないが、パターン３の場合には、処理開始まで遅延させておくための多くのバッファが必要となる。

次に、これらのブロックの連結について説明する。このようなパターンのブロックを連結して使用する場合には、データ解析の処理開始ラインは早め、変換処理をするラインは遅めに開始できる構成とする事が好ましい。これは、データ解析範囲がデータ変換範囲より広いものほどデータパスの後段に位置させ、その際に、データ解析の入力については、該ブロックより前段のブロックの入力を用いるということである。

図８に、例としてパターン１とパターン３を連結する場合を示す。パターン１は、ラインメモリ801と、データ解析802と、データ変換803を用いて構成される。パターン３は、ラインメモリ804と、データ解析805と、制御データ保持メモリ806s、データ変換807を用いて構成される。図８では、まず解析範囲の広いパターン３をデータパスの後段に位置させ、そして、パターン３データ解析805の入力を、前ブロックであるパターン１のラインメモリの出力とする。この様にする事で、図5(b)と同様の効果を得られ、ラインメモリ量を大幅に削減することが可能となる。具体的には、(1)が(4)と対応、(2)と(5)が対応、(3)と(6)が対応し、(6)の遅延用のメモリを削減する事ができる。

これにより、ラインメモリ量を削減することができ、ハードウェアコストの削減や、消費電力の低減ができる。また、本手法により最終出力ラインが早くなることから、処理遅延の低減が可能となる。

更に、本手法では、全体のラインメモリ量を増やさずに、ブロックノイズ除去のフィルタリング領域を広げることができる。図５(b)の例では、(1)502のライン数を、全体の総量を買えずに上下のライン数を８にする事ができる。

これは、(2)の終了ラインは、(1)の終了ラインに関係が無く、(1)の出力の遅延分が削減できるラインメモリ量となるためであり、４ラインの削減分をそのまま、(1)の処理で新たに使っても全体の総量が増えない。これにより、パターン１のデータ変換、データ解析の処理範囲を広げることができ、性能を上げることが可能となる。

また、更に複数のブロックを連結する場合でも、データ解析範囲がデータ変換範囲より広いものほど後段に配置し、その際のデータ解析ブロックへの入力を自分より前のブロックのデータ変換部の入力とすることで実現が可能である。この際、データ解析部への入力は、前段ブロックのよりデータ変換範囲が広いブロックとすることで、ラインメモリをより削減することが可能となる。

本発明は、パターン３の様な性質を持つブロックに対して、前段処理がライン遅延するようなブロックであれば、効果が期待できる。

図９にその構成を示す。少なくてもデータ遅延を持つ前段処理部901と、前段処理部から出力されるデータを保持するラインメモリ部902と、入力データを解析し制御データを作成するデータ解析部903と、データ解析部が作成した制御データを保持する制御データ保持部904と、ラインメモリ部からの出力データに対して、制御保持メモリ部からの制御データによりデータ変換を行うデータ変換部905を有する構成である。

この際に、データ解析部の入力データを、前段処理部内の処理時のデータとすることで、本発明の効果を得る事ができる。この処理時のデータとは、前段処理部にあるライン遅延メモリの出力のことである。この効果は、前段処理部のラインの遅延段数が多ければ多いほど、後段のデータ保持のための余分なバッファの挿入を減らすことができる。

以上、本発明者によってなされた発明を実施形態に基づき具体的に説明したが、本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

101・・・ノイズ除去部、102・・・ブロックノイズ除去部、103・・・モスキートノイズ除去部、201,301・・・ノイズリダクション部、202・・・BNRラインメモリ部、203・・・BNRフィルタリング部、204・・・BNRエッジ検出部、205・・・MNRラインメモリ部、206,302・・・MNR用エッジ検出部、207・・・MNRフィルタリング部、208・・・エッジ検出ラインメモリ部、401・・・処理対象画素、402・・・ブロック毎の境界、403・・・エッジ検出エリア、404,406・・・ノイズ判定とフィルタリングエリア、405・・・エッジ検出エリア、601・・・デコーダLSI部、602・・・HDMI I/F部、603・・・高画質化LSI、604・・・ディスプレイコントロールLSI、605・・・CPU部、801,804・・・ラインメモリ、802,805・・・データ解析、803,807・・・データ変換、806 ・・・制御データ保持メモリ、901・・・前段処理部、902・・・ラインメモリ部、903・・・データ解析部、904・・・制御データ保持部、905・・・データ交換部

Claims

入力されたデータに対して少なくとも１ライン以上のライン遅延をする前段処理部と、
前段処理部の出力を保持するラインメモリ部と、
ラインメモリ部の出力に対して、制御データ保持部からのデータを元に、データ変換を行うデータ変換部と、
入力データに対して、データ解析を行いデータ変換部の制御用の信号を生成するデータ解析部と、
データ解析部で作成された制御信号を保存する制御データ保持メモリ部と、
を有した画像信号処理装置において、
データ解析部の入力を前段処理部のデータとする事を特徴とする画像信号処理装置。
請求項１の画像信号処理装置であって、データ解析部への入力データは、前段処理部内で保持しているライン遅延メモリの出力であることを特徴とする画像信号処理装置。
請求項１の画像信号処理装置であって、データ解析部から出力される制御信号は、データ変換部で変換するデータサイズに比べて、データサイズが少ない事を特徴とする画像
デジタル画像に対して、画像圧縮により発生したブロックノイズとモスキートノイズを除去する画像信号処理装置において、ブロックノイズ除去を施した後にモスキートノイズを除去し、ブロックノイズを行うための入力ラインを保持するラインメモリを用いて、モスキートノイズ除去のエッジ検出処理を行う事を特徴とする画像信号処理装置。
ブロックノイズ除去用に用いる画像を保持しておくブロックノイズラインメモリ部と、
ブロックノイズラインメモリ部の出力に対して、ブロックノイズ除去を行うブロックノイズ除去部と、
モスキートノイズ除去のためエッジ検出を行うモスキートノイズエッジ検出部と、
モスキートノイズエッジ検出部の結果を保持しておく、エッジ検出フラグ保持用ラインメモリ部と、
モスキートノイズの除去を行うモスキートノイズ除去部と、
を有する画像信号処理装置において、
モスキートノイズエッジ検出部の入力するデータは、ブロックノイズラインメモリから取得することを特徴とする画像信号処理装置。