JP2013219462A - 画像処理装置、画像表示装置、画像処理方法、コンピュータプログラム及び記録媒体 - Google Patents

Abstract

【課題】輪郭を太らせることなく、ディテイル度を向上させた画像データを形成可能な画像処理装置を提供する。
【解決手段】ディテイル感向上処理部１３は、注目画素と周辺画素との中で画素の画素値の、最大値を得る最大値算出処理部１７と、最小値を得る最小値算出処理部１８と、注目画素の画素値と最大値及び最小値とを基に高周波成分を得る高周波成分生成処理部１９と、注目画素の画素値を高周波成分を用いて補正する混合処理部２０と、を備える。
【選択図】図３

Description

本発明は、画像、及び、映像処理を行う際に、画像のディテイル感を向上できる画像処理装置、画像処理方法、コンピュータプログラム及び記録媒体に関する。

静止画や動画に拡大処理を施して表示を行うと、等倍表示では十分鮮鋭感のある画質であっても、鮮鋭感、及び、ディテイル感の損なわれたぼやけた画質となることがある。そこで、拡大処理を行う前に、アンシャープマスク処理などの強調処理を適用することにより鮮鋭感を改善することが可能である。しかしながら、輪郭が太くなる、あるいは、輪郭周辺にオーバーシュート、アンダーシュートが発生するため、強調処理後に拡大処理を適用すると非常に不自然な画像になってしまう。

そこで、フィルタ処理として３×３などの小さなブロックのサイズ（マスクサイズ）を採用することにより、輪郭が太くなるのを低減することが可能である。しかしながら、マスクサイズを小さくするとフィルタ周波数応答が単調になるため、重要な周波数帯域よりも不要な高周波成分への強調効果が強くなってしまう。従って、重要な周波数帯域の強調効果を高めると、不要な高周波成分も強調されてしまうという問題がある。

一方、特許文献１は、画像に対して適応的な精細度補正を実現するために、以下の式（１）に示すように、対象画素とその周辺画素との色距離の平均値よりカラーエッジ情報を算出し、カラーエッジ情報に基づいて画像全体に係る大域的強調係数Ｋ、及び、画素毎に係る局所的強調係数ｋ(y,x)を算出し入力画像ＲＧＢ_ＩＮと入力画像ＲＧＢ_ＩＮを平滑化処理したＲＧＢ_ＳＭとの差分値に乗算して、入力画像ＲＧＢ_ＩＮに加算する。

但し、R_IN(y,x)、G_IN(y,x)、B_IN(y,x)は座標(y,x)における入力画素値を、R_SM(y,x)、G_SM(y,x)、B_SM(y,x)は座標(y,x)における平滑化処理された画素値を、R_OUT(y,x)、G_OUT(y,x)、B_OUT(y,x)は座標(y,x)における処理結果を表す。

特許第４０９９９３６号（２００８年３月２８日登録）

特許文献１の技術では、カラーエッジ情報を用いて、アンシャープマスクの強調係数として、大域的強調係数Ｋ、及び、局所的強調係数ｋ(y,x)を定めて強調することにより、画像全体のシャープさと画素毎のシャープさを踏まえた精細度補正を行うことができる。しかしながら、特許文献１の技術も、従来のアンシャープマスク処理と同様に、平滑化処理する際のマスクサイズが大きければ、十分な強調効果を得ようとすると輪郭が太るため、その後に拡大処理を適用すると、非常に不自然な画像になってしまう。また、平滑化処理する際のマスクサイズを小さくすることにより、輪郭の太りを低減することも可能であるが、周波数応答が単調になるため、重要な周波数帯域よりも不要な高周波成分への強調効果が強くなってしまう。従って、重要な周波数帯域の強調効果を高めると、不要な高周波成分も強調されてしまうという問題がある。

そこで、本発明は、上記の問題点に鑑みてなされたものであって、その目的は、輪郭を太らせることなく、ディテイル感（精細感、精細度）を向上させた画像データを形成可能な画像処理装置、画像表示装置、画像処理方法、コンピュータプログラム、並びに記録媒体を提供することにある。

本発明に係る画像処理装置は、上記課題を解決するために、入力画像データのディテイルを補正するディテイル補正処理部を備えた画像処理装置であって、上記ディテイル補正処理部は、上記入力画像データの各画素について、注目画素を含む複数の画素よりなるブロックの中で画素の画素値の最大値を算出する最大値算出処理部と、上記入力画像データの各画素について、注目画素を含む複数の画素よりなるブロックの中で画素の画素値の最小値を算出する最小値算出処理部と、上記入力画像データの各画素について、注目画素の画素値と、当該注目画素について算出された上記最大値と、当該注目画素について算出された上記最小値と、を基に当該注目画素の高周波成分を算出する高周波成分生成処理部と、上記入力画像データの各画素について、注目画素の画素値を、当該注目画素について算出された上記高周波成分を用いて補正する混合処理部と、を備えることを特徴としている。

上記構成によると、注目画素を含む複数の画素よりなるブロックの中で画素の画素値の最大値と最小値とを求めて、これらを基に高周波成分を算出する。ブロックとして小さなサイズを選択すると、小さなサイズで精細感の元となる高周波成分を効果的に算出（作成）することができる。そしてこの高周波成分を用いて注目画素の画素値を補正することで、輪郭を太らせることなく、また、不要な周波数帯域を強調することなく、ディテイル感を向上することができる。なお、画素値は、画素の位置座標を表すのではなく、入力画像データが、例えば、８ビットで表される場合、０〜２５５で表される値である。

以上のように、上記構成によると、輪郭を太らせることなく、ディテイル感を向上させた画像データを形成することが可能となる。

本発明に係る画像処理装置では、上記構成に加え、上記混合処理部は、注目画素の画素値に、当該注目画素を含む複数の画素よりなるブロックにおけるダイナミックレンジに基づいて定められる重み係数と当該注目画素について算出された上記高周波成分との乗算結果を加算してもよい。

上記構成によると、注目画素の画素値に、当該注目画素を含む複数の画素よりなるブロックにおけるダイナミックレンジに基づいて定められる重み係数と当該注目画素について算出された上記高周波成分との乗算結果を加算することで、ディテイルを補正する。ここで、ノイズが目立ってしまうダイナミックレンジの極端に小さい画像（画素）領域を除いた、比較的ダイナミックレンジが狭い画像領域に対して重み係数が大きくなるように、重み係数を定めることで、ディテイル感の向上効果を得ることができる。なお、ダイナミックレンジは、注目画素を含む複数の画素よりなるブロックに含まれる画素の画素値の最大値と最小値との差から求めることができる。

本発明に係る画像処理装置では、上記構成に加え、上記高周波成分生成処理部は、（ａ）注目画素の画素値と当該注目画素について算出された上記最大値との差分絶対値が、当該注目画素の画素値と当該注目画素について算出された上記最小値との差分絶対値に定数を乗算した値よりも大きければ、当該注目画素の画素値から当該注目画素について算出された上記最大値を減算した値を上記高周波成分として、（ｂ）注目画素の画素値と当該注目画素について算出された上記最小値との差分絶対値が、当該注目画素の画素値と当該注目画素について算出された上記最大値との差分絶対値に定数を乗算した値よりも大きければ、当該注目画素の画素値から当該注目画素について算出された上記最小値を減算した値を、当該注目画素の上記高周波成分として、算出してもよい。

上記構成によると、上記（ａ）または（ｂ）という単純な処理にて高周波成分を算出することができる。よって、効率的に高周波成分を算出（生成）することができる。

本発明に係る画像処理装置では、上記構成に加え、上記ディテイル補正処理部は、上記入力画像データの各画素について、注目画素にハイパスフィルタ処理を施すことで当該注目画素のハイパスフィルタ処理による高周波成分を算出するハイパスフィルタ処理部をさらに備え、上記混合処理部は、注目画素の画素値を、当該注目画素について上記高周波成分生成処理部にて算出された高周波成分と、当該注目画素について上記ハイパスフィルタ処理部で算出されたハイパスフィルタ処理による高周波成分と、を用いて補正してもよい。

上記構成によると、注目画素の画素値を、当該注目画素について高周波成分生成処理部にて算出された高周波成分と、当該注目画素についてハイパスフィルタ処理部で算出されたハイパスフィルタ処理による高周波成分と、を用いて補正する。よって、不要な高周波成分を強調しない程度に高周波成分を復活させて入力信号に加算することができる。そのため、更にディテイル感を向上させることができる。

本発明に係る画像処理装置は、上記構成に加え、上記ディテイル補正処理部から出力された後の画像データに対して拡大処理を施すスケーラー処理部と、上記スケーラー処理部から出力された後の画像データに対して輪郭強調処理を施すシャープネス処理部と、を備えていてもよい。

上記構成によると、拡大処理前に、ディテイル補正処理部にて、輪郭線分の太りが目立つような強い輪郭成分の強調を避け、ディテイル成分のみを強調することで、精細感を失うことなく拡大処理を行うことができるようになる。そして、スケーラー処理部での拡大処理後に、シャープネス処理部にて輪郭強調処理を行うことで、輪郭線分を太らせないよう強調することができる。よって、より自然に輪郭再現を実現することが可能となる。

このように、本発明の画像処理装置では、拡大処理における補間演算によって損なわれる前に、ディテイル補正処理部にてディテイル感を向上しておき、拡大処理後に輪郭強調処理（シャープネス処理）を行うことにより、輪郭を太らせることなく鮮鋭度を向上させながら精細感を向上させることができる。

本発明に係る画像表示装置は、上記の課題を解決するために、上記いずれかの画像処理装置を備えることを特徴としている。本発明に係る画像表示装置は、本発明に係る画像処理装置を備えているため、輪郭を太らせることなく、鮮鋭度を向上させながら精細感を向上させた画像データを形成することができる。よって、高品質、高精細の画像を表示することができる。そのため、ユーザに高性能で快適な視認環境を提供することができる。

本発明に係る画像処理方法は、上記の課題を解決するために、入力画像データのディテイルを補正するディテイル補正処理ステップを含む画像処理方法であって、上記ディテイル補正処ステップは、上記入力画像データの各画素について、注目画素を含む複数の画素よりなるブロックの中で画素の画素値の最大値を算出する最大値算出処理ステップと、上記入力画像データの各画素について、上記注目画素を含む複数の画素よりなるブロックの中で画素の画素値の最小値を算出する最小値算出処理ステップと、上記入力画像データの各画素について、上記注目画素の画素値と、当該注目画素について算出された上記最大値と、当該注目画素について算出された上記最小値と、を基に高周波成分を算出する高周波成分生成処理ステップと、上記入力画像データの各画素について、上記注目画素の画素値を、当該注目画素について算出された上記高周波成分を用いて補正する混合処理ステップと、を含むことを特徴としている。

上記方法によれば、上記画像処理装置と同様の効果を奏し、輪郭を太らせることなく、ディテイル感を向上させた画像データを形成可能な画像処理方法を提供することができる。

なお、本発明に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより上記画像処理装置をコンピュータにて実現させるプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明の画像処理装置は、以上のように、上記ディテイル補正処理部は、上記入力画像データの各画素について、注目画素を含む複数の画素よりなるブロックの中で画素の画素値の最大値を算出する最大値算出処理部と、上記入力画像データの各画素について、注目画素を含む複数の画素よりなるブロックの中で画素の画素値の最小値を算出する最小値算出処理部と、上記入力画像データの各画素について、注目画素の画素値と、当該注目画素について算出された上記最大値と、当該注目画素について算出された上記最小値と、を基に当該注目画素の高周波成分を算出する高周波成分生成処理部と、上記入力画像データの各画素について、注目画素の画素値を、当該注目画素について算出された上記高周波成分を用いて補正する混合処理部と、を備える。

上記構成によると、注目画素を含む複数の画素よりなるブロックの中で画素の画素値の最大値と最小値とを求めて、これらを基に高周波成分を算出する。ブロックとして小さなサイズを選択すると、小さなサイズで精細感の元となる高周波成分を効果的に算出（作成）することができる。そしてこの高周波成分を用いて注目画素の画素値を補正することで、輪郭を太らせることなく、また、不要な周波数帯域を強調することなく、ディテイル感を向上することができる。

以上のように、上記構成によると、輪郭を太らせることなく、ディテイル感を向上させた画像データを形成することが可能となる。

本発明に係る一実施形態のテレビ放送受信装置の構成を示すブロック図である。 上記テレビ放送受信装置が有する映像信号処理部の構成を示すブロック図である。 上記映像信号処理部が有するディテイル感向上処理部の構成を示すブロック図である。 上記ディテイル感向上処理部が有する、最大値算出処理部、最小値算出処理部、および高周波成分生成処理部にて実行される処理の流れを示すフローチャートである。 ３×３個の画素における注目画素とその周辺画素を示す図である。 （ａ），（ｂ）は、上記高周波成分生成処理部が実行する高周波成分生成処理の例を示す図である。 上記混合処理部が実行する混合処理のフローチャートを示す図である。 ダイナミックレンジRangeと重み係数との関係を示す重み係数テーブルweightLUTの一例を示す図 （ａ）は、入力画像の一例を示す図であり、（ｂ）は、上記ディテイル感向上処理部からの出力画像の一例を示す図であり、（ｃ）は、上記高周波成分生成処理部において生成される高周波成分の一例を示す図である。 上記ディテイル感向上処理部での処理の全体の流れを示す図である。 本発明に係る別の実施の形態のディテイル感向上処理部の構成を示すブロック図である。 上記別の実施の形態のディテイル感向上処理部が有するハイパスフィルタ処理部で用いられるフィルタの一例を示す図である。 上記別の実施形態のディテイル感向上処理部が有する混合処理部で実行される処理のフローチャートを示す図である。 上記別の実施形態のディテイル感向上処理部での処理の全体の流れを示す図である。 マルチディスプレイを示す図である。

本発明をその実施の形態を示す図面に基づき具体的に説明する。以下に記す本実施の形態では、本発明に係る画像表示装置として、テレビ放送受信装置１を例に用いて説明を行う。また、本発明に係る画像処理装置として、テレビ放送受信装置１が有する映像信号処理部４２を例に用いて説明する。なお、以下の実施の形態では、映像とは動画像を示すものとする。

（テレビ放送受信装置）
図１は、本実施形態のテレビ放送受信装置（画像表示装置）１の構成を示すブロック図である。テレビ放送受信装置１は、図１に示すように、インタフェース２、チューナー３、制御部４、電源ユニット５、表示部６、音声出力部７、及び、操作部８を備える。

インタフェース２は、ＴＶアンテナ２１と、ＴＭＤＳ（Transition Minimized Differential Signaling）方式でシリアル通信するためのＤＶＩ（Digital Visual Interface）端子２２およびＨＤＭＩ（High - Definition multimedia Interface）端子２３と、ＴＣＰ（Transmission Control Protocol）またはＵＤＰ（User Datagram Protocol）等の通信プロトコルで通信するためのＬＡＮ端子２４と、を含む。インタフェース２は、統括制御部４１からの指示に従って、ＤＶＩ端子２２、ＨＤＭＩ端子２３またはＬＡＮ端子２４に接続された外部の機器との間でデータを送受信する。

チューナー３は、ＴＶアンテナ２１と接続されており、ＴＶアンテナ２１が受信する放送信号がチューナー３に入力される。放送信号には、映像データ、音声データ等が含まれる。本実施形態では、チューナー３は、地上波デジタルチューナー３１及びＢＳ／ＣＳデジタルチューナー３２を備えているが、これらに限定されない。

制御部４は、テレビ放送受信装置１が有する各ブロックを統括的に制御する統括制御部４１、映像信号処理部（画像処理装置）４２、音声信号処理部４３およびパネルコントローラ４４を備える。

映像信号処理部４２は、インタフェース９を介して入力される映像データに所定の処理を施し、表示部６にて表示するための映像データ（映像信号）を生成する。

音声信号処理部４３は、インタフェース９を介して入力される音声データに所定の処理を施し音声信号を生成する。

パネルコントローラ４４は、表示部６を制御して、映像信号処理部４２が出力する映像データの映像を表示部６に表示する。

電源ユニット５は、外部から供給される電力を制御する。統括制御部４１は、操作部８が有する電源スイッチから入力される操作指示に応じて、電源ユニット５に電力を供給させる、または、電力の供給を遮断させる。電源スイッチから入力される操作指示が電源オンに切り替える操作指示である場合、テレビ放送受信装置１の全体に電力が供給され、電源スイッチから入力される操作指示が電源オフに切り替える操作指示である場合、テレビ放送受信装置１に供給される電力が遮断される。

表示部６は、例えば、液晶表示装置（ＬＣＤ）、プラズマディスプレイパネル等であり、映像信号処理部４２が出力する映像データの映像を表示する。

音声出力部７は、音声信号処理部４３で生成された音声信号を統括制御部４１の指示の下で出力する。

操作部８は、電源スイッチと、切替スイッチとを少なくとも含む。電源スイッチは、テレビ放送受信装置１の電源のオンとオフの切り替えを指示する操作指示を入力するためスイッチである。切替スイッチは、テレビ放送受信装置１で受像する放送チャンネルを指定する操作指示を入力するためのスイッチである。操作部８は、電源スイッチおよび切替スイッチが押下されることに応じて、各スイッチに対応する操作指示を統括制御部４１に出力する。

なお、ここでは、テレビ放送受信装置１が備える操作部８が操作される場合を例に説明したが、テレビ放送受信装置１と無線で通信することが可能なリモートコントローラに操作部８を備えるようにして、各スイッチに対応する操作指示をテレビ放送受信装置１に送信するようにしてもよい。この場合、リモートコントローラがテレビ放送受信装置１と通信する通信媒体は、赤外光であってもよいし、電磁波であってもよい。

（映像信号処理部）
図２は、映像信号処理部４２の構成を示すブロック図である。図２に示すように、映像信号処理部４２は、デコーダ１０と、ＩＰ変換処理部１１と、ノイズ処理部１２と、ディテイル感向上処理部（ディテイル補正処理部）１３と、スケーラー処理部１４と、シャープネス処理部１５と、カラー調整処理部１６と、を有している。なお、本実施形態では、映像信号処理部４２の各処理部は、ＲＧＢ信号を処理するものとして説明するが、輝度信号を処理する構成であってもよい。

デコーダ１０は、圧縮された映像ストリームを復号して映像データを生成し、ＩＰ変換処理部１１に出力する。ＩＰ変換処理部１１は、必要に応じて、デコーダ１０から入力される映像データをインタレース方式からプログレッシブ方式に変換する。ノイズ処理部１２は、ＩＰ変換処理部１１が出力する映像データに含まれるセンサノイズや圧縮する際に生じた圧縮アーティファクツを低減（抑制）するための各種のノイズ低減処理を実行する。

ディテイル感向上処理部１３は、ノイズ処理部１２が出力する映像データに対して、拡大処理後にも精細感をもたらためのディテイル感向上処理を施す。スケーラー処理部１４と、ディテイル感向上処理部１３が出力する映像データに対して、表示部６の画素数に応じたスケーリング処理を実行する。シャープネス処理部１５は、スケーラー処理部１４が出力する映像データの映像を鮮鋭化するシャープネス処理を実行する。カラー調整処理部１６は、シャープネス処理部１５が出力する映像データに対して、コントラストや彩度等を調整するカラー処理を実行する。

なお、統括制御部４１は、図示しない記憶部に、映像信号処理部４２により各種の処理が実行される際の映像データを適宣記憶させる。

（ディテイル感向上処理部）
図３は、ディテイル感向上処理部１３の構成を示すブロック図である。ディテイル感向上処理部１３は、最大値算出処理部１７、最小値算出処理部１８、高周波成分生成処理部１９、混合処理部２０を有する。

最大値算出処理部１７、最小値算出処理部１８、および高周波成分生成処理部１９にて実行される処理の流れについて図４のフローチャートを用いて説明する。まず、最大値算出処理部１７は、入力画像データに含まれる各画素（入力画素）について、注目画素を中心とするＭ×Ｎ個の画素（Ｍ×Ｎの画素のブロック、Ｍ×Ｎの画素ウインド）における画素値の最大値を算出する（ステップ１、以下ではＳ１のように省略する）。図５は、一例として、Ｍ＝Ｎ＝３の場合の注目画素とその周辺画素を示している。注目画素を中心とするＭ×Ｎ個の画素における画素値の最大値maxValは、周辺画素を参照して下記の式（２）にて算出される。

ここで、IN(y, x)は座標(y, x)における画素の画素値（本実施形態では濃度値）を表す。なお、画素値は、画素の位置座標を表すのではなく、入力画像データが、例えば、８ビットで表される場合、０〜２５５で表される値である。

次に、最小値算出処理部１８は、各入力画素について、注目画素を中心とするＭ×Ｎ個の画素における最小値を算出する（Ｓ２）。最大値算出処理部１７と同様に、最小値算出処理部１８は、注目画素を中心とするＭ×Ｎ個の画素における画素値の最小値minValを、下記の式（３）にて算出する。

次に、高周波成分生成処理部１９は、各入力画素について、入力画素の画素値（入力画素値）と、最大値算出処理部１７にて算出された当該入力画素を中心とするＭ×Ｎ個の画素の最大値maxValと、最小値算出処理部１８にて算出された当該入力画素を中心とするＭ×Ｎ個の画素の最小値minValと、を用いて高周波成分を生成する。具体的には、まず、高周波成分生成処理部１９は、入力画素値と最大値maxValとの差分の絶対値である最大値との差分絶対値diffMaxを、下記の式（４）にて算出する。

同様に、高周波成分生成処理部１９は、入力画素値と最小値minValとの差分の絶対値である最小値との差分絶対値diffMinを下記の式（５）にて算出する。

そして、高周波成分生成処理部１９は、最大値との差分絶対値diffMaxが、最小値との差分絶対値diffMinに所定係数TH_RANGE（例えば１．５）を乗算した結果よりも大きいかを判定する（Ｓ３）。最大値との差分絶対値diffMaxが、最小値との差分絶対値diffMinに所定係数TH_RANGEを乗算した結果よりも大きければ（Ｓ３にてＹＥＳ）、高周波成分Enhを下記の式（６）にて算出する（Ｓ４）。

一方、最大値との差分絶対値diffMaxが、最小値との差分絶対値diffMinに所定係数TH_RANGEを乗算した結果以下であると（Ｓ３にてＮＯ）、最小値との差分絶対値diffMinが、最大値との差分絶対値diffMaxに所定係数TH_RANGE（例えば１．５）を乗算した結果よりも大きいかを判定する（Ｓ５）。最小値との差分絶対値diffMinが、最大値との差分絶対値diffMaxに所定係数TH_RANGEを乗算した結果よりも大きければ（Ｓ５にてＹＥＳ）、高周波成分Enhを下記の式（７）にて算出する（Ｓ６）。

他方、最小値との差分絶対値diffMinが、最大値との差分絶対値diffMaxに所定係数TH_RANGEを乗算した結果以下であると（Ｓ５にてＮＯ）、下記の式（８）の通り、高周波成分Enhを０とする（Ｓ７）。

図６（ａ），（ｂ）は、高周波成分生成処理部１９が実行する高周波成分生成処理の例を示す図である。図６（ａ）は、最大値との差分絶対値diffMaxが、最小値との差分絶対値diffMinに所定係数TH_RANGEを乗算した結果より大きい場合の、入力画素値、最大値maxVal、最小値minVal、最大値との差分絶対値diffMax、最小値との差分絶対値diffMin、及び、高周波成分Enhの関係を示している。図６（ｂ）は、最小値との差分絶対値diffMinが、最大値との差分絶対値diffMaxに所定定数TH_RANGEを乗算した結果より大きい場合の、入力画素値、最大値maxVal、最小値minVal、最大値との差分絶対値diffMax、最小値との差分絶対値diffMin、及び、高周波成分Enhの関係を示している。

図６（ａ）の場合、最小値に近い値を有する入力画素値から最大値との差分絶対値diffMaxが差分絶対値diffMinを減算することにより、ダイナミックレンジを広げることができるので、エッジ勾配が急になり、高周波成分が生成される。図６（ｂ）の場合、最大値に近い値を有する入力画素値に最小値との差分絶対値diffMinが最大値との差分絶対値diffMaxを加算することにより、ダイナミックレンジを広げることができるので、エッジ勾配が急になり、高周波成分が生成される。一方、最大値との差分絶対値diffMaxが差分絶対値diffMinとTH_RANGEの乗算結果より大きくないとき、あるいは、最小値との差分絶対値diffMinが差分絶対値diffMaxとTH_RANGEの乗算結果より大きくないときは、入力データ画素値が最小値と最大値の中間付近の値を有しており、この中間付近の値の入力データを何れかの方向に強調してしまうと、画素値が最小値付近の画素値と最大値付近とに２極化し、精細感が損なわれてしまうため、高周波成分を０にする。

混合処理部２０は、入力画素の画素値である入力画素値を補正してディテイル感を向上させる処理を行う。本実施の形態では、入力画素の画素値である入力画素値を、高周波成分生成処理部１９にて算出された高周波成分を用いて補正することで、ディテイル感を向上させる処理である混合処理を実行する。図７は、混合処理部２０にて実行される混合処理の流れを示すフローチャートである。まず、混合処理部２０は、注目画素を中心とするＩ×Ｊ（例えば５×５）個の画素における画素値の最大値と最小値との差分値であるダイナミックレンジRangeを下記の式（９）にて算出する（Ｓ８）。

次に、混合処理部２０は、ダイナミックレンジRangeをアドレスとして重み係数テーブルweightLUTを参照し、その返り値weightLUT［Range］と高周波成分生成処理部１９にて算出された高周波成分Enhとの乗算結果を、入力画素の画素値（IN（y,x））に加算することにより、ディテイル感が向上された処理結果Resultを算出する（Ｓ９）。これを式で表すと、下記の式（１０）になる。

また、ダイナミックレンジRangeと重み係数との関係を表わす重み係数テーブルweightLUTの代わりに、例えば図８に示す、ダイナミックレンジRangeと重み係数との関係曲線を用いて、ダイナミックレンジRangeから重み係数を求めてもよい。この関係曲線は図示しない記憶部に格納される。重み係数テーブルweightLUTの場合は、ダイナミックレンジRangeに対して図８の関数で示される重み係数の値を関連付けて図示しない記憶部に格納される。

高周波成分を加算することによりノイズが目立ってしまうダイナミックレンジの極端に小さい画像領域を除いた、比較的ダイナミックレンジが狭い画像領域に対して重み係数が大きくなるようにすることで、高いディテイル感の向上効果を得ることができる。更に、ダイナミックレンジの広い画像領域に対して重み係数を小さくすることで、オーバーシュートやアンダーシュートを発生させることなく、ディテイル感のみを向上することができる。

図１０に、ディテイル感向上処理部１３にて実施される処理（ディテイル感向上処理）の流れを示す。まず、注目画素を含む複数の画素よりなるブロックの中で画素の画素値の最大値を算出する（Ｓ１０）。次に、注目画素を含む複数の画素よりなるブロックの中で画素の画素値の最小値を求める（Ｓ２０）。そして、注目画素の画素値と、当該注目画素についてＳ１０にて算出された最大値と、当該注目画素についてＳ２０にて算出された最小値と、を基に当該注目画素の高周波成分を算出する（Ｓ３０）。その後、注目画素の画素値を、当該注目画素についてＳ３０にて算出された高周波成分を用いて補正する混合処理を行う（Ｓ４０）。なお、以上の処理は、入力画素すべてについて行われる。

以上のように、ディテイル感向上処理部１３では、注目画素を含む複数の画素よりなるブロックの中で画素の画素値の最大値と最小値とを求めて、これらを基に高周波成分を算出する。ブロックとして小さなマスクサイズ選択すると、小さなマスクサイズで精細感の元となる高周波成分を効果的に算出（作成）することができる。そしてこの高周波成分を用いて注目画素の画素値を補正することで、輪郭を太らせることなく、また、不要な周波数帯域を強調することなく、ディテイル感を向上することができる。このように、ディテイル感向上処理部１３では、輪郭を太らせることなく、ディテイル感を向上させた画像データを形成することが可能となる。

また、映像信号処理部４２は、拡大処理前に、ディテイル感向上処理部１３にて、輪郭線分の太りが目立つような強い輪郭成分の強調を避け、ディテイル成分のみを強調することで、精細感を失うことなく拡大処理を行うことができるようになる。そして、スケーラー処理部１４での拡大処理後に、シャープネス処理部１５にて輪郭強調処理を行うことで、輪郭線分を太らせないよう強調することができる。

このように、映像信号処理部４２では、拡大処理における補間演算によって損なわれる前に、ディテイル感向上処理部１３にてディテイル感を向上しておき、拡大処理後に輪郭強調処理（シャープネス処理）を行うことにより、輪郭を太らせることなく鮮鋭度を向上させながら精細感を向上させることができる。

図９（ａ）〜（ｃ）は、それぞれ、入力画像、ディテイル感向上処理の結果であるディテイル感向上処理部１３から出力される出力画像、及び、高周波成分生成処理部１９において生成される高周波成分、の一例を示す図である。図９（ａ）〜（ｃ）から分かるように、出力画像は、入力画像と比べて高周波成分が加算されており、高周波成分によりディテイル感を大幅に向上させることができる。そのため、拡大処理における補間演算によって損なわれる前に、ディテイル感向上処理部１３でのディテイル感向上処理によりディテイル感を向上しておき、拡大処理後にシャープネス処理を行うことにより、輪郭を太らせることなく鮮鋭度を向上させながら精細感を向上さえることができる。

ここで、拡大処理前に輪郭強調処理を行うと、強調された輪郭線分がそのまま拡大されるため、その結果、拡大後の輪郭線分が太く見え、自然画像では不自然に見えてしまうという問題がある。一方、精細感を与えるディテイル成分については、拡大処理前に強めておかないと、拡大処理の補間演算で精細感の元となる高周波成分が失われてしまい、拡大処理後に高周波成分を復活することが難しくなる。そこで、本実施形態では、上記のように、拡大処理前には、輪郭線分の太りが目立つような強い輪郭成分の強調を避け、ディテイル成分のみを強調するため、精細感を失うことなく拡大処理できるようになる。そして、拡大処理後に輪郭強調処理を行うことで、輪郭線分を太らせないよう強調することができる。よって、より自然に輪郭再現を実現することが可能となる。

〔実施の形態２〕
本実施の形態の映像信号処理部は、図３に示す実施の形態１の映像信号処理部４２のディテイル感向上処理部１３が、図１１に示すディテイル感向上処理部（ディテイル補正処理部）１３０に置き換わったものである。本実施の形態の映像信号処理部およびテレビ放送受信装置において、ディテイル感向上処理部１３０以外の構成は、実施の形態１の映像信号処理部４２およびテレビ放送受信装置１と同じである。よって、実施の形態１で説明した構成と同一の構成には同一の符号を付し、実施の形態１で説明した処理については説明を省略する。

本実施形態のディテイル感向上処理部１３０は、最大値算出処理部１７、最小値算出処理部１８、高周波成分生成処理部１９、混合処理部２０に加え、ハイパスフィルタ処理部２５を有する。つまり、図１１に示す本実施の形態のディテイル感向上処理部１３０は、図３に示した実施の形態１のディテイル感向上処理部１３に、ハイパスフィルタ処理部２５が追加されたものである。

ハイパスフィルタ処理部２５は、入力画像データにハイパスフィルタ処理を施して入力画像データの高周波成分を抽出する。つまり、ハイパスフィルタ処理部２５は、各入力画素について、注目画素にハイパスフィルタ処理を施すことで当該注目画素のハイパスフィルタ処理による高周波成分を算出する。図１２は、ディテイル感向上処理部１３０におけるハイパスフィルタ処理部２５において用いるハイパスフィルタ係数の一例を示す図である。ハイパスフィルタ処理部２５は、例えば図１２に示すフィルタ係数を用いて高周波成分dFilを下記の式（１１）にて算出する。

また、本実施の形態では、混合処理部２０は、入力画素の画素値である入力画素値を、入力画素値と高周波成分生成処理部１９にて算出された高周波成分、及び、ハイパスフィルタ処理部２５に算出された高周波成分を用いて補正することで、ディテイル感を向上させる処理である混合処理を実行する。図１３は、本実施の形態での混合処理の流れを示すフローチャートである。まず、混合処理部２０は、注目画素を中心とするＩ×Ｊ（例えば５×５）個の画素における画素の画素値の最大値と最小値との差分値であるダイナミックレンジRangeを上記した式（９）にて算出する（Ｓ８）。

次に、ダイナミックレンジRangeをアドレスとして重み係数テーブルweightLUTを参照し、その返り値weightLUT［Range］と高周波成分生成処理部１９にて算出された高周波成分Enhとの乗算結果、更に、ダイナミックレンジRangeをアドレスとして重み係数テーブルfilterLUTを参照し、その返り値filterLUT［Range］とハイパスフィルタ処理部２５にて算出された高周波成分dFilとの乗算結果を、入力画像の画素値（IN（y,x））に加算することにより、ディテイル感が向上された処理結果Resultを算出する（Ｓ９’）。これを式で表すと、下記の式（１２）になる。

図１４に、ディテイル感向上処理部１３０にて実施される処理の流れを示す。Ｓ１０、Ｓ２０、Ｓ３０は、実施の形態１と同様である。本実施の形態のディテイル感向上処理部１３０では、さらに、ハイパスフィルタ処理による高周波成分を算出する（Ｓ３１）。そして、注目画素の画素値を、Ｓ３０にて算出された高周波成分とＳ３１にて算出されたハイパスフィルタ処理による高周波成分とを用いて補正する混合処理する（Ｓ４０’）。

本実施の形態では、以上のように、入力画素の画素値（入力画素値）の最大値及び最小値を用いて算出される高周波成分に加えて、ハイパスフィルタ処理部２５でのハイパスフィルタ処理にて算出される高周波成分（ハイパスフィルタ処理による高周波成分）を、不要な高周波成分を強調しない程度に入力画素値に加算することができる。そのため、実施の形態１のディテイル感向上処理部１３よりも、より多くの高周波成分を入力画素値に加算することができる。その結果、ディテイル感をより向上することが可能となる。

〔実施の形態３〕
上記した実施の形態１および２では、本発明に係る画像処理装置を、チューナー３を有するテレビ放送受信装置１の映像信号処理部４２に適用した場合を例に説明した。しかし、本発明に係る画像処理装置を、例えば、チューナー３を有していないモニタ（インフォメーションディスプレイ）の映像信号処理を実行する処理部に適用してもよい。この場合は、モニタが、本発明に係る画像表示装置であり、モニタの概略構成は、例えば、図１に示す構成からチューナー３を除いたものとなる。本発明に係る画像処理装置がモニタの映像信号処理を実行する処理部に適用されているため、モニタにおいて、映像のディテイル感を向上する処理を実行することができる。

また、実施の形態１では、本発明に係る画像処理装置を、表示部６を１つ有する（単体のディスプレイ）テレビ放送受信装置１の映像信号処理部４２に適用した場合を例に説明した。しかし、本発明に係る画像処理装置を、例えば図１５に示すように表示部６が垂直方向および水平方向に複数台配置されたマルチディスプレイ１００の映像信号処理を実行する処理部に適用してもよい。この場合は、マルチディスプレイ１００が、本発明に係る画像表示装置である。本発明に係る画像処理装置がマルチディスプレイ１００の映像信号処理を実行する処理部に適用されているため、例えば、マルチディスプレイ１００にＦＨＤ映像を再生するような場合において、映像のディテイル感を向上する処理を実行することができる。

〔実施の形態４〕
実施の形態１または２の映像信号処理部４２は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、映像信号処理部４２（または、テレビ放送受信装置１）は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである映像信号処理部４２の各制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、映像信号処理部４２に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ類、ＰＬＤ（Programmable logic device）等の論理回路類などを用いることができる。

また、映像信号処理部４２を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、種々の変更が可能である。すなわち、本発明の要旨を逸脱しない範囲内において適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、複数のフレーム画像からなる映像のノイズを低減する画像処理装置等に利用することができる。

１ テレビ放送受信装置（画像表示装置）
４ 制御部
６ 表示部
８ 操作部
１３、１３０ ディテイル感向上処理部（ディテイル補正処理部）
１７ 最大値算出処理部
１８ 最小値算出処理部
１９ 高周波成分生成処理部
２０ 混合処理部
２５ ハイパスフィルタ処理部
４２ 映像信号処理部（画像処理装置）

Claims (9)

1. 入力画像データのディテイルを補正するディテイル補正処理部を備えた画像処理装置であって、
   上記ディテイル補正処理部は、
   上記入力画像データの各画素について、注目画素を含む複数の画素よりなるブロックの中で画素の画素値の最大値を算出する最大値算出処理部と、
   上記入力画像データの各画素について、注目画素を含む複数の画素よりなるブロックの中で画素の画素値の最小値を算出する最小値算出処理部と、
   上記入力画像データの各画素について、注目画素の画素値と、当該注目画素について算出された上記最大値と、当該注目画素について算出された上記最小値と、を基に当該注目画素の高周波成分を算出する高周波成分生成処理部と、
   上記入力画像データの各画素について、注目画素の画素値を、当該注目画素について算出された上記高周波成分を用いて補正する混合処理部と、を備えることを特徴とする画像処理装置。
2. 上記混合処理部は、注目画素の画素値に、当該注目画素を含む複数の画素よりなるブロックにおけるダイナミックレンジに基づいて定められる重み係数と当該注目画素について算出された上記高周波成分との乗算結果を加算する、ことを特徴とする請求項１に記載の画像処理装置。
3. 上記高周波成分生成処理部は、
   （ａ）注目画素の画素値と当該注目画素について算出された上記最大値との差分絶対値が、当該注目画素の画素値と当該注目画素について算出された上記最小値との差分絶対値に定数を乗算した値よりも大きければ、当該注目画素の画素値から当該注目画素について算出された上記最大値を減算した値を上記高周波成分として、
   （ｂ）注目画素の画素値と当該注目画素について算出された上記最小値との差分絶対値が、当該注目画素の画素値と当該注目画素について算出された上記最大値との差分絶対値に定数を乗算した値よりも大きければ、当該注目画素の画素値から当該注目画素について算出された上記最小値を減算した値を、当該注目画素の上記高周波成分として、
   算出することを特徴とする請求項１または２に記載の画像処理装置。
4. 上記ディテイル補正処理部は、上記入力画像データの各画素について、注目画素にハイパスフィルタ処理を施すことで当該注目画素のハイパスフィルタ処理による高周波成分を算出するハイパスフィルタ処理部をさらに備え、
   上記混合処理部は、注目画素の画素値を、当該注目画素について上記高周波成分生成処理部にて算出された高周波成分と、当該注目画素について上記ハイパスフィルタ処理部で算出された上記ハイパスフィルタ処理による高周波成分と、を用いて補正することを特徴とする請求項１に記載の画像処理装置。
5. 上記ディテイル補正処理部から出力された後の画像データに対して拡大処理を施すスケーラー処理部と、
   上記スケーラー処理部から出力された後の画像データに対して輪郭強調処理を施すシャープネス処理部と、を備えたことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 請求項１から５の何れか１項に記載の画像処理装置を備えることを特徴とする画像表示装置。
7. 入力画像データのディテイルを補正するディテイル補正処理ステップを含む画像処理方法であって、
   上記ディテイル補正処ステップは、
   上記入力画像データの各画素について、注目画素を含む複数の画素よりなるブロックの中で画素の画素値の最大値を算出する最大値算出処理ステップと、
   上記入力画像データの各画素について、注目画素を含む複数の画素よりなるブロックの中で画素の画素値の最小値を算出する最小値算出処理ステップと、
   上記入力画像データの各画素について、上記注目画素の画素値と、当該注目画素について算出された上記最大値と、当該注目画素について算出された上記最小値と、を基に高周波成分を算出する高周波成分生成処理ステップと、
   上記入力画像データの各画素について、上記注目画素の画素値を、当該注目画素について算出された上記高周波成分を用いて補正する混合処理ステップと、を含むことを特徴とする画像処理方法。
8. 請求項１から５のいずれか１項に記載の画像処理装置を動作させるプログラムであって、コンピュータを上記の各部として機能させるためのプログラム。
9. 請求項８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
   

Images