JP2013235517A

JP2013235517A - 画像処理装置、画像表示装置、コンピュータプログラム及び記録媒体

Info

Publication number: JP2013235517A
Application number: JP2012108871A
Authority: JP
Inventors: Teruhiko Matsuoka; 輝彦松岡
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2012-05-10
Filing date: 2012-05-10
Publication date: 2013-11-21

Abstract

【課題】画像のノイズを抑制しつつ、ディテール感を向上できる画像処理装置を提供する。
【解決手段】入力画像データのエッジ強度を検出するエッジ強度検出処理部１６と、エッジ強度を平滑化する平滑化処理部１７と、平滑化されたエッジ強度が上限値より大あるいは下限値より小の場合に０に置き換えるエッジ強度置換部１８と、エッジ強度が０でない画素に強調処理を施し、０の画素はそのまま出力するディテール強調処理部１９とを備える。
【選択図】図３

Description

本発明は、ディテール感を向上できる画像処理装置、画像表示装置、コンピュータプログラム及び記録媒体に関する。

静止画や動画といった画像を拡大表示する際、高解像度化処理を施して表示を行うと処理結果がぼやけて解像感の低下を招いてしまう。そのため、画像に強調処理を行ってから高解像度化処理を行い、その後、さらに必要に応じて輪郭強調するような処理を行うことが望ましい。しかしながら、ノイズを含む画像全体に単純に強調処理を施してしまうと、ＣＣＤやＣＭＯＳ等の撮像素子に起因するノイズや圧縮処理に伴うノイズ（ブロックノイズ、モスキートノイズ）までもが強調され、この状態で高解像度化処理を行うと、ノイズが目立つことがある。

そこで、ノイズを含む画像に対し、強調処理を行う前にガウシアンフィルタなどのローパスフィルタを適用することで、周辺画素との平滑化によりノイズの低減が可能である。しかしながら、低減しようとする高周波成分よりなる領域がノイズによるものかディテール（画像の詳細部分）によるものかの判定がなされていないため、ディテールをもぼかしてしまい、画像の解像感の低下を招く。他方、バイラテラルフィルタを画像に適用することにより、周辺画素との輝度差の大小も考慮して、山の輪郭のように周辺画素との輝度差が大きい部分に対しては平滑化の効果を小さくすることで、エッジの保存を期待できる。しかし、草むらや波などのように輝度差は小さいもののエッジを多く含む領域に対しては、ノイズとともにぼかされがちである。

上記の理由でぼかされたディテール成分の復元のために、アンシャープマスクなどの単純な輪郭強調処理を適用すると、上記手法で低減したノイズも同時に強調されて、ノイズの復元の原因となってしまう。

ここで、特許文献１には、注目画素とその左右画素との水平方向におけるエッジ強度を算出する水平エッジ強度算出部と、水平方向のエッジ強度に基づいたフィルタ処理を行いノイズ低減およびエッジ強度を選択的に行うプレフィルタと、注目画素とその上下画素との垂直方向におけるエッジ強度を算出する垂直エッジ強度算出部と、垂直方向のエッジ強度に基づいたフィルタ処理を行いノイズ低減およびエッジ強度を選択的に行うプレフィルタとを設けた画像処理装置が開示されている。特許文献１の画像処理装置では、注目画素付近での上下または左右方向における先鋭化を分離して行うことができ、ノイズが少なくかつエッジ方向にも鮮明な画像を得ることができる。

国際公開番号ＷＯ２００６−４０９６０（２００６年４月２０日公開）

しかしながら、特許文献１の画像処理装置の場合、エッジ強度の弱いところに対して平滑化によるノイズ低減処理を行うので、輪郭ほどエッジ強度が高くないエッジ強度の低めなディテールが含まれる場合には、ノイズと共にディテールも抑制されてしまう。また、エッジ強度に合わせて平滑化から広域強調まで線形にフィルタ係数を変化させられたとしても、強調したいディテールが比較的低いエッジ強度に対しては強調度合いが弱く、十分ディテール感（精細感）を向上させることは困難である。

そこで、本発明は、上記の問題点に鑑みてなされたものであって、その目的は、画像のノイズを抑制しつつ、ディテール感（精細感）を向上することができる画像処理装置、画像表示装置、コンピュータプログラム、並びに記録媒体を提供することにある。

本発明に係る画像処理装置は、上記課題を解決するために、入力画像データのディテール感を向上させる画像処理装置において、上記入力画像データの各画素のエッジ強度を検出するエッジ強度検出処理部と、エッジ強度検出処理部により検出された上記入力画像データの各画素のエッジ強度に対して平滑化処理を施す平滑化処理部と、上記平滑化処理されたエッジ強度と当該平滑化処理されたエッジ強度に対して設定された上限値および下限値とを比較し、上記平滑化処理されたエッジ強度が上記上限値より大きい、あるいは上記下限値より小さい場合、上記平滑化処理されたエッジ強度を０に置き換えるエッジ強度置換部と、上記エッジ強度置換部から出力されたエッジ強度が０でない上記入力画像データの画素に対して、エッジ強度の弱いところほど強くなるような強調処理を施し、かつ、上記エッジ強度置換部から出力されたエッジ強度が０である上記入力画像データの画素をそのまま出力するディテール強調処理部と、を備えることを特徴としている。

上記構成によると、入力画像データの各画素のエッジ強度を検出し、検出された入力画像データの各画素のエッジ強度に対して平滑化処理を施す。そして、平滑化処理されたエッジ強度と、当該平滑化処理されたエッジ強度に対して設定された上限値および下限値とを比較し、平滑化処理されたエッジ強度が上限値よりも大きい、あるいは下限値よりも小さい場合、平滑化処理されたエッジ強度を０に置き換える。置き換えた後、平滑化処理されたエッジ強度が０でない入力画像データの画素に対して、エッジ強度の弱いところほど強くなるような強調処理を施し、かつ、平滑化処理されたエッジ強度が０である入力画像データの画素をそのまま出力する。

このように、入力画像データに対し、各画素のエッジ強度を算出して平滑化し、エッジ強度の大きい（上限値よりも大きい）部分とエッジ強度の小さい（下限値よりも小さい）部分とを除いた部分に対して、エッジ強度の弱いところほど強くなるような強調処理を行う。これらの処理により、ノイズの強調を抑制しつつ、オーバーシュート、あるいはアンダーシュートの目立たないディテール感を向上させる処理を行うことが可能となる。

以上からわかるように、本発明に係る画像処理装置の上記構成によると、画像のノイズを抑制しつつ、ディテール感（精細感）を向上することができるため、ノイズが抑制された高精細な画質を向上させた画像を出力することができる。

本発明に係る画像処理装置では、上記構成に加え、上記エッジ強度置換部は、上記入力画像データにおける注目画素と当該注目画素周辺の周辺画素とからなるブロックについて上記平滑化処理されたエッジ強度の標準偏差を算出し、予め定められた基準値と当該算出された標準偏差とを用いて上記上限値および下限値を設定するエッジ強度上限下限設定部を備えてもよい。

上記構成によると、エッジ強度置換部は、エッジ強度上限下限設定部にて平滑化処理されたエッジ強度の上限値および下限値を設定し、平滑化処理されたエッジ強度と比較する。上限値および下限値を設定の際に、注目画素と近傍画素とを含むブロックにおいて平滑化処理されたエッジ強度の標準偏差と強調処理したい領域のエッジ強度を実験的に求めた基準値を用いる。よって、ディテール領域のような小さな輝度差の画素は基準値からの標準偏差内に収まりやすくなる。逆に、ノイズや強エッジの画素は基準値からの標準偏差の範囲から外れやすくなる。そのため、ディテール領域のみを選択的に強調処理対象にすることが可能となる。このように、上記構成によると、ノイズを強調することなく、ディテールの強調を適切に行うことができる。

本発明に係る画像処理装置では、上記構成に加え、上記入力画像データを輝度信号と色差信号とからなる画像データに変換する信号変換部をさらに備え、上記エッジ強度検出処理部は、上記輝度信号からなる画像データの各画素についてエッジ強度の検出を行ってもよい。

人間の目は色の変化よりも明るさの変化に敏感である。よって、輝度のエッジ強度を基準にした方が、強調効果を出しやすい。上記構成によると、入力画像データを輝度信号と色差信号とからなる画像データに変換して、この輝度信号からなる画像データの各画素についてエッジ強度の検出を行うために、強調効果を出しやすくすることが可能となる。

本発明に係る画像処理装置では、上記構成に加え、上記エッジ強度検出処理部は、Sobelフィルタ、Prewittフィルタ、あるいはラプラシアンフィルタによるフィルタ処理により、上記エッジ強度を検出してもよい。これらフィルタ処理により、各画素のエッジ強度の検出を適切に行える。もちろん、これら以外の処理によりエッジ強度を検出してもよい。

本発明に係る画像処理装置では、上記構成に加え、上記平滑化処理部は、平均化フィルタあるいはガウシアンフィルタによるフィルタ処理により上記平滑化処理を実施してもよい。これらフィルタ処理により、エッジ強度の平滑化を適切に行える。もちろん、これら以外の処理により平滑化を行ってもよい。

本発明に係る画像処理装置では、上記構成に加え、上記ディテール強調処理部は、フィルタ強調処理、コントラスト強調処理、またはアンシャープマスクを用いた強調処理により、上記強調処理を実施してもよい。フィルタ強調処理、コントラスト強調処理、またはアンシャープマスクを用いた強調処理によって、入力画像データに対するディテール強調処理を適切に行える。もちろん、これ以外の処理によりディテール強度処理を行ってもよい。

上記の課題を解決するために、本発明に係る画像表示装置は、上記いずれかの画像処理装置を備えることを特徴としている。本発明に係る画像表示装置は、本発明に係る画像処理装置を備えているため、ノイズを強調することなくディテール感を向上させる画像処理が施された画像を表示することができる。つまり、ノイズを抑制して高精細な画像を表示することができる。よって、ユーザに見やすく快適な視認環境を提供することができる。

なお、本発明に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより上記画像処理装置をコンピュータにて実現させるプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明の画像処理装置は、以上のように、上記入力画像データの各画素のエッジ強度を検出するエッジ強度検出処理部と、エッジ強度検出処理部により検出された上記入力画像出データの各画素のエッジ強度に対して平滑化処理を施す平滑化処理部と、上記平滑化処理されたエッジ強度と、当該平滑化処理されたエッジ強度に対して設定された上限値および下限値とを比較し、上記平滑化処理されたエッジ強度が上記上限値より大きい、あるいは上記下限値より小さい場合、上記平滑化処理されたエッジ強度を０に置き換えるエッジ強度置換部と、上記エッジ強度置換部から出力されたエッジ強度が０でない上記入力画像データの画素に対して、エッジ強度の弱いところほど強くなるような強調処理を施し、かつ、上記エッジ強度置換部から出力されたエッジ強度が０である上記入力画像データの画素をそのまま出力する、ディテール強調処理部と、を備える。

上記構成によると、入力画像データに対し、各画素のエッジ強度を算出して平滑化し、エッジ強度の大きい（上限値よりも大きい）部分とエッジ強度の小さい（下限値よりも小さい）部分とを除いた部分に対して、エッジ強度の弱いところほど強くなるような強調処理を行う。これらの処理により、ノイズの強調を抑制しつつ、オーバーシュート、あるいはアンダーシュートの目立たないディテール感を向上させる処理を行うことが可能となる。

本発明に係る一実施形態のテレビ放送受信装置の構成を示すブロック図である。上記テレビ放送受信装置が有する映像信号処理部の構成を示すブロック図である。上記映像信号処理部が有するシャープネス処理部の構成を示すブロック図である。上記シャープネス処理部における第１の処理形態での処理の流れを示す図である。（ａ）は、入力されたＲＧＢ画像データのＲの値の例を示す図であり、（ｂ）は、入力されたＲＧＢ画像データのＧの値の例を示す図、（ｃ）は、入力されたＲＧＢ画像データのＢの値の例を示す図、（ｄ）は、（ａ）、（ｂ）、（ｃ）のＲＧＢ値から輝度値を計算した結果を示す図、（ｅ）は、ラプラシアンフィルタの例を示す図、（ｆ）は、（ｅ）のラプラシアンフィルタによるエッジ強度検出処理を行った結果を示す図である。（ａ）は、図５（ｆ）のエッジ強度検出処理を行った結果を示す図、（ｂ）は、ガウシアンフィルタの例を示す図、（ｃ）は、（ｂ）のガウシアンフィルタによる平滑化処理を行った結果を示す図である。（ａ）、（ｃ）は、図６（ｃ）のガウシアンフィルタによる平滑化処理を行った結果を示す図、（ｂ）は、（ａ）の注目画素についてエッジ強度置換処理を行った結果を示す図、（ｄ）は、（ｃ）の注目画素についてエッジ強度置換処理を行った結果を示す図である。（ａ）は、図５（ｄ）のＲＧＢ値から輝度値を計算した結果を示す図、（ｂ）は、（ａ）の太線で囲まれた領域の画素についてエッジ強度上限下限設定処理を行って設定した平滑化処理されたエッジ強度の上限値を示す図、（ｃ）は、（ａ）の太線で囲まれた領域内の画素についてエッジ強度置換処理を施し得られた平滑化処理されたエッジ強度を示す図、（ｄ）は、（ａ）の太線で囲まれた領域内の各画素のうち、エッジ強度置換処理された平滑化処理されたエッジ強度が０でない画素についてガウシアンフィルタをかけた結果を示す図、（ｅ）は、（ａ）の太線で囲まれた領域の画素の輝度データと（ｄ）のガウシアンフィルタをかけた結果（輝度データ）との差分を示す図、（ｆ）は、（ａ）の画像データの太線で囲まれた領域の各画素の輝度値にアンシャープマスクフィルタをかけた出力結果を示す図である。上記シャープネス処理部における第２の処理形態での処理の流れを示す図である。（ａ）は、入力された画像データのＧ値の例を示す図、（ｂ）は水平方向のエッジを検出するためのSobelフィルタの例を示す図、（ｃ）は、垂直方向のエッジを検出するためのSobelフィルタの例を示す図、（ｄ）は斜め方向のエッジを検出するためのSobelフィルタの例を示す図、（ｅ）は、（ａ）〜（ｅ）のフィルタによるエッジ強度検出処理を行った結果を示す図である。（ａ）は、図１０（ｅ）のエッジ強度検出処理を行った結果を示す図、（ｂ）は、平均化フィルタの例を示す図、（ｃ）は、（ａ）の太線で囲まれた領域内にある各画素に対して（ｂ）の平均化フィルタによる平滑化処理を行った結果を示す図である。上記ノイズ推定処理部が上記第１の処理形態を実行した場合の、上記ノイズ低減処理部が有するディテール強調処理部で実行される処理の流れを示す図である。上記シャープネス処理部が有するディテール強調処理部にてコントラスト強調を実行する際の、入力値と出力値との関係を示す図である。（ａ）〜（ｃ）は、それぞれ、図５（ａ）〜（ｃ）のデータにおける、図１２（ｂ）に示す領域内の各画素に対する各画素に対し、コントラスト強調処理した結果を示す図である。マルチディスプレイを示す図である。

本発明をその実施の形態を示す図面に基づき具体的に説明する。以下に記す本実施の形態では、本発明に係る画像表示装置として、テレビ放送受信装置１を例に用いて説明を行う。また、本発明に係る画像処理装置として、テレビ放送受信装置１が有する映像信号処理部４２を例に用いて説明する。

〔実施の形態１〕
（テレビ放送受信装置）
図１は、本実施形態のテレビ放送受信装置（画像表示装置）１の構成を示すブロック図である。テレビ放送受信装置１は、図１に示すように、インタフェース２、チューナー３、制御部４、電源ユニット５、表示部６、音声出力部７、及び、操作部８を備える。

インタフェース２は、ＴＶアンテナ２１と、ＴＭＤＳ（Transition Minimized Differential Signaling）方式でシリアル通信するためのＤＶＩ（Digital Visual Interface）端子２２およびＨＤＭＩ（High - Definition multimedia Interface）端子２３と、ＴＣＰ（Transmission Control Protocol）またはＵＤＰ（User Datagram Protocol）等の通信プロトコルで通信するためのＬＡＮ端子２４を含む。インタフェース２は、統括制御部４１からの指示に従って、ＤＶＩ端子２２、ＨＤＭＩ端子２３またはＬＡＮ端子２４に接続された外部の機器との間でデータを送受信する。

チューナー３は、ＴＶアンテナ２１と接続されており、ＴＶアンテナ２１が受信する放送信号がチューナー３に入力される。放送信号には、映像データ、音声データ等が含まれる。本実施形態では、チューナー３は、地上波デジタルチューナー３１及びＢＳ／ＣＳデジタルチューナー３２を備えているが、これらに限定されない。

制御部４は、テレビ放送受信装置１が有する各ブロックを統括的に制御する統括制御部４１、映像信号処理部４２、音声信号処理部４３およびパネルコントローラ４４を備える。

映像信号処理部４２は、インタフェース９を介して入力される映像データに所定の処理を施し、表示部６にて表示するための映像データ（映像信号）を生成する。

音声信号処理部４３は、インタフェース９を介して入力される音声データに所定の処理を施し音声信号を生成する。

パネルコントローラ４４は、表示部６を制御して、映像信号処理部４２が出力する映像データの映像を表示部６に表示する。

電源ユニット５は、外部から供給される電力を制御する。統括制御部４１は、操作部８が有する電源スイッチから入力される操作指示に応じて、電源ユニット５に電力を供給させる、または、電力の供給を遮断させる。電源スイッチから入力される操作指示が電源オンに切り替える操作指示である場合、テレビ放送受信装置１の全体に電力が供給され、電源スイッチから入力される操作指示が電源オフに切り替える操作指示である場合、テレビ放送受信装置１に供給される電力が遮断される。

表示部６は、例えば、液晶表示装置（ＬＣＤ）、プラズマディスプレイパネル等であり、映像信号処理部４２が出力する映像データの映像を表示する。

音声出力部７は、音声信号処理部４３で生成された音声信号を統括制御部４１の指示の下で出力する。

操作部８は、電源スイッチと、切替スイッチとを少なくとも含む。電源スイッチは、テレビ放送受信装置１の電源のオンとオフの切り替えを指示する操作指示を入力するためスイッチである。切替スイッチは、テレビ放送受信装置１で受像する放送チャンネルを指定する操作指示を入力するためのスイッチである。操作部８は、電源スイッチおよび切替スイッチが押下されることに応じて、各スイッチに対応する操作指示を統括制御部４１に出力する。

なお、ここでは、テレビ放送受信装置１が備える操作部８が操作される場合を例に説明したが、テレビ放送受信装置１と無線で通信することが可能なリモートコントローラに操作部８を備えるようにして、各スイッチに対応する操作指示をテレビ放送受信装置１に送信するようにしてもよい。この場合、リモートコントローラがテレビ放送受信装置１と通信する通信媒体は、赤外光であってもよいし、電磁波であってもよい。

（映像信号処理部）
図２は、映像信号処理部４２の構成を示すブロック図である。図２に示すように、映像信号処理部４２は、デコーダ１０と、ＩＰ変換処理部１１と、シャープネス処理部（画像処理装置）１２と、カラー調整処理部１３と、スケーラー処理部１４とを含む。

デコーダ１０は、圧縮された映像ストリームを復号して映像データを生成し、ＩＰ変換処理部１１に出力する。ＩＰ変換処理部１１は、必要に応じて、デコーダ１０から入力される映像データをインタレース方式からプログレッシブ方式に変換する。

シャープネス処理部１２は、ＩＰ変換処理部１１が出力する映像データを鮮鋭化する処理を実行する。具体的には、エッジ強度に応じて適応的にシャープネス処理を施してノイズの強調を極力抑制しつつ映像を鮮鋭化しディテール感を向上させる。シャープネス処理部１２の詳細については、後段で詳細に説明する。

カラー調整処理部１３は、シャープネス処理部１２が出力する映像データに対して、コントラストや彩度等を調整するカラー処理を実行する。スケーラー処理部１４は、カラー調整処理部１３が出力する映像データに対して、表示部６の画素数に応じたスケーリング処理を実行する。なお、統括制御部４１、図示しない記憶部に、映像信号処理部４２により各種の処理が実行される際の映像データを適宣記憶させる。

本実施形態では、映像信号処理部４２に入力される映像データを構成する画像データとしてＲＧＢデータを扱うものとする。また、映像データを構成する画像データはフレーム単位で構成されており、フレーム単位の画像をフレーム画像と称する。よって、映像は複数のフレーム画像から構成されている。本明細書では、フレーム画像を単にフレームと称する場合もある。

（シャープネス処理部）
図３は、シャープネス処理部１２の構成を示すブロック図である。シャープネス処理部１２は、入力画像データを輝度信号（輝度値）と色差信号（色差値）とのデータに分離する第１信号変換部１５と、入力画像データのエッジ強度を検出するエッジ強度検出処理部１６と、エッジ強度の平滑化処理を施す平滑化処理部１７と、平滑化されたエッジ強度と、平滑化されたエッジ強度に対して設定された上限値および下限値とを比較し、エッジ強度をそのまま出力するあるいは置換する、エッジ強度置換処理部１８と、エッジ強度上限下限設定部１８で最終的に出力されたエッジ強度の結果に従い、画像のエッジやディテール成分をエッジ強度に応じて適応的に強調するディテール強調処理部１９と、輝度値と色差値とのデータをＲＧＢデータに変換する第２信号変換部２０と、を備えている。ここで、本実施形態では、エッジ強度置換処理部１８は、平滑化されたエッジ強度に対する上限値および下限値を設定するエッジ強度上限下限設定部１８ａを備えているものとして以降の説明を行うが、上限値および下限値として予め設定（記憶）された値を用いる場合には、エッジ強度上限下限設定部１８ａは設けられていなくてよい。

シャープネス処理部１２では、映像データを構成する各フレーム画像データf₀, f₁, …, f_N-1について、１枚（１フレーム）ずつ処理を実行する。フレーム画像f₀, f₁, …, f_N-1の添え字の数字は、フレーム画像の番号を示しており、表示される順番を示すものである。本実施の形態では第０番から始まるものとする。つまり、フレーム画像f₀, f₁, …, f_N-1は、現在入力された映像データにおける第０番目、第１番目、…第N-1番目のフレーム画像である。

第１信号変換部１５は、入力画像のＲＧＢデータ（ＲＧＢ画像データ）を輝度値と色差値とのデータに分離する。シャープネス処理の対象となるフレーム画像の番号をINとするとき、第１信号変換部１５は、IN = 0のf_INから順に処理を行う。第１信号変換部１５から出力されたフレーム画像に対して、エッジ強度検出処理部１６は、エッジ強度検出処理を行う。その後、エッジ強度検出処理部１６から出力されるフレーム画像のエッジ強度データを、平滑化処理部１７とエッジ強度置換部１８とへ、順次入力して各処理を行う。次に、ディテール強調処理部１９に最終的なエッジ強度データとフレーム画像データとを入力してディテール強調処理を行う。そして、ディテール強調処理部１９から出力されたフレーム画像データの輝度値、色差値を、第２信号変換処理部２０にてＲＧＢデータに変換する。第２信号変換処理部２０での変換処理後には、次のフレームに進む。すなわちIN = IN + 1とする。

（シャープネス処理部での第１の処理形態）
図４は、シャープネス処理部１２で実行される第１の処理形態の処理フローである。シャープネス処理部１２では、ノイズや強エッジの領域を極力強調せずにディテールのみ強調処理を行う。そのために、画像のエッジ強度から、ノイズと思われる領域や強エッジ領域を排除し、条件を満たす領域のみをディテール強調処理の適用範囲とする。

まず、第１信号変換部１５が、色空間変換処理（第１色空間変換処理）を行って、入力された画像データ（入力画像データ）を輝度信号（輝度値）と色差信号（色差値）とからなる画像データに分離する（ステップ１、以下ではＳ１のように略す）。ここでは一例として、ＲＧＢ画像データから輝度値Ｙと２つの色差値Ｃｂ・Ｃｒとのデータを求める方法について説明する。しかしながら、これに限るものではなく、ＣＩＥＬＡＢやＨＳＶ、ＹＩＱなど、輝度成分（明度成分）と色成分とを分離できる色空間への変換処理であれば、どのような方法を用いてもよい。図５（ａ）は入力されたＲＧＢ画像データの赤色（Ｒ）の値の例を、図５（ｂ）は入力されたＲＧＢ画像データの緑色（Ｇ）の値の例を、図５（ｃ）は入力されたＲＧＢ画像データの青色（Ｂ）の値の例を、示している。これらＲＧＢ値から次の式（１）によって輝度値p_yと色差値p_cb、p_crを求める。

p_y(x, y)＝p_red(x, y)×0.299＋p_green(x, y)×0.587＋p_blue(x, y)×0.114
p_cb(x, y)＝0.564×(p_blue(x, y)−p_y(x, y))
p_cr(x, y)＝0.713×(p_red(x, y)−p_y(x, y))
・・・・（１）
ここで、図５（ａ）〜（ｃ）に示したブロックの中の画素（注目画素）の水平座標位置をｘ、垂直座標位置をｙとし、上記式（１）中、ｐ＿ｒｅｄ(ｘ，ｙ)は、座標（ｘ、ｙ）に存在する画素（ｐ(ｘ，ｙ)）のＲＧＢのＲ値を表している。また、ｐ＿ｇｒｅｅｎ（ｘ，ｙ）は、ｐ(ｘ，ｙ)のＲＧＢのＧ値を表し、ｐ＿ｂｌｕｅ（ｘ，ｙ）は、ｐ（ｘ，ｙ）のＲＧＢのＢ値を表している。上記式に従って、図５（ａ）、図５（ｂ）、図５（ｃ）のＲＧＢ値から輝度値を計算した結果を図５（ｄ）に示す。

次に、エッジ強度検出処理部１６が、輝度値についてのエッジ強度を画素単位で検出するエッジ強度検出処理を行う（Ｓ２）。エッジ強度検出処理においては、SobelフィルタやPrewittフィルタなどの１次微分フィルタや、ラプラシアンフィルタなどの２次微分系のフィルタを用いて検出を行う。ここでは一例として、ラプラシアンフィルタを用いた方法について説明する。図５（ｅ）は３×３サイズのラプラシアンフィルタの例である。座標（ｘ、ｙ）に存在する注目画素ｐ（ｘ、ｙ）の輝度値をｐ＿ｙ（ｘ，ｙ）と表すとき、ラプラシアンフィルタ処理結果ｐ’（ｘ，ｙ）は以下の式（２）によって表される。

p'(x, y)＝｜8×p_y(x, y)−{p_y(x-1, y-1)＋p_y(x, y-1)＋p_y(x+1, y-1)
＋p_y(x-1, y)＋p_y(x+1, y)＋p_y(x-1, y+1)＋p_y(x, y+1)＋p_y(x+1, y+1)}｜
・・・・・（２）
上記の式（２）に従って、図５（ｄ）の太線で囲まれた領域内にある各画素に対して、図５（ｅ）のラプラシアンフィルタによるエッジ強度検出処理を行った結果が、図５（ｆ）である。なお、ラプラシアンフィルタの計算では±の値が出てくるが、ここでは絶対値を取ることで、処理結果がプラスの値のみになるようにしている。

次に、平滑化処理部１７が、エッジ強度検出処理部１６から出力されたエッジ強度検出処理結果に対して、平滑化処理を行う（Ｓ３）。平滑化処理は、平均化フィルタによる近傍画素との平均値の計算や、ガウシアンフィルタなどの加重平均値の計算によって行う。ここでは一例として、ガウシアンフィルタを用いた方法について説明する。図６（ａ）は、前述したエッジ強度検出結果を表している。また、図６（ｂ）は３×３サイズのガウシアンフィルタの例である。座標（ｘ、ｙ）に存在する注目画素ｐ（ｘ、ｙ）のエッジ強度をｐ’（ｘ，ｙ）と表すとき、ガウシアンフィルタ処理結果ｐ’’（ｘ，ｙ）は以下の式（３）によって表される。

p''(x, y)＝[4×p'(x, y)＋2×{p'(x, y-1)＋p'(x-1, y)＋p'(x+1, y)＋p'(x, y+1)}
＋p'(x-1, y-1)＋p'(x+1, y-1)＋p'(x-1, y+1)＋p'(x+1, y+1)]／16
・・・・・（３）
上記の式（３）に従って、図６（ａ）の太線で囲まれた領域内にある各画素に対して図６（ｂ）のガウシアンフィルタによる平滑化処理を行った結果を図６（ｃ）に示す。なお、図６（ｃ）では、小数点以下は四捨五入としている。

次に、エッジ強度上限下限設定部１８ａが、平滑化処理部１７から出力された平滑化処理結果（平滑化処理されたエッジ強度）に対して、エッジ強度の上限値と下限値とを設定するエッジ強度上限下限設定処理を実施する（Ｓ４）。そして、エッジ強度置換部１８が、Ｓ４で設定された上限値と下限値とに基づいて注目画素の平滑化処理されたエッジ強度を０あるいはそのままにするエッジ強度置換処理を実施する（Ｓ５）。Ｓ４のエッジ強度上限下限設定処理では、エッジ強度の上限値および下限値は予め実験などによって設定された固定値を用いてもよいし、Ｓ３にて平滑化処理されたエッジ強度の値を基に計算などによって求めてもよい。以下では一例として、平滑化処理されたエッジ強度の値を元に計算によって上限値と下限値とを求める方法について説明する。

図７（ａ）および図７（ｃ）は、Ｓ３での平滑化処理結果を表している。図７（ａ）および図７（ｃ）の太線で囲まれた３×３画素の平滑化処理結果を元に、それぞれの中心画素のエッジ強度の上限値と下限値とを求める。まず、３×３（＝９）画素の平均値ｐ＿ａｖｅを以下の式（４）から求める。

p_ave＝(p''(x-1, y-1)＋p''(x, y-1)＋p''(x+1, y-1)＋p''(x-1, y)＋p''(x, y)
＋p''(x+1,y)＋p''(x-1, y+1)＋p''(x, y+1)＋p''(x+1, y+1))／9
・・・・・（４）
上記の式（４）に基づいて図７（ａ）における平均値を求めると４３（小数点以下四捨五入）となる。同様に図７（ｃ）における平均値を求めると３７（小数点以下四捨五入）となる。

次に、求めた平均値と３×３の各画素との差分の２乗和の平均値を計算し、標準偏差ｐ＿ｓ（ｘ，ｙ）を以下の式（５）から求める。

p_s(x, y)＝√[{(p_ave(x, y)−p''(x-1, y-1))²＋(p_ave(x, y)−p''(x, y-1))²
＋(p_ave(x, y)−p''(x+1, y-1))²＋(p_ave(x, y)−p''(x-1, y))²
＋(p_ave(x, y)−p''(x, y))²＋(p_ave(x, y)−p''(x+1, y))²
＋(p_ave(x, y)−p''(x-1, y+1))²＋(p_ave(x, y)−p''(x, y+1))²
＋(p_ave(x, y)−p''(x+1, y+1))²}／9] ・・・・・（５）
上記式（５）に基づいて図７（ａ）における標準偏差を求めると８（小数点以下四捨五入）となる。同様に図７（ｃ）における標準偏差を求めると１１（小数点以下四捨五入）となる。また、上記では一般的な標準偏差の求め方で計算したが、計算量や回路規模を削減するために、２乗和や２乗根を用いることなく、次の式（６）に示すように絶対値和で簡易的に求めてもよい。

p_s'(x, y)＝(|p_ave(x, y)−p'’(x-1, y-1)|＋|p_ave(x, y)−p'' (x, y-1)|
＋|p_ave(x, y)−p''(x+1, y-1)|＋|p_ave(x, y)−p'' (x-1, y)|
＋|p_ave(x, y)−p''(x, y)|＋|p_ave(x, y)−p''(x+1, y)|
＋|p_ave(x, y)−p''(x-1, y+1)|＋|p_ave(x, y)−p''(x, y+1)|
＋|p_ave(x, y)−p'' (x+1, y+1)|)／9 ・・・・・（６）
上記の式（６）に基づいて図７（ａ）におけるｐ＿ｓ’（ｘ，ｙ）を求めると７（小数点以下四捨五入）となる。同様に図７（ｃ）におけるｐ＿ｓ’（ｘ，ｙ）を求めると１０（小数点以下四捨五入）となる。

そして、予め定められた基準値に求めた標準偏差ｐ＿ｓ（ｘ，ｙ）またはｐ＿ｓ’（ｘ，ｙ）を加算したものを上限値、逆に基準値から標準偏差ｐ＿ｓ（ｘ，ｙ）またはｐ＿ｓ’（ｘ，ｙ）を減算したものを下限値として設定する（エッジ強度上限下限設定処理）。その後、設定した上限値よりも大きなエッジ強度と下限値よりも小さなエッジ強度については０に置き換える。ここで、基準値としては、例えば、幾つかのサンプル画像を使って最もディテール強調したい領域の画素のエッジ強度が抽出できる値を実験的に求めた値、などを用いればよい。

以下では一例として基準値を４５とし、標準偏差ｐ＿ｓ（ｘ，ｙ）を用いて上限値と下限値とを設定する。基準値から標準偏差ｐ＿ｓ（ｘ，ｙ）を加算または減算すると、上限値は４５＋７＝５２、下限値は４５−７＝３８となる。この上限値および下限値を基に図７（ａ）の平滑化処理されたエッジ強度に対してエッジ強度置換処理を行うと、注目画素のエッジ強度が上限値以下かつ下限値以上になっているので、図７（ｂ）に示す結果となる。つまり、Ｓ３での平滑化処理結果を維持する（平滑化処理されたエッジ強度は置換されない）。同様に、図７（ｃ）の平滑化処理されたエッジ強度に対して、エッジ強度上限値下限値設定処理を行うと、上限値は４５＋１０＝５５、下限値は４５−１０＝３５となり、エッジ強度置換処理を行うと、注目画素の平滑化処理されたエッジ強度が下限値よりも小さいため、図７（ｄ）に示す結果となる。つまり、Ｓ３での平滑化処理結果（平滑化処理されたエッジ強度）を０に置き換える。

次に、ディテール強調処理部１９は、エッジ強度置換処理された平滑化処理されたエッジ強度に基づいて、入力された画像データに対してディテール強調処理を施す（Ｓ６）。ディテール強調処理においては、フィルタ強調処理やコントラスト強調処理などの方法が考えられるが、ここでは一例として、アンシャープマスクを用いた強調処理について説明する。

図８（ａ）は、Ｓ１で入力画像データを色空間変換して得られた輝度値の画像データを表している。図８（ｂ）は、図８（ａ）の太線で囲まれた領域の画素についてエッジ強度上限下限設定処理を行って設定した平滑化処理されたエッジ強度の上限値を表している。図８（ｃ）は、図８（ａ）の太線で囲まれた領域内の画素について、Ｓ５のエッジ強度置換処理を施し得られた平滑化処理されたエッジ強度を表している。

まず、図８（ａ）の太線で囲まれた３×３領域内の注目画素に対して、図８（ｃ）に示された、注目画素に対応するエッジ強度が０でない場合、ガウシアンフィルタを用いてフィルタ処理する。ここで用いるガウシアンフィルタは、以下では、図６（ｂ）で示された平滑化処理で用いたフィルタと同じ係数のフィルタとするが、他の係数のガウシアンフィルタでも構わない。図６（ｂ）のガウシアンフィルタを用いた式は次の通りである。

q(x, y)＝[4×p(x, y)＋2×{p(x, y-1)＋p(x-1, y)＋p(x+1, y)＋p(x, y+1)}
＋p(x-1, y-1)＋p(x+1, y-1)＋p(x-1, y+1)＋p(x+1, y+1)]／16
・・・・・（７）
図８（ａ）の太線で囲まれた領域内の中心にある注目画素に図６（ｂ）で示されたガウシアンフィルタをかけると、ｑ（ｘ，ｙ）＝８２となる。同様に図８（ａ）の太線で囲まれた領域内の各画素のうち、エッジ強度置換処理された平滑化処理されたエッジ強度が０でない画素についてガウシアンフィルタをかけた結果を図８（ｄ）に示す。なお、エッジ強度が０の画素についてはガウシアンフィルタをかけないので、入力画像の画素値のままとなる。

次に、図８（ａ）の太線で囲まれた領域の画素の輝度データと図８（ｄ）のガウシアンフィルタをかけた結果（輝度データ）との差分を次の式（８）から計算する。式（８）の計算によって差分を計算した結果を図８（ｅ）に示す。

diff(x, y)＝p(x, y)−q(x, y) ・・・・・（８）
次に、図８（ａ）に示す輝度データに対して、図８（ｅ）に示す値に強調係数をかけて加算する。強調係数は以下の式（９）から求める。

coeff(x, y)＝{p_max(x, y)−p''(x, y)}／10 ・・・・（９）
式（９）中で、ｐ＿ｍａｘ（ｘ，ｙ）は、図８（ｂ）に示した平滑化処理されたエッジ強度の上限値を表し、ｐ＿ｓ（ｘ，ｙ）は、図８（ｃ）に示したエッジ強度検知処理で求めたエッジ強度である。エッジ強度が上限に近いほど、強調係数が小さくなるようになっており、これにより、輝度差の少ないエッジやディテールほど強調されるように制御可能となる。また、ここでは定数として１０で割っているが、この値も実験的に強調処理結果を見ながら決定すればよい。このように求められた強調係数を用いて次の式（１０）に示す計算を行うことにより、アンシャープマスクフィルタの出力結果とする。

p_out(x, y)＝p(x, y)＋diff(x, y)×coeff(x, y) ・・・・・（１０）
上記の式（１０）に基づいて図８（ａ）の画像データの太線で囲まれた各画素の輝度値にアンシャープマスクフィルタをかけた出力結果を図８（ｆ）に示す。この結果から、輝度差の小さなディテール領域に対して輝度差が広がり、強調されていることが確認できる。

以上では、アンシャープマスクを用いた例を示したが、別の強調フィルタを用いても構わない。例えば、強調度合いの異なる係数を持つ複数の強調フィルタを用意しておき、輝度差のレンジを用意したフィルタの数で均等割りし、輝度差の少ないものほど強調度合いの強いフィルタを選択するようにし、逆に輝度差の大きなものほど強調度合いの小さなフィルタを選択するようにすることにより、輝度差の少ないエッジやディテールほど強調されるように制御するようにしてもよい。さらには、基準となる強調フィルタ係数を１つ用意し、輝度差に応じて、輝度差が小さい時ほど、基準となる強調フィルタ係数に１より大きい輝度差に対応した値をかけたものを強調フィルタの係数として用い、逆に輝度差が大きいときには、基準となる強調フィルタ係数に1より小さい輝度差に対応した値をかけたものを強調フィルタの係数として用いることにより、輝度差の少ないエッジやディテールほど強調されるように制御するようにしてもよい。

最後に、第２信号変換部２０が、上記ディテール強調処理された輝度値とＳ１の色空間変換処理によって分離された色差値とを用いて、次の式（１１）によってＲＧＢデータに逆変換する色空間変換処理（第２色変換処理）を実施する（Ｓ７）。

p'_red(x, y)＝p_out(x, y)＋1.402×p_cr(x, y)
p'_green(x, y)＝p_out(x, y)−0.344×p_cb(x, y)−0.714×p_cr(x, y)
p'_blue(x, y)＝p_out(x, y)＋1.772×p_cb(x, y) ・・・・・（１１）
上記の式（１１）に従って図８（ｆ）の出力結果ｐ＿ｏｕｔとＳ１の色空間変換処理で算出された色差値ｐ＿ｃｂおよびｐ＿ｃｒの値とから計算されて得られたＲＧＢ値を、図８（ｇ）に示す。この結果からも、輝度差の小さなディテール領域に対してＲＧＢ値も広がり、強調されていることが確認できる。

以上の処理を入力された各フレーム画像の各画素について順次行うことにより、エッジ強度上限下限設定処理で求められた下限値より小さな平滑化処理されたエッジ強度の画素、つまりノイズ、を強調せず、かつ、エッジ強度上限下限設定で求められた上限値よりも大きな平滑化処理されたエッジ強度の画素、つまりエッジ、に対してもオーバーシュートやアンダーシュートが目立つような強調をすることがない。そして、上限値と下限値との間に存在する平滑化処理されたエッジ強度の領域（画素）のみ、最適な強調処理を行うことが可能となる。

よって、シャープネス処理部１２の上記構成によると、画像のノイズを抑制しつつ、ディテール感（精細感）を向上することができるため、ノイズが抑制された高精細な画質を向上させた画像を出力することができる。

（シャープネス処理部での第２の処理形態）
図９は、シャープネス処理部１２で実行される第２の処理形態の処理フローである。第２の処理形態で、上記した第１の処理形態と異なるのは、Ｓ１の色空間変換処理を実施しないことである。この場合、シャープネス処理部１２は、第１信号変換部１５および第２信号変換部２０を備えていない構成となる。色空間変換処理を実施しないため、Ｓ２のエッジ強度検出処理の際、エッジ強度検出処理部１６に入力される画像データとして輝度値の代わりに、例えば、以下の式（１２）を用いてＲＧＢのＧ値を用いる。なお、ここではＧ値を用いて説明するが、Ｒ値やＢ値、またはＲＧＢの平均値や最大値、最小値などを用いても構わない。

p_y(x, y)＝p_green(x, y) ・・・・・（１２）
式（１２）中、ｐ＿ｙ（ｘ，ｙ）は輝度値を表し、ｐ＿ｇｒｅｅｎ（ｘ，ｙ）はｐ（ｘ，ｙ）のＲＧＢのＧ値を表す。

第２の処理形態では、上記以外は、第１の処理形態と同じ処理にて、Ｓ２のエッジ強度検出処理、Ｓ３の平滑化処理、Ｓ４のエッジ強度上限下限設定処理およびＳ５のエッジ強度置換処理、Ｓ６のディテール強調処理を行ってもよい。なお、その際、Ｓ６のディテール強調処理において、第１の処理形態では輝度値のみにアンシャープマスクを用いた強調処理を行っていたが、第２の処理形態ではＲＧＢ値それぞれにアンシャープマスクを用いた強調処理を行う。

しかしＳ２〜Ｓ６は、第１の処理形態と同じ処理でなくてもよい。以下では、第２の処理形態として、Ｓ２のエッジ強度検出処理では、Sobelの１次微分フィルタによるフィルタ処理、Ｓ３の平滑化処理では、８近傍画素を用いた平均化フィルタによるフィルタ処理、エッジ強度上限下限設定処理では固定値を用いた処理、Ｓ６のディテール強調処理ではコントラスト強調処理による強調処理、を実施する場合の例についても説明する。

まず、Ｓ２のエッジ強度検出処理では、前述したＲＧＢのＧ値を用いてSobelフィルタを用いてエッジ強度を検出する。入力画像データとしては、図５（ａ）〜（ｃ）に示したＲＧＢデータとする。図１０（ａ）は入力された画像データのＧ値を表している。また、図１０（ｂ）、図１０（ｃ）、図１０（ｄ）および図１０（ｅ）は水平、垂直、斜め方向の各エッジを検出するための３×３サイズのSobelフィルタの例を示している。注目画素の水平座標位置をｘ、垂直座標位置をｙとし、注目画素をｐ（ｘ，ｙ）と表すとき、Sobelフィルタ処理結果ｐ’（ｘ，ｙ）（水平、垂直、斜め方向のエッジ強度の平均値）は以下の式（１３）によって表される。

p'_x(x, y)＝｜−p(x-1, y-1)−2×p(x, y-1)−p(x+1, y-1)
＋p(x-1, y+1)＋2×p(x, y+1)＋p(x+1, y+1)｜
p'_y(x, y)＝｜−p(x-1, y-1)−2×p(x-1, y)−p(x-1, y+1)
＋p(x+1, y-1)＋2×p(x+1, y)＋p(x+1, y+1)｜
p'_xy(x, y)＝｜−2×p(x-1, y-1)−p(x, y-1)−p(x-1, y)
＋p(x+1, y)＋p(x, y+1)＋2×p(x+1, y+1)｜
p'_yx(x, y)＝｜p(x, y-1)＋2×p(x+1, y-1)−p(x-1, y)
＋p(x+1, y)−2×p(x-1, y+1)−p(x, y+1)}｜
p' (x, y)＝{p'_x(x, y)＋p'_y(x, y)＋p'_xy(x, y)＋p'_yx(x, y)}／4
・・・・・（１３）
上記の式（１３）に従って、図１０（ａ）の太線で囲まれた領域内にある各画素に対して図１０（ｂ）、図１０（ｃ）、図１０（ｄ）および図１０（ｅ）のSobelフィルタによるエッジ強度検出処理を行った結果を、図１０（ｆ）に示す。なお、Sobelフィルタの計算でも±の値が出てくるが、ここでは絶対値を取ることで処理結果がプラスの値のみになるようにしている。

次に、Ｓ３では、Ｓ２にて出力されたエッジ強度検出処理結果に対して平滑化処理を行う。以下では、平滑化処理として近傍画素の単純な平均値を算出する処理について説明する。図１１（ａ）は、Ｓ２にて出力されたエッジ強度検出結果を表している。また、図１１（ｂ）は、３×３サイズの平均化フィルタを示す図である。注目画素ｐ（ｘ，ｙ）のエッジ強度をｐ’（ｘ，ｙ）と表すとき、平均化フィルタ処理結果ｐ’’（ｘ，ｙ）は以下の式（１４）によって表される。

p''(x, y)＝{p'(x-1, y-1)＋p'(x, y-1)＋p'(x+1, y-1)＋p'(x-1, y)
＋p'(x, y)＋p'(x+1, y)＋p'(x-1, y+1)＋p'(x, y+1)＋p'(x+1, y+1)}／9
・・・・・（１４）
上記の式（１４）に従って、図１１（ａ）の太線で囲まれた領域内にある各画素に対して、図１１（ｂ）に示す平均化フィルタによる平滑化処理を行った結果を、図１１（ｃ）に示す。なお、図１１（ｃ）では小数点以下は四捨五入としている。

次に、Ｓ４では、Ｓ３にて出力された平滑化処理結果に対してエッジ強度の上限値と下限値とを設定し、Ｓ５では設定された上限値と下限値とに基づいて、注目画素の平滑化処理されたエッジ強度に対してエッジ強度置換処理を実施する。以下では、Ｓ４で、予め実験的に求めた値を使用して上限値と下限値とを設定する場合について説明する。幾つかのサンプル画像を使ってエッジ強度を抽出したい領域が抽出できる値を実験的に求めてその中の上限値と下限値とを使用する。実験的に求めた値のうち、上限値（ｐ＿ｍａｘ）が６０、下限値（ｐ＿ｍｉｎ）が４０であったとする。これらの値をそのまま使用して、エッジ強度の上限値および下限値として設定する。このように設定した上限値および下限値に基づき図１２（ａ）に示す平滑化処理されたエッジ強度に対して、エッジ強度置換処理を行った結果を図１２（ｂ）に示す。

次に、Ｓ６では、Ｓ５にて上限値および下限値を用いてエッジ強度置換処理された平滑化処理されたエッジ強度に基づいて、入力画像データに対して強調処理を行う。以下ではコントラスト強調によるディテール強調処理について説明する。

図５に示したＲＧＢ値の画像データにおいて、図１２（ｂ）の領域内の画素に対する各画素に対し、次の計算で求められるコントラスト強調処理を適用する。まず、図１２（ｂ）に示すエッジ強度置換処理で得られたエッジ強度と用いられた上限値および下限値とを用い、次の式（１５）によりコントラストの強調度ｃを計算する。なお、エッジ強度が０の画素については、コントラストの強調度も０とする。

c(x, y)＝1＋(p_max−p''(x, y))／{(p_max−p_min)×5} ・・・・・（１５）
式（１５）中、ｐ＿ｍａｘはエッジ強度上限下限設定処理で設定された（ここでは実験的に求めた値を用いた）平滑化処理されたエッジ強度の上限値であり、ｐ＿ｍｉｎは同様に平滑化処理されたエッジ強度の下限値である。また、定数５は実験的に求めた値であり、幾つかのサンプル画像を使って強調処理結果を見ながら決定すればよい。

次に、上記の式（１５）に従って求められたコントラストの強調度に従い、コントラスト強調処理を行う。その際、各画素のＲＧＢ値が１２８以下だった場合と１２８よりも大きい場合で、それぞれの式を用いてコントラスト強調処理の計算を行う。また、コントラスト強調度が０の場合は入力画像データをそのまま出力する。

ＲＧＢ各値が１２８以下の場合、次の式（１６）に示すようになる。

p_r_out(x, y)＝128−{128−p_red(x, y)}×c(x, y)
p_g_out(x, y)＝128−{128−p_green(x, y)}×c(x, y)
p_b_out(x, y)＝128−{128−p_blue(x, y)}×c(x, y)
・・・・・（１６）
（ただし、p_r_out(x, y)＜0の場合、p_r_out(x, y)＝0であり、p_g_out(x, y)＜0の場合、p_g_out(x, y)＝0であり、p_b_out(x, y)＜0の場合、p_b_out(x, y)＝0である。）
ＲＧＢ各値が１２８より大きい場合、次の式（１７）に示すようになる。

p_r_out(x, y)＝128＋{p_red(x, y)−128}×c(x, y)
p_g_out(x, y)＝128＋{p_green(x, y)−128}×c(x, y)
p_b_out(x, y)＝128＋{p_blue(x, y)−128}×c(x, y)
・・・・・（１７）
（ただし、p_r_out(x, y)＞255の場合、p_r_out(x, y)＝0であり、p_g_out(x, y)＞255の場合、p_g_out(x, y)＝0であり、p_b_out(x, y)＞255の場合、p_b_out(x, y)＝0である。）
上記式（１６），（１７）の表わす意味は、図１３に示すように、０〜２５５範囲のＲＧＢ値に対し、画素毎に１２８を中心としてコントラストの傾きをｃ（ｘ，ｙ）の値によって変え、また、ＲＧＢ値の最大値２５５および最小値０からコントラスト強調処理の結果がＲＧＢ値の最大値および最小値を超えるような場合にコントラスト強調結果をＲＧＢ値の最大値および最小値に飽和させることを意味する。

上記式（１６），（１７）に従って、図５（ａ）〜（ｃ）に示したＲＧＢ値の画像データにおける、図１２（ｂ）の領域内の画素に対する各画素に対し、コントラスト強調処理したＲＧＢ値の各結果を、図１４（ａ）〜（ｃ）に示す。なお、図１４の各図では小数点以下は四捨五入としている。この結果から、輝度差の小さなディテール領域に対してＲＧＢ値が広がり、強調されていることが確認できる。

以上の処理を入力された各フレーム画像の各画素について順次行うことにより、エッジ強度上限下限設定処理で設定した（つまり実験的に求めた値を用いた）下限値よりも小さな平滑化処理されたエッジ強度の画素、すなわちノイズ、を強調せず、また、エッジ強度上限下限設定で設定した（つまり実験的に求めた値を用いた）上限値よりも大きな平滑化処理されたエッジ強度の画像、すなわちエッジ、に対してもオーバーシュートやアンダーシュートが目立つような強調をしない。そして、上限値と下限値との間に存在する平滑化処理されたエッジ強度の領域（画素）のみ、最適な強調処理を行うことが可能となる。よって、画像のノイズを抑制しつつ、ディテール感（精細感）を向上することができるため、ノイズが抑制された高精細な画質を向上させた画像を出力することができる。

さらに、第２の処理形態では、第１の処理形態に対し、色空間変換処理が不要となり、処理量の削減、回路規模の削減が可能となる。

以上では、シャープネス処理部１２での第１の処理形態および第２の処理形態について説明したが、これら２つの処理形態で説明した各処理を組み合わせて処理することも可能である。例えば、エッジ強度検出処理では色空間変換処理を行ってエッジ強度を検出しておき、ディテール強調処理では色空間変換前のＲＧＢ値に対して強調処理を行うようにしてもよい。

以上からわかるように、シャープネス処理部１２では、上記構成により、ノイズを強調することなくディテール感を向上させる画像処理を行うことができる。そのため、ノイズの少ない高精細な画像を出力することができる。また、テレビ放送受信装置１は、シャープネス処理部１２を有しているため、ノイズの少ない高精細な画像を表示することができる。よって、ユーザに見やすく快適な視認環境を提供することができる。

（変形例）
本実施形態では、本発明に係る画像処理装置を、チューナー３を有するテレビ放送受信装置１の映像信号処理部４２に適用した場合を例に説明した。しかし、本発明に係る画像処理装置を、例えば、チューナー３を有していないモニタ（インフォメーションディスプレイ）装置の映像信号処理を実行する処理部に適用してもよい。この場合は、モニタ装置が、本発明に係る画像表示装置であり、モニタ装置の概略構成は、例えば、図１に示す構成からチューナー３を除いたものとなる。本発明に係る画像処理装置がモニタ装置の映像信号処理を実行する処理部に適用されるため、モニタ装置において、映像（画像）のノイズを強調することなくディテール感を向上させる処理を実現することができる。よって高画質の映像を提供できる。

また、本実施形態では、本発明に係る画像処理装置を、表示部６を１つ有する（単体のディスプレイ）テレビ放送受信装置１の映像信号処理部４２に適用した場合を例に説明した。しかし、本発明に係る画像処理装置を、例えば図１５に示すように表示部６が垂直方向および水平方向に複数台配置されたマルチディスプレイ１００の映像信号処理を実行する処理部に適用してもよい。この場合は、マルチディスプレイ１００が、本発明に係る画像表示装置である。本発明に係る画像処理装置がマルチディスプレイ１００の映像信号処理を実行する処理部に適用されているため、例えば、マルチディスプレイ１００にてＦＨＤ映像を再生するような場合において、映像のノイズを強調することなくディテール感を向上させる処理を実現することができる。よって高画質の映像を提供できる。

（プログラム・記録媒体）
本実施形態の映像信号処理部４２は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、映像信号処理部４２（または画像表示装置１）は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである映像信号処理部４２の各制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、映像信号処理部４２に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ（登録商標）／フラッシュＲＯＭ等の半導体メモリ類、ＰＬＤ（Programmable logic device）等の論理回路類などを用いることができる。

また、映像信号処理部４２を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、種々の変更が可能であり、上述した実施形態において開示された各技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、静止画や動画といった画像を表示させるための画像処理を行う画像処理装置等に利用することができる。

１テレビ放送受信装置（画像表示装置）
４制御部
６表示部
８操作部
１２シャープネス処理部（画像処理装置）
１５第１信号変換部（）
１６エッジ強度検出処理部
１７平滑化処理部
１８エッジ強度置換部
１８ａエッジ強度上限下限設定部
１９ディテール強調処理部
２０第２信号変換部
１００マルチディスプレイ（画像表示装置）

Claims

入力画像データのディテール感を向上させる画像処理装置において、
上記入力画像データの各画素のエッジ強度を検出するエッジ強度検出処理部と、
エッジ強度検出処理部により検出された上記入力画像データの各画素のエッジ強度に対して平滑化処理を施す平滑化処理部と、
上記平滑化処理されたエッジ強度と当該平滑化処理されたエッジ強度に対して設定された上限値および下限値とを比較し、上記平滑化処理されたエッジ強度が上記上限値よりも大きい、あるいは上記下限値よりも小さい場合、上記平滑化処理されたエッジ強度を０に置き換えるエッジ強度置換部と、
上記エッジ強度置換部から出力されたエッジ強度が０でない上記入力画像データの画素に対して、エッジ強度の弱いところほど強くなるような強調処理を施し、かつ、上記エッジ強度置換部から出力されたエッジ強度が０である上記入力画像データの画素をそのまま出力するディテール強調処理部と、を備えることを特徴とする画像処理装置。
上記エッジ強度置換部は、上記入力画像データにおける注目画素と当該注目画素周辺の周辺画素とからなるブロックについて上記平滑化処理されたエッジ強度の標準偏差を算出し、予め定められた基準値と当該算出された標準偏差とを用いて上記上限値および下限値を設定するエッジ強度上限下限設定部を備えたことを特徴とする請求項１に記載の画像処理装置。
上記入力画像データを輝度信号と色差信号とからなる画像データに変換する信号変換部をさらに備え、
上記エッジ強度検出処理部は、上記輝度信号からなる画像データの各画素についてエッジ強度の検出を行うことを特徴とする請求項１または２に記載の画像処理装置。
上記エッジ強度検出処理部は、Sobelフィルタ、Prewittフィルタ、あるいはラプラシアンフィルタによるフィルタ処理により、上記エッジ強度を検出することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
上記平滑化処理部は、平均化フィルタあるいはガウシアンフィルタによるフィルタ処理により上記平滑化処理を実施する請求項１から４のいずれか１項に記載の画像処理装置。
上記ディテール強調処理部は、フィルタ強調処理、コントラスト強調処理、またはアンシャープマスクを用いた強調処理により、上記強調処理を実施することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
請求項１から６のいずれか１項に記載の画像処理装置を備えることを特徴とする画像表示装置。
請求項１から６のいずれか１項に記載の画像処理装置を動作させるプログラムであって、コンピュータを上記の各部として機能させるためのプログラム。
請求項８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。