JP2007249436A - Image signal processor and processing method - Google Patents
Image signal processor and processing method Download PDFInfo
- Publication number
- JP2007249436A JP2007249436A JP2006070086A JP2006070086A JP2007249436A JP 2007249436 A JP2007249436 A JP 2007249436A JP 2006070086 A JP2006070086 A JP 2006070086A JP 2006070086 A JP2006070086 A JP 2006070086A JP 2007249436 A JP2007249436 A JP 2007249436A
- Authority
- JP
- Japan
- Prior art keywords
- local
- image
- gain
- value
- average value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000012545 processing Methods 0.000 claims abstract description 139
- 239000000284 extract Substances 0.000 claims description 12
- 229920006395 saturated elastomer Polymers 0.000 abstract description 3
- 230000002787 reinforcement Effects 0.000 abstract 5
- 238000000034 method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 12
- 230000002159 abnormal effect Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
Description
本発明は、画像信号処理装置及び画像信号処理方法に関し、特に、適切に強調ゲインを設定することにより、表示ダイナミックレンジを有効に活用したエッジ強調画像を得ることができる画像信号処理装置及び画像信号処理方法に関する。 The present invention relates to an image signal processing apparatus and an image signal processing method, and in particular, an image signal processing apparatus and an image signal that can obtain an edge enhanced image that effectively uses a display dynamic range by appropriately setting an enhancement gain. It relates to the processing method.
画像のエッジすなわち輪郭を鮮明化する処理として、画像の高周波成分を強調する処理(以下、エッジ強調処理という)が行われている。エッジ強調処理は、一般に、注目画素及びその周辺の複数の画素の平均レベルと注目画素のレベルとの差分を求め、その差分に予め定められた強調ゲイン(強調のための係数)を乗じた値を前記平均レベルに加えることによって、画像の高周波成分を強調する。これにより、図10に示すように、入力信号のエッジを強調して、見る者が美しく感じられる又は見やすい画像を得る。 As a process for sharpening an edge, that is, an outline of an image, a process for enhancing a high-frequency component of the image (hereinafter referred to as an edge enhancement process) is performed. In the edge enhancement processing, generally, a difference between an average level of a target pixel and a plurality of surrounding pixels and a level of the target pixel is obtained, and a value obtained by multiplying the difference by a predetermined enhancement gain (enhancement coefficient). Is added to the average level to enhance the high frequency components of the image. As a result, as shown in FIG. 10, the edge of the input signal is emphasized to obtain an image that is beautiful or easy for the viewer to feel.
例えば、エッジ強調部が複数のゲイン値を保有しない場合であってもエッジ強調度合いを切り替えることを目的として、撮影モード選択操作又は被写体倍率や輝度分布情報を元にして処理対象画像のシーンを判定し、階調変換及びエッジ強調の処理順序を決定することが、知られている。(特許文献1参照)。 For example, even if the edge enhancement unit does not have multiple gain values, the scene of the processing target image is determined based on the shooting mode selection operation or subject magnification or luminance distribution information for the purpose of switching the degree of edge enhancement. It is known to determine the processing order of gradation conversion and edge enhancement. (See Patent Document 1).
また、例えば、濃度判定処理を行うことなく濃度に応じてエッジ強調度合いを調整する為に、撮影モード選択操作等を元にして処理対象画像のシーンを判定し、γ値が変化する濃度範囲に対応して複数用意したエッジ強調用階調特性を選択し、エッジ強調用階調変換処理後エッジ強調処理を行うことが、知られている。(特許文献2参照)。
前述の特許文献1及び2によれば、処理対象のシーン(画像)を特定した後に、当該シーンの種類に対応する強調処理を適用する。しかし、強調ゲインは、画像全体に対して及び画像の時間的変化に対して、固定値である。
According to
このため、図10(A)に点線で示すように、画面中の一部又は全ての画素において、処理後出力信号が表示ダイナミックレンジより大きくなることがある。即ち、信号の値が飽和することがある。これにより、エッジ強調処理後の画像が、当該処理により得られるはずの白と黒の大きなコントラストの差の無い画像となり、明瞭でない画像となる。また、逆に、図10(B)に点線で示すように、画面中の全ての画素において、処理後出力信号が表示ダイナミックレンジの一部しか使用していないことがある。即ち、未使用のレベルが残ることがある。これにより、エッジ強調処理後の画像が、表示ダイナミックレンジの全体を使用した画像と比べて、白と黒のコントラストの差の小さい画像となる。従って、強調ゲインが最適化されていない結果、見る者にとって、美しくない又は見映えの悪い画像となる。なお、図10(A)及び図10(B)は図3(A)に対応する図である。 For this reason, as shown by a dotted line in FIG. 10A, the post-processing output signal may be larger than the display dynamic range in some or all of the pixels in the screen. That is, the signal value may be saturated. As a result, the image after the edge emphasis process becomes an image without a large contrast difference between white and black, which should be obtained by the process, and becomes an unclear image. Conversely, as indicated by a dotted line in FIG. 10B, the post-processing output signal may use only a part of the display dynamic range in all the pixels in the screen. That is, an unused level may remain. As a result, the image after the edge enhancement processing is an image with a small difference in contrast between white and black compared to an image using the entire display dynamic range. Therefore, the enhancement gain is not optimized, resulting in an image that is not beautiful or not good for the viewer. 10A and 10B correspond to FIG. 3A.
また、前述の特許文献1及び2によれば、処理対象のシーンを複数のパターン(ポートレート、風景、夜景、スローシンクロ、マクロ、文字等)に場合分けし、そのパターン毎に強調ゲインの設定値を変更する。しかし、この場合であっても、場合分けされたシーンについての強調ゲインは固定値である。このため、前述のように、エッジ強調処理をした後の画像(エッジ強調処理後画像)における信号が、表示ダイナミックレンジより大きくなるか、又は、表示ダイナミックレンジの一部しか使用しない場合が発生する。
According to
なお、強調ゲインの設定方法として、入力画像について、利用者がマニュアルでいくつかの値の中から強調ゲイン(の値)を選択するという技術も知られている。しかし、この場合、入力シーンが変化する都度に、利用者が手動で強調ゲインを設定し直さなければならず、煩わしい。 As a method for setting the emphasis gain, a technique is also known in which the user manually selects an emphasis gain (value) from several values for an input image. However, in this case, every time the input scene changes, the user must manually reset the enhancement gain, which is troublesome.
本発明は、強調ゲインを画像に応じて動的に変更することにより、飽和レベルに達しない範囲で表示ダイナミックレンジを有効に活用したエッジ強調画像を得ることができる画像信号処理装置を提供することを目的とする。 The present invention provides an image signal processing apparatus that can obtain an edge-enhanced image that effectively uses the display dynamic range within a range that does not reach the saturation level by dynamically changing the enhancement gain according to the image. With the goal.
また、本発明は、強調ゲインを画像に応じて動的に変更することにより、飽和レベルに達しない範囲で表示ダイナミックレンジを有効に活用したエッジ強調画像を得ることができる画像信号処理方法を提供することを目的とする。 The present invention also provides an image signal processing method that can obtain an edge-enhanced image that effectively uses the display dynamic range within a range that does not reach the saturation level by dynamically changing the enhancement gain according to the image. The purpose is to do.
本発明の画像信号処理装置は、処理対象の画像の画素毎に、その局所平均値を算出する局所平均値算出部と、前記画素毎に、その入力値と前記局所平均値との差分である局所成分値を算出する局所成分値算出部と、前記画素毎に、表示ダイナミックレンジと前記局所平均値との差分を前記局所成分値で割った値である局所ゲインを算出する局所ゲイン算出保存部と、前記画素毎の前記局所ゲインの中の最小値を前記処理対象の画像についての強調ゲインとする強調ゲイン算出部と、前記処理対象の画像の画素毎に、前記入力値と前記局所平均値との差分に前記強調ゲインを乗じて得た値に前記局所平均値を加えることにより、前記処理対象の画像のエッジ強調画像を得るエッジ強調処理部とを備える。 The image signal processing device of the present invention is a local average value calculation unit that calculates a local average value for each pixel of an image to be processed, and a difference between the input value and the local average value for each pixel. A local component value calculation unit that calculates a local component value, and a local gain calculation storage unit that calculates, for each pixel, a local gain that is a value obtained by dividing a difference between a display dynamic range and the local average value by the local component value An enhancement gain calculation unit that uses a minimum value among the local gains for each pixel as an enhancement gain for the image to be processed, and the input value and the local average value for each pixel of the image to be processed And an edge enhancement processing unit that obtains an edge enhanced image of the image to be processed by adding the local average value to a value obtained by multiplying the difference by the enhancement gain.
また、好ましくは、本発明の画像信号処理装置が、更に、処理対象の画像からエッジ領域を抽出するエッジ領域判定部を備え、前記エッジ領域判定部により抽出されたエッジ領域に属する画素について、前記局所成分値算出部が前記局所成分値を算出し、前記局所ゲイン算出保存部が前記局所ゲインを算出する。 Preferably, the image signal processing apparatus of the present invention further includes an edge region determination unit that extracts an edge region from the image to be processed, and the pixels belonging to the edge region extracted by the edge region determination unit are The local component value calculation unit calculates the local component value, and the local gain calculation storage unit calculates the local gain.
また、好ましくは、本発明の画像信号処理装置が、更に、処理対象の画像についての輝度分布を算出する輝度分布算出部と、前記輝度分布算出部により算出された輝度分布に基づいて、前記処理対象の画像からノイズ領域を抽出するノイズ領域判定部とを備え、前記強調ゲイン算出部が、前記ノイズ領域判定部により抽出されたノイズ領域に属する画素についての前記局所ゲインを、前記強調ゲインの候補から除外する。 Preferably, the image signal processing apparatus according to the present invention further includes a luminance distribution calculation unit that calculates a luminance distribution for an image to be processed, and the processing based on the luminance distribution calculated by the luminance distribution calculation unit. A noise region determination unit that extracts a noise region from the target image, wherein the enhancement gain calculation unit determines the local gain for pixels belonging to the noise region extracted by the noise region determination unit as the enhancement gain candidate. Exclude from
また、好ましくは、本発明の画像信号処理装置が、更に、処理対象の画像に輝点ノイズが含まれる場合、当該輝点ノイズが存在する領域に属する画素についての前記局所ゲインを、前記強調ゲインの候補から除外する局所ゲイン判定部を備える。 Preferably, in the image signal processing device according to the present invention, when the image to be processed further includes bright spot noise, the local gain of the pixel belonging to the region where the bright spot noise exists is determined as the enhancement gain. A local gain determination unit that is excluded from the candidates.
本発明の画像信号処理方法は、処理対象の画像の画素毎に、その局所平均値を算出し、前記画素毎に、その入力値と前記局所平均値との差分である局所成分値を算出し、前記画素毎に、表示ダイナミックレンジと前記局所平均値との差分を前記局所成分値で割った値である局所ゲインを算出し、前記画素毎の前記局所ゲインの中の最小値を前記処理対象の画像についての強調ゲインとし、前記処理対象の画像の画素毎に、前記入力値と前記局所平均値との差分に前記強調ゲインを乗じて得た値に前記局所平均値を加えることにより、前記処理対象の画像のエッジ強調画像を得る。 The image signal processing method of the present invention calculates a local average value for each pixel of an image to be processed, and calculates a local component value that is a difference between the input value and the local average value for each pixel. Calculating a local gain that is a value obtained by dividing a difference between a display dynamic range and the local average value by the local component value for each pixel, and calculating a minimum value in the local gain for each pixel as the processing target. By adding the local average value to the value obtained by multiplying the difference between the input value and the local average value by the enhancement gain for each pixel of the image to be processed, An edge-enhanced image of the image to be processed is obtained.
本発明の画像信号処理装置及び画像信号処理方法によれば、入力値と局所平均値の差である局所成分値を用いることにより、強調ゲインを設定すると共に、画像に応じて強調ゲインを動的に変更し最適化する。これにより、画面中の一部又は全ての画素において、その信号が表示ダイナミックレンジより大きくなることを防止することができる。また、画面中の全ての画素において、その信号が表示ダイナミックレンジの一部しか使用しなくなることを防止することができる。従って、飽和レベルに達しない範囲で、表示ダイナミックレンジを有効に活用したエッジ強調後画像を得ることができる。即ち、表示ダイナミックレンジの全体を使用して白と黒のコントラストを最適化して、見る者にとって美しい又は見映えの良い画像を得ることができる。一方、強調ゲインの設定のために、処理対象のシーンを特定したり分類したりする必要が無く、また、シーンの分類毎に強調ゲインの設定値を変更する必要もない。従って、利用者が強調ゲインを設定する必要が無いため、利用者の操作負荷を低減することができる。 According to the image signal processing device and the image signal processing method of the present invention, by using a local component value that is a difference between an input value and a local average value, the enhancement gain is set and the enhancement gain is dynamically changed according to the image. Change to Optimize. Thereby, it is possible to prevent the signal from becoming larger than the display dynamic range in some or all of the pixels in the screen. Further, it is possible to prevent the signal from using only a part of the display dynamic range in all the pixels on the screen. Therefore, an edge-enhanced image that effectively uses the display dynamic range can be obtained within a range that does not reach the saturation level. That is, the entire display dynamic range can be used to optimize the contrast between black and white to obtain an image that is beautiful or good for the viewer. On the other hand, it is not necessary to specify or classify a scene to be processed for setting the enhancement gain, and it is not necessary to change the setting value of the enhancement gain for each scene classification. Therefore, it is not necessary for the user to set the emphasis gain, so that the operation load on the user can be reduced.
また、本発明の画像信号処理装置によれば、抽出されたエッジ領域に属する画素について、局所成分値を算出し、局所ゲインを算出する。これにより、処理対象の画素の数を減らすことができ、処理を高速化することができる。 Further, according to the image signal processing device of the present invention, the local component value is calculated and the local gain is calculated for the pixels belonging to the extracted edge region. As a result, the number of pixels to be processed can be reduced, and the processing speed can be increased.
また、本発明の画像信号処理装置によれば、輝度分布に基づいて抽出されたノイズ領域に属する画素についての局所ゲインを、強調ゲインの候補から除外する。これにより、著しく輝度分布から外れている領域についての局所ゲインを無視して、強調ゲインを設定することができる。この結果、いずれの画素についてもそのエッジ強調後の出力信号が飽和しないようにして、表示ダイナミックレンジを有効に活用したエッジ強調後画像を得ることができる。 Further, according to the image signal processing device of the present invention, the local gain for pixels belonging to the noise region extracted based on the luminance distribution is excluded from the enhancement gain candidates. Thereby, it is possible to set the enhancement gain while ignoring the local gain for the region that is significantly deviated from the luminance distribution. As a result, an edge-enhanced image that effectively utilizes the display dynamic range can be obtained by preventing the output signal after edge enhancement from being saturated for any pixel.
また、本発明の画像信号処理装置によれば、輝点ノイズが存在する領域に属する画素についての局所ゲインを、強調ゲインの候補から除外する。これにより、輝点ノイズに起因する局所ゲインのために、強調ゲインが著しく小さな値とされることを防止することができる。この結果、表示ダイナミックレンジの一部しか使用しなくなることを防止することができる。 Further, according to the image signal processing device of the present invention, the local gain for the pixels belonging to the region where the bright spot noise exists is excluded from the enhancement gain candidates. Thereby, it is possible to prevent the enhancement gain from being set to a remarkably small value due to the local gain resulting from the bright spot noise. As a result, it is possible to prevent only a part of the display dynamic range from being used.
図1は、本発明の一実施態様による画像信号処理装置の構成を示す図である。図2及び図3は、本発明の強調ゲイン設定処理によるエッジ強調処理を説明する図である。 FIG. 1 is a diagram showing a configuration of an image signal processing apparatus according to an embodiment of the present invention. 2 and 3 are diagrams for explaining edge enhancement processing by enhancement gain setting processing according to the present invention.
画像信号処理装置は、エッジ強調処理部1と強調ゲイン処理部2とからなる。エッジ強調処理部1は、局所平均値算出部11、第1加算器12、乗算器13、第2加算器14を備える。エッジ強調処理部1には入力信号が入力される。エッジ強調処理部1からは入力信号についてエッジ強調処理した出力信号が出力される。強調ゲイン処理部2は、局所成分値算出部21、局所ゲイン算出保存部22、強調ゲイン算出部23を備える。エッジ強調処理部1は入力信号を強調ゲイン処理部2の局所成分値算出部21に入力する。強調ゲイン処理部2の強調ゲイン算出部23は強調ゲインHをエッジ強調処理部1の乗算器13に入力する。
The image signal processing apparatus includes an edge
画像信号処理装置が例えばカメラ等の撮像装置に設けられている場合には、入力信号は、周知のように、例えばCCD、AD変換器及び信号補正回路等(いずれも図示せず)を経て、エッジ強調処理部1に入力される。また、出力信号は、周知のように、例えば画像メモリに格納された後、DA変換器、信号処理回路を経て、表示装置(いずれも図示せず)に出力される。入力信号(以下、入力値とも言う)は、図2の入力画像(処理対象の画像)3の画素の信号値である。出力信号(以下、出力値とも言う)は、図2の出力画像(強調ゲイン処理後の画像)4の画素の信号値である。
When the image signal processing device is provided in an imaging device such as a camera, for example, the input signal is passed through, for example, a CCD, an AD converter, a signal correction circuit, etc. (all not shown), Input to the edge
局所平均値算出部11が、画素P(i,j)毎にその局所平均値mean(i,j) を算出する。この例では、処理対象の画像の画素の全てが、例えば周知の走査の順に、処理対象の画素(注目画素)P(i,j)とされる。局所平均値算出部11の出力である局所平均値mean(i,j) は、第1加算器12、第2加算器14、局所成分値算出部21に入力される。
The local average
この例は、処理対象の画像を構成する全ての画素を、処理対象の画素(注目画素)P(i,j)とする。即ち、全ての画素の入力値(入力信号)image _in(i,j) について、その局所平均値mean(i,j) が算出される。これにより、処理対象の画像(シーン)に応じて最適な強調ゲインHを設定する(変更する)ことができる。この結果、例えば当該画面のエッジ強調後の信号を表示ダイナミックレンジに等しくしたエッジ強調後画像を得ることができる。 In this example, all pixels constituting the processing target image are set as processing target pixels (target pixels) P (i, j). That is, the local average value mean (i, j) is calculated for the input values (input signals) image_in (i, j) of all the pixels. Thereby, the optimum enhancement gain H can be set (changed) in accordance with the image (scene) to be processed. As a result, for example, an edge-enhanced image in which the signal after edge enhancement on the screen is equal to the display dynamic range can be obtained.
強調ゲイン処理部2において、局所成分値算出部21が、注目画素P(i,j)について(画素毎に)、その入力値image _in(i,j) と、局所平均値mean(i,j) との差分である局所成分値Δimage(i,j)を算出する。局所成分値算出部21の出力である局所成分値Δimage(i,j)は、局所ゲイン算出保存部22に入力される。また、局所成分値算出部21は、図示しないが、局所平均値算出部11から入力された局所平均値mean(i,j) を局所ゲイン算出保存部22に入力する。
In the enhancement
局所ゲイン算出保存部22が、注目画素P(i,j)について(画素毎に)、表示ダイナミックレンジと局所平均値mean(i,j) との差分を求め、更に、この差分を局所成分値Δimage(i,j)で割った値である局所ゲインΔlocal _gain(i,j) を算出し、これを保存する。局所ゲイン算出保存部22は、処理対象である1画面の画素の全てについての局所ゲインΔlocal _gain(i,j) の算出が終了した場合、保存していた1画面分の局所ゲインΔlocal _gain(i,j) を強調ゲイン算出部23に入力する。
The local gain
強調ゲイン算出部23が、注目画素P(i,j)についての局所ゲインΔlocal _gain(i,j) の中の最小値を、当該1画面(入力画像3)についての強調ゲインHとする。即ち、処理対象である1画面分の局所ゲインΔlocal _gain(i,j) の中から、その最小値を求めて、これを当該処理対象である1画面についての強調ゲインHとする。従って、この強調ゲインHが、当該処理対象である1画面の画素の全てに適用される。
The enhancement
エッジ強調処理部1は、処理対象の画像の画素毎に、入力値image _in(i,j) と局所平均値mean(i,j) との差分に強調ゲインHを乗じて得た値に局所平均値mean(i,j) を加えることにより、処理対象の画像のエッジ強調画像を得る。即ち、エッジ強調処理部1において、処理対象の画素について、第1加算器12が当該入力値image _in(i,j) と当該局所平均値mean(i,j) との差分を求め、乗算器13が当該差分に強調ゲイン算出部23で算出された強調ゲインHを乗じ、第2加算器14が乗算器13により得た乗算結果に当該局所平均値mean(i,j) を加える。これにより、第2加算器14の出力として、出力信号image _out が得られる。以上の処理が処理対象の1画面の全ての画素について繰り返されることにより、飽和レベルに達しない範囲で、表示ダイナミックレンジを十分に活用したエッジ強調画像が得られる。
For each pixel of the image to be processed, the edge
以下、本発明による強調ゲインHの算出処理及びこれを用いたエッジ強調処理の詳細を、図2及び図3を参照しつつ、算出式を用いて具体的に説明する。 Hereinafter, details of the calculation processing of the enhancement gain H and the edge enhancement processing using the enhancement gain H according to the present invention will be specifically described with reference to FIG. 2 and FIG.
局所平均値算出部11は、図2(A)に示すように、注目画素P(i,j)の入力値image _in(i,j) について、その局所平均値mean(i,j) を算出する。局所平均値mean(i,j) は、注目画素P(i,j)について、フィルタ(空間フィルタ)Fのサイズ分の画素の平均値を求めることにより算出される。従って、注目画素P(i,j)の局所平均値mean(i,j) の演算には、フィルタFのサイズ分の入力信号(画像データ)が必要である。局所平均値算出部11は、フィルタFのサイズ分の入力信号の入力の完了したタイミングで、当該局所平均値mean(i,j) を算出する。
As shown in FIG. 2A, the local average
フィルタFは、図2(B)に示すように、注目画素P(i,j)を中心として、縦及び横に例えば3個(m=3)の領域からなる。mは、通常、奇数とされるが、図2(C)に示すように、4個(m=4)即ち偶数であっても良い。このような空間フィルタによるエッジ強調処理により、入力画像2の横方向及び縦方向のエッジの双方についてのエッジ強調が可能となる。
As shown in FIG. 2B, the filter F includes, for example, three (m = 3) regions in the vertical and horizontal directions with the target pixel P (i, j) as the center. In general, m is an odd number, but may be four (m = 4), that is, an even number as shown in FIG. By such edge enhancement processing by the spatial filter, edge enhancement can be performed for both the horizontal and vertical edges of the
一方、入力画像3における画面のサイズは、例えば、画面の横方向の画素の数が(M+1)個、画面の縦方向の画素の数が(N+1)個である。このような入力画像3を、周知のように所定の方向に走査することにより、各々の画素の入力値image _inが、所定の順に入力される。局所平均値算出部11は、局所平均値mean(i,j) の演算に必要な分の入力値image _inを、行単位で必要な期間中保持する。
On the other hand, the size of the screen in the
フィルタFのサイズに着目して、図2(B)に示すように、mが奇数である場合、注目画素P(i,j)がフィルタFの中心に存在する。従って、局所平均値mean(i,j) は、次式により算出される。 Focusing on the size of the filter F, as shown in FIG. 2B, when m is an odd number, the pixel of interest P (i, j) exists at the center of the filter F. Therefore, the local average value mean (i, j) is calculated by the following equation.
一方、フィルタFのサイズに着目して、図2(C)に示すように、mが偶数の場合、以下のようにして、局所平均値mean(i,j) が算出される。この場合、フィルタFにおける注目画素P(i,j)の位置は、いずれかの方向に偏る。図2(C)は、注目画素P(i,j)の位置が左上に偏っている場合を示す。そこで、局所平均値mean(i,j) は、フィルタFにおける注目画素P(i,j)の位置の偏りに応じて、次式のいずれかにより算出される。 On the other hand, focusing on the size of the filter F, as shown in FIG. 2C, when m is an even number, the local average value mean (i, j) is calculated as follows. In this case, the position of the target pixel P (i, j) in the filter F is biased in any direction. FIG. 2C illustrates a case where the position of the target pixel P (i, j) is biased to the upper left. Therefore, the local average value mean (i, j) is calculated according to one of the following equations according to the position bias of the target pixel P (i, j) in the filter F.
局所平均値mean(i,j) を概念的に表すと、図3(A)に太い点線で示すようになる。即ち、局所平均値mean(i,j) は、入力信号image _inのエッジ領域において、入力信号image _inの変化を周囲の所定の画素に分配した(平均化した)ものである。なお、図3(A)は、入力画像3を所定の方向に走査した場合の1行(又は1列)における入力値(入力信号)image _inの変化を表す。図3(A)において、横軸は画素の位置であり、縦軸は画素の輝度レベルである。図3(A)は、入力信号image _inが小さい値(エッジの前)から大きな値(エッジの後)に変化するエッジについて示す。入力信号image _inが小さい値の領域をエッジの前と呼び、入力信号image _inが大きな値の領域をエッジの後と呼ぶこととする。図3(A)の逆のエッジについても、局所平均値mean(i,j) 等は、同様にして求めることができる。
When the local average value mean (i, j) is conceptually represented, it is indicated by a thick dotted line in FIG. That is, the local average value mean (i, j) is obtained by distributing (averaging) the change in the input signal image_in to the surrounding predetermined pixels in the edge region of the input signal image_in. Note that FIG. 3A shows a change in the input value (input signal) image_in in one row (or one column) when the
次に、局所成分値算出部21は、注目画素P(i,j)の入力値image _in(i,j) と局所平均値mean(i,j) との差分である局所成分値Δimage(i,j)を算出する。更に、局所成分値算出部21は、表示ダイナミックレンジと局所平均値mean(i,j) との差分Δdr(i,j) を算出する。この時、処理対象の画像におけるエッジ(の立ち上がり)の前後において、局所成分値Δimage(i,j)の符号及び差分Δdr(i,j) の符号は、共に正となるようにされる。なお、差分Δdr(i,j) の算出処理は、局所ゲイン算出保存部22が行うようにしても良い。
Next, the local component
注目画素P(i,j)の入力値image _in(i,j) が局所平均値mean(i,j) より大きな場合、局所成分値Δimage(i,j)は、次式
Δimage(i,j) = image_in(i,j) − mean(i,j)
により算出される。更に、最大表示レベルdr_max と局所平均値mean(i,j) との差分Δdr(i,j) が、次式
Δdr(i,j) = dr_max − mean(i,j)
により算出される。ここで、最大表示レベルdr_max は、表示ダイナミックレンジが8ビット階調で表される場合、256(階調)となる。
When the input value image_in (i, j) of the target pixel P (i, j) is larger than the local average value mean (i, j), the local component value Δimage (i, j) is expressed by the following equation Δimage (i, j) ) = image_in (i, j) − mean (i, j)
Is calculated by Further, the difference Δdr (i, j) between the maximum display level dr_max and the local average value mean (i, j) is expressed by the following equation Δdr (i, j) = dr_max−mean (i, j)
Is calculated by Here, the maximum display level dr_max is 256 (gradation) when the display dynamic range is represented by 8-bit gradation.
一方、注目画素P(i,j)の入力値image _in(i,j) が局所平均値mean(i,j) より小さな場合、局所成分値Δimage(i,j)は、次式
Δimage(i,j) = mean(i,j)− image_in(i,j)
により算出される。更に、表示ダイナミックレンジの最小表示レベルdr_min と局所平均値mean(i,j) との差分Δdr(i,j) が、次式
Δdr(i,j) = mean(i,j) − dr _min
により算出される。最小表示レベルdr_min は、表示ダイナミックレンジが8ビット階調で表される場合、0(階調)となる。
On the other hand, when the input value image_in (i, j) of the target pixel P (i, j) is smaller than the local average value mean (i, j), the local component value Δimage (i, j) is expressed by the following expression Δimage (i , j) = mean (i, j) − image_in (i, j)
Is calculated by Further, the difference Δdr (i, j) between the minimum display level dr_min of the display dynamic range and the local average value mean (i, j) is expressed by the following equation Δdr (i, j) = mean (i, j) −dr_min
Is calculated by The minimum display level dr_min is 0 (gradation) when the display dynamic range is represented by 8-bit gradation.
局所成分値Δimage(i,j)を図3(A)に概念的に示す。入力値image _in(i,j) が局所平均値mean(i,j) より小さな場合(即ち、エッジの前において)、局所平均値mean(i,j) から入力値image _in(i,j) を差し引いて、局所成分値Δimage(i,j)の絶対値を算出する。入力値image _in(i,j) が局所平均値mean(i,j) より大きな場合(即ち、エッジの後において)、この逆の演算により局所成分値Δimage(i,j)の絶対値が算出される。 The local component value Δimage (i, j) is conceptually shown in FIG. When the input value image_in (i, j) is smaller than the local average value mean (i, j) (that is, before the edge), the input value image_in (i, j) is calculated from the local average value mean (i, j). Is subtracted to calculate the absolute value of the local component value Δimage (i, j). When the input value image_in (i, j) is larger than the local average value mean (i, j) (that is, after the edge), the inverse operation calculates the absolute value of the local component value Δimage (i, j) Is done.
一方、エッジの前において、図3(B)から判るように、入力信号image _inは表示ダイナミックレンジの最小表示レベルdr_min の方向に強調される。従って、図3(A)に示すように、局所平均値mean(i,j) から最小表示レベルdr_min を差し引くことにより、表示ダイナミックレンジと局所平均値mean(i,j) との差分Δdr(i,j) の絶対値が算出される。エッジの後において、この逆に、入力信号image _inは表示ダイナミックレンジの最大表示レベルdr_max の方向に強調される。従って、最大表示レベルdr_max から局所平均値mean(i,j) を差し引くことにより、表示ダイナミックレンジと局所平均値mean(i,j) との差分Δdr(i,j) の絶対値が算出される。 On the other hand, before the edge, as can be seen from FIG. 3B, the input signal image_in is emphasized in the direction of the minimum display level dr_min of the display dynamic range. Accordingly, as shown in FIG. 3A, the difference Δdr (i between the display dynamic range and the local average value mean (i, j) is obtained by subtracting the minimum display level dr_min from the local average value mean (i, j). , j) is calculated. On the contrary, after the edge, the input signal image_in is emphasized in the direction of the maximum display level dr_max of the display dynamic range. Therefore, the absolute value of the difference Δdr (i, j) between the display dynamic range and the local average value mean (i, j) is calculated by subtracting the local average value mean (i, j) from the maximum display level dr_max. .
次に、局所ゲイン算出保存部22が、局所ゲインΔlocal _gain(i,j) を、次式
Δlocal _gain(i,j) = Δdr(i,j) / Δimage(i,j)
により算出する。この時、局所ゲイン算出保存部22は、処理対象の画像におけるエッジの前後において、その符号が正となるように局所ゲインΔlocal _gain(i,j) を算出する。即ち、局所成分値Δimage(i,j)と前記差分Δdr(i,j) が、共に正の符号となるようにして、当該局所ゲインΔlocal _gain(i,j) を算出する。これらの符号は、実際には、前述のように、局所成分値算出部21により共に正の符号とされる。
Next, the local gain
Calculated by At this time, the local gain
次に、強調ゲイン算出部23が、各画素について算出された局所ゲインΔlocal _gain(i,j) の中の最小値を選択して、これを強調ゲインHとする。
Next, the enhancement
次に、以上の処理に基づいて、エッジ強調処理部1が、注目画素P(i,j)のエッジ強調処理の後の出力値image _out(i,j)を、次式
Next, based on the above processing, the edge
により算出する。即ち、この処理を処理対象である1画面(シーン)について繰り返す。これにより、図3(B)太い点線で示すように、(エッジ強調処理の)処理後出力信号は、表示ダイナミックレンジ内に収まり、かつ、その最大値dr_max から最小値dr_min までの全範囲を使用する。即ち、エッジを最大限に強調することができ、かつ、表示ダイナミックレンジの未使用レベルを無くすことができる。これにより、エッジ強調処理後の画面(図2(B)に示す出力画像4)として、見る者に美しく又は見映えの良い画像を得ることができる。
Calculated by That is, this process is repeated for one screen (scene) to be processed. As a result, as shown by the thick dotted line in FIG. 3B, the post-processing output signal (of the edge enhancement process) is within the display dynamic range, and the entire range from the maximum value dr_max to the minimum value dr_min is used. To do. That is, the edge can be emphasized to the maximum and the unused level of the display dynamic range can be eliminated. Thereby, as a screen after the edge emphasis processing (the
図4は、本発明の画像信号処理装置の構成の他の一例を示す構成図である。 FIG. 4 is a block diagram showing another example of the configuration of the image signal processing apparatus of the present invention.
図1の画像信号処理装置は、処理対象の画像(シーン)の全ての画素について算出された局所ゲインΔlocal _gain(i,j) の中の最小値を、当該処理対象の画像についての強調ゲインHとする。しかし、処理対象の画像のサイズが大きい場合、処理量が多いために処理時間が極めて長くなってしまい、リアルタイムでの処理ができない可能性がある。この例は、このような処理時間の増大を避けるため、処理対象である1画面分における1又は複数のエッジ(即ち、エッジ領域)を抽出し、エッジ領域に属する画素について局所ゲインΔlocal _gain(i,j) を算出し、その中の最小値を当該1画面についての強調ゲインHとして決定する。 The image signal processing apparatus in FIG. 1 uses the minimum value among the local gains Δlocal_gain (i, j) calculated for all the pixels of the processing target image (scene) as the enhancement gain H for the processing target image. And However, if the size of the image to be processed is large, the processing time becomes extremely long due to the large amount of processing, and real-time processing may not be possible. In this example, in order to avoid such an increase in processing time, one or a plurality of edges (that is, edge regions) in one screen to be processed are extracted, and the local gain Δlocal_gain (i for pixels belonging to the edge region is extracted. , j) and the minimum value among them is determined as the enhancement gain H for the one screen.
この例の画像信号処理装置は、図1に示す構成に加えて、更に、エッジ領域判定部24と、第2局所平均値算出部25とを備える。第2局所平均値算出部25は局所平均値算出部11と同一の構成を有する。エッジ領域判定部24は、処理対象の画像からエッジ領域を抽出する。このエッジ領域の抽出は、例えば周知のエッジ抽出処理による。第2局所平均値算出部25は、処理対象の画像の画素の中のエッジ領域に属する画素について、その局所平均値mean(i,j) を算出する。
The image signal processing apparatus of this example further includes an edge
局所成分値算出部21が、第2局所平均値算出部25が算出した局所平均値mean(i,j) を、局所成分値Δimage(i,j)の算出に用いる。これにより、エッジ領域判定部24により抽出されたエッジ領域に属する画素を処理対象の画素として、これらの画素について局所成分値Δimage(i,j)を算出し、局所ゲインΔlocal _gain(i,j) を算出し、これに基づいて強調ゲインを算出する。従って、局所成分値Δimage(i,j)を算出するための処理量、局所ゲインΔlocal _gain(i,j) を算出するための処理量、強調ゲインを算出するための処理量を大きく減らして、処理速度を向上することができる。
The local component
図5は、本発明の画像信号処理装置の構成の更に他の一例を示す構成図である。この例は、図4の例と同様に、処理時間の増大を避けるため、エッジ領域を抽出し、エッジ領域に属する画素について局所ゲインΔlocal _gain(i,j) を算出し、その中の最小値を当該処理対象の画像についての強調ゲインHとして決定する。 FIG. 5 is a block diagram showing still another example of the configuration of the image signal processing apparatus of the present invention. In this example, as in the example of FIG. 4, in order to avoid an increase in processing time, an edge region is extracted, a local gain Δlocal_gain (i, j) is calculated for pixels belonging to the edge region, and the minimum value among them is calculated. Is determined as the enhancement gain H for the image to be processed.
この例の画像信号処理装置は、図1に示す構成に加えて、更に、エッジ領域判定部24と、局所平均値保存部26とを備える。エッジ領域判定部24は、処理対象の画像からエッジ領域を抽出する。局所平均値保存部26は、局所平均値算出部11により算出された局所平均値mean(i,j) を、局所成分値算出部21での演算のために保存する。
The image signal processing apparatus of this example further includes an edge
局所成分値算出部21が、局所平均値保存部26の保存する局所平均値mean(i,j) からエッジ領域に属する画素についての局所平均値mean(i,j) を抽出し、当該抽出した局所平均値mean(i,j) を局所成分値Δimage(i,j)の算出に用いる。これにより、エッジ領域判定部24により抽出されたエッジ領域に属する画素を処理対象の画素として、これらの画素について局所成分値Δimage(i,j)を算出し、局所ゲインΔlocal _gain(i,j) を算出し、これに基づいて強調ゲインを算出する。従って、局所成分値Δimage(i,j)を算出するための処理量、局所ゲインΔlocal _gain(i,j) を算出するための処理量、強調ゲインを算出するための処理量を大きく減らして、処理速度を向上することができる。
The local component
図6は本発明の画像信号処理装置の構成の更に他の一例を示す構成図であり、図7は図6の画像信号処理装置におけるエッジ強調処理の説明図である。 FIG. 6 is a block diagram showing still another example of the configuration of the image signal processing apparatus of the present invention, and FIG. 7 is an explanatory diagram of edge enhancement processing in the image signal processing apparatus of FIG.
処理対象の画像が、図7に示すように、輝点ノイズNを含む場合がある。輝点ノイズNは、極めて輝度の高いノイズであって、表示ダイナミックレンジの最大表示レベルdr_max を大きく超える輝度を持つ。前述のように、局所ゲインΔlocal _gain(i,j) の中の最小値を当該強調ゲインHとした場合、輝点ノイズNについて算出された局所ゲインΔlocal _gain(i,j) が、当該処理対象の画像(画面)の強調ゲインHとして設定される。この場合、強調ゲインHは著しく小さい値に抑えられてしまう。この例は、このような輝点ノイズNの影響を避けるため、処理対象である1画面分の画素の輝度の分布を求め、著しく分布から外れている画素を無視して、強調ゲインHを決定する。 The image to be processed may include bright spot noise N as shown in FIG. The bright spot noise N is a noise with extremely high luminance, and has a luminance that greatly exceeds the maximum display level dr_max of the display dynamic range. As described above, when the minimum value of the local gains Δlocal_gain (i, j) is the enhancement gain H, the local gain Δlocal_gain (i, j) calculated for the bright spot noise N is the target to be processed. Is set as the enhancement gain H of the image (screen). In this case, the enhancement gain H is suppressed to a remarkably small value. In this example, in order to avoid such influence of the bright spot noise N, the luminance distribution of pixels for one screen to be processed is obtained, and the enhancement gain H is determined by ignoring pixels that are significantly out of the distribution. To do.
この例の画像信号処理装置は、図1に示す構成に加えて、更に、輝度分布算出部27と、ノイズ領域判定部28とを備える。輝度分布算出部27は、処理対象の画像についての輝度分布を算出する。ノイズ領域判定部28は、輝度分布算出部27により算出された輝度分布に基づいて、処理対象の画像からノイズ領域を抽出する。
The image signal processing apparatus of this example further includes a luminance
例えば、輝度分布算出部27は、処理対象の画像における全ての画素の輝度を調べ、そのヒストグラムを作成する。ノイズ領域判定部28は、この輝度についてのヒストグラムに基づいて、異常な分布を示す1又は複数の画素をノイズ領域とする。前述のように、輝点ノイズNの輝度は異常な値であるので、ヒストグラムにおける輝点ノイズNの分布位置も異常なものとなる。即ち、輝点ノイズNの分布位置は、他の画素の分布位置とは離れ、孤立点となる。これを利用して、輝点ノイズNの存在する領域、即ち、ノイズ領域を抽出することができる。
For example, the luminance
強調ゲイン算出部23は、ノイズ領域判定部28により抽出されたノイズ領域に属する画素についての局所ゲインΔlocal _gain(i,j) を、強調ゲインHの候補から除外する。即ち、ノイズ領域に属する画素についての局所ゲインΔlocal _gain(i,j) が最小値であっても、これを強調ゲインHとしない。これにより、処理対象の画像のいずれの画素についても、強調ゲイン処理後の出力信号も飽和レベルに達しない範囲で、表示ダイナミックレンジを十分に活用したエッジ強調後画像を得ることができる。
The enhancement
図9は、本発明の画像信号処理装置の構成の更に他の一例を示す構成図である。 FIG. 9 is a block diagram showing still another example of the configuration of the image signal processing apparatus of the present invention.
図7を参照して前述したように、処理対象の画像が輝点ノイズNを含む場合、輝点ノイズNについて算出された局所ゲインΔlocal _gain(i,j) が必ず局所ゲインの最小値となるので、強調ゲインHは著しく小さい値に抑えられてしまう。この例は、このような輝点ノイズNの影響を避けるため、処理対象である1画面分の画素の局所ゲインΔlocal _gain(i,j) の分布を求め、著しく分布から外れている局所ゲインΔlocal _gain(i,j) を無視して、強調ゲインHを決定する。 As described above with reference to FIG. 7, when the processing target image includes the bright spot noise N, the local gain Δlocal_gain (i, j) calculated for the bright spot noise N is always the minimum value of the local gain. Therefore, the enhancement gain H is suppressed to a remarkably small value. In this example, in order to avoid such influence of the bright spot noise N, the distribution of the local gain Δlocal_gain (i, j) of the pixels for one screen to be processed is obtained, and the local gain Δlocal that is significantly deviated from the distribution is obtained. Ignore _gain (i, j) and determine the enhancement gain H.
この例の画像信号処理装置は、図1に示す構成に加えて、更に、局所ゲイン判定部29を備える。局所ゲイン判定部29は、処理対象の画像に輝点ノイズNが含まれる場合、当該輝点ノイズNが存在する領域に属する画素についての局所ゲインΔlocal _gain(i,j) を、強調ゲインHの候補から除外する。即ち、ノイズ領域に属する画素についての局所ゲインΔlocal _gain(i,j) が最小値であっても、これを強調ゲインHとしない。このために、局所ゲイン判定部29は、強調ゲイン算出部23に設けられる。
The image signal processing apparatus of this example further includes a local
例えば、局所ゲイン判定部29は、処理対象の画像における全ての画素の局所ゲインΔlocal _gain(i,j) を調べ、そのヒストグラムを作成し、この局所ゲインΔlocal _gain(i,j) についてのヒストグラムに基づいて、異常な分布を示す1又は複数の画素をノイズ領域とする。前述のように、輝点ノイズNの輝度は異常な値であるので、ヒストグラムにおける局所ゲインΔlocal _gain(i,j) の分布位置も異常なものとなる。即ち、輝点ノイズNの分布位置は、他の画素の分布位置とは離れ、孤立点となる。これを利用して、輝点ノイズNの存在する領域の局所ゲインΔlocal _gain(i,j) を抽出することができる。
For example, the local
強調ゲイン算出部23は、局所ゲイン判定部29により抽出された局所ゲインΔlocal _gain(i,j) を、強調ゲインHの候補から除外する。即ち、当該抽出された局所ゲインΔlocal _gain(i,j) が最小値であっても、これを強調ゲインHとしない。これにより、処理対象の画像のいずれの画素についても、強調ゲイン処理後の出力信号も飽和レベルに達しない範囲で、表示ダイナミックレンジを十分に活用したエッジ強調後画像を得ることができる。
The enhancement
以上、本発明をその実施の形態に従って説明したが、本発明は、その主旨の範囲内において種々の変形が可能である。 As mentioned above, although this invention was demonstrated according to the embodiment, this invention can be variously deformed within the scope of the gist.
例えば、以上においては、入力画像3はカメラやビデオのような撮像装置5から画像として説明したが、処理対象の画像は、周知のマルチウィンドウシステムにおける1個のウィンドウの画像からなっていても良い。即ち、図8に示すように、表示装置6上に複数のウィンドウが表示されるマルチウィンドウシステムの場合、入力画像3は、例えば1個のウィンドウ61(の画像データ)からなる。即ち、1画面が複数のウィンドウ61、62、・・・からなる場合、複数のウィンドウ61、62、・・・について、各々、それを構成する全ての画素についての局所ゲインを算出する。この場合、例えばその一部が隠れているウィンドウ62については、表示装置6に表示されている領域についてのみ局所ゲインを算出し、強調ゲインを最適化する。なお、表示装置6に表示されていない領域も含めてウィンドウ62の全体について局所ゲインを算出し、強調ゲインを最適化するようにしても良い。これにより、複数のウィンドウ61、62、・・・毎に、強調ゲインを最適化したエッジ強調画像を得ることができる。この結果、複数のウィンドウ61、62、・・・について、各々、飽和レベルに達しない範囲で、表示ダイナミックレンジを有効に活用した最適なエッジ強調後画像を得ることができる。
For example, in the above description, the
また、本発明の画像信号処理装置は、種々の画像処理装置に設けることができる。例えば、本発明の画像信号処理装置は、カメラ、ビデオ等の撮像装置に設けられても良く、コピー機、ファクシミリ、スキャナ、プリンタ等の画像処理装置に設けられても良く、コンピュータ等に設けられても良い。フィルタ(空間フィルタ)を用いてエッジ強調処理を行う装置であれば、どのような画像処理装置にも設けることができる。 The image signal processing apparatus of the present invention can be provided in various image processing apparatuses. For example, the image signal processing apparatus of the present invention may be provided in an imaging apparatus such as a camera or a video, may be provided in an image processing apparatus such as a copying machine, a facsimile, a scanner, or a printer, and is provided in a computer or the like. May be. Any device that performs edge enhancement using a filter (spatial filter) can be provided in any image processing device.
以上から、本発明の実施形態の特徴を以下のように把握することができる。 From the above, the features of the embodiment of the present invention can be grasped as follows.
(付記1)処理対象の画像の画素毎に、その局所平均値を算出する局所平均値算出部と、
前記画素毎に、その入力値と前記局所平均値との差分である局所成分値を算出する局所成分値算出部と、
前記画素毎に、表示ダイナミックレンジと前記局所平均値との差分を前記局所成分値で割った値である局所ゲインを算出する局所ゲイン算出保存部と、
前記画素毎の前記局所ゲインの中の最小値を前記処理対象の画像についての強調ゲインとする強調ゲイン算出部と、
前記処理対象の画像の画素毎に、前記入力値と前記局所平均値との差分に前記強調ゲインを乗じて得た値に前記局所平均値を加えることにより、前記処理対象の画像のエッジ強調画像を得るエッジ強調処理部とを備える
ことを特徴とする画像信号処理装置。
(Supplementary Note 1) A local average value calculating unit that calculates a local average value for each pixel of an image to be processed;
A local component value calculation unit that calculates a local component value that is a difference between the input value and the local average value for each pixel;
For each pixel, a local gain calculation storage unit that calculates a local gain that is a value obtained by dividing a difference between a display dynamic range and the local average value by the local component value;
An enhancement gain calculation unit that sets the minimum value in the local gain for each pixel as an enhancement gain for the image to be processed;
For each pixel of the image to be processed, an edge-enhanced image of the image to be processed is obtained by adding the local average value to a value obtained by multiplying the difference between the input value and the local average value by the enhancement gain. And an edge enhancement processing unit for obtaining the image signal processing apparatus.
(付記2)当該画像信号処理装置が、更に、
処理対象の画像からエッジ領域を抽出するエッジ領域判定部を備え、
前記エッジ領域判定部により抽出されたエッジ領域に属する画素について、前記局所成分値算出部が前記局所成分値を算出し、前記局所ゲイン算出保存部が前記局所ゲインを算出する
ことを特徴とする付記1に記載の画像信号処理装置。
(Supplementary Note 2) The image signal processing apparatus further includes:
An edge region determination unit that extracts an edge region from an image to be processed;
Note that the local component value calculation unit calculates the local component value for pixels belonging to the edge region extracted by the edge region determination unit, and the local gain calculation storage unit calculates the local gain. The image signal processing apparatus according to 1.
(付記3)当該画像信号処理装置が、更に、
前記エッジ領域に属する画素について、その局所平均値を算出する第2局所平均値算出部を備え、
前記局所成分値算出部が、前記第2局所平均値算出部が算出した局所平均値を、前記局所成分値の算出に用いる
ことを特徴とする付記2に記載の画像信号処理装置。
(Supplementary Note 3) The image signal processing apparatus further includes:
A second local average value calculating unit for calculating a local average value of the pixels belonging to the edge region;
The image signal processing apparatus according to
(付記4)当該画像信号処理装置が、更に、
前記局所平均値を保存する局所平均値保存部と、
前記局所成分値算出部が、前記局所平均値保存部の保存する局所平均値から前記エッジ領域に属する画素についての局所平均値を抽出し、当該抽出した局所平均値を前記局所成分値の算出に用いる
ことを特徴とする付記2に記載の画像信号処理装置。
(Supplementary Note 4) The image signal processing apparatus further includes:
A local average value storage unit for storing the local average value;
The local component value calculation unit extracts a local average value for pixels belonging to the edge region from a local average value stored by the local average value storage unit, and uses the extracted local average value for calculation of the local component value. The image signal processing device according to
(付記5)当該画像信号処理装置が、更に、
処理対象の画像についての輝度分布を算出する輝度分布算出部と、
前記輝度分布算出部により算出された輝度分布に基づいて、前記処理対象の画像からノイズ領域を抽出するノイズ領域判定部とを備え、
前記強調ゲイン算出部が、前記ノイズ領域判定部により抽出されたノイズ領域に属する画素についての前記局所ゲインを、前記強調ゲインの候補から除外する
ことを特徴とする付記1に記載の画像信号処理装置。
(Supplementary Note 5) The image signal processing apparatus further includes:
A luminance distribution calculation unit for calculating a luminance distribution for the image to be processed;
A noise region determination unit that extracts a noise region from the processing target image based on the luminance distribution calculated by the luminance distribution calculation unit;
The image signal processing apparatus according to
(付記6)当該画像信号処理装置が、更に、
処理対象の画像に輝点ノイズが含まれる場合、当該輝点ノイズが存在する領域に属する画素についての前記局所ゲインを、前記強調ゲインの候補から除外する局所ゲイン判定部を備える
ことを特徴とする付記1に記載の画像信号処理装置。
(Supplementary Note 6) The image signal processing apparatus further includes:
When the image to be processed includes bright spot noise, the image processing apparatus includes a local gain determination unit that excludes the local gain for pixels belonging to a region where the bright spot noise exists from the enhancement gain candidates. The image signal processing apparatus according to
(付記7)前記局所成分値算出部が、処理対象の画像におけるエッジの前後において、その符号が正となるように前記局所成分値を算出する
ことを特徴とする付記1に記載の画像信号処理装置。
(Additional remark 7) The said local component value calculation part calculates the said local component value so that the code | symbol may become positive before and behind the edge in the image of a process target. Image signal processing of
(付記8)前記局所ゲイン算出保存部が、処理対象の画像におけるエッジの前後において、その符号が正となるように前記局所ゲインを算出する
ことを特徴とする付記7に記載の画像信号処理装置。
(Additional remark 8) The said local gain calculation preservation | save part calculates the said local gain so that the code | symbol may become positive before and behind the edge in the process target image. The image signal processing apparatus of Additional remark 7 characterized by the above-mentioned. .
(付記9)前記処理対象の画像が、マルチウィンドウシステムにおける1個のウィンドウの画像からなる
ことを特徴とする付記1に記載の画像信号処理装置。
(Supplementary note 9) The image signal processing device according to
(付記10)処理対象の画像の画素毎に、その局所平均値を算出し、
前記画素毎に、その入力値と前記局所平均値との差分である局所成分値を算出し、
前記画素毎に、表示ダイナミックレンジと前記局所平均値との差分を前記局所成分値で割った値である局所ゲインを算出し、
前記画素毎の前記局所ゲインの中の最小値を前記処理対象の画像についての強調ゲインとし、
前記処理対象の画像の画素毎に、前記入力値と前記局所平均値との差分に前記強調ゲインを乗じて得た値に前記局所平均値を加えることにより、前記処理対象の画像のエッジ強調画像を得る
ことを特徴とする画像信号処理方法。
(Supplementary Note 10) For each pixel of the image to be processed, the local average value is calculated,
For each pixel, calculate a local component value that is the difference between the input value and the local average value,
For each pixel, calculate a local gain that is a value obtained by dividing the difference between the display dynamic range and the local average value by the local component value,
The minimum value in the local gain for each pixel is set as an enhancement gain for the image to be processed,
For each pixel of the image to be processed, an edge-enhanced image of the image to be processed is obtained by adding the local average value to a value obtained by multiplying the difference between the input value and the local average value by the enhancement gain. An image signal processing method characterized by comprising:
以上、説明したように、本発明によれば、画像信号処理装置及び画像信号処理方法において、画像に応じて強調ゲインを動的に変更し最適化することができる。これにより、飽和レベルに達しない範囲で、表示ダイナミックレンジを有効に活用したエッジ強調後画像を得ることができ、また、強調ゲインの設定のための利用者の操作負荷を無くすことができる。従って、種々の画像処理装置において、見る者の負担無しで画像に応じたエッジ強調処理を行うことができ、これにより、見る者にとって美しい又は見映えの良い画像を得ることができる。 As described above, according to the present invention, in the image signal processing apparatus and the image signal processing method, the enhancement gain can be dynamically changed and optimized according to the image. As a result, an edge-enhanced image that effectively uses the display dynamic range can be obtained within a range that does not reach the saturation level, and the operation load on the user for setting the enhancement gain can be eliminated. Therefore, in various image processing apparatuses, edge enhancement processing corresponding to the image can be performed without burden on the viewer, and thereby a beautiful or good-looking image can be obtained for the viewer.
1 エッジ強調処理部
2 強調ゲイン処理部
11 局所平均値算出部
12 第1加算器
13 乗算器
14 第2加算器
21 局所成分値算出部
22 局所ゲイン算出保存部
23 強調ゲイン算出部
DESCRIPTION OF
Claims (5)
前記画素毎に、その入力値と前記局所平均値との差分である局所成分値を算出する局所成分値算出部と、
前記画素毎に、表示ダイナミックレンジと前記局所平均値との差分を前記局所成分値で割った値である局所ゲインを算出する局所ゲイン算出保存部と、
前記画素毎の前記局所ゲインの中の最小値を前記処理対象の画像についての強調ゲインとする強調ゲイン算出部と、
前記処理対象の画像の画素毎に、前記入力値と前記局所平均値との差分に前記強調ゲインを乗じて得た値に前記局所平均値を加えることにより、前記処理対象の画像のエッジ強調画像を得るエッジ強調処理部とを備える
ことを特徴とする画像信号処理装置。 For each pixel of the image to be processed, a local average value calculation unit that calculates the local average value,
A local component value calculation unit that calculates a local component value that is a difference between the input value and the local average value for each pixel;
For each pixel, a local gain calculation storage unit that calculates a local gain that is a value obtained by dividing a difference between a display dynamic range and the local average value by the local component value;
An enhancement gain calculation unit that sets the minimum value in the local gain for each pixel as an enhancement gain for the image to be processed;
For each pixel of the image to be processed, an edge-enhanced image of the image to be processed is obtained by adding the local average value to a value obtained by multiplying the difference between the input value and the local average value by the enhancement gain. And an edge enhancement processing unit for obtaining the image signal processing apparatus.
処理対象の画像からエッジ領域を抽出するエッジ領域判定部を備え、
前記エッジ領域判定部により抽出されたエッジ領域に属する画素について、前記局所成分値算出部が前記局所成分値を算出し、前記局所ゲイン算出保存部が前記局所ゲインを算出する
ことを特徴とする請求項1に記載の画像信号処理装置。 The image signal processing device further includes:
An edge region determination unit that extracts an edge region from an image to be processed;
The local component value calculation unit calculates the local component value for pixels belonging to the edge region extracted by the edge region determination unit, and the local gain calculation storage unit calculates the local gain. Item 2. The image signal processing device according to Item 1.
処理対象の画像についての輝度分布を算出する輝度分布算出部と、
前記輝度分布算出部により算出された輝度分布に基づいて、前記処理対象の画像からノイズ領域を抽出するノイズ領域判定部とを備え、
前記強調ゲイン算出部が、前記ノイズ領域判定部により抽出されたノイズ領域に属する画素についての前記局所ゲインを、前記強調ゲインの候補から除外する
ことを特徴とする請求項1に記載の画像信号処理装置。 The image signal processing device further includes:
A luminance distribution calculation unit for calculating a luminance distribution for the image to be processed;
A noise region determination unit that extracts a noise region from the processing target image based on the luminance distribution calculated by the luminance distribution calculation unit;
The image signal processing according to claim 1, wherein the enhancement gain calculation unit excludes the local gain for pixels belonging to the noise region extracted by the noise region determination unit from the enhancement gain candidates. apparatus.
処理対象の画像に輝点ノイズが含まれる場合、当該輝点ノイズが存在する領域に属する画素についての前記局所ゲインを、前記強調ゲインの候補から除外する局所ゲイン判定部を備える
ことを特徴とする請求項1に記載の画像信号処理装置。 The image signal processing device further includes:
When the image to be processed includes bright spot noise, the image processing apparatus includes a local gain determination unit that excludes the local gain for pixels belonging to a region where the bright spot noise exists from the enhancement gain candidates. The image signal processing apparatus according to claim 1.
前記画素毎に、その入力値と前記局所平均値との差分である局所成分値を算出し、
前記画素毎に、表示ダイナミックレンジと前記局所平均値との差分を前記局所成分値で割った値である局所ゲインを算出し、
前記画素毎の前記局所ゲインの中の最小値を前記処理対象の画像についての強調ゲインとし、
前記処理対象の画像の画素毎に、前記入力値と前記局所平均値との差分に前記強調ゲインを乗じて得た値に前記局所平均値を加えることにより、前記処理対象の画像のエッジ強調画像を得る
ことを特徴とする画像信号処理方法。
For each pixel of the image to be processed, calculate its local average value,
For each pixel, calculate a local component value that is the difference between the input value and the local average value,
For each pixel, calculate a local gain that is a value obtained by dividing the difference between the display dynamic range and the local average value by the local component value,
The minimum value in the local gain for each pixel is set as an enhancement gain for the image to be processed,
For each pixel of the image to be processed, an edge-enhanced image of the image to be processed is obtained by adding the local average value to a value obtained by multiplying the difference between the input value and the local average value by the enhancement gain. An image signal processing method characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006070086A JP2007249436A (en) | 2006-03-15 | 2006-03-15 | Image signal processor and processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006070086A JP2007249436A (en) | 2006-03-15 | 2006-03-15 | Image signal processor and processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007249436A true JP2007249436A (en) | 2007-09-27 |
Family
ID=38593689
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006070086A Withdrawn JP2007249436A (en) | 2006-03-15 | 2006-03-15 | Image signal processor and processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007249436A (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009201103A (en) * | 2008-01-22 | 2009-09-03 | Panasonic Corp | Video signal processing apparatus |
JP2010154298A (en) * | 2008-12-25 | 2010-07-08 | Toshiba Corp | Video processing apparatus, video processing method, and video display device |
EP2436179A1 (en) * | 2009-05-29 | 2012-04-04 | Global OLED Technology LLC | Display device |
US8441419B2 (en) | 2008-10-07 | 2013-05-14 | Sony Corporation | Display apparatus, display data processing device, and display data processing method |
US8599189B2 (en) | 2008-12-15 | 2013-12-03 | Sony Corporation | Display device, display data processing device, and display data processing method |
CN111065335A (en) * | 2017-11-17 | 2020-04-24 | 株式会社日立制作所 | Medical image processing apparatus and medical image processing method |
CN112801946A (en) * | 2021-01-13 | 2021-05-14 | 福建星网天合智能科技有限公司 | Method, device, equipment and medium for calculating face definition |
CN114697468A (en) * | 2022-02-16 | 2022-07-01 | 瑞芯微电子股份有限公司 | Image signal processing method and device and electronic equipment |
-
2006
- 2006-03-15 JP JP2006070086A patent/JP2007249436A/en not_active Withdrawn
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009201103A (en) * | 2008-01-22 | 2009-09-03 | Panasonic Corp | Video signal processing apparatus |
US8836619B2 (en) | 2008-10-07 | 2014-09-16 | Sony Corporation | Display apparatus, display data processing device, and display data processing method |
US8441419B2 (en) | 2008-10-07 | 2013-05-14 | Sony Corporation | Display apparatus, display data processing device, and display data processing method |
US9202416B2 (en) | 2008-10-07 | 2015-12-01 | Sony Corporation | Display apparatus, display data processing device, and display data processing method |
US9524671B2 (en) | 2008-10-07 | 2016-12-20 | Sony Corporation | Display apparatus, display data processing device, and display data processing method |
US9286822B2 (en) | 2008-12-15 | 2016-03-15 | Sony Corporation | Display device, display data processing device, and display data processing method |
US8599189B2 (en) | 2008-12-15 | 2013-12-03 | Sony Corporation | Display device, display data processing device, and display data processing method |
US8786523B2 (en) | 2008-12-15 | 2014-07-22 | Sony Corporation | Display device, display data processing device, and display data processing method |
JP2010154298A (en) * | 2008-12-25 | 2010-07-08 | Toshiba Corp | Video processing apparatus, video processing method, and video display device |
EP2436179A4 (en) * | 2009-05-29 | 2012-11-07 | Global Oled Technology Llc | Display device |
EP2436179A1 (en) * | 2009-05-29 | 2012-04-04 | Global OLED Technology LLC | Display device |
US8730276B2 (en) | 2009-05-29 | 2014-05-20 | Global Oled Technology, Llc. | Display device |
US9019327B2 (en) | 2009-05-29 | 2015-04-28 | Global Oled Technology Llc | Display device |
CN111065335A (en) * | 2017-11-17 | 2020-04-24 | 株式会社日立制作所 | Medical image processing apparatus and medical image processing method |
CN111065335B (en) * | 2017-11-17 | 2023-08-08 | 富士胶片医疗健康株式会社 | Medical image processing apparatus and medical image processing method |
CN112801946A (en) * | 2021-01-13 | 2021-05-14 | 福建星网天合智能科技有限公司 | Method, device, equipment and medium for calculating face definition |
CN112801946B (en) * | 2021-01-13 | 2024-03-29 | 福建星网天合智能科技有限公司 | Method, device, equipment and medium for calculating face definition |
CN114697468B (en) * | 2022-02-16 | 2024-04-16 | 瑞芯微电子股份有限公司 | Image signal processing method and device and electronic equipment |
CN114697468A (en) * | 2022-02-16 | 2022-07-01 | 瑞芯微电子股份有限公司 | Image signal processing method and device and electronic equipment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9218653B2 (en) | Method and apparatus for dynamic range enhancement of an image | |
US9569827B2 (en) | Image processing apparatus and method, and program | |
JP4795473B2 (en) | Image processing apparatus and control method thereof | |
JP2007249436A (en) | Image signal processor and processing method | |
US8189947B2 (en) | Image edge correction apparatus and method | |
JP2003058894A (en) | Method and device for segmenting pixeled image | |
JP2008511048A (en) | Image processing method and computer software for image processing | |
JP2010503056A (en) | Image enhancement method and apparatus | |
US20090002562A1 (en) | Image Processing Device, Image Processing Method, Program for Image Processing Method, and Recording Medium Having Program for Image Processing Method Recorded Thereon | |
US8279346B2 (en) | Frame rate converting apparatus and method thereof | |
US8200038B2 (en) | Image processing apparatus and image processing method | |
JP2014010776A (en) | Image processing apparatus, image processing method, and program | |
JP2008021163A (en) | Image processor | |
JP5089797B2 (en) | Image processing apparatus and control method thereof | |
JP2008033592A (en) | Image processing apparatus, image processing method, and program | |
JP6583008B2 (en) | Image correction apparatus, image correction method, and computer program for image correction | |
US8693777B2 (en) | Apparatus and method for estimating edge areas of digital image | |
JPWO2010007933A1 (en) | Video signal processing device and video display device | |
US10311550B2 (en) | Image processing device for eliminating graininess of image | |
JP2001144962A (en) | Image processing unit | |
JP6826472B2 (en) | Image processing device and its control method | |
WO2016084253A1 (en) | Image processing apparatus and image processing method | |
KR102470242B1 (en) | Image processing device, image processing method and program | |
JP2008139828A (en) | Image processing apparatus, image processing method, electro-optical device and electronic device | |
JP2007005933A (en) | Picture adjusting method, picture processing circuit, and picture display |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20090602 |