JP2018160024A - Image processing device, image processing method and program - Google Patents
Image processing device, image processing method and program Download PDFInfo
- Publication number
- JP2018160024A JP2018160024A JP2017055927A JP2017055927A JP2018160024A JP 2018160024 A JP2018160024 A JP 2018160024A JP 2017055927 A JP2017055927 A JP 2017055927A JP 2017055927 A JP2017055927 A JP 2017055927A JP 2018160024 A JP2018160024 A JP 2018160024A
- Authority
- JP
- Japan
- Prior art keywords
- light image
- image
- visible light
- pixel
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims 3
- 238000000034 method Methods 0.000 claims abstract description 75
- 230000008569 process Effects 0.000 claims abstract description 64
- 238000012935 Averaging Methods 0.000 claims abstract 4
- 230000015572 biosynthetic process Effects 0.000 claims description 18
- 238000003786 synthesis reaction Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 10
- 239000002131 composite material Substances 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 2
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 238000003702 image correction Methods 0.000 claims 2
- 230000035945 sensitivity Effects 0.000 description 19
- 238000003384 imaging method Methods 0.000 description 11
- 230000009467 reduction Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 238000011946 reduction process Methods 0.000 description 3
- 238000009795 derivation Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Abstract
Description
本発明は、撮影画像に含まれるノイズを低減する技術に関する。 The present invention relates to a technique for reducing noise included in a captured image.
デジタルカメラなどの撮像装置は、光電荷変換素子（撮像素子）で受光した光をデジタル信号に変換することでデジタル画像を生成する。デジタル画像を生成する過程では、撮像素子や回路の特性により暗電流ノイズ、熱雑音、ショットノイズなどが発生し、デジタル画像にノイズが混入する。特に、屋内や夜間といった一般にフラッシュを要するような低照度環境で可視光画像を撮像すると、露光量が少ないためにノイズが顕著となる。 An imaging apparatus such as a digital camera generates a digital image by converting light received by a photoelectric charge conversion element (imaging element) into a digital signal. In the process of generating a digital image, dark current noise, thermal noise, shot noise, and the like are generated due to the characteristics of the imaging device and circuit, and the noise is mixed into the digital image. In particular, when a visible light image is captured in a low-light environment where a flash is generally required, such as indoors or at night, noise becomes significant due to a small amount of exposure.
画像処理の分野においては、画像のノイズを低減する手法として、画素毎に近傍画素の加重平均を求める手法がある。加重平均における重み係数を、処理対象画素と近傍画素との画素値の差に基づいて決定する際に、差が小さいほど重み係数を大きく設定することで、エッジを維持したままノイズを低減することができる。しかし、ノイズの多い画像の場合、画素値の差からノイズなのかオブジェクトのエッジなのかを区別するのが難しく、ノイズが低減されるのと共にオブジェクトの鮮鋭性が低下するという課題がある。 In the field of image processing, as a technique for reducing image noise, there is a technique for obtaining a weighted average of neighboring pixels for each pixel. When determining the weighting factor in the weighted average based on the difference in pixel values between the pixel to be processed and neighboring pixels, the noise is reduced while maintaining the edge by setting the weighting factor to be larger as the difference is smaller Can do. However, in the case of a noisy image, it is difficult to distinguish whether it is noise or the edge of an object from the difference in pixel values, and there is a problem that the noise is reduced and the sharpness of the object is lowered.
この点、例えば特許文献１には、同一のシーンを赤外線などの不可視光の照明下で撮影したノイズの少ない画像（不可視光画像）を利用することで、低照度環境で撮影された可視光画像におけるノイズを精度よく低減する手法が提案されている。この手法では、不可視光画像から抽出したエッジの強度に基づいてローパスフィルタの適用回数を変えることで、可視光画像のノイズを精度よく低減することを実現している。 In this regard, for example, Patent Document 1 discloses a visible light image captured in a low-light environment by using an image with less noise (invisible light image) obtained by capturing the same scene under illumination of invisible light such as infrared rays. There has been proposed a technique for accurately reducing noise in the. In this method, the noise of the visible light image is accurately reduced by changing the number of times the low pass filter is applied based on the edge intensity extracted from the invisible light image.
上記特許文献１の手法では、処理対象となる可視光画像上のどの画素についても、不可視光画像におけるエッジ情報に基づいた処理を行っている。しかしながら、可視光と不可視光との分光特性の違いに起因して、エッジと判断される部分が可視光画像と不可視光画像とで異なる場合がある。そのような場合、ノイズ低減処理を行った結果、エッジがぼけるという弊害が発生することがあった。図１は、不可視光画像（IR画像）のエッジ情報を参考にノイズ低減処理を行った結果の一例を示す図である。IR画像では「A」の文字が消えており（輝度値が平坦）、ノイズ低減後の出力画像では「A」の文字の輪郭がボケてしまっているのが分かる。 In the method of the above-mentioned patent document 1, processing based on edge information in an invisible light image is performed for every pixel on a visible light image to be processed. However, due to the difference in spectral characteristics between visible light and invisible light, the portion determined to be an edge may differ between the visible light image and the invisible light image. In such a case, as a result of performing the noise reduction processing, there is a case in which an adverse effect that the edge is blurred occurs. FIG. 1 is a diagram illustrating an example of a result of performing noise reduction processing with reference to edge information of an invisible light image (IR image). In the IR image, the letter “A” disappears (the luminance value is flat), and in the output image after noise reduction, it can be seen that the outline of the letter “A” is blurred.
本発明では、不可視光画像を利用して可視光画像のノイズを低減する場合において、エッジがボケることなくオブジェクトの鮮鋭性を維持可能にすることを目的とする。 An object of the present invention is to make it possible to maintain the sharpness of an object without blurring the edges when the noise of the visible light image is reduced using the invisible light image.
本発明に係る画像処理装置は、同一のシーンを撮影した可視光画像及び不可視光画像を取得する取得手段と、前記可視光画像と前記不可視光画像のそれぞれから、特徴量を導出する特徴量導出手段と、導出された特徴量に基づいて、加重平均処理で用いる重み係数の決定に際して参照する参照画像を、前記可視光画像と前記不可視光画像のいずれかに決定する決定手段と、前記参照画像として決定された画像に基づいて前記重み係数を算出し、当該算出した重み係数を用いた前記加重平均処理によって前記可視光画像の注目画素の画素値を補正して、前記可視光画像におけるノイズを低減する補正処理手段と、を備えたことを特徴とする。 An image processing apparatus according to the present invention includes an acquisition unit that acquires a visible light image and an invisible light image obtained by capturing the same scene, and a feature value derivation that derives a feature value from each of the visible light image and the invisible light image. Means for determining, based on the derived feature quantity, a reference image to be referred to when determining a weighting factor used in the weighted average process, either the visible light image or the invisible light image; and the reference image The weighting factor is calculated based on the image determined as follows, and the pixel value of the target pixel of the visible light image is corrected by the weighted average process using the calculated weighting factor, and noise in the visible light image is corrected. And a correction processing means for reducing.
本発明によれば、不可視光画像を用いて可視光画像のノイズを低減する場合において、オブジェクトの鮮鋭性を維持することが可能となる。 ADVANTAGE OF THE INVENTION According to this invention, when reducing the noise of a visible light image using an invisible light image, it becomes possible to maintain the sharpness of an object.
以下、添付図面を参照して、本発明を好適な実施例に従って詳細に説明する。なお、以下の実施例において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。 Hereinafter, the present invention will be described in detail according to preferred embodiments with reference to the accompanying drawings. In addition, the structure shown in the following Examples is only an example, and this invention is not limited to the structure shown in figure.
図２（ａ）は、本実施例に係る、画像処理装置のハードウェア構成の一例を示す図である。画像処理装置１００は、例えばＰＣ等であり、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８、及びメインバス１０９を備える。そして、汎用Ｉ／Ｆ１０４によって、カメラなどの撮像装置１０５や、マウス、キーボードなどの入力装置１０６、及びメモリカードなどの外部メモリ１０７をメインバス１０９に接続される。 FIG. 2A is a diagram illustrating an example of a hardware configuration of the image processing apparatus according to the present embodiment. The image processing apparatus 100 is a PC, for example, and includes a CPU 101, a RAM 102, an HDD 103, a general-purpose interface (I / F) 104, a monitor 108, and a main bus 109. The general-purpose I / F 104 connects an imaging device 105 such as a camera, an input device 106 such as a mouse and keyboard, and an external memory 107 such as a memory card to the main bus 109.
ＣＰＵ１０１は、ＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで、以下のような各種処理を実現する。まず、ＣＰＵ１０１は、ＨＤＤ１０３に格納されている画像処理アプリケーションを起動して、ＲＡＭ１０２に展開するとともに、モニタ１０８にユーザインターフェース（ＵＩ）を表示する。続いて、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５で取得された画像データ、入力装置１０６からのユーザ指示などがＲＡＭ１０２に転送される。さらに、画像処理アプリケーションに従って、ＲＡＭ１０２に格納されているデータが、ＣＰＵ１０１からの指令に基づき演算処理される。演算処理の結果は、モニタ１０８に表示されたり、ＨＤＤ１０３または外部メモリ１０７に格納されたりする。なお、ＨＤＤ１０３や外部メモリ１０７に格納されている画像データがＲＡＭ１０２に転送されてもよい。また、不図示のネットワークを介してサーバから送信された画像データがＲＡＭ１０２に転送されてもよい。 The CPU 101 implements various processes as described below by operating various software (computer programs) stored in the HDD 103. First, the CPU 101 activates an image processing application stored in the HDD 103, expands it in the RAM 102, and displays a user interface (UI) on the monitor 108. Subsequently, various data stored in the HDD 103 and the external memory 107, image data acquired by the imaging device 105, user instructions from the input device 106, and the like are transferred to the RAM 102. Further, according to the image processing application, the data stored in the RAM 102 is arithmetically processed based on a command from the CPU 101. The result of the arithmetic processing is displayed on the monitor 108 or stored in the HDD 103 or the external memory 107. Note that image data stored in the HDD 103 or the external memory 107 may be transferred to the RAM 102. Further, image data transmitted from the server via a network (not shown) may be transferred to the RAM 102.
本実施例では、上記構成を備える画像処理装置１００に於いて、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションに可視光画像と不可視光画像のデータを入力して、ノイズを低減した可視光画像データを出力する態様について説明するものとする。 In this embodiment, in the image processing apparatus 100 having the above-described configuration, visible light image data with reduced noise by inputting visible light image data and invisible light image data to an image processing application based on a command from the CPU 101. Will be described.
続いて、画像処理装置１００におけるノイズ低減処理に係る論理構成を説明する。図２（ｂ）は、画像処理装置１００で実行されるノイズ低減処理の論理構成の一例を示すブロック図である。ノイズ低減処理部２００は、入力画像データ取得部２０１、特徴量導出部２０２、補正前処理部２０３、補正処理部２０４とで構成される。以下、各部について説明する。 Next, a logical configuration related to noise reduction processing in the image processing apparatus 100 will be described. FIG. 2B is a block diagram illustrating an example of a logical configuration of noise reduction processing executed by the image processing apparatus 100. The noise reduction processing unit 200 includes an input image data acquisition unit 201, a feature amount derivation unit 202, a pre-correction processing unit 203, and a correction processing unit 204. Hereinafter, each part will be described.
入力画像データ取得部２０１は、撮像装置１０５で同一シーンを撮影して得られた可視光画像と不可視光画像の2種類の画像のデータを取得する。可視光画像は、可視光の波長域（およそ400〜800nm）のうち少なくとも1つ以上の波長に感度を持つチャンネルを含む画像である。また、不可視光画像は、不可視光の波長域に感度を持つチャンネルを含む画像である。例えば、およそ400nm以下の波長に感度を持つ紫外線画像（UV画像）や、およそ800nm以上の波長に感度を持つ赤外線画像（IR画像）が不可視光画像に該当する。撮像装置１０５は、可視光と不可視光の両方の波長域に感度を持つ撮像素子を備え、可視光と不可視光とをそれぞれ透過させるバンドパスフィルタを切り替えて撮影することで、同一シーンについての可視光画像と不可視光画像を得る。なお、入力画像の撮影方法はこれに限られるものではない。例えば、分光感度特性の異なる複数の撮像装置を用いて、可視光画像と不可視光画像とを別々に撮影しても良いし、可視光の波長域に感度を持つ撮像素子と不可視光の波長域に感度を持つ撮像素子から成る単板センサによって撮影してもよい。ただし、複数の撮像装置で撮影した場合には、可視光画像と不可視光画像との間で位置合わせが必要となることがある。この場合は、例えば、FASTアルゴリズムによって画像の特徴点を検出し、ORB特徴量に基づいて対応点を導出し、アフィン変換を利用することで可視光画像と不可視光画像の位置合わせを行えばよい。なお、入力画像データは、上記のようにして撮影された2種類の画像のデータを保存したＨＤＤ１０３や外部メモリ１０７から取得してもよい。入力画像として取得された可視光画像と不可視光画像のデータは、特徴量導出部２０２及び補正処理部２０４に送られる。 The input image data acquisition unit 201 acquires data of two types of images, a visible light image and an invisible light image, obtained by photographing the same scene with the imaging device 105. The visible light image is an image including a channel having sensitivity to at least one wavelength in the visible light wavelength range (approximately 400 to 800 nm). The invisible light image is an image including a channel having sensitivity in the wavelength region of invisible light. For example, an ultraviolet image (UV image) having a sensitivity at a wavelength of about 400 nm or less and an infrared image (IR image) having a sensitivity at a wavelength of about 800 nm or more correspond to the invisible light image. The imaging device 105 includes an imaging device having sensitivity in both visible light and invisible light wavelength ranges, and switches the band-pass filter that transmits visible light and invisible light, respectively, so that the visible image of the same scene is visible. A light image and an invisible light image are obtained. Note that the method of capturing the input image is not limited to this. For example, using a plurality of imaging devices having different spectral sensitivity characteristics, a visible light image and an invisible light image may be taken separately, or an imaging element having sensitivity in the visible light wavelength region and the invisible light wavelength region. You may image | photograph with the single plate sensor which consists of an image pick-up element which has sensitivity. However, when the images are taken by a plurality of imaging devices, it may be necessary to align the visible light image and the invisible light image. In this case, for example, the feature points of the image may be detected by the FAST algorithm, the corresponding points may be derived based on the ORB feature amount, and the visible light image and the invisible light image may be aligned by using affine transformation. . Note that the input image data may be acquired from the HDD 103 or the external memory 107 that stores data of two types of images taken as described above. Data of the visible light image and the invisible light image acquired as the input image is sent to the feature amount deriving unit 202 and the correction processing unit 204.
特徴量導出部２０２は、入力された可視光画像と不可視光画像のそれぞれから、局所的に特徴を判断するための指標としての画像特徴量（本実施例ではエッジ強度）を導出する。 The feature amount deriving unit 202 derives an image feature amount (edge intensity in this embodiment) as an index for locally determining the feature from each of the input visible light image and invisible light image.
補正前処理部２０３は、特徴量導出部２０３で導出した画像特徴量の情報に基づいて、画素値補正処理（加重平均処理）を行うための準備処理を行う。本実施例では、加重平均処理における重み係数の算出に用いる参照画像を、可視光画像にするか不可視光画像にするかを決定する処理を行う。 The pre-correction processing unit 203 performs a preparation process for performing a pixel value correction process (weighted average process) based on the image feature amount information derived by the feature amount deriving unit 203. In this embodiment, a process for determining whether a reference image used for calculating a weighting coefficient in the weighted average process is a visible light image or an invisible light image is performed.
補正処理部２０４は、補正前処理部２０３の処理結果（本実施例では重み係数算出用の参照画像）に基づいて重み係数を算出し、入力された可視光画像の画素値を、加重平均手法を用いて補正する。そして、画素値が補正された（＝ノイズが低減された）可視光画像のデータが、ノイズ低減処理部２００の処理結果として出力される。 The correction processing unit 204 calculates a weighting factor based on the processing result of the pre-correction processing unit 203 (a reference image for calculating the weighting factor in this embodiment), and the pixel value of the input visible light image is used as a weighted average method. Use to correct. Then, the data of the visible light image in which the pixel value is corrected (= noise is reduced) is output as the processing result of the noise reduction processing unit 200.
図３は、本実施例に係るノイズ低減処理の大まかな流れを示すフローチャートである。以下、図３のフローに沿って、本実施例に係るノイズ低減処理の流れを説明する。 FIG. 3 is a flowchart showing a rough flow of the noise reduction processing according to the present embodiment. The flow of noise reduction processing according to the present embodiment will be described below along the flow of FIG.
ステップ３０１では、入力画像データ取得部２０１が、同一シーンを撮影した可視光画像と不可視光画像のデータを取得する。ここでは、可視光画像Ivisとしてモノクロ画像が、不可視光画像IinvとしてIR画像が入力されるものとする。本実施例では、可視光画像Ivisと不可視光画像Iinvとを別々の画像としているが、可視光の波長に感度を持つチャンネルと不可視光の波長に感度を持つチャンネルが両方含まれている1つの画像を入力画像としてもよい。 In step 301, the input image data acquisition unit 201 acquires data of a visible light image and an invisible light image obtained by photographing the same scene. Here, it is assumed that a monochrome image is input as the visible light image I vis and an IR image is input as the invisible light image I inv . In this embodiment, the visible light image I vis and the invisible light image I inv are separate images, but both a channel having sensitivity to the wavelength of visible light and a channel having sensitivity to the wavelength of invisible light are included. One image may be used as the input image.
ステップ３０２では、特徴量導出部２０２が、取得された可視光画像及び不可視光画像のそれぞれから、エッジ強度を画素単位で導出する。具体的には、エッジ検出フィルタ（例えば、方向の異なる複数の一次微分フィルタ）を各画素に対して適用し、応答が最大となる方向のフィルタ応答値を、エッジ強度とする。以下、可視光画像から導出したエッジ強度をEvis、不可視光画像から導出したエッジ強度をEinv、と表記するものとする。なお、エッジ検出フィルタは微分フィルタに限られるものではない。 In step 302, the feature amount deriving unit 202 derives the edge intensity in units of pixels from each of the acquired visible light image and invisible light image. Specifically, an edge detection filter (for example, a plurality of first-order differential filters having different directions) is applied to each pixel, and the filter response value in the direction in which the response is maximum is set as the edge strength. Hereinafter, the edge intensity derived from the visible light image is expressed as E vis and the edge intensity derived from the invisible light image is expressed as E inv . Note that the edge detection filter is not limited to the differential filter.
ステップ３０３では、補正前処理部２０３が、後述の画素値補正処理における重み係数の算出に用いる画像（参照画像）を決定する処理を実行する。図４は、本実施例に係る、重み係数算出用の参照画像を決定する処理の詳細を示すフローチャートである。この参照画像決定処理では、エッジ強度を用いた閾値処理によってエッジがあるかどうかを画素単位で判定した上で、以下の基準に従って、不可視光画像と可視光画像のいずれかを参照画像に決定する。 In step 303, the pre-correction processing unit 203 executes a process of determining an image (reference image) used for calculating a weighting coefficient in a pixel value correction process described later. FIG. 4 is a flowchart illustrating details of processing for determining a reference image for calculating a weighting factor according to the present embodiment. In this reference image determination process, whether or not there is an edge is determined in pixel units by threshold processing using edge strength, and then either an invisible light image or a visible light image is determined as a reference image according to the following criteria. .
不可視光画像にも可視光画像にもエッジがある場合は、不可視光画像を参照画像に決定
理由：両画像の特徴が似ていることから、ノイズが少ない方の画像を選択。
If there is an edge in both the invisible light image and the visible light image, the invisible light image is determined as the reference image. Reason: Because the characteristics of both images are similar, the image with less noise is selected.
不可視光画像にエッジがあり、可視光画像にエッジがない場合は、不可視光画像を参照画像に決定
理由：両画像の特徴は似ていないが、ノイズの影響で可視光画像からエッジが検出できなかったと判断。
If there is an edge in the invisible light image and there is no edge in the visible light image, the invisible light image is determined as the reference image. Reason: Although the characteristics of both images are not similar, the edge can be detected from the visible light image due to the influence of noise. Judged not.
不可視光画像にエッジがなく、可視光画像にエッジがある場合は、可視光画像を参照画像に決定
理由：分光特性の違いに起因して、不可視光画像のエッジが消失していると判断。
When there is no edge in the invisible light image and there is an edge in the visible light image, the visible light image is determined as the reference image. Reason: It is determined that the edge of the invisible light image has disappeared due to the difference in spectral characteristics.
不可視光画像にエッジがなく、可視光画像にエッジがない場合は、不可視光画像を参照画像に決定
理由：両画像の特徴が似ているため、ノイズが少ない方の画像を選択。
If there is no edge in the invisible light image and no edge in the visible light image, the invisible light image is determined as the reference image. Reason: Since both images have similar characteristics, select the image with less noise.
図５は、上述の決定基準をまとめた表である。以下、図４のフローに沿って、本実施例に係る、参照画像決定処理の詳細について説明する。 FIG. 5 is a table summarizing the determination criteria described above. Hereinafter, the details of the reference image determination processing according to the present embodiment will be described along the flow of FIG. 4.
ステップ４０１では、可視光画像の中から、処理対象として注目する画素が決定される。ここで、決定された注目画素の位置を(x,y)、その画素値をIvis(x,y)で表す。この場合において、xは水平方向の位置、yは垂直方向の位置をそれぞれ表わし、(x,y)∈([1,Nx],[1,Ny])である。ここで、Nxは可視光画像Ivisにおける水平方向の画素数、Nyは垂直方向の画素数を表わす。また、可視光画像Ivisにおける注目画素(x,y)に対応する、不可視光画像Iinvにおける画素（以下、「対応画素」）の位置を(x’，y’)、その画素値をIinv(x’，y’)で表す。 In step 401, a pixel of interest as a processing target is determined from the visible light image. Here, the determined position of the target pixel is represented by (x, y) and the pixel value is represented by I vis (x, y). In this case, x represents a position in the horizontal direction, and y represents a position in the vertical direction, and (x, y) ε ([1, N x ], [1, N y ]). Here, N x represents the number of pixels in the horizontal direction in the visible light image I vis , and N y represents the number of pixels in the vertical direction. Further, the position of the pixel (hereinafter, “corresponding pixel”) in the invisible light image I inv corresponding to the pixel of interest (x, y) in the visible light image I vis is (x ′, y ′), and the pixel value is I Inv (x ', y')
ステップ４０２では、不可視光画像における対応画素においてエッジがあるかどうかが判定される。エッジがあるかどうかの判定は、不可視光画像における対応画素の位置(x’，y’)のエッジ強度Einv(x’，y’)に対する閾値処理により行う。閾値処理は、不可視光画像における対応画素のエッジ強度が所定の閾値Tinv未満であればエッジがない、閾値Tinv以上であればエッジがあるとみなす。閾値Tinvは、不可視光画像のノイズ量に基づき、ノイズが大きいほど閾値が大きくなるよう決定する。ここで、ノイズ量を、均一な明るさの面を撮影した際に記録される画素値のばらつき（標準偏差）とする。このノイズ量を左右する要素の一つがISO感度であり、ISO感度が高い（＝撮像素子のゲインが大きい）ほどノイズ量が増加することになる。ISO感度とノイズ量の関係は一意に決まるため、ISO感度とノイズ量の関係を予め保持しておくことができる。例えば、ISO感度100のときのノイズ量は“1”、ISO感度6400のときのノイズ量は“8”といった具合である。そして、エッジ強度は、例えば、一般的な8ビット画像（画素値：0〜255）に対して微分フィルタを適用した結果をエッジ強度とすると、エッジ強度の最小値は“0”、最大値は“255”となる。このような前提の下、例えば不可視光画像がISO感度100で撮影されていたとする。この場合、不可視光画像の各画素のエッジ強度が“1”より大きいかどうかでエッジかどうかを判定することができる。判定の結果、不可視光画像の対応画素がエッジを構成する画素であればステップ４０４に進む。一方、エッジを構成する画素でなければステップ４０３に進む。 In step 402, it is determined whether there is an edge in the corresponding pixel in the invisible light image. Whether or not there is an edge is determined by threshold processing for the edge intensity E inv (x ′, y ′) at the position (x ′, y ′) of the corresponding pixel in the invisible light image. In the threshold processing, if the edge intensity of the corresponding pixel in the invisible light image is less than the predetermined threshold value T inv, it is determined that there is no edge, and if it is greater than or equal to the threshold value T inv, it is determined that there is an edge. The threshold value T inv is determined based on the amount of noise in the invisible light image so that the threshold value increases as the noise increases. Here, the amount of noise is defined as a variation (standard deviation) in pixel values recorded when a surface with uniform brightness is photographed. One of the factors that influence the amount of noise is the ISO sensitivity. The higher the ISO sensitivity (= the larger the gain of the image sensor), the more the amount of noise increases. Since the relationship between the ISO sensitivity and the noise amount is uniquely determined, the relationship between the ISO sensitivity and the noise amount can be held in advance. For example, the noise amount at ISO sensitivity 100 is “1”, the noise amount at ISO sensitivity 6400 is “8”, and so on. For example, if the edge strength is the result of applying a differential filter to a general 8-bit image (pixel value: 0 to 255), the minimum value of the edge strength is “0” and the maximum value is “255”. Under such a premise, it is assumed that, for example, an invisible light image is taken with an ISO sensitivity of 100. In this case, it is possible to determine whether or not the edge is based on whether or not the edge intensity of each pixel of the invisible light image is larger than “1”. As a result of the determination, if the corresponding pixel of the invisible light image is a pixel constituting an edge, the process proceeds to step 404. On the other hand, if the pixel does not constitute an edge, the process proceeds to step 403.
ステップ４０３では、可視光画像における注目画素においてエッジがあるかどうかが判定される。エッジがあるかどうかの判定は、ステップ４０２と同様に行う。すなわち、可視光画像における注目画素のエッジ強度Evis(x,y)が所定の閾値Tvis未満であればエッジがない、閾値Tvis以上であればエッジがあるとみなす。閾値Tvisも上述の閾値Tinvと同様、可視光画像のノイズ量に基づき、ノイズが大きいほど閾値が大きくなるよう決定する。例えば、可視光画像がISO感度6400で撮影されていたとすると、可視光画像の各画素のエッジ強度が“8”より大きいかどうかでエッジかどうかを判定する。判定の結果、可視光画像の対応画素がエッジを構成する画素であればステップ４０５に進む。一方、エッジを構成する画素でなければステップ４０４に進む。 In step 403, it is determined whether or not there is an edge in the pixel of interest in the visible light image. Whether there is an edge is determined in the same manner as in step 402. That is, if the edge intensity E vis (x, y) of the pixel of interest in the visible light image is less than the predetermined threshold value T vis, it is considered that there is no edge, and if it is greater than or equal to the threshold value T vis , it is considered that there is an edge. Similarly to the threshold value T inv described above, the threshold value T vis is determined based on the noise amount of the visible light image so that the threshold value increases as the noise increases. For example, if a visible light image is taken with an ISO sensitivity of 6400, it is determined whether the edge is greater than “8” for each pixel of the visible light image. As a result of the determination, if the corresponding pixel of the visible light image is a pixel constituting an edge, the process proceeds to step 405. On the other hand, if the pixel does not constitute an edge, the process proceeds to step 404.
ステップ４０４では、ステップ４０１で決定した注目画素についての、後述の画素値補正処理（加重平均処理）における重み係数の算出に用いる参照画像を不可視光画像に決定する。また、ステップ４０５では、ステップ４０４と同様に、注目画素についての参照画像を可視光画像に決定する。 In step 404, the reference image used for calculating the weighting coefficient in the pixel value correction process (weighted average process) described later for the target pixel determined in step 401 is determined as an invisible light image. In step 405, as in step 404, the reference image for the target pixel is determined as a visible light image.
ステップ４０６では、可視光画像の全画素について処理が完了したかどうかが判定される。全画素についての処理が完了していれば本処理を終了する。一方、未処理の画素があればステップ４０１に戻って処理を続行する。 In step 406, it is determined whether processing has been completed for all pixels of the visible light image. If the processing for all the pixels has been completed, this processing ends. On the other hand, if there is an unprocessed pixel, the process returns to step 401 to continue the process.
以上が、本実施例に係る補正前処理としての、重み係数算出用の参照画像を決定する処理の内容である。なお、後述の通り、画素毎に重み係数を算出する場合は、ノイズの影響により誤判定が生じる場合がある。例えば、平坦な部分で１点だけ誤判定したり、エッジ部分で誤判定が連続したりすると、重みの切り替わり箇所にアーチファクトが生じ、画質が低下する場合がある。そこで、ステップ４０６の完了後、注目画素近傍の判定結果に応じて注目画素の判定結果を補正してもよい。この補正には、例えば、モルフォロジー膨張、収縮処理などを適用可能である。 The above is the content of the process for determining the reference image for calculating the weighting coefficient as the pre-correction process according to the present embodiment. As will be described later, when the weighting coefficient is calculated for each pixel, an erroneous determination may occur due to the influence of noise. For example, if only one point is erroneously determined in a flat portion or erroneous determination is continued in an edge portion, an artifact may occur at a weight switching location, and image quality may be degraded. Therefore, after completion of step 406, the determination result of the target pixel may be corrected according to the determination result near the target pixel. For this correction, for example, morphological expansion and contraction processing can be applied.
図３のフローの説明に戻る。 Returning to the description of the flow in FIG.
ステップ３０４では、補正処理部２０４が、可視光画像のノイズを低減させる画素値の補正処理を行う。具体的には、可視光画像の画素毎に決定した参照画像を用いて重み係数を決定して、可視光画像の各画素に対し加重平均処理を行う。図６は、本実施例に係る、画素値補正処理の詳細を示すフローチャートである。以下、図６のフローに沿って、画素値補正処理の詳細について説明する。 In step 304, the correction processing unit 204 performs pixel value correction processing that reduces noise in the visible light image. Specifically, the weighting coefficient is determined using the reference image determined for each pixel of the visible light image, and the weighted average process is performed on each pixel of the visible light image. FIG. 6 is a flowchart illustrating details of the pixel value correction processing according to the present embodiment. Details of the pixel value correction processing will be described below along the flow of FIG.
ステップ６０１では、可視光画像の中から、処理対象として注目する画素が決定される。この場合の注目画素の位置(x,y)も、前述の図３のフローにおけるステップ３０１と同様、 (x,y)∈([1,Nx],[1,Ny])である。 In step 601, a pixel of interest as a processing target is determined from the visible light image. In this case, the position (x, y) of the target pixel is also (x, y) ε ([1, N x ], [1, N y ]), as in step 301 in the flow of FIG.
ステップ６０２では、まず、注目画素を中心とする所定の近傍領域が設定される。ここで、近傍領域は、注目画素位置(x,y)を中心とする例えばN×N画素（Nは3以上の整数）の矩形領域である。以下では、注目画素位置(x,y)を中心とする近傍領域内の画素の集合をN(x,y)と表すものとする。なお、近傍領域の形状は矩形に限定されず、注目画素との距離が小さい複数の画素から成る領域であればよい。 In step 602, first, a predetermined neighborhood area centered on the target pixel is set. Here, the neighborhood area is a rectangular area of, for example, N × N pixels (N is an integer of 3 or more) centered on the target pixel position (x, y). In the following, it is assumed that a set of pixels in the vicinity region centered on the target pixel position (x, y) is represented as N (x, y). Note that the shape of the neighborhood region is not limited to a rectangle, and may be a region composed of a plurality of pixels with a small distance from the target pixel.
ステップ６０３では、設定された近傍領域の中から、後述の重み係数算出処理で参照する画素（以下、「参照画素」）が決定される。ここで、参照画素の位置を(xr,yr)で表すと、(xr,yr)∈N(x,y）となる。 In step 603, a pixel (hereinafter referred to as “reference pixel”) to be referred to in a weighting factor calculation process described later is determined from the set neighborhood region. Here, the position of the reference pixel (x r, y r) is represented by, a (x r, y r) ∈N (x, y).
ステップ６０４では、注目画素についての、前述のステップ３０３で決定された重み係数算出用の参照画像が、可視光画像なのか不可視光画像なのかによって処理の切り分けがなされる。注目画素についての参照画像が可視光画像であればステップ６０５に進み、不可視光画像であればステップ６０６に進む。 In step 604, processing is divided depending on whether the reference image for calculating the weighting coefficient determined in step 303 described above for the target pixel is a visible light image or an invisible light image. If the reference image for the pixel of interest is a visible light image, the process proceeds to step 605. If the reference image is an invisible light image, the process proceeds to step 606.
ステップ６０５では、注目画素に対する参照画素の重み係数が、可視光画像を用いて算出される。この場合において、重み係数は、参照画像としての可視光画像における、注目画素の画素値と参照画素の画素値との差に基づき、その差が大きいほど重み係数が小さくなるように決定される。いま、注目画素(x,y)に対する参照画素(xr,yr)の重み係数w(x,y,xr,yr)は、以下の式で表される。 In step 605, the weighting coefficient of the reference pixel for the target pixel is calculated using the visible light image. In this case, the weighting factor is determined based on the difference between the pixel value of the target pixel and the pixel value of the reference pixel in the visible light image as the reference image so that the weighting factor decreases as the difference increases. Now, weighting factors of the reference pixels for the target pixel (x, y) (x r , y r) w (x, y, x r, y r) is expressed by the following equation.
上記式（１）において、G(x,σ)はガウス関数であり、パラメータσvisは平滑化の程度を表わす。パラメータσvisは、可視光画像のノイズが大きいほどその値が大きくなるよう決定する。なお、重み係数の算出に用いる関数は、画素値の差についての単調減少関数であればよい。例えば、線形でもよいし、閾値処理によって離散化してもよい。また、重み係数の算出は前述の手法に限られない。注目画素(x,y)と参照画素(xr,yr)の画素値の差などの距離に基づいて算出されるものであればよい。図７（ａ）は、可視光画像から重み係数を算出する場合の説明図である。図７（ａ）では、可視光画像Ivisおける(x,y)=(5,5)の時の注目画素８００に対して、5×5画素の矩形の近傍領域８０１が設定され、(xr,yr)＝(3,3)の時の参照画素８０２が示されている。 In the above equation (1), G (x, σ) is a Gaussian function, and the parameter σ vis represents the degree of smoothing. The parameter σ vis is determined so that its value increases as the noise of the visible light image increases. Note that the function used to calculate the weighting factor may be a monotonically decreasing function for the difference in pixel values. For example, it may be linear or may be discretized by threshold processing. Further, the calculation of the weighting factor is not limited to the method described above. What is necessary is just to be calculated based on a distance such as a difference in pixel value between the target pixel (x, y) and the reference pixel (x r , y r ). FIG. 7A is an explanatory diagram for calculating a weighting factor from a visible light image. In FIG. 7A, a rectangular neighborhood 801 of 5 × 5 pixels is set for the pixel of interest 800 when (x, y) = (5, 5) in the visible light image I vis , and (x A reference pixel 802 is shown when r , y r ) = (3,3).
ステップ６０６では、ステップ６０１で決定した注目画素に対する参照画素の重み係数w(x,y,xr,yr)が、不可視光画像を用いて算出される。重み係数の算出方法はステップ６０５と同様である。具体的には、注目画素(x,y)に対する参照画素(xr,yr)の重み係数が、以下の式（２）で求められる。 In step 606, the weighting factor w (x, y, xr , yr ) of the reference pixel for the target pixel determined in step 601 is calculated using the invisible light image. The method for calculating the weighting factor is the same as in step 605. Specifically, the weighting coefficient of the reference pixel (x r , y r ) for the target pixel (x, y) is obtained by the following equation (2).
上記式（２）において、(ｘ’，y’)は、可視光画像における画素位置(x，y)に対応する不可視光画像の画素位置を表わす。パラメータσinvはステップ６０５と同様に決定すればよいが、可視光画像のノイズでなく、不可視光画像のノイズに基づいて決定される。すなわち、可視光画像から重みを算出する場合は可視光画像から、不可視光画像から重みを算出する場合は不可視光画像から、パラメータσが決定される。その理由は、上記式（１）或いは（３）で導出する画素値の差から得られる情報の確からしさが、それぞれ可視光画像、不可視光画像のノイズ量に依存するためである。図７（ｂ）は、不可視光画像から重み係数を算出する場合の説明図である。図７（ｂ）では、位置(x,y)=(5,5)の注目画素に対応する、不可視光画像Iinvおける画素８１０と、(xr,yr)＝(3,3)の時の参照画素８１２が示されている。以下に、ステップ６０５及びステップ６０６で算出される重み係数ｗの一例を示す。 In the above equation (2), (x ′, y ′) represents the pixel position of the invisible light image corresponding to the pixel position (x, y) in the visible light image. The parameter σ inv may be determined in the same manner as in step 605, but is determined based on the noise of the invisible light image, not the noise of the visible light image. That is, the parameter σ is determined from the visible light image when the weight is calculated from the visible light image, and from the invisible light image when the weight is calculated from the invisible light image. The reason is that the accuracy of information obtained from the difference between the pixel values derived by the above formula (1) or (3) depends on the noise amounts of the visible light image and the invisible light image, respectively. FIG. 7B is an explanatory diagram for calculating a weighting coefficient from an invisible light image. In FIG. 7B, the pixel 810 in the invisible light image I inv corresponding to the target pixel at the position (x, y) = (5, 5), and (x r , y r ) = (3, 3) A reference pixel 812 is shown. Hereinafter, an example of the weighting coefficient w calculated in step 605 and step 606 will be shown.
上記の具体例の場合、ステップ６０５では、可視光画像のσ=“8”、注目画素８００の画素値が“50”、参照画素８０２の画素値が“51（エッジなし）”若しくは“65（エッジあり）”である。また、ステップ６０６では、不可視光画像のσ=“1”、画素８１０の画素値が“100”、参照画素８１２の画素値が“101（エッジなし）”若しくは“115（エッジあり）”である。 In the case of the above specific example, in step 605, σ = “8” of the visible light image, the pixel value of the target pixel 800 is “50”, and the pixel value of the reference pixel 802 is “51 (no edge)” or “65 ( With edges) ”. In step 606, σ = “1” of the invisible light image, the pixel value of the pixel 810 is “100”, and the pixel value of the reference pixel 812 is “101 (no edge)” or “115 (with edge)”. .
ステップ６０７では、設定された近傍領域内の全画素を参照画素として、ステップ６０４〜ステップ６０６の処理が完了したかどうかが判定される。設定された近傍領域内の全画素を参照画素として上記処理が完了していればステップ６０８に進む。一方、設定された近傍領域内に未処理の画素があれば、ステップ６０３に戻って次の参照画素を決定して処理を続行する。 In step 607, it is determined whether or not the processing in steps 604 to 606 has been completed using all the pixels in the set neighborhood region as reference pixels. If all the pixels in the set neighborhood region are used as reference pixels and the above processing is completed, the process proceeds to step 608. On the other hand, if there is an unprocessed pixel in the set neighborhood area, the process returns to step 603 to determine the next reference pixel and continue the process.
ステップ６０８では、ステップ６０５又はステップ６０６で算出された重み係数を用いた加重平均処理によって、注目画素の画素値が補正される。加重平均処理による補正後の画素値Ｉresultは、以下の式で表される。 In step 608, the pixel value of the target pixel is corrected by the weighted average process using the weighting coefficient calculated in step 605 or step 606. The corrected pixel value I result by the weighted average process is expressed by the following equation.
上記式（３）において、W(x,y)は、以下の式（４）で表される。 In the above formula (3), W (x, y) is represented by the following formula (4).
以下に、可視光画像のσ=“8”、注目画素の画素値が“50”、参照画素の画素値が“51（エッジなし）”若しくは“65（エッジあり）”の場合に得られる、補正後の画素値Iresultの一例を示す。 Below, it is obtained when σ = “8” of the visible light image, the pixel value of the target pixel is “50”, and the pixel value of the reference pixel is “51 (no edge)” or “65 (with edge)”. An example of the corrected pixel value I result is shown.
ステップ６０９では、可視光画像内の全画素について画素値の補正処理が完了したかどうかが判定される。全画素についての補正処理が完了していれば本処理を終了する。補正処理がなされていない画素があれば、ステップ６０１に戻って次の注目画素を決定して処理を続行する。 In step 609, it is determined whether the pixel value correction processing has been completed for all the pixels in the visible light image. If the correction process for all the pixels has been completed, this process ends. If there is a pixel that has not been corrected, the process returns to step 601 to determine the next pixel of interest and continue the process.
以上が、本実施例に係る、画素値補正処理（ステップ３０４）の内容である。こうして、画素値補正処理によってノイズが低減された可視光画像のデータは、補正処理部２０４から出力される（ステップ３０５）。 The above is the content of the pixel value correction process (step 304) according to the present embodiment. Thus, the visible light image data in which noise is reduced by the pixel value correction processing is output from the correction processing unit 204 (step 305).
本実施例では、入力される可視光画像Ivisはモノクロ画像としたが、例えばRGBの3つの波長を含むカラー画像でもよい。RGB画像のような複数のチャンネルを含むカラー画像の場合、上述したモノクロ画像に対する処理を各チャンネルに対して適用することで、同様の効果を得ることができる。 In the present embodiment, the input visible light image I vis is a monochrome image, but may be a color image including three wavelengths of RGB, for example. In the case of a color image including a plurality of channels such as an RGB image, the same effect can be obtained by applying the processing for the monochrome image described above to each channel.
また、本実施例では、画像特徴量としてエッジ強度を用いたが、これに限定されない。例えば、複数のサンプルテクスチャを用いたテンプレートマッチング法で算出される類似度でもよいし、近傍画素のヒストグラムの形状でもよい。例えば類似度の場合であれば、注目画素を中心とする領域A（例えば３×３画素）と、注目画素に隣接する８画素各々を中心とする領域Bとのテンプレートマッチングを実施する。そして、８画素中、マッチングした画素数Nが少ない場合をエッジあり、マッチングした画素数Nが多い場合をエッジなしと判定してもい。また、ヒストグラム形状の場合であれば、注目画素を含む近傍画素の画素値のヒストグラムを導出し、例えば山（極大値）が２つ以上の場合にエッジとするといった具合にヒストグラム形状からエッジの有無を判定してもよい。 In this embodiment, the edge strength is used as the image feature amount, but the present invention is not limited to this. For example, the degree of similarity calculated by a template matching method using a plurality of sample textures may be used, or the shape of a histogram of neighboring pixels may be used. For example, in the case of similarity, template matching is performed between a region A (eg, 3 × 3 pixels) centered on the target pixel and a region B centered on each of the eight pixels adjacent to the target pixel. Then, among the eight pixels, it may be determined that there is an edge when the number N of matched pixels is small and there is no edge when the number N of matched pixels is large. In the case of a histogram shape, a histogram of pixel values of neighboring pixels including the target pixel is derived, and for example, when there are two or more peaks (maximum values), an edge is detected from the histogram shape. May be determined.
本実施例によれば、同一シーンを撮影して得られた可視光画像と不可視光画像における分光特性の違いを考慮して、加重平均における重み係数の算出に用いる画像を切り替えている。これにより、オブジェクトの鮮鋭性を維持しつつ可視光画像におけるノイズを低減することが可能となる。 According to the present embodiment, the image used for calculating the weighting coefficient in the weighted average is switched in consideration of the difference in spectral characteristics between the visible light image and the invisible light image obtained by photographing the same scene. Thereby, it is possible to reduce noise in the visible light image while maintaining the sharpness of the object.
実施例１では、重み係数算出用の参照画像として可視光画像か不可視光画像のどちらかを選択し、選択した画像から算出した重み係数を用いて可視光画像のノイズを低減した。次に、重み係数算出用の参照画像をどちらか片方の画像に限定しない態様を、実施例２として説明する。具体的には、可視光画像と不可視光画像のそれぞれから算出した重み係数をエッジ強度に基づき合成し、当該合成した重み係数を用いて可視光画像のノイズを低減する。なお、実施例１と共通する部分については説明を省略ないしは簡略化し、以下では差異点を中心に説明するものとする。 In Example 1, either a visible light image or an invisible light image is selected as a reference image for calculating a weighting factor, and noise in the visible light image is reduced using a weighting factor calculated from the selected image. Next, an embodiment in which the reference image for calculating the weight coefficient is not limited to one of the images will be described as a second embodiment. Specifically, the weighting coefficients calculated from the visible light image and the invisible light image are combined based on the edge intensity, and the noise of the visible light image is reduced using the combined weighting coefficient. The description of the parts common to the first embodiment will be omitted or simplified, and the differences will be mainly described below.
図８は、本実施例に係る補正前処理としての、重み合成係数を算出する処理の流れを示すフローチャートである。この重み合成係数算出処理では、可視光画像と不可視光画像のそれぞれについて、各画素のエッジ尤度（エッジを構成するもっともらしさを表す度合い）をまず求め、求めたエッジ尤度から重み合成係数を出力する。以下、図８のフローを参照して説明する。 FIG. 8 is a flowchart showing a flow of processing for calculating a weighting synthesis coefficient as pre-correction processing according to the present embodiment. In this weight synthesis coefficient calculation process, for each of the visible light image and the invisible light image, the edge likelihood of each pixel (the degree representing the plausibility constituting the edge) is first obtained, and the weight synthesis coefficient is obtained from the obtained edge likelihood. Output. Hereinafter, description will be given with reference to the flow of FIG.
ステップ８０１では、可視光画像及び不可視光画像について、処理対象として注目する画素が決定される。実施例１のステップ４０１と同様、決定された注目画素の位置は(x,y)で表され、(x,y)∈([1,Nx],[1,Ny])である。 In step 801, a pixel of interest as a processing target is determined for the visible light image and the invisible light image. Similar to step 401 in the first embodiment, the determined position of the target pixel is represented by (x, y), and (x, y) ε ([1, Nx], [1, Ny]).
ステップ８０２では、ステップ３０２で導出した画像特徴量としてのエッジ強度から、可視光画像における注目画素の位置(x,y)のエッジ尤度Lvis(x,y)を算出する。可視光画像におけるエッジ尤度は、エッジ強度が小さい時に小さく（例えば“0”）、エッジ強度が十分大きい時に大きく（例えば“1”）になるよう定める。例えば、画素位置(x,y)におけるエッジ尤度L(x,y)は、例えば以下の式（５）で求められる。 In step 802, the edge likelihood L vis (x, y) of the position (x, y) of the pixel of interest in the visible light image is calculated from the edge intensity as the image feature amount derived in step 302. The edge likelihood in the visible light image is determined to be small (for example, “0”) when the edge strength is small and large (for example, “1”) when the edge strength is sufficiently large. For example, the edge likelihood L (x, y) at the pixel position (x, y) is obtained by the following equation (5), for example.
上記式（５）において、E(x,y)はエッジ強度である。或いは、以下の式（６）によってもエッジ尤度L(x,y)を求めることができる。 In the above equation (5), E (x, y) is the edge strength. Alternatively, the edge likelihood L (x, y) can also be obtained by the following equation (6).
また、上記式（６）における3つのパラメータ、σ、Ｔ1、Ｔ2はカメラの感度或いはノイズ量に基づいて決定される。例えば、閾値Ｔ1及びＴ2はエッジ強度に対応する閾値であり、エッジ強度がＴ1より小さければ非エッジ、Ｔ2を超えたらエッジ、Ｔ1とＴ2の間であればその中間といった具合に判定される。 Further, the three parameters, σ, T 1 and T 2 in the above equation (6) are determined based on the sensitivity of the camera or the amount of noise. Degree For example, thresholds T 1 and T 2 is the threshold corresponding to the edge intensity, if the edge strength is less than T 1 non Edge After exceed T 2, if between T 1 and T 2, such as an intermediate Is determined.
ステップ８０３では、ステップ３０２で導出した画像特徴量としてのエッジ強度から、不可視光画像における注目画素の位置(x,y)のエッジ尤度Linv(x,y)を算出する。算出方法は、ステップ８０２と同様であるが、算出に用いるパラメータは不可視光画像に基づき決定される。つまり、ステップ８０２は可視光画像に基づいて、ステップ８０３では不可視光画像に基づいてパラメータを決定する必要がある。ただし、その結果として得られたパラメータが同じになっても構わない。 In step 803, the edge likelihood L inv (x, y) of the position (x, y) of the pixel of interest in the invisible light image is calculated from the edge intensity as the image feature amount derived in step 302. The calculation method is the same as in step 802, but the parameters used for the calculation are determined based on the invisible light image. That is, it is necessary to determine parameters based on the visible light image in step 802 and based on the invisible light image in step 803. However, the parameters obtained as a result may be the same.
ステップ８０４では、ステップ８０２及び８０３で算出した可視光画像におけるエッジ尤度Lvis(x,y)と不可視光画像におけるエッジ尤度Linv(x,y)とに基づき、重み合成係数αを算出する。重み合成係数αは、可視光画像におけるエッジ尤度が大きいほど可視光画像の重みが大きく、不可視光画像におけるエッジ尤度が大きいほど不可視光画像の重みが大きくなるような係数である。注目画素の位置(x,y)における重み合成係数α(x,y)は、例えば以下の式（７）で求められる。 In step 804, a weighted composite coefficient α is calculated based on the edge likelihood L vis (x, y) in the visible light image calculated in steps 802 and 803 and the edge likelihood L inv (x, y) in the invisible light image. To do. The weight synthesis coefficient α is a coefficient that increases the weight of the visible light image as the edge likelihood in the visible light image increases, and increases the weight of the invisible light image as the edge likelihood in the invisible light image increases. The weighting composite coefficient α (x, y) at the position (x, y) of the target pixel is obtained by the following equation (7), for example.
以下に、本ステップで算出される重み合成係数αの一例を示す。 An example of the weight synthesis coefficient α calculated in this step is shown below.
ステップ８０５では、可視光画像及び不可視光画像の全画素について処理が完了したかどうかが判定される。全画素についての処理が完了していれば本処理を終了する。一方、未処理の画素があればステップ８０１に戻って処理を続行する。 In step 805, it is determined whether processing has been completed for all pixels of the visible light image and the invisible light image. If the processing for all the pixels has been completed, this processing ends. On the other hand, if there is an unprocessed pixel, the process returns to step 801 to continue the process.
以上が、本実施例に係る補正前処理としての、重み合成係数算出処理の内容である。なお、画素毎に重み合成係数αを導出すると、ノイズの影響により隣接画素間で可視光画像の重みと不可視光画像の重みが急峻に切り替わる場合がある。この時、その切り替わりにアーチファクトが生じ画質が劣化する場合がある。そこで、ステップ８０５の終了後、すなわち全画素の重み合成係数αを算出した後で、隣接画素間の重み合成係数の急峻な変化を抑制する処理を適用してもよい。例えば、平滑化処理や、モルフォロジー膨張処理を適用することで、切り替わりによって生じるアーチファクトを軽減することができる。 The above is the content of the weight synthesis coefficient calculation process as the pre-correction process according to the present embodiment. When the weight synthesis coefficient α is derived for each pixel, the weight of the visible light image and the weight of the invisible light image may be sharply switched between adjacent pixels due to the influence of noise. At this time, an artifact may occur in the switching, and the image quality may deteriorate. Therefore, after the end of step 805, that is, after calculating the weight synthesis coefficient α of all pixels, a process for suppressing a sharp change in the weight synthesis coefficient between adjacent pixels may be applied. For example, by applying a smoothing process or a morphological expansion process, artifacts caused by switching can be reduced.
続いて、補正処理部２０４による、本実施例に係る画素値補正処理について説明する、本実施例の場合、可視光画像と不可視光画像のそれぞれから重み係数を算出し、それを上述の図８のフローで得た重み合成係数で合成して、最終的な重み係数を求める。そして、合成後の重み係数を用いて、可視光画像の各画素に対し加重平均処理を行う。図９は、本実施例に係る、画素値補正処理の詳細を示すフローチャートである。以下、図９のフローに沿って、画素値補正処理の詳細について説明する。 Subsequently, pixel value correction processing according to the present embodiment by the correction processing unit 204 will be described. In the present embodiment, a weighting coefficient is calculated from each of the visible light image and the invisible light image, and the weight coefficient is calculated as described above with reference to FIG. The final weighting coefficient is obtained by combining with the weighting synthesis coefficient obtained in the above flow. Then, a weighted average process is performed on each pixel of the visible light image using the combined weight coefficient. FIG. 9 is a flowchart illustrating details of the pixel value correction processing according to the present embodiment. The details of the pixel value correction processing will be described below along the flow of FIG.
ステップ９０１〜ステップ９０３は、実施例１に係る図６のフローのステップ６０１〜ステップ６０３にそれぞれ対応する。すなわち、可視光画像の中から注目画素が決定され（ステップ９０１）、続いて、注目画素を中心とする所定の近傍領域が設定される（ステップ９０２）。そして、設定された近傍領域の中から参照画素が決定されると（ステップ９０３）、ステップ９０４に進む。 Steps 901 to 903 respectively correspond to steps 601 to 603 in the flow of FIG. 6 according to the first embodiment. That is, the target pixel is determined from the visible light image (step 901), and then a predetermined neighborhood region centered on the target pixel is set (step 902). When a reference pixel is determined from the set neighborhood area (step 903), the process proceeds to step 904.
ステップ９０４では、可視光画像を用いて、位置(x,y)の注目画素に対する、位置(xr,yr)の参照画素の重み係数wvis(x,y,xr,yr)が前述の式（１）に基づき算出される。同様に、ステップ９０５では、不可視光画像を用いて、位置(x,y)の注目画素に対する、位置(xr,yr)の参照画素の重み係数winv (x,y,xr,yr)が前述の式（２）に基づき算出される。 In step 904, the weight coefficient w vis (x, y, x r , y r ) of the reference pixel at the position (x r , y r ) with respect to the target pixel at the position (x, y) is determined using the visible light image. It is calculated based on the aforementioned equation (1). Similarly, in step 905, the weight coefficient w inv (x, y, x r , y) of the reference pixel at the position (x r , y r ) with respect to the target pixel at the position (x, y) is used using the invisible light image. r ) is calculated based on Equation (2) above.
ステップ９０６では、設定された近傍領域内の全画素を参照画素として、ステップ９０４及びステップ９０５の処理が完了したかどうかが判定される。設定された近傍領域内の全画素を参照画素として上記処理が完了していればステップ９０７に進む。一方、設定された近傍領域内に未処理の画素があれば、ステップ６０３に戻って次の参照画素を決定して処理を続行する。 In step 906, it is determined whether or not the processing in steps 904 and 905 has been completed using all pixels in the set neighborhood region as reference pixels. If all the pixels in the set neighborhood region are set as reference pixels and the above processing is completed, the process proceeds to step 907. On the other hand, if there is an unprocessed pixel in the set neighborhood area, the process returns to step 603 to determine the next reference pixel and continue the process.
ステップ９０７では、ステップ９０４で得た重み係数wvis(x,y,xr,yr)とステップ９０５で得た重み係数winv (x,y,xr,yr)とが、前述の図８のフローで算出した重み合成係数αに基づき合成される。合成後の重み係数wcombは、例えば以下の式（８）によって求められる。 In step 907, the weight coefficient w vis (x, y, x r , y r ) obtained in step 904 and the weight coefficient w inv (x, y, x r , y r ) obtained in step 905 are described above. Synthesis is performed based on the weight synthesis coefficient α calculated in the flow of FIG. The combined weight coefficient w comb is obtained by the following equation (8), for example.
こうして、後述の加重平均処理で用いる最終的な重み係数が算出される。以下に、本ステップで算出される合成後の重み係数の一例を示す。 In this way, the final weight coefficient used in the weighted average process described later is calculated. An example of the weighting factor after synthesis calculated in this step is shown below.
ステップ９０８では、ステップ９０７で得られた合成後の重み係数wcombを用いた加重平均処理によって、注目画素の画素値が補正される。加重平均処理による補正後の画素値Ｉresultは、以下の式（９）で表される。 In step 908, the pixel value of the pixel of interest is corrected by weighted average processing using the combined weight coefficient w comb obtained in step 907. The pixel value I result after correction by the weighted average process is expressed by the following formula (9).
上記式（９）において、W(x,y)は、以下の式（１０）で表される。 In the above formula (9), W (x, y) is represented by the following formula (10).
以下に、可視光画像のσ=“8”、注目画素の画素値が“50”、参照画素の画素値が“51（エッジなし）”若しくは“65（エッジあり）”の場合における、補正後の画素値Iresultの例を示す。 Below, after correction in the case where σ = “8” in the visible light image, the pixel value of the target pixel is “50”, and the pixel value of the reference pixel is “51 (no edge)” or “65 (with edge)” An example of the pixel value I result of is shown.
ステップ９０９では、可視光画像内の全画素について画素値の補正処理が完了したかどうかが判定される。全画素についての補正処理が完了していれば本処理を終了する。補正処理がなされていない画素があれば、ステップ９０１に戻って次の注目画素を決定して処理を続行する。 In step 909, it is determined whether the pixel value correction processing has been completed for all the pixels in the visible light image. If the correction process for all the pixels has been completed, this process ends. If there is a pixel that has not been corrected, the process returns to step 901 to determine the next pixel of interest and continue the process.
以上が、本実施例に係る、画素値補正処理（ステップ３０４）の内容である。こうして、画素値補正処理によってノイズが低減された可視光画像のデータは、補正処理部２０４から出力される。 The above is the content of the pixel value correction process (step 304) according to the present embodiment. Thus, the visible light image data in which noise is reduced by the pixel value correction processing is output from the correction processing unit 204.
以上の処理により、分光特性の違いを考慮して可視光画像と不可視光画像それぞれから算出した重み係数を合成した重み係数を用いて加重平均処理を適用することで、2値判定で誤判定された画素において、エッジ強度の大きさにより、適応的な合成処理を行う。可視光画像のエッジを残しつつ不可視光画像の情報を参考にしてノイズを低減することが可能となる。 By performing the above processing, the weighted average processing is applied using the weighting factor that is obtained by combining the weighting factors calculated from the visible light image and the invisible light image in consideration of the difference in spectral characteristics. In each pixel, adaptive synthesis processing is performed according to the magnitude of the edge strength. It is possible to reduce noise with reference to information of the invisible light image while leaving the edge of the visible light image.
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other examples)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
Claims (15)
前記可視光画像と前記不可視光画像のそれぞれから、特徴量を導出する特徴量導出手段と、
導出された特徴量に基づいて、加重平均処理で用いる重み係数の決定に際して参照する参照画像を、前記可視光画像と前記不可視光画像のいずれかに決定する決定手段と、
前記参照画像として決定された画像に基づいて前記重み係数を算出し、当該算出した重み係数を用いた前記加重平均処理によって前記可視光画像の注目画素の画素値を補正して、前記可視光画像におけるノイズを低減する補正処理手段と、
を備えたことを特徴とする画像処理装置。 An acquisition means for acquiring a visible light image and an invisible light image obtained by photographing the same scene;
Feature amount deriving means for deriving a feature amount from each of the visible light image and the invisible light image;
Determining means for determining, based on the derived feature quantity, a reference image to be referred to when determining a weighting coefficient used in the weighted average process, either the visible light image or the invisible light image;
The weighting factor is calculated based on the image determined as the reference image, and the pixel value of the target pixel of the visible light image is corrected by the weighted averaging process using the calculated weighting factor, and the visible light image Correction processing means for reducing noise in
An image processing apparatus comprising:
前記可視光画像と前記不可視光画像の両方にエッジがある或いは両方にエッジがないと判定される場合には、前記不可視光画像を、
前記不可視光画像にエッジがあり、かつ、前記可視光画像にエッジがないと判定される場合には、前記不可視光画像を、
前記可視光画像にエッジがあり、かつ、前記不可視光画像にエッジがないと判定される場合には、前記可視光画像を、
前記参照画像として決定する、ことを特徴とする請求項３に画像処理装置。 The determining means is based on the edge intensity for each pixel.
If it is determined that both the visible light image and the invisible light image have edges or both have no edges, the invisible light image is
When it is determined that the invisible light image has an edge and the visible light image has no edge, the invisible light image is
When it is determined that the visible light image has an edge and the invisible light image has no edge, the visible light image is
The image processing apparatus according to claim 3, wherein the image processing apparatus determines the reference image.
ノイズ量が大きいほど大きい閾値が用いられ、
前記可視光画像におけるエッジを判定するための閾値と、前記不可視光画像におけるエッジを判定するための閾値とが、それぞれの画像におけるノイズ量に応じてそれぞれ決定される
ことを特徴とする請求項５に記載の画像処理装置 The threshold is
A larger threshold is used for a larger amount of noise,
The threshold for determining an edge in the visible light image and the threshold for determining an edge in the invisible light image are respectively determined according to the amount of noise in each image. Image processing apparatus according to
前記可視光画像の中から注目する注目画素を決定し、
前記注目画素を含む所定の近傍領域を設定し、
前記近傍領域の中から参照する参照画素を決定し、
前記参照画像としての画像における、前記注目画素の画素値と前記参照画素の画素値との差が大きいほど値が小さくなる単調減少関数を用いて、前記重み係数を算出する
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。 The correction processing means includes
Determining a pixel of interest from the visible light image;
A predetermined neighborhood region including the target pixel is set;
Determining a reference pixel to be referred to from within the neighborhood region;
The weighting factor is calculated using a monotonically decreasing function that decreases as the difference between the pixel value of the target pixel and the pixel value of the reference pixel in the image as the reference image increases. Item 7. The image processing apparatus according to any one of Items 1 to 6.
前記可視光画像と前記不可視光画像のそれぞれから、特徴量を導出する特徴量導出手段と、
導出された特徴量に基づいて、加重平均処理で用いる重み係数の決定に際して用いる合成係数を算出する算出手段と、
前記可視光画像及び前記不可視光画像のそれぞれから前記重み係数を算出し、算出されたそれぞれの重み係数を前記合成係数で合成して得られた合成後の重み係数を用いた前記加重平均処理によって前記可視光画像の注目画素の画素値を補正して、前記可視光画像におけるノイズを低減する補正処理手段と、
を備えたことを特徴とする画像処理装置。 An acquisition means for acquiring a visible light image and an invisible light image obtained by photographing the same scene;
Feature amount deriving means for deriving a feature amount from each of the visible light image and the invisible light image;
Calculation means for calculating a composite coefficient used in determining a weight coefficient used in the weighted average process based on the derived feature amount;
By calculating the weighting coefficient from each of the visible light image and the invisible light image, and by the weighted average processing using the combined weighting coefficient obtained by combining the calculated weighting coefficients with the combining coefficient. Correction processing means for correcting a pixel value of a target pixel of the visible light image and reducing noise in the visible light image;
An image processing apparatus comprising:
前記可視光画像と前記不可視光画像のそれぞれから、特徴量を導出する特徴量導出ステップと、
導出された特徴量に基づいて、加重平均処理で用いる重み係数の決定に際して参照する参照画像を、前記可視光画像と前記不可視光画像のいずれかに決定する決定ステップと、
前記参照画像として決定された画像に基づいて前記重み係数を算出し、当該算出した重み係数を用いた前記加重平均処理によって前記可視光画像の注目画素の画素値を補正して、前記可視光画像におけるノイズを低減する補正処理ステップと、
を含むことを特徴とする画像処理方法。 An acquisition step of acquiring a visible light image and an invisible light image obtained by photographing the same scene;
A feature amount deriving step for deriving a feature amount from each of the visible light image and the invisible light image;
A determination step of determining, based on the derived feature amount, a reference image to be referred to when determining a weighting coefficient used in the weighted average process, either the visible light image or the invisible light image;
The weighting factor is calculated based on the image determined as the reference image, and the pixel value of the target pixel of the visible light image is corrected by the weighted averaging process using the calculated weighting factor, and the visible light image Correction processing steps for reducing noise in
An image processing method comprising:
前記可視光画像と前記不可視光画像のそれぞれから、特徴量を導出する特徴量導出ステップと、
導出された特徴量に基づいて、加重平均処理で用いる重み係数の決定に際して用いる合成係数を算出する算出ステップと、
前記可視光画像及び前記不可視光画像のそれぞれから前記重み係数を算出し、算出されたそれぞれの重み係数を前記合成係数で合成して得られた合成後の重み係数を用いた前記加重平均処理によって前記可視光画像の注目画素の画素値を補正して、前記可視光画像におけるノイズを低減する補正処理ステップと、
を含むことを特徴とする画像処理方法。 An acquisition step of acquiring a visible light image and an invisible light image obtained by photographing the same scene;
A feature amount deriving step for deriving a feature amount from each of the visible light image and the invisible light image;
A calculation step for calculating a synthesis coefficient used in determining a weighting coefficient used in the weighted average process based on the derived feature amount;
By calculating the weighting coefficient from each of the visible light image and the invisible light image, and by the weighted average processing using the combined weighting coefficient obtained by combining the calculated weighting coefficients with the combining coefficient. A correction processing step for correcting a pixel value of a target pixel of the visible light image to reduce noise in the visible light image;
An image processing method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017055927A JP2018160024A (en) | 2017-03-22 | 2017-03-22 | Image processing device, image processing method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017055927A JP2018160024A (en) | 2017-03-22 | 2017-03-22 | Image processing device, image processing method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018160024A true JP2018160024A (en) | 2018-10-11 |
Family
ID=63796709
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017055927A Pending JP2018160024A (en) | 2017-03-22 | 2017-03-22 | Image processing device, image processing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018160024A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020044619A1 (en) | 2018-08-29 | 2020-03-05 | クラリオン株式会社 | Vehicle-mounted processing device |
| JP2020202489A (en) * | 2019-06-10 | 2020-12-17 | キヤノン株式会社 | Image processing device, image processing method, and program |
-
2017
- 2017-03-22 JP JP2017055927A patent/JP2018160024A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020044619A1 (en) | 2018-08-29 | 2020-03-05 | クラリオン株式会社 | Vehicle-mounted processing device |
| JP2020202489A (en) * | 2019-06-10 | 2020-12-17 | キヤノン株式会社 | Image processing device, image processing method, and program |
| JP7403242B2 (en) | 2019-06-10 | 2023-12-22 | キヤノン株式会社 | Image processing system, image processing method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10997696B2 (en) | Image processing method, apparatus and device | |
| JP5213670B2 (en) | Imaging apparatus and blur correction method | |
| US9361680B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
| CN108668093B (en) | HDR image generation method and device | |
| CN107316326B (en) | Edge-based disparity map calculation method and device applied to binocular stereo vision | |
| JP6355346B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
| TWI462054B (en) | Estimation Method of Image Vagueness and Evaluation Method of Image Quality | |
| JP2015197745A (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP6577703B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
| JP2010045770A (en) | Image processor and image processing method | |
| US8774551B2 (en) | Image processing apparatus and image processing method for reducing noise | |
| TWI632894B (en) | Heart rate activity detecting system based on motion images and method thereof | |
| CN109685853B (en) | Image processing method, image processing device, electronic equipment and computer readable storage medium | |
| JP2020129276A (en) | Image processing device, image processing method, and program | |
| CN108989699B (en) | Image synthesis method, image synthesis device, imaging apparatus, electronic apparatus, and computer-readable storage medium | |
| CN109214996B (en) | Image processing method and device | |
| JP6677172B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2018160024A (en) | Image processing device, image processing method and program | |
| JP2020021314A (en) | Image processing system and image processing method | |
| JP6378496B2 (en) | Image processing apparatus, control method, and recording medium | |
| JP5115297B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP2021047710A (en) | Image processing apparatus, image processing method, image processing system, and program | |
| JP2015141615A (en) | Image processor and method thereof | |
| JP6314281B1 (en) | Image processing method and foreground region acquisition method | |
| JP2017108243A (en) | Image processing device and image processing method |