JP2015118611A - Image processor, image processing method, and program - Google Patents
Image processor, image processing method, and program Download PDFInfo
- Publication number
- JP2015118611A JP2015118611A JP2013262755A JP2013262755A JP2015118611A JP 2015118611 A JP2015118611 A JP 2015118611A JP 2013262755 A JP2013262755 A JP 2013262755A JP 2013262755 A JP2013262755 A JP 2013262755A JP 2015118611 A JP2015118611 A JP 2015118611A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- weight
- value
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims 2
- 238000009499 grossing Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 29
- 238000001914 filtration Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 16
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000010354 integration Effects 0.000 description 5
- 230000002146 bilateral effect Effects 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 238000003706 image smoothing Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
Description
本発明は、画像のフィルタ処理を行う技術に関する。 The present invention relates to a technique for performing image filtering.
データの欠損や非一様な誤差、信頼性の低い画素値などを含む画像を補正する方法として、補正対象の画像に平滑化フィルタをかける処理がある。しかし、平滑化フィルタは、注目画素とその周囲の画素との画素値の差を小さくするフィルタであるため、平滑化フィルタをかけることにより、被写体の境界であるエッジがぼけてしまうという問題がある。そこで、エッジの情報を失わずに画像を平滑化する方法として、エッジ保存型の平滑化フィルタが提案されている。特許文献１では、エッジ保存型の平滑化フィルタの一例として、クロス（またはジョイント）バイラテラルフィルタが開示されている。クロスバイラテラルフィルタは、補正対象の画像（入力画像）と同一のシーンに対応する、より高画質な画像（参照画像）を用意し、参照画像の各画素の輝度値の類似度などの一つのパラメータに基づいてフィルタ処理に用いる重み値を画素ごとに決定するフィルタである。クロスバイラテラルフィルタでは、入力画像よりもエッジがはっきりしている参照画像に基づいてフィルタ処理に用いる重み値が決定されるため、入力画像のみを用いて重みを決定した場合よりも、エッジが鮮明な画像を得ることができる。そして、参照画像の各画素の輝度値の類似度に基づいてフィルタ処理に用いる重み値を画素ごとに決定することで、異なる被写体に対応する画素の寄与を小さくすることができ、エッジがより鮮明な画像を得ることができる。 As a method for correcting an image including data loss, non-uniform error, unreliable pixel value, and the like, there is a process of applying a smoothing filter to an image to be corrected. However, since the smoothing filter is a filter that reduces the difference in pixel value between the pixel of interest and the surrounding pixels, there is a problem that the edge that is the boundary of the subject is blurred by applying the smoothing filter. . Therefore, an edge preserving type smoothing filter has been proposed as a method of smoothing an image without losing edge information. In Patent Document 1, a cross (or joint) bilateral filter is disclosed as an example of an edge-preserving smoothing filter. The cross bilateral filter prepares a higher-quality image (reference image) corresponding to the same scene as the image to be corrected (input image), and has one such as the similarity of the luminance value of each pixel of the reference image. It is a filter that determines a weight value used for filter processing for each pixel based on a parameter. In the cross bilateral filter, the weight value used for the filter processing is determined based on the reference image whose edge is clearer than the input image. Therefore, the edge is clearer than when the weight is determined using only the input image. Can be obtained. Then, by determining the weight value used for the filtering process for each pixel based on the similarity of the luminance value of each pixel of the reference image, the contribution of the pixels corresponding to different subjects can be reduced, and the edges become clearer. Can be obtained.
しかし、特許文献１に記載の技術のように一つのパラメータだけを用いたフィルタ処理を行う場合では、輝度値が近い被写体同士の境界など、フィルタ処理によりエッジがぼけてしまう領域が発生することがあった。そこで、本発明は、エッジの鮮明さを残しつつ、高い精度で画像の平滑化処理を行うことを目的としている。 However, in the case of performing filter processing using only one parameter as in the technique described in Patent Document 1, a region where the edge is blurred due to the filter processing, such as a boundary between subjects having similar luminance values, may occur. there were. SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to perform an image smoothing process with high accuracy while maintaining the sharpness of an edge.
上記課題を解決するために、本発明に係る画像処理装置は、第一の画像と、前記第一の画像と同一のシーンに対応する第二の画像とを取得する取得手段と、前記第二の画像の画素値に基づく複数のパラメータを用いて、前記第一の画像の各画素の重みを決定する決定手段と、前記第一の画像において、注目画素の画素値を、前記注目画素を含む複数の画素の画素値と、前記決定手段によって決定された重みとに基づいて置き換えるフィルタ処理を施す処理手段とを備える。 In order to solve the above problems, an image processing apparatus according to the present invention includes an acquisition unit that acquires a first image and a second image corresponding to the same scene as the first image, and the second image Determining means for determining a weight of each pixel of the first image using a plurality of parameters based on a pixel value of the image of the first image, and the pixel value of the target pixel in the first image includes the target pixel And processing means for performing filter processing for replacement based on the pixel values of the plurality of pixels and the weights determined by the determination means.
エッジの鮮明さを残しつつ、高い精度で画像の平滑化処理を行うことができる。 The image smoothing process can be performed with high accuracy while leaving the sharpness of the edge.
＜実施例１＞
本実施例では、各画素位置に対応する被写体までの距離を画素値で表現した距離マップ（モノクロ画像）に平滑化フィルタをかける場合について述べる。距離マップにかける平滑化フィルタのカーネルは、距離マップと同じシーンに対応するカラー画像の輝度と色差に基づいて決定される。なお、ここで同じシーンに対応するカラー画像とは、各画素が距離マップにおいて同じ画素位置に存在する画素と同じ被写体に対応するカラー画像のことを意味する。以下、本実施例の構成を述べる。図１は、本実施例の画像処理装置１００の構成を示す図である。
<Example 1>
In this embodiment, a case will be described in which a smoothing filter is applied to a distance map (monochrome image) in which a distance to a subject corresponding to each pixel position is expressed by a pixel value. The smoothing filter kernel to be applied to the distance map is determined based on the luminance and color difference of the color image corresponding to the same scene as the distance map. Here, the color image corresponding to the same scene means a color image corresponding to the same subject as the pixel where each pixel exists at the same pixel position in the distance map. The configuration of this embodiment will be described below. FIG. 1 is a diagram illustrating a configuration of an image processing apparatus 100 according to the present embodiment.
画像処理装置１００は、ＣＰＵ１０１と、ＲＡＭ１０２と、ＲＯＭ１０３と、記憶部１０４と、入力インターフェース１０５と、出力インターフェース１０６と、システムバス１０７とから構成される。外部メモリ１０８は入力インターフェース１０５と出力インターフェース１０６に接続されており、表示装置１０９は出力インターフェース１０６に接続されている。 The image processing apparatus 100 includes a CPU 101, a RAM 102, a ROM 103, a storage unit 104, an input interface 105, an output interface 106, and a system bus 107. The external memory 108 is connected to the input interface 105 and the output interface 106, and the display device 109 is connected to the output interface 106.
ＣＰＵ１０１は、画像処理装置１００の各構成を統括的に制御するプロセッサであり、ＲＡＭ１０２は、ＣＰＵ１０１の主メモリ、ワークエリアとして機能するメモリである。そして、ＲＯＭ１０３は画像処理装置１００内の処理に用いられるプログラム等を格納するメモリである。ＣＰＵ１０１は、ＲＡＭ１０２をワークエリアとしてＲＯＭ１０３に格納されたプログラムを実行することで、後述する様々な処理を実行する。記憶部１０４は、画像処理装置１００での処理に用いる画像データや、処理のためのパラメータなどを記憶する記憶デバイスである。記憶部１０４としてはＨＤＤや光ディスクドライブ、フラッシュメモリなどを用いることができる。 The CPU 101 is a processor that comprehensively controls each component of the image processing apparatus 100, and the RAM 102 is a memory that functions as a main memory and work area of the CPU 101. A ROM 103 is a memory that stores programs used for processing in the image processing apparatus 100. The CPU 101 executes various processes to be described later by executing programs stored in the ROM 103 using the RAM 102 as a work area. The storage unit 104 is a storage device that stores image data used for processing in the image processing apparatus 100, parameters for processing, and the like. As the storage unit 104, an HDD, an optical disk drive, a flash memory, or the like can be used.
入力インターフェース１０５は、例えばＵＳＢやＩＥＥＥ１３９４などのシリアルバスインターフェースである。画像処理装置１００は、この入力インターフェース１０５を介して、外部メモリ１０８（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）から処理対象の画像データ等を取得することができる。出力インターフェース１０６は、例えばＤＶＩやＨＤＭＩ（登録商標）などの映像出力端子である。画像処理装置１００は、この出力インターフェース１０６を介して、表示装置１０９（液晶ディスプレイなどの画像表示デバイス）に、画像処理装置１００で処理した画像データを出力することができる。なお、画像処理装置１００の構成要素は上記のもの以外にも存在するが、本発明の主眼ではないため、説明を省略する。 The input interface 105 is a serial bus interface such as USB or IEEE1394. The image processing apparatus 100 can acquire image data to be processed from an external memory 108 (for example, a hard disk, a memory card, a CF card, an SD card, a USB memory) via the input interface 105. The output interface 106 is a video output terminal such as DVI or HDMI (registered trademark). The image processing apparatus 100 can output the image data processed by the image processing apparatus 100 to the display device 109 (image display device such as a liquid crystal display) via the output interface 106. Note that the components of the image processing apparatus 100 exist in addition to those described above, but are not the main points of the present invention, and thus description thereof is omitted.
以下、本実施例の画像処理装置１００における処理を、図２に示すブロック図と、図３に示すフローチャートを用いて説明する。図２は、画像処理装置１００の処理ブロック図である。本実施例では、ＣＰＵ１０１がＲＯＭ１０３に格納された図３のフローチャートに示すプログラムを実行することにより、図２に記載の各ブロックとして機能する。もちろん、全ての処理ブロックの機能をＣＰＵ１０１が有していなくてもよく、各処理ブロックに対応する処理回路を画像処理装置１００内に新たに設けるようにしてもよい。 Hereinafter, the processing in the image processing apparatus 100 of the present embodiment will be described with reference to the block diagram shown in FIG. 2 and the flowchart shown in FIG. FIG. 2 is a processing block diagram of the image processing apparatus 100. In this embodiment, the CPU 101 executes the program shown in the flowchart of FIG. 3 stored in the ROM 103, thereby functioning as each block shown in FIG. Of course, the CPU 101 may not have the functions of all the processing blocks, and a processing circuit corresponding to each processing block may be newly provided in the image processing apparatus 100.
ステップＳ３０１では、取得部２０１が、入力インターフェース１０５を介して外部メモリ１０８からフィルタ処理に用いる画像データを取得し、注目画素選択部２０２に出力する。ここで取得する画像データは、フィルタ処理の対象である入力画像データと、フィルタの重み値の決定に用いる参照画像データである。本実施例において、参照画像データはカメラによる撮像により得られたカラー画像データであり、入力画像データは、参照画像データの各画素に対応する被写体までの距離を画素値で表現したマップである。距離マップはモノクロの画像データであり、各被写体に対応する距離が０〜２５５の画素値により表現されている。 In step S <b> 301, the acquisition unit 201 acquires image data used for filter processing from the external memory 108 via the input interface 105 and outputs the image data to the target pixel selection unit 202. The image data acquired here is input image data to be filtered and reference image data used to determine the filter weight value. In this embodiment, the reference image data is color image data obtained by imaging with a camera, and the input image data is a map that expresses a distance to a subject corresponding to each pixel of the reference image data by a pixel value. The distance map is monochrome image data, and the distance corresponding to each subject is represented by pixel values of 0 to 255.
ステップＳ３０２では、注目画素選択部２０２が、ＲＡＭ１０２に格納された注目画素の座標を示す情報に基づいて、フィルタ処理を行う対象である注目画素ｐを選択し、注目画素ｐの画素値をＲＡＭ１０２に格納する。なお、初期状態では、ＲＡＭ１０２には画像の最も左上の画素である画素（０，０）を示す情報が格納されている。 In step S <b> 302, the pixel-of-interest selection unit 202 selects the pixel of interest p to be filtered based on the information indicating the coordinates of the pixel of interest stored in the RAM 102, and stores the pixel value of the pixel of interest p in the RAM 102. Store. In the initial state, the RAM 102 stores information indicating the pixel (0, 0) which is the upper left pixel of the image.
ステップＳ３０３では、周辺画素選択部２０３が、ＲＡＭ１０２に格納された画素ｐの座標を示す情報と、ＲＡＭ１０２に格納された、画素ｐからの相対的な座標を示す情報に基づいて、フィルタ処理における重みを決定する画素ｒを選択する。そして、周辺画素選択部２０３は、画素ｒの座標および画素値を示す情報をＲＡＭ１０２に格納する。本実施例では、注目画素を中心とした１１×１１画素がフィルタ処理に用いられるため、画素ｒは、注目画素を中心とした１１×１１画素の所定の範囲から選択される（以下、この範囲内の画素を周辺画素と呼ぶ）。なお、初期状態では、画素ｐからの相対的な座標を示す情報として、画素ｐの座標を（０，０）とした、（−５，−５）がＲＡＭ１０２に格納されている。 In step S <b> 303, the peripheral pixel selection unit 203 performs weighting in the filter processing based on information indicating the coordinates of the pixel p stored in the RAM 102 and information indicating the relative coordinates from the pixel p stored in the RAM 102. Select a pixel r that determines. The peripheral pixel selection unit 203 stores information indicating the coordinates and pixel values of the pixel r in the RAM 102. In this embodiment, since 11 × 11 pixels centered on the target pixel are used for the filter processing, the pixel r is selected from a predetermined range of 11 × 11 pixels centered on the target pixel (hereinafter, this range). The pixels inside are called peripheral pixels). In the initial state, (−5, −5) is stored in the RAM 102 as information indicating the relative coordinates from the pixel p, where the coordinates of the pixel p are (0, 0).
ステップＳ３０４では、距離重み算出部２０４が、ＲＡＭ１０２に格納された、画素ｒの座標を示す情報を用いて、画素ｐからの距離に基づく重み係数ｓを算出し、フィルタ演算部２０７に出力する。ｓは以下の式で表わされる。 In step S <b> 304, the distance weight calculation unit 204 calculates a weight coefficient s based on the distance from the pixel p using the information indicating the coordinates of the pixel r stored in the RAM 102, and outputs the weight coefficient s to the filter calculation unit 207. s is represented by the following equation.
式（１）において、ｐとｒはそれぞれ画素ｐと画素ｒの座標に対応する２次元のベクトルであり、ｓの値はｐとｒの間のユークリッド距離に依存している。式（２）は式（１）におけるノルムの定義を示す式であり、式（１）ではｍ＝２を式（２）に代入した項が含まれている。また、σｓは任意に設定できる実定数で、注目画素からどれだけ離れた周辺画素まで考慮するかを示す定数である。σｓは言い換えると係数分布の空間的な分散を表すパラメータであり、一般にσｓを大きくすれば補正後の画像はぼける傾向にある。本実施例においてはσｓ＝５を設定しているが、この値は自由に設定可能である。なお、本実施例において参照画像のビット深度は８ビットとし、最大階調は２５５としている。また、重み係数ｓは必ずしも式１にもとづいて算出される必要はなく、複数のｐおよびｒに対応する重み係数ｓを予めテーブルとして格納しておき、ｐおよびｒの入力に応じてｓを読み出すようにしてもよい。このステップでは、距離重み算出部２０４が、ＲＡＭ１０２に格納された画素ｐおよび画素ｒの座標を式（１）に代入することによって距離重みｓを算出する。 In Equation (1), p and r are two-dimensional vectors corresponding to the coordinates of the pixel p and the pixel r, respectively, and the value of s depends on the Euclidean distance between p and r. Expression (2) is an expression indicating the definition of the norm in Expression (1), and Expression (1) includes a term in which m = 2 is substituted into Expression (2). Also, σ s is a real constant that can be arbitrarily set, and is a constant that indicates how far away from the target pixel is taken into consideration. In other words, σ s is a parameter representing the spatial dispersion of the coefficient distribution. Generally, when σ s is increased, the corrected image tends to be blurred. In this embodiment, σs = 5 is set, but this value can be set freely. In this embodiment, the bit depth of the reference image is 8 bits and the maximum gradation is 255. The weighting factor s does not necessarily have to be calculated based on Equation 1, but the weighting factors s corresponding to a plurality of p and r are stored in advance as a table, and s is read according to the input of p and r. You may do it. In this step, the distance weight calculation unit 204 calculates the distance weight s by substituting the coordinates of the pixel p and the pixel r stored in the RAM 102 into the equation (1).
ステップＳ３０５では、輝度重み算出部２０５が、ＲＡＭ１０２に格納された画素ｐと画素ｒの画素値を用いて、画素ｐとの輝度の違いに基づく重み係数ｗｙを算出し、フィルタ演算部２０７に出力する。ｗｙは以下の式で表わされる。 In step S305, the luminance weight calculation unit 205, by using the pixel value of the pixel p and the pixel r stored in the RAM 102, calculates a weighting factor w y based on the luminance difference between the pixel p, the filter computation unit 207 Output. w y is represented by the following formula.
ここで、Ｒｙ（ｐ）およびＲｙ（ｒ）はそれぞれ画素ｐおよび画素ｒの輝度値である。σｙ係数分布のＹチャネルの強度方向への分散を表わすパラメータである。本実施例においては、σｙ＝２５を設定しているが、この値はσｓと同様に自由に設定可能である。このステップでは、輝度重み算出部２０５が、ＲＡＭ１０２に格納された画素ｐおよび画素ｒの輝度値を式（３）に代入することによって輝度重みｗｙを算出する。 Here, Ry (p) and Ry (r) are the luminance values of the pixel p and the pixel r, respectively. This is a parameter representing the dispersion in the intensity direction of the Y channel of the σ y coefficient distribution. In this embodiment, σ y = 25 is set, but this value can be set freely as with σ s . In this step, the luminance weight calculation unit 205 calculates a luminance weight w y by substituting the luminance value of the pixel p and the pixel r stored in the RAM102 in equation (3).
ステップＳ３０６では、色差重み算出部２０６が、ＲＡＭ１０２に格納された画素ｐと画素ｒの画素値を用いて、画素ｐとの色差の違いに基づく重み係数ｗＣｂおよびｗＣｒを算出し、フィルタ演算部２０７に出力する。ｗＣｂおよびｗＣｒは以下の式で表わされる。 In step S306, the color difference weight calculation unit 206 calculates the weight coefficients w Cb and w Cr based on the difference in color difference from the pixel p using the pixel values of the pixel p and the pixel r stored in the RAM 102, and performs a filter operation. Output to the unit 207. w Cb and w Cr are represented by the following equations.
ここで、ＲＣｂ（ｐ）およびＲＣｂ（ｒ）はそれぞれ画素ｐおよび画素ｒの、ＹＣｂＣｒ色空間におけるＣｂの値を示している。また、ＲＣｒ（ｐ）およびＲＣｒ（ｒ）はそれぞれ画素ｐおよび画素ｒの、ＹＣｂＣｒ色空間におけるＣｒの値を示している。σＣｂおよびσＣｒはそれぞれ係数分布のＣｂチャネルとＣｒチャネルの強度方向への分散を表わすパラメータである。本実施例では、σＣｂ＝σＣｒ＝１５を設定している。これはσｙよりも小さい値であるが、このように色差に基づく重み係数の広がりを輝度に基づく重み係数の広がりよりも小さくすると、より真値に近い補正結果を得ることができる。これは、輝度と色差は同一画像内における画素間の相関が異なる統計に従っており、一般に色差チャネルの方が輝度チャネルよりも近傍画素間での画素値の分散が大きいことに由来する。このステップでは、色差重み算出部２０６が、ＲＡＭ１０２に格納された画素ｐおよび画素ｒの色差値を式（４）および式（５）に代入することによって色差重みｗＣｂおよびｗＣｒを算出する。 Here, R Cb (p) and R Cb (r) indicate the values of Cb in the YCbCr color space of the pixel p and the pixel r, respectively. R Cr (p) and R Cr (r) indicate the values of Cr in the YCbCr color space of the pixel p and the pixel r, respectively. σ Cb and σ Cr are parameters representing the dispersion of the coefficient distribution in the intensity direction of the Cb channel and the Cr channel, respectively. In this embodiment, σ Cb = σ Cr = 15 is set. Although this is a value smaller than σy, if the spread of the weighting factor based on the color difference is made smaller than the spread of the weighting factor based on the luminance, a correction result closer to the true value can be obtained. This is because luminance and color differences are in accordance with statistics in which the correlation between pixels in the same image is different, and in general, the color difference channel has a larger distribution of pixel values between neighboring pixels than the luminance channel. In this step, the color difference weight calculation unit 206 calculates the color difference weights w Cb and w Cr by substituting the color difference values of the pixels p and r stored in the RAM 102 into the equations (4) and (5).
ステップＳ３０７では、フィルタ演算部２０７が、全ての周辺画素について重みが決定されたかどうかを判定する。全ての周辺画素について重みが決定されたと判定された場合、ステップＳ３０９に進む。全ての周辺画素について重みが決定されていないと判定された場合、ステップＳ３０８に進む。 In step S307, the filter calculation unit 207 determines whether or not weights have been determined for all surrounding pixels. If it is determined that the weights have been determined for all the peripheral pixels, the process proceeds to step S309. If it is determined that the weight has not been determined for all peripheral pixels, the process proceeds to step S308.
ステップＳ３０８では、フィルタ演算部２０７が、ＲＡＭ１０２に格納された画素ｒを示す情報を更新し、ステップＳ３０３に戻る。ここで、画素ｒを示す情報は、周辺画素の間で変更されるものとする。 In step S308, the filter calculation unit 207 updates information indicating the pixel r stored in the RAM 102, and the process returns to step S303. Here, the information indicating the pixel r is changed between the peripheral pixels.
ステップＳ３０９では、フィルタ演算部２０７が、ＲＡＭ１０２に格納された画素ｐの画素値と、各周辺画素の重み関数および画素値に基づいて、画素ｐの補正後の画素値を算出し、画素値統合部２０８に出力する。画素ｐの補正後の画素値Ｊ（ｐ）は、以下の式で表わされる。 In step S309, the filter calculation unit 207 calculates the corrected pixel value of the pixel p based on the pixel value of the pixel p stored in the RAM 102, the weight function and the pixel value of each peripheral pixel, and integrates the pixel values. The data is output to the unit 208. The corrected pixel value J (p) of the pixel p is expressed by the following equation.
ここで、Ｉ（ｒ）は画素ｒの画素値である。このように、本実施例で行われるフィルタ処理で用いられる重みは、ステップＳ３０４〜Ｓ３０６で算出された複数の重み関数の積により決定される。つまり、注目画素からの距離に基づいて決定された重み関数である距離重みｓと、注目画素との輝度および色差の違いに基づいて決定された重み関数である輝度重みｗｙと色差重みｗＣｂおよびｗＣｒの積により決定される。このステップでは、フィルタ演算部２０７が、距離重み算出部２０４と、輝度重み算出部２０５と、色差重み算出部２０６とから出力された重み値と、ＲＡＭ１０２に格納された画素ｒの画素値を式６に代入することで、Ｊ（ｐ）を算出する。 Here, I (r) is the pixel value of the pixel r. Thus, the weight used in the filter processing performed in the present embodiment is determined by the product of a plurality of weight functions calculated in steps S304 to S306. In other words, a weighting function determined based on the distance from the target pixel distance weight s and a weighting function determined based on the difference in luminance and chrominance between the target pixel luminance weight w y and the color difference weighting w Cb And w Cr . In this step, the filter calculation unit 207 calculates the weight value output from the distance weight calculation unit 204, the luminance weight calculation unit 205, and the color difference weight calculation unit 206, and the pixel value of the pixel r stored in the RAM 102. By substituting into 6, J (p) is calculated.
ステップＳ３１０では、画素値統合部２０８が、全ての画素について補正後の画素値の算出が行われたかどうかを判定する。全ての画素について補正後の画素値の算出が行われたと判定された場合はステップＳ３１３に進む。全ての画素について補正後の画素値の算出が行われていないと判定された場合は、ステップＳ３１１に進む。 In step S310, the pixel value integration unit 208 determines whether or not the corrected pixel values have been calculated for all the pixels. If it is determined that the corrected pixel values have been calculated for all the pixels, the process proceeds to step S313. If it is determined that the pixel values after correction have not been calculated for all the pixels, the process proceeds to step S311.
ステップＳ３１１では、画素値統合部２０８が、ＲＡＭ１０２に格納された注目画素を示す情報を更新する。そして、ステップＳ３１２では、画素値統合部２０８が、ＲＡＭ１０２に格納された、注目画素からの相対的な座標を示す情報を、（−５，−５）に戻してステップＳ３０２に戻る。 In step S <b> 311, the pixel value integration unit 208 updates information indicating the target pixel stored in the RAM 102. In step S312, the pixel value integration unit 208 returns the information stored in the RAM 102 indicating the relative coordinates from the target pixel to (−5, −5) and returns to step S302.
ステップＳ３１３では、画素値統合部２０８が、フィルタ演算部２０７で算出された補正後の画素値を並べた、補正後の画像データを生成および出力して処理を終了する。 In step S313, the pixel value integration unit 208 generates and outputs corrected image data in which the corrected pixel values calculated by the filter calculation unit 207 are arranged, and ends the process.
以上の処理によると、参照画像の輝度および色差に基づいて平滑化フィルタにおける重み値を決定するので、エッジの鮮明さを残しつつ、高い精度で画像の平滑化処理を行うことができる。なお、本実施例において、注目画素を中心に１１×１１画素の範囲をフィルタ処理に用いる周辺画素としたが、フィルタ処理に用いる画素数はこの数に限られない。例えば参照画像内の全ての画素をフィルタ処理に用いるようにしてもよいし、各重み係数の分散に応じて変更してもよい。 According to the above processing, since the weight value in the smoothing filter is determined based on the luminance and color difference of the reference image, the image smoothing processing can be performed with high accuracy while maintaining the sharpness of the edge. In the present embodiment, the 11 × 11 pixel range centered on the target pixel is used as the peripheral pixel used for the filter processing. However, the number of pixels used for the filter processing is not limited to this number. For example, all the pixels in the reference image may be used for the filtering process, or may be changed according to the distribution of each weight coefficient.
なお、本実施例において、取得部２０１は、第一の画像と、前記第一の画像と同一のシーンに対応する第二の画像とを取得する取得手段として機能した。また、輝度重み算出部２０５および色差重み算出部２０６は、前記第二の画像の画素値に基づく複数のパラメータを用いて、前記第一の画像の各画素の重みを決定する決定手段として機能した。また、フィルタ演算部２０７は、前記第一の画像において、注目画素の画素値を、前記注目画素を含む複数の画素の画素値と、前記決定手段によって決定された重みとに基づいて置き換えるフィルタ処理を施す処理手段として機能した。 In this embodiment, the acquisition unit 201 functions as an acquisition unit that acquires a first image and a second image corresponding to the same scene as the first image. In addition, the luminance weight calculation unit 205 and the color difference weight calculation unit 206 function as a determination unit that determines the weight of each pixel of the first image using a plurality of parameters based on the pixel values of the second image. . Further, the filter operation unit 207 replaces the pixel value of the target pixel in the first image based on the pixel values of a plurality of pixels including the target pixel and the weight determined by the determination unit. Functioned as a processing means.
＜実施例２＞
本実施例では、平滑化フィルタにおける距離重みを、参照画像データの画素値を微分した微分画像に基づいて決定する場合について述べる。以下、本実施例の画像処理装置１００における処理を、図４に示すブロック図と、図５に示すフローチャートを用いて説明する。図４は、本実施例における画像処理装置１００の処理ブロック図である。本実施例では、ＣＰＵ１０１がＲＯＭ１０３に格納された図５のフローチャートに示すプログラムを実行することにより、図４に記載の各ブロックとして機能する。もちろん、全ての処理ブロックの機能をＣＰＵ１０１が有していなくてもよく、各処理ブロックに対応する処理回路を画像処理装置１００内に新たに設けるようにしてもよい。なお、実施例１と同じ処理については、同様の符号を付して説明を省略する。
<Example 2>
In the present embodiment, a case will be described in which the distance weight in the smoothing filter is determined based on a differential image obtained by differentiating the pixel value of the reference image data. Hereinafter, processing in the image processing apparatus 100 of the present embodiment will be described with reference to a block diagram shown in FIG. 4 and a flowchart shown in FIG. FIG. 4 is a processing block diagram of the image processing apparatus 100 in the present embodiment. In this embodiment, the CPU 101 functions as each block shown in FIG. 4 by executing the program shown in the flowchart of FIG. 5 stored in the ROM 103. Of course, the CPU 101 may not have the functions of all the processing blocks, and a processing circuit corresponding to each processing block may be newly provided in the image processing apparatus 100. In addition, about the same process as Example 1, the same code | symbol is attached and description is abbreviate | omitted.
ステップＳ５０１では、微分画像生成部４０１が、取得部２０１から取得した参照画像データの画素値を微分した、微分画像データを生成し、距離重み算出部２０４に出力する。本実施例においては、参照画像データが有するＹチャネル、Ｃｂチャネル、Ｃｒチャネルのそれぞれについて微分画像データを生成する。画像の微分演算としては、隣接画素間の単純差分、Ｓｏｂｅｌフィルタ、ラプラシアンフィルタなどの公知の技術を用いることができる。 In step S <b> 501, the differential image generation unit 401 generates differential image data obtained by differentiating the pixel values of the reference image data acquired from the acquisition unit 201, and outputs the differential image data to the distance weight calculation unit 204. In this embodiment, differential image data is generated for each of the Y channel, Cb channel, and Cr channel included in the reference image data. As the differential operation of the image, a known technique such as a simple difference between adjacent pixels, a Sobel filter, a Laplacian filter, or the like can be used.
ステップＳ５０２では、距離重み算出部２０４が、ステップＳ５０１で生成された微分画像データに基づいて、チャネルごとの距離重みｓｊを決定し、フィルタ演算部２０７に出力する。ｓｊは以下の式で表わされる。 In step S502, the distance weight calculation unit 204 determines the distance weight s j for each channel based on the differential image data generated in step S501 and outputs the distance weight s j to the filter calculation unit 207. s j is expressed by the following equation.
ここで、αｊおよびβｊは任意の実定数であり、αｊは距離重みｓｊの注目画素からの広がりを規定する定数、βｊは距離重みｓｊの最小値を規定する定数である。本実施例において、αｊは一律で２５に設定されているが、他の値を用いるようにしてもよい。例えば、実施例１のように、ＣｂチャネルおよびＣｒチャネルのαの値をＹチャネルのαの値よりも小さくしてもよい。また、βｊは、本実施例では一律で１に設定されているが、例えば微分値が最大の画素にも重みを持たせたい場合などは、１よりも大きな数を用いることができる。Ｇｊ（ｐ）は、チャネルｊの画素値について微分した微分画像の画素ｐにおける画素値であり、本実施例ではＧｊ（ｐ）は最大値が１になるように規格化されている。式（８）に示すように、Ｇｊ（ｐ）が大きくなるほどσｓｊは小さくなる。すなわち、注目画素ｐが、Ｇｊ（ｐ）が大きくなるエッジ上に存在する場合、距離重みｓｊが示す重み関数は注目画素を中心により急峻になるため、注目画素から離れた画素の影響を受けにくくなり、エッジの鮮明さが保たれるようになる。このステップでは、距離重み算出部２０４が、ＲＡＭ１０２に格納された画素ｐおよび画素ｒの座標と、微分画像生成部４０１から出力された微分画像の画素値を式（８）に代入し、それによって得られたσｓｊを式（７）に代入することによって距離重みｓｊを算出する。 Here, α j and β j are arbitrary real constants, α j is a constant that defines the spread of the distance weight s j from the target pixel, and β j is a constant that defines the minimum value of the distance weight s j. . In this embodiment, α j is uniformly set to 25, but other values may be used. For example, as in the first embodiment, the α value of the Cb channel and the Cr channel may be smaller than the α value of the Y channel. In addition, β j is uniformly set to 1 in this embodiment, but a number larger than 1 can be used, for example, when it is desired to give weight to a pixel having the largest differential value. G j (p) is the pixel value at the pixel p of the differential image differentiated with respect to the pixel value of the channel j. In this embodiment, G j (p) is standardized so that the maximum value is 1. As shown in Expression (8), σ sj decreases as G j (p) increases. That is, when the target pixel p exists on an edge where G j (p) increases, the weight function indicated by the distance weight s j becomes steeper from the center of the target pixel. It becomes hard to receive and the sharpness of the edge is maintained. In this step, the distance weight calculation unit 204 substitutes the coordinates of the pixel p and the pixel r stored in the RAM 102 and the pixel value of the differential image output from the differential image generation unit 401 into the equation (8), thereby The distance weight s j is calculated by substituting the obtained σ sj into the equation (7).
ステップＳ５０３では、フィルタ演算部２０７が、ステップＳ３０９と同様に、ＲＡＭ１０２に格納された注目画素の画素値と、各周辺画素の重み関数および画素値に基づいて、注目画素の補正後の画素値を算出し、画素値統合部２０８に出力する。このステップで計算される注目画素の補正後の画素値Ｊ（ｐ）は、実施例１とは異なり、以下の式で表わされる。 In step S503, the filter calculation unit 207 calculates the corrected pixel value of the target pixel based on the pixel value of the target pixel stored in the RAM 102, the weight function and the pixel value of each peripheral pixel, as in step S309. Calculate and output to the pixel value integration unit 208. Unlike the first embodiment, the corrected pixel value J (p) of the target pixel calculated in this step is represented by the following equation.
ｓｙ（ｐ，ｒ）ｓＣｂ（ｐ，ｒ）ｓＣｒ（ｐ，ｒ）は、それぞれ参照画像データのＹチャネルＣｂチャネル、Ｃｒチャネルの微分画像から求められた距離重みである。このステップでは、フィルタ演算部２０７が、距離重み算出部２０４と、輝度重み算出部２０５と、色差重み算出部２０６とから出力された重み値と、ＲＡＭ１０２に格納された画素ｒの画素値を式（９）に代入することで、Ｊ（ｐ）を算出する。 s y (p, r) s Cb (p, r) s Cr (p, r) are distance weights obtained from the Y channel Cb channel and Cr channel differential images of the reference image data, respectively. In this step, the filter calculation unit 207 calculates the weight value output from the distance weight calculation unit 204, the luminance weight calculation unit 205, and the color difference weight calculation unit 206, and the pixel value of the pixel r stored in the RAM 102. By substituting in (9), J (p) is calculated.
以上が本実施例における処理である。以上の処理によれば、参照画像の画素値の微分値に基づいて入力画像に平滑化フィルタをかけるので、よりエッジが鮮明な補正画像を得ることができる。 The above is the processing in this embodiment. According to the above processing, since the smoothing filter is applied to the input image based on the differential value of the pixel value of the reference image, a corrected image with clearer edges can be obtained.
なお、本実施例において、取得部２０１は、第一の画像と、前記第一の画像と同一のシーンに対応する第二の画像とを取得する取得手段として機能した。また、距離重み算出部２０４と、輝度重み算出部２０５および色差重み算出部２０６は、前記第二の画像の画素値に基づく複数のパラメータを用いて、前記第一の画像の各画素の重みを決定する決定手段として機能した。また、フィルタ演算部２０７は、前記第一の画像において、注目画素の画素値を、前記注目画素を含む複数の画素の画素値と、前記決定手段によって決定された重みとに基づいて置き換えるフィルタ処理を施す処理手段として機能した。 In this embodiment, the acquisition unit 201 functions as an acquisition unit that acquires a first image and a second image corresponding to the same scene as the first image. Further, the distance weight calculation unit 204, the luminance weight calculation unit 205, and the color difference weight calculation unit 206 calculate the weight of each pixel of the first image using a plurality of parameters based on the pixel value of the second image. Served as a decision means to decide. Further, the filter operation unit 207 replaces the pixel value of the target pixel in the first image based on the pixel values of a plurality of pixels including the target pixel and the weight determined by the determination unit. Functioned as a processing means.
＜実施例３＞
上記の実施例では、複数の画素の画素値の加重平均により、注目画素の画素値を置き換えるフィルタ処理について述べたが、本実施例では、各画素について求められた重み値を用いて、加重平均以外の方法で補正後の画素値を求める方法について述べる。
<Example 3>
In the above embodiment, the filter processing for replacing the pixel value of the target pixel by the weighted average of the pixel values of a plurality of pixels has been described. However, in this embodiment, the weighted average is calculated using the weight value obtained for each pixel. A method for obtaining a corrected pixel value by a method other than the above will be described.
本実施例の画像処理装置１００の構成および処理は、基本的には実施例１の画像処理装置１００の構成および処理と同じであるが、ステップＳ３０９で行われる計算だけが異なる。そこで、ここではステップＳ３０９で行われる処理の違いについて述べる。本実施例では、ステップＳ３０９において、複数の画素の画素値の加重平均を行うのではなく、加重メディアンフィルタによる処理を行う。本実施例で計算される注目画素の補正後の画素値Ｊ（ｐ）は以下の式で表わされる。 The configuration and processing of the image processing apparatus 100 according to the present embodiment are basically the same as the configuration and processing of the image processing apparatus 100 according to the first embodiment, but only the calculation performed in step S309 is different. Therefore, here, the difference in processing performed in step S309 will be described. In this embodiment, in step S309, a weighted median filter is used instead of performing a weighted average of pixel values of a plurality of pixels. The pixel value J (p) after correction of the target pixel calculated in the present embodiment is expressed by the following equation.
ここで、ｍｅｄｉａｎは引数の配列の中央値を返すメディアンフィルタ、◇は左側の数値を右側の数だけ多重化する（繰り返す）演算子、ＩＮＴは引数を正の整数に丸める演算子である。また、ｗ（ｐ，ｒ）はｗｙ（ｐ，ｒ）とｗＣｂ（ｐ，ｒ）とｗＣｒ（ｐ，ｒ）の積であり、ｒ１，ｒ２，．．．は周辺画素それぞれの座標を表す。本実施例では、フィルタ演算部２０７が、距離重み算出部２０４と、輝度重み算出部２０５と、色差重み算出部２０６とから出力された重み値と、ＲＡＭ１０２に格納された画素ｒの画素値を式１０に代入することで、Ｊ（ｐ）を算出する。このように、複数の画素値の線型変換以外の処理についても、本発明は適用可能である。 Here, median is a median filter that returns the median of the argument array, ◇ is an operator that multiplexes (repeats) the left numerical value by the right number, and INT is an operator that rounds the argument to a positive integer. Further, w (p, r) is the product of w y (p, r) and w Cb (p, r) and w Cr (p, r), r1, r2 ,. . . Represents the coordinates of each peripheral pixel. In the present embodiment, the filter calculation unit 207 calculates the weight value output from the distance weight calculation unit 204, the luminance weight calculation unit 205, and the color difference weight calculation unit 206, and the pixel value of the pixel r stored in the RAM 102. By substituting into Equation 10, J (p) is calculated. Thus, the present invention can be applied to processing other than linear conversion of a plurality of pixel values.
なお、本実施例において、取得部２０１は、第一の画像と、前記第一の画像と同一のシーンに対応する第二の画像とを取得する取得手段として機能した。また、距離重み算出部２０４と、輝度重み算出部２０５および色差重み算出部２０６は、前記第二の画像の画素値に基づく複数のパラメータを用いて、前記第一の画像の各画素の重みを決定する決定手段として機能した。また、フィルタ演算部２０７は、前記第一の画像において、注目画素の画素値を、前記注目画素を含む複数の画素の画素値と、前記決定手段によって決定された重みとに基づいて置き換えるフィルタ処理を施す処理手段として機能した。 In this embodiment, the acquisition unit 201 functions as an acquisition unit that acquires a first image and a second image corresponding to the same scene as the first image. Further, the distance weight calculation unit 204, the luminance weight calculation unit 205, and the color difference weight calculation unit 206 calculate the weight of each pixel of the first image using a plurality of parameters based on the pixel value of the second image. Served as a decision means to decide. Further, the filter operation unit 207 replaces the pixel value of the target pixel in the first image based on the pixel values of a plurality of pixels including the target pixel and the weight determined by the determination unit. Functioned as a processing means.
＜その他の実施例＞
なお、本発明の実施形態は上記の実施例に限られず、様々な形態をとることが可能である。例えば、上記の実施例では、参照画像のＹＣｂＣｒ空間における輝度値Ｙと色差ＣｂおよびＣｒに基づいて決定した重み値を用いて平滑化フィルタをかけるたが、参照画像から得られた他のパラメータに基づいて決定された重み値を用いてもよい。例えば、ＲＧＢ空間のＲ、ＧおよびＢの画素値を用いてもよいし、Ｌａｂ空間のＬ、ａ、ｂの画素値を用いてもよい。また、各色空間の３つの画素値のうち２つだけを選択して用いてもよいし、例えば輝度値Ｙと輝度値の微分値Ｙ’など、同じチャネルの画素値から取得された異なるパラメータを併用するようにしてもよい。つまり、参照画像の画素値から求められた一つのパラメータだけで重みを決定するのではなく、参照画像の画素値から求められた複数のパラメータに基づいて重みを決定するのであればよい。また、本明細書における輝度は各画素の明るさを示す他の値に置き換えることができ、ＹＣｂＣｒ空間のＹだけではなくＬａｂ空間のＬの値やＨＳＶ色空間のＶの値などを用いることができる。また、本明細書における色差は、各画素の色彩を示す他の値に置き換えることができ、ＹＣｂＣｒ空間のＣｂおよびＣｒだけではなく、Ｌａｂ空間のａおよびｂや、ＨＳＶ空間のＨおよびＳなど様々なものを用いることができる。
<Other examples>
The embodiment of the present invention is not limited to the above-described embodiment, and can take various forms. For example, in the above embodiment, the smoothing filter is applied using the weight value determined based on the luminance value Y and the color differences Cb and Cr in the YCbCr space of the reference image. However, other parameters obtained from the reference image are applied to other parameters. You may use the weight value determined based on. For example, R, G, and B pixel values in the RGB space may be used, and L, a, and b pixel values in the Lab space may be used. Alternatively, only two of the three pixel values in each color space may be selected and used. For example, different parameters acquired from pixel values of the same channel, such as the luminance value Y and the differential value Y ′ of the luminance value, may be used. You may make it use together. That is, instead of determining the weight based on only one parameter obtained from the pixel value of the reference image, the weight may be determined based on a plurality of parameters obtained from the pixel value of the reference image. In addition, the luminance in this specification can be replaced with other values indicating the brightness of each pixel, and not only Y in the YCbCr space but also L value in the Lab space, V value in the HSV color space, or the like can be used. it can. In addition, the color difference in this specification can be replaced with other values indicating the color of each pixel. Not only Cb and Cr in the YCbCr space but also a and b in the Lab space, and H and S in the HSV space. Can be used.
また、本発明を適用する入力画像と参照画像は、距離マップおよびその距離マップと同じシーンに対応するカラー画像のみに限られず、様々な画像について適用可能である。例えば、入力画像を複数の異なる視点から撮像された画像にステレオ法を適用することで取得された距離マップとして、参照画像をＴｉｍｅ Ｏｆ Ｆｌｉｇｈｔ法を用いて取得された距離マップとしてもよい。また、参照画像を、距離マップに付随して得られる信頼度画像としてもよい。信頼度画像とは、各画素における被写体距離の確からしさの指標である信頼度を並べた画像である。また、入力画像と参照画像の両方をカラー画像としてもよい。また、同じシーンに対応する画像は、上記実施例のように、各画素がもう一方の画像において同じ画素位置に存在する画素と同じ被写体に対応する画像ではなくてもよい。例えば、各画像の間の各画素の対応関係が分かっており、同じ被写体を含む画像の組であればよい。 Further, the input image and the reference image to which the present invention is applied are not limited to the distance map and the color image corresponding to the same scene as the distance map, and can be applied to various images. For example, the input image may be a distance map acquired by applying the stereo method to images captured from a plurality of different viewpoints, and the reference image may be a distance map acquired using the Time Of Flight method. Further, the reference image may be a reliability image obtained along with the distance map. The reliability image is an image in which reliability that is an index of the probability of subject distance in each pixel is arranged. Further, both the input image and the reference image may be color images. In addition, the image corresponding to the same scene may not be an image corresponding to the same subject as the pixel in which each pixel is located at the same pixel position in the other image as in the above embodiment. For example, the correspondence relationship of each pixel between each image is known, and a set of images including the same subject may be used.
また、実施例２において、各チャネルについて距離重みｓｊを決定したが、各チャネルの微分画像全てを考慮した１つの距離重みｓｊを決定してもよい。その場合、σｓは以下の式で表わされる。 Further, in Example 2, was determined distance weight s j for each channel may determine one distance weight sj considering all differential image of each channel. In that case, σ s is expressed by the following equation.
なお、本発明は例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。また、複数の機器から構成されるシステムに適用してもよいし、一つの機器からなる装置に適用してもよい。また、本発明は、上述した実施例の機能（例えば、上記のフローチャートにより示される工程）を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても実現できる。この場合、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が、コンピュータが読み取り可能に記憶媒体に格納されたプログラムコードを読み出し実行することにより、上述した実施例の機能を実現する。また、プログラムは、１つのコンピュータで実行させても、複数のコンピュータを連動させて実行させるようにしてもよい。 Note that the present invention can take the form of, for example, a system, apparatus, method, program, or storage medium. Further, the present invention may be applied to a system composed of a plurality of devices, or may be applied to an apparatus composed of one device. The present invention can also be realized by supplying a storage medium storing a program code of software for realizing the functions of the above-described embodiments (for example, the steps shown in the above flowchart) to a system or apparatus. In this case, the functions of the above-described embodiments are realized by the computer (or CPU or MPU) of the system or apparatus reading and executing the program code stored in the storage medium so that the computer can read the program code. Further, the program may be executed by one computer or may be executed in conjunction with a plurality of computers.
１００ 画像処理装置
１０１ ＣＰＵ
１０２ ＲＡＭ
１０３ ＲＯＭ
２０１ 取得部
２０４ 距離重み算出部
２０５ 輝度重み算出部
２０６ 色差重み算出部
２０７ フィルタ演算部
100 Image processing apparatus 101 CPU
102 RAM
103 ROM
DESCRIPTION OF SYMBOLS 201 Acquisition part 204 Distance weight calculation part 205 Luminance weight calculation part 206 Color difference weight calculation part 207 Filter calculation part
Claims (15)
前記第二の画像の画素値に基づく複数のパラメータを用いて、前記第一の画像の各画素の重みを決定する決定手段と、
前記第一の画像において、注目画素の画素値を、前記注目画素を含む複数の画素の画素値と、前記決定手段によって決定された重みとに基づいて置き換えるフィルタ処理を施す処理手段とを備えることを特徴とする画像処理装置。 Obtaining means for obtaining a first image and a second image corresponding to the same scene as the first image;
Determining means for determining the weight of each pixel of the first image using a plurality of parameters based on the pixel values of the second image;
The first image includes processing means for performing filter processing for replacing the pixel value of the target pixel based on the pixel values of a plurality of pixels including the target pixel and the weight determined by the determination means. An image processing apparatus.
前記決定手段は、前記加重平均における重みを決定することを特徴とする請求項１に記載の画像処理装置。 The filtering process is a process of replacing the pixel value of the target pixel with a weighted average of pixel values of a plurality of pixels including the target pixel,
The image processing apparatus according to claim 1, wherein the determination unit determines a weight in the weighted average.
前記決定手段は、前記画素値の選択に用いる重みを決定することを特徴とする請求項１に記載の画像処理装置。 The filtering process selects one of the pixel values of the plurality of pixels including the target pixel based on the weight determined for each of the plurality of pixels including the target pixel, and sets the pixel value of the target pixel. A process of replacing with the selected pixel value,
The image processing apparatus according to claim 1, wherein the determining unit determines a weight used for selecting the pixel value.
前記決定手段は、前記明るさを示す値に基づくパラメータおよび前記色彩を示す値に基づくパラメータを用いて前記重みを決定することを特徴とする請求項６に記載の画像処理装置。 The plurality of parameters include a parameter based on a value indicating the brightness of the pixel of the second image, and a parameter based on a value indicating the color of the pixel of the second image,
The image processing apparatus according to claim 6, wherein the determination unit determines the weight using a parameter based on a value indicating the brightness and a parameter based on a value indicating the color.
前記複数の画素の重みは、前記第一の重み関数と前記第二の重み関数の両方に基づいて決定されることを特徴とする請求項７又は８に記載の画像処理装置。 The determining means determines a first weight function for determining the weight of the pixel based on a value indicating the brightness of the pixel of the second image, and sets the value indicating the color of the pixel of the second image. Based on the second weight, the variance centered around the value indicating the color of the pixel of interest is smaller than the variance centered around the value indicating the brightness of the pixel of interest of the first weight function Determine the function,
The image processing apparatus according to claim 7, wherein the weights of the plurality of pixels are determined based on both the first weight function and the second weight function.
前記決定手段は、前記微分値に基づくパラメータを用いて前記重みを決定することを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。 The plurality of parameters include a parameter based on a differential value of a pixel value of the second image,
The image processing apparatus according to claim 1, wherein the determination unit determines the weight using a parameter based on the differential value.
前記第二の画像の画素値に基づいて取得された複数のパラメータに基づいて、前記第一の画像の各画素の重みを決定するステップと、
前記第一の画像において、注目画素の画素値を、前記注目画素を含む複数の画素の画素値と、前記決定するステップにおいてに決定された重みとに基づいて置き換えるフィルタ処理を施すステップとを含むことを特徴とする画像処理方法。 Obtaining a first image and a second image corresponding to the same scene as the first image;
Determining a weight of each pixel of the first image based on a plurality of parameters obtained based on a pixel value of the second image;
Applying a filter process for replacing the pixel value of the target pixel in the first image based on the pixel values of a plurality of pixels including the target pixel and the weight determined in the determining step. An image processing method.
A program for causing a computer to function as each unit of the image processing apparatus according to any one of claims 1 to 13.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013262755A JP2015118611A (en) | 2013-12-19 | 2013-12-19 | Image processor, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013262755A JP2015118611A (en) | 2013-12-19 | 2013-12-19 | Image processor, image processing method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015118611A true JP2015118611A (en) | 2015-06-25 |
Family
ID=53531251
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013262755A Pending JP2015118611A (en) | 2013-12-19 | 2013-12-19 | Image processor, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015118611A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017011653A (en) * | 2015-06-26 | 2017-01-12 | キヤノン株式会社 | Image processing device, imaging apparatus, image processing method and program |
| CN110660031A (en) * | 2019-09-19 | 2020-01-07 | 广州酷狗计算机科技有限公司 | Image sharpening method and device and storage medium |
-
2013
- 2013-12-19 JP JP2013262755A patent/JP2015118611A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017011653A (en) * | 2015-06-26 | 2017-01-12 | キヤノン株式会社 | Image processing device, imaging apparatus, image processing method and program |
| CN110660031A (en) * | 2019-09-19 | 2020-01-07 | 广州酷狗计算机科技有限公司 | Image sharpening method and device and storage medium |
| CN110660031B (en) * | 2019-09-19 | 2023-12-05 | 广州酷狗计算机科技有限公司 | Image sharpening method and device and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6579868B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| CN108694703B (en) | Method and apparatus for refining depth image | |
| JP6282095B2 (en) | Image processing apparatus, image processing method, and program. | |
| US20150278996A1 (en) | Image processing apparatus, method, and medium for generating color image data | |
| US20170206690A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| US10145790B2 (en) | Image processing apparatus, image processing method, image capturing device and storage medium | |
| CN106251365A (en) | Many exposure video fusion method and device | |
| JP5653104B2 (en) | Image processing apparatus, image processing method, and program | |
| US20140293076A1 (en) | Image pickup apparatus, image processing system, image pickup system, image processing method, and non-transitory computer-readable storage medium | |
| US9292732B2 (en) | Image processing apparatus, image processing method and computer program product | |
| JP2017021759A (en) | Image processor, image processing method and program | |
| US20200143582A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP2018045396A (en) | Image processing apparatus, image processing method, and program | |
| US9053552B2 (en) | Image processing apparatus, image processing method and non-transitory computer readable medium | |
| JP2017085570A (en) | Image correction method and image correction device | |
| JP2015118611A (en) | Image processor, image processing method, and program | |
| US20230274398A1 (en) | Image processing apparatus for reducing influence of fine particle in an image, control method of same, and non-transitory computer-readable storage medium | |
| US11580620B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable medium | |
| JP2019045981A (en) | Image processing apparatus, image processing method, and program | |
| JP6494817B2 (en) | Image processing apparatus, image processing method, and program. | |
| JP5889383B2 (en) | Image processing apparatus and image processing method | |
| JP2015156189A (en) | image evaluation device, and image evaluation program | |
| JP2008147714A (en) | Image processor and image processing method | |
| US20240177281A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
| JP2017034376A (en) | Image processor, image processing method, and computer program |