JP2009010847A - Color component interpolation apparatus, and method thereof - Google Patents

Color component interpolation apparatus, and method thereof Download PDF

Info

Publication number
JP2009010847A
JP2009010847A JP2007172097A JP2007172097A JP2009010847A JP 2009010847 A JP2009010847 A JP 2009010847A JP 2007172097 A JP2007172097 A JP 2007172097A JP 2007172097 A JP2007172097 A JP 2007172097A JP 2009010847 A JP2009010847 A JP 2009010847A
Authority
JP
Japan
Prior art keywords
color component
color
pixel
weight
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007172097A
Other languages
Japanese (ja)
Inventor
Kenzo Isogawa
賢造 五十川
Sunao Mishima
直 三島
Takeshi Ito
伊藤  剛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2007172097A priority Critical patent/JP2009010847A/en
Publication of JP2009010847A publication Critical patent/JP2009010847A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Optical Filters (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a color component interpolation apparatus which prevents color slippage to flexibly deal with a pixel array change or color filter change and to also deal with digital zooming. <P>SOLUTION: A color component interpolation apparatus includes: an image pickup data input section 101 for capturing image pickup data consisting of positions, colors and a signal amount of a plurality of pixels constituting an imaging element; a parameter estimation section 102 for estimating parameters of two or more color component functions with a matched derived function from the image pickup data; and a color component estimation section 103 for determining color components at respective points using the color component functions, wherein at least one unknown parameter of the color component functions is estimated from the image pickup data of a pixel at an attention position and the image pickup data of a plurality of pixels around the attention position in such a manner as to match derived functions of the color component functions with each other for each color component, and the color component function for each color component and the estimated parameter for each color component are used to estimate a signal amount of the missed color component at the attention position. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、デジタルカメラなどに用いられる色成分補間装置及びその方法に関する。   The present invention relates to a color component interpolation apparatus and method used for a digital camera or the like.

小型デジタルカメラは撮像素子を一つに絞り、素子の各画素に例えば図7に示すベイヤー配列のようなカラーフィルタを付与して撮像データを得ている。この撮像データは点毎に一つの色情報しか保持されていないため、近傍の点の色成分を補間して欠けた色情報を補うことでカラー画像を生成するデモザイキング処理が必要となる。   A small digital camera obtains image data by narrowing the image sensor to one and applying a color filter such as a Bayer array shown in FIG. 7 to each pixel of the element. Since this imaging data holds only one color information for each point, a demosaicing process for generating a color image by interpolating the color components of neighboring points to compensate for the missing color information is necessary.

特許文献1に開示されているデモザイキング方法は、出力画像の色成分に相関を持たせることで色ずれを抑えている。   The demosaicing method disclosed in Patent Document 1 suppresses color misregistration by correlating the color components of the output image.

しかし、Bayer配列専用の方法であり、例えば特許文献2に開示されているようなカラーフィルタ(図8参照)の撮像データに対応することはできない。   However, this is a method dedicated to the Bayer array, and cannot cope with image data of a color filter (see FIG. 8) as disclosed in Patent Document 2, for example.

また、この方法は撮像素子の画素が存在する点での色成分しか推定できず、例えば図9及び図10のような撮像素子から正方格子状に画素が配置されたカラー画像を得る場合、すなわち一種のデジタルズームが必要場合にも対応できない。   In addition, this method can only estimate the color component at the point where the pixel of the image sensor is present. For example, when obtaining a color image in which pixels are arranged in a square lattice from the image sensor as shown in FIGS. It can't cope with a kind of digital zoom.

一方、非特許文献1に開示されている補間方法は、画素配置が変更されても、その配置に対応した補間用のフィルタを簡単に得ることができる。   On the other hand, the interpolation method disclosed in Non-Patent Document 1 can easily obtain an interpolation filter corresponding to the arrangement even if the pixel arrangement is changed.

しかし、複数の色成分を持つ画像にはそのまま適用することはできない。この方法は色成分毎に適用することでカラー画像を生成できるが、色成分毎のエッジの位置を合わせることができず、色ずれが発生する。
米国特許第5629734号公報 特開2006−211631公報 H. Takeda et al., ”Kernel Regression for Image Processing and Reconstruction,”Trans. on IP, Vol.16, No.2,2007
However, it cannot be applied as it is to an image having a plurality of color components. Although this method can be applied to each color component to generate a color image, the position of the edge for each color component cannot be aligned, and color misregistration occurs.
US Pat. No. 5,629,734 JP 2006-211631 A H. Takeda et al., “Kernel Regression for Image Processing and Reconstruction,” Trans. On IP, Vol.16, No.2,2007

上記したように、従来のデモザイキング方法には、次の問題点がある。   As described above, the conventional demosaicing method has the following problems.

第1の問題点は、画素配列の変更やカラーフィルタの変更に柔軟に対処できない。   The first problem cannot flexibly cope with a change in pixel arrangement or a change in color filter.

第2の問題点は、画素の隙間の色成分を推定できない。   The second problem is that the color component of the pixel gap cannot be estimated.

第3の問題点は、従来の補間方法を色成分に個別に適用すると、色ずれが生じる。   A third problem is that when a conventional interpolation method is individually applied to color components, color misregistration occurs.

そこで本発明は、上記問題点を解決するためになされたものであって、色ずれを抑え、画素配列の変更やカラーフィルタの変更に柔軟に対応し、デジタルズームにも対応できるようにした色成分補間装置及びその方法を提供することを目的とする。   Accordingly, the present invention has been made to solve the above-described problems, and is a color component that suppresses color misregistration, flexibly responds to changes in pixel arrangement and color filters, and is compatible with digital zoom. It is an object of the present invention to provide an interpolation apparatus and method.

本発明は、各画素の撮像素子上での位置を示す画素位置、前記各画素の色及び前記各画素の信号量を有する撮像データを取得する撮像データ入力部と、前記撮像素子上の任意の注目位置での複数の色のそれぞれの信号量を推定するための複数の色成分関数のそれぞれのパラメータを、前記複数の色成分関数の導関数が互いに類似するように、前記注目位置の周囲にある複数の画素の撮像データを用いて推定するパラメータ推定部と、前記色成分関数と前記パラメータとを用いて、前記注目位置における任意の色の信号量を推定する色成分推定部と、を備える色成分補間装置である。   The present invention relates to an image data input unit that acquires image data having a pixel position indicating a position of each pixel on the image sensor, a color of each pixel, and a signal amount of each pixel, and an arbitrary image on the image sensor. The respective parameters of the plurality of color component functions for estimating the signal amounts of the plurality of colors at the position of interest are arranged around the position of interest so that the derivatives of the plurality of color component functions are similar to each other. A parameter estimation unit that estimates using imaging data of a plurality of pixels; and a color component estimation unit that estimates a signal amount of an arbitrary color at the target position using the color component function and the parameter. This is a color component interpolation device.

本発明によれば、出力画像の色ずれを抑えることができ、画素配列の変更やカラーフィルタの変更に柔軟に対応でき、デジタルズームに対応することも可能となる。   According to the present invention, the color shift of the output image can be suppressed, it is possible to flexibly cope with the change in the pixel arrangement and the change in the color filter, and it is also possible to deal with the digital zoom.

以下、本発明の実施形態の色成分補間装置100について図面に基づいて説明する。   Hereinafter, a color component interpolation apparatus 100 according to an embodiment of the present invention will be described with reference to the drawings.

(第1の実施形態)
以下、本発明の第1の実施形態の色成分補間装置100について図1〜図2、図11、図12に基づいて説明する。
(First embodiment)
The color component interpolation apparatus 100 according to the first embodiment of the present invention will be described below with reference to FIGS. 1 to 2, 11, and 12.

(1)色成分補間装置100の構成
図1は、本実施形態に係わる色成分補間装置100を示すブロック図である。
(1) Configuration of Color Component Interpolation Device 100 FIG. 1 is a block diagram showing a color component interpolation device 100 according to this embodiment.

色成分補間装置100は、単板式の撮像素子をなす複数の画素の位置と色と信号量の組み合わせからなる撮像データを取得する撮像データ入力部101と、撮像データから導関数が一致する2つ以上の色成分関数のパラメータを推定するパラメータ推定部102と、色成分関数を用いて各点の色成分を求める色成分推定部103とを備えている。   The color component interpolation apparatus 100 includes an imaging data input unit 101 that acquires imaging data composed of a combination of positions, colors, and signal amounts of a plurality of pixels that form a single-plate imaging device, and two that have derivatives that match the imaging data. A parameter estimation unit 102 that estimates the parameters of the above color component function and a color component estimation unit 103 that obtains a color component at each point using the color component function are provided.

この色成分補間装置100は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、コンピュータ搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、色成分補間装置100は、上記のプログラムをコンピュータに予めインストールすることで実現してもよいし、CD−ROMなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータに適宜インストールすることで実現してもよい。また、コンピュータに内蔵あるいは外付けされたメモリ、ハードディスクもしくはCD−R、CD−RW、DVD−RAM、DVD−Rなどの記憶媒体などを適宜利用して実現することができる。   The color component interpolation apparatus 100 can also be realized by using, for example, a general-purpose computer apparatus as basic hardware. That is, it can be realized by causing a processor mounted on a computer to execute a program. At this time, the color component interpolation apparatus 100 may be realized by installing the above program in a computer in advance, or may be stored in a storage medium such as a CD-ROM, or distributed through the network. Then, this program may be realized by appropriately installing it in a computer. Further, it can be realized by appropriately using a memory, a hard disk or a storage medium such as a CD-R, a CD-RW, a DVD-RAM, a DVD-R, or the like built in or externally installed in a computer.

(2)色成分補間装置100の動作
次に、図1及び図2を用いて、本実施形態に係わる色成分補間装置100の動作について説明する。なお、図2は、本実施形態に係わる色成分補間装置100の動作を示すフローチャートである。
(2) Operation of Color Component Interpolation Device 100 Next, the operation of the color component interpolation device 100 according to the present embodiment will be described using FIG. 1 and FIG. FIG. 2 is a flowchart showing the operation of the color component interpolation apparatus 100 according to this embodiment.

本実施形態では、Bayer配列(図7参照)をデモザイキング処理する方法を説明する。カラーフィルタの変更に対処する方法は後述する。   In the present embodiment, a method for demosaicing the Bayer array (see FIG. 7) will be described. A method for coping with the change of the color filter will be described later.

(2−1)変数の定義
以後の説明のため、変数を定義する。
(2-1) Definition of variables Variables are defined for the following explanation.

まず、単板式の撮像素子上の点を表すためx軸とy軸からなる平面を定義する。   First, in order to represent a point on a single-plate image sensor, a plane composed of an x-axis and a y-axis is defined.

この平面上で、色成分(すなわち、色)を推定したい注目位置の点をp*=(x*,y*)(但し、i=0,..,Mである)と表記する。 On this plane, the point of the target position for which the color component (that is, color) is to be estimated is expressed as p i * = (x i *, y i *) (where i = 0,..., M). .

色成分の推定に用いる画素をp=(x,y)(但し、i=0,...,Nである)とし、pから得られた信号量をsとする。 The pixel used for estimating the color component is p i = (x i , y i ) (where i = 0,..., N), and the signal amount obtained from p i is s i .

(2−2)撮像データ入力部101
まず、撮像データ入力部101は、単板式の撮像素子を構成する複数の画素の位置と色と信号量の組み合わせからなる撮像データを取得する(ステップ1)。
(2-2) Imaging data input unit 101
First, the imaging data input unit 101 acquires imaging data composed of combinations of positions, colors, and signal amounts of a plurality of pixels constituting a single-plate imaging element (step 1).

例えば、図7のBayer配列のB(青色)のカラーフィルタを持つ画素のR(赤色)成分とG(緑色)成分を、8近傍を用いて推定するデモザイキング処理を行う場合は、撮像データ入力部101から図11中の画素1100〜1108の撮像データを得る。なお、図面中ではRGBの各色を表現できないため、Rの範囲を右下がりのハッチング、Gの範囲をハッチングなし、Bの範囲を左下がりのハッチングで表現する。   For example, when performing demosaicing processing for estimating R (red) and G (green) components of pixels having a B (blue) color filter in the Bayer array of FIG. Image data of the pixels 1100 to 1108 in FIG. In the drawing, since RGB colors cannot be expressed, the R range is represented by right-down hatching, the G range is not hatched, and the B range is represented by left-down hatching.

図11のような3×3画素のブロックをずらしながら、ブロック中心p*=pの欠けた色成分を推定する処理を行うと、カラー画像が得られる。 When the process of estimating the missing color component of the block center p 0 * = p 4 is performed while shifting the 3 × 3 pixel block as shown in FIG. 11, a color image is obtained.

以後はブロックとその内部のデータが得られた後の処理を説明する。   In the following, the processing after the block and its internal data are obtained will be described.

(2−3)パラメータ推定部102
次に、パラメータ推定部102ではブロックの中心画素、すなわち、画素1104近傍のRGB成分を記述する色成分関数f,f,fのパラメータを推定する(ステップ2)。
(2-3) Parameter estimation unit 102
Next, the parameter estimation unit 102 estimates the parameters of the color component functions f r , f g , and f b that describe the RGB components near the central pixel of the block, that is, the pixel 1104 (step 2).

まず、色成分関数f,f,fを式(1)のように位置座標x,yによる2次の多項式でモデル化する。

Figure 2009010847
First, the color component functions f r , f g , and f b are modeled by a quadratic polynomial based on the position coordinates x and y as shown in Expression (1).
Figure 2009010847

このモデル化では、色成分関数f,f,fをx,yで微分して得られる導関数は全て等しくなる。このモデル化により、画素1104近傍でRGB成分が相関を持って変化するようになり、色ずれを抑圧できる。 In this modeling, the derivatives obtained by differentiating the color component functions f r , f g , and f b with x and y are all equal. With this modeling, the RGB components change with correlation in the vicinity of the pixel 1104, and color shift can be suppressed.

次に、モデルの未知のパラメータp=(β,β,β,β,β,β,β,βを近傍の画素1100〜1108の撮像データを用いて推定する。なお、tはベクトルの転置を表す。 Next, an unknown parameter p = (β r , β g , β b , β 1 , β 2 , β 3 , β 4 , β 5 ) t is estimated using imaging data of neighboring pixels 1100 to 1108. To do. Note that t represents transposition of a vector.

各色成分が式(1)のモデルにしたがって変化するならば、例えば画素1100においてはs=f(x,y)が成立すると考えられる。他の点についても同様に考えると、色成分関数f,f,fが近傍の各色成分を正確に表現していれば、式(2)に示す色成分モデル誤差E(p)が小さくなると考えられる。

Figure 2009010847
If each color component changes according to the model of Expression (1), for example, in the pixel 1100, it is considered that s 0 = f r (x 0 , y 0 ) holds. Considering the other points in the same way, if the color component functions f r , f g , and f b accurately represent the neighboring color components, the color component model error E 0 (p) shown in Expression (2) Is considered to be smaller.
Figure 2009010847

式(2)の行列Wの左側3列はカラーフィルタの色に対応している。   The left three columns of the matrix W in Equation (2) correspond to the color of the color filter.

例えば、Wの1行目は図11における左上の画素pに対応しているため、R成分であるβに対応する先頭の要素が1となっており、G成分に対応する2番目の要素とB成分に対応する3番目の要素は0になっている。 For example, since the first row of W corresponds to pixel p 0 in the upper left in FIG. 11, the elements of the head corresponding to a R component beta r has a 1, the second corresponding to the G component The third element corresponding to the element and the B component is 0.

式(2)におけるWは図11のようにBが中心となる3×3のパターンの場合のものであるが、図12の1201〜1203のようなパターンの場合もWの左側3列の「1」の位置を入れ替えることで、対応できる。   W in Equation (2) is for a 3 × 3 pattern centered on B as shown in FIG. 11, but in the case of patterns such as 1201 to 1203 in FIG. This can be done by changing the position of “1”.

例えば、図12中のパターン1201の場合は図11の場合と比べるとRのカラーフィルタを持つ画素(以後、「R画素」という)とB画素が入れ替わっている。この場合の行列Wは式(2)のWの1列目と3列目を入れ替えた式(3)となる。

Figure 2009010847
For example, in the case of the pattern 1201 in FIG. 12, a pixel having an R color filter (hereinafter referred to as “R pixel”) and a B pixel are interchanged as compared with the case of FIG. The matrix W in this case is Equation (3) in which the first and third columns of W in Equation (2) are interchanged.
Figure 2009010847

(2−3−1)パラメータ推定方法1
パラメータ推定方法1について説明する。
(2-3-1) Parameter estimation method 1
The parameter estimation method 1 will be described.

パラメータ推定方法1としては、Eを最小化する関数のパラメータp’は行列Wの擬似逆行列Wを用いてp’=Wsとして得ることができる。 As the parameter estimation method 1, the parameter p ′ of the function that minimizes E 0 can be obtained as p ′ = W + s using the pseudo inverse matrix W + of the matrix W.

(2−3−2)パラメータ推定方法2
パラメータ推定方法2について説明する。
(2-3-2) Parameter estimation method 2
The parameter estimation method 2 will be described.

パラメータ推定方法1では、各点においてWを計算すると膨大な計算コストがかかるが、Bayer配列の場合、ブロック内のカラーフィルタの配置は図11及び図12に示す4パターンしかないため、Wも4パターンしか存在しない。そのため、全パターンに対するWを事前に算出しメモリ上に保持しておけば、計算コストを大幅に削減することができる。 In the parameter estimation method 1, calculating W + at each point requires enormous calculation cost. However, in the case of the Bayer array, the arrangement of the color filters in the block has only the four patterns shown in FIGS. There are only 4 patterns. Therefore, if W + for all patterns is calculated in advance and stored in the memory, the calculation cost can be greatly reduced.

(2−3−3)パラメータ推定方法3
パラメータ推定方法3について説明する。
(2-3-3) Parameter estimation method 3
The parameter estimation method 3 will be described.

パラメータ推定手段1のような擬似逆行列の計算コストを要する方法も利用できず、パラメータ推定方法2のように複数のWを保持するメモリも利用できない場合は、最急降下法や共役勾配法等の初期値を逐次更新して真の解に近づける方法を用いてp’の近似解を得る。 When the method that requires the calculation cost of the pseudo inverse matrix such as the parameter estimation unit 1 cannot be used, and when the memory that holds a plurality of W + cannot be used as in the parameter estimation method 2, the steepest descent method, the conjugate gradient method, etc. An approximate solution of p ′ is obtained using a method in which the initial value of is sequentially updated to approach the true solution.

この方法を用いると、更新の回数を変更することで色成分補間装置1000全体の計算量を調節できる。   When this method is used, the calculation amount of the entire color component interpolation apparatus 1000 can be adjusted by changing the number of updates.

(2−3)出力画像生成部103
最後に、出力画像生成部103は、推定された色成分関数f,f,fを用いて出力画像の各点の色成分の信号量を推定する(ステップ3)。なお、この推定する信号量は、撮像素子が出力する電圧で表現される信号量(すなわち、撮像テータの信号量)とは、異なる出力画像における信号量であってもよい。
(2-3) Output image generation unit 103
Finally, the output image generation unit 103 estimates the signal amount of the color component at each point of the output image using the estimated color component functions f r , f g , and f b (step 3). The signal amount to be estimated may be a signal amount in an output image different from the signal amount expressed by the voltage output from the image sensor (that is, the signal amount of the imaging data).

単純なデモザイキング処理の場合は、点1104のRGB成分が分かればよい。点1104のRGB成分の信号量は、式(1)にx=x,y=yを代入し、f(x,y)=β,f(x,y)=β,f(x,y)=βとなる。 In the case of simple demosaicing processing, the RGB component at the point 1104 may be known. The signal amount of the RGB component at the point 1104 is obtained by substituting x = x 4 , y = y 4 into the equation (1), and f r (x 4 , y 4 ) = β r , f g (x 4 , y 4 ). = Β g , f b (x 4 , y 4 ) = β b

(2−4)デジタルズームの場合
デジタルズームを同時に行う場合は、ズーム後の画像の各点を撮像素子上に対応付け、式(1)を用いて色成分を推定すればよい。
(2-4) Digital Zoom When digital zoom is performed simultaneously, each point of the image after zooming is associated with the image sensor, and the color component is estimated using Expression (1).

例えば、図11を用いて2倍のデジタルズームを行う場合は、図14中の丸印で表される点1100〜1108のように撮像素子の画素が配置され、ズーム後の画像の各画素を撮像素子上に対応付けると白四角印で表される。この時カラー画像を出力するには、pの近傍の4つの画素点1400〜1403(p*=(x*,y*)(但し、i=0,...,4である))のRGB成分を求める必要がある。 For example, when performing double digital zoom using FIG. 11, pixels of the image sensor are arranged as indicated by points 1100 to 1108 represented by circles in FIG. 14, and each pixel of the image after zooming is imaged. When correlated on the element, it is represented by a white square mark. At this time, in order to output a color image, four pixel points 1400 to 1403 (p i * = (x i *, y i *)) near p 4 (where i = 0,..., 4). )) RGB components need to be obtained.

この場合、例えば、点1400(p*=(x*,y*)=(x−0.25,y−0.25))のRGB各成分は、式(1)を用いてf(x*,y*),f(x*,y*),f(x*,y*)とすればよい。 In this case, for example, each RGB component of the point 1400 (p 0 * = (x 0 *, y 0 *) = (x 4 −0.25, y 4 −0.25)) uses the expression (1). F r (x 0 *, y 0 *), f g (x 0 *, y 0 *), and f b (x 0 *, y 0 *).

(3)効果
このように、本実施形態に係わる色成分補間装置100によれば、撮像データを用いて推定される色成分関数を用いることで撮像素子を構成する画素の隙間部分の色成分を推定することが可能となる。
(3) Effect As described above, according to the color component interpolation device 100 according to the present embodiment, the color component of the gap portion of the pixels constituting the image sensor is obtained by using the color component function estimated using the image data. It is possible to estimate.

(4)変更例1
上記の説明では色成分関数f(x,y),f(x,y),f(x,y)をx,yの二次多項式でモデル化している。しかし、関数の形は二次多項式以外の関数も利用できる。例えば、関数の次数は任意に上げることができ、その方法は非特許文献1に示されている。
(4) Modification 1
In the above description, the color component functions f r (x, y), f g (x, y), and f b (x, y) are modeled by a quadratic polynomial of x and y. However, functions other than quadratic polynomials can be used as the function form. For example, the order of the function can be arbitrarily increased, and the method is shown in Non-Patent Document 1.

但し、次数は無制限に上げればよいというものではない。次数を高めるとエッジの急峻な立ち上がりを表現しやすくなる反面、ノイズに弱くなる可能性があるため、画質を見ながら2〜5次程度の範囲で適切なものを選択する。   However, the order is not limited to an unlimited number. If the order is increased, it becomes easy to express a sharp rise of the edge, but it may be weak against noise. Therefore, an appropriate one is selected in the range of about 2 to 5 while viewing the image quality.

(5)変更例2
また、デモザイキングに用いるブロック形状は任意に変更することができる。
(5) Modification 2
The block shape used for demosaicing can be arbitrarily changed.

上記の説明ではデモザイキングに3×3のブロックを用いているが、本実施形態では任意のブロック形状を用いることが可能である。   In the above description, 3 × 3 blocks are used for demosaicing, but in the present embodiment, any block shape can be used.

例えば、図7のデモザイキング処理において、画素1106の下に存在するG画素1109を加える場合を考える。この場合は、式(4)のように式(2)のベクトルsの要素に画素1109から得られた信号sを加え、行列Wの要素に行ベクトル(0,1,0,(x−x),(y−y),(x−x,(x−x)(y−y),(y−y)を加えればよい。

Figure 2009010847
For example, consider the case where the G pixel 1109 existing under the pixel 1106 is added in the demosaicing process of FIG. In this case, the signal s 9 obtained from the element to the pixel 1109 of the vector s of formula (2) added as shown in Equation (4), the element in row vectors of the matrix W (0,1,0, (x 9 -x 4), (y 9 -y 4), may be added to (x 9 -x 4) 2, (x 9 -x 4) (y 9 -y 4), (y 9 -y 4) 2) .
Figure 2009010847

但し、デモザイキング処理に用いる画素の数は、関数のパラメータの数より多いことが望ましい。   However, it is desirable that the number of pixels used in the demosaicing process is larger than the number of function parameters.

また、ブロック中心pから遠い点の画素値は色成分関数f,f,fから外れる可能性が高くなるので、ブロックの形状は円や正方形、ひし形などの図形が望ましい。 The pixel value of a point distant from the center of the block p 4 color component function f r, f g, since more likely to deviate from f b, the shape of the block is circular or square, shapes such as a rhombus is desirable.

(第2の実施形態)
以下、本発明の第2の実施形態の色成分補間装置100について図3、図4、図11、図12、図17、図18に基づいて説明する。
(Second Embodiment)
Hereinafter, a color component interpolation apparatus 100 according to the second embodiment of the present invention will be described with reference to FIGS. 3, 4, 11, 12, 17, and 18.

(1)色成分補間装置100の構成
図3は、本実施形態に係わる色成分補間装置100を示すブロック図である。
(1) Configuration of Color Component Interpolation Device 100 FIG. 3 is a block diagram showing the color component interpolation device 100 according to this embodiment.

本実施形態に係わる色成分補間装置100は、撮像素子を構成する複数の画素の位置と色と信号量の組み合わせからなる撮像データを取得する撮像データ入力部101と、撮像素子を構成する画素及び前記撮像データに正の実数である色成分推定用重みをつける色成分推定用重み決定部104と、撮像データ入力部101から得られた撮像データと色成分推定用重み決定部104から得られた色成分推定用重みから導関数が一致する2つ以上の色成分関数のパラメータを推定するパラメータ推定部105と、色成分関数を用いて平面上の各点における色成分を推定する色成分推定部103を備えている。   The color component interpolation apparatus 100 according to the present embodiment includes an imaging data input unit 101 that acquires imaging data including a combination of positions, colors, and signal amounts of a plurality of pixels that constitute an imaging element, pixels that constitute the imaging element, and Color component estimation weight determination unit 104 for assigning a positive real color component estimation weight to the imaging data, imaging data obtained from imaging data input unit 101 and color component estimation weight determination unit 104 A parameter estimation unit 105 that estimates the parameters of two or more color component functions with the same derivatives from the color component estimation weights, and a color component estimation unit that estimates color components at each point on the plane using the color component function 103.

(2)色成分補間装置100の動作
次に、図3及び図4を用いて、本実施形態に係わる色成分補間装置100の動作について説明する。
(2) Operation of Color Component Interpolation Device 100 Next, the operation of the color component interpolation device 100 according to the present embodiment will be described using FIG. 3 and FIG.

なお、図4は、本実施形態に係わる色成分補間装置100の動作を示すフローチャートである。以後の説明も、第1の実施形態と同様に3×3画素のブロックを用いたBayer配列のデモザイキングの例を用いる。   FIG. 4 is a flowchart showing the operation of the color component interpolation apparatus 100 according to this embodiment. In the following description, an example of Bayer array demosaicing using a 3 × 3 pixel block is used as in the first embodiment.

(2−1)撮像データ入力部101
まず、撮像データ入力部101は、撮像素子を構成する複数の画素の位置と色と信号量の組み合わせからなる撮像データを取得する(ステップ1)。
(2-1) Imaging data input unit 101
First, the imaging data input unit 101 acquires imaging data including a combination of positions, colors, and signal amounts of a plurality of pixels constituting the imaging element (step 1).

この部分の動作は第1の実施形態と同様である。   The operation of this part is the same as that of the first embodiment.

(2−2)色成分推定用重み決定部104
次に、色成分推定用重み決定部104は図11に示すように、画素1100〜1108に対し正の実数である色成分推定用重みK〜Kを付与する(ステップ2)。
(2-2) Color Component Estimation Weight Determination Unit 104
Next, as shown in FIG. 11, the color component estimation weight determination unit 104 assigns color component estimation weights K 0 to K 8 that are positive real numbers to the pixels 1100 to 1108 (step 2).

この重みは、後の段階の処理である関数のパラメータ推定に用いられ、大きな重みを与えられた画素は色成分の推定により大きく寄与する。重みのつけ方は3通り考えられるので、順番に説明する。   This weight is used for function parameter estimation, which is a process at a later stage, and a pixel given a large weight greatly contributes to estimation of a color component. Since there are three ways to assign weights, they will be explained in order.

(2−2−1)色成分推定用重み決定方法1
まず、式(5)のように中心から離れるほど小さくなるように設定することができる。

Figure 2009010847
(2-2-1) Color Component Estimation Weight Determination Method 1
First, it can set so that it may become so small that it leaves | separates from a center like Formula (5).
Figure 2009010847

αは0.1〜1.0程度の値を用い、出力画像の画質を見て人手で調整する。これによりブロック中心をより重視するパラメータ推定を行うことができる。   α is a value of about 0.1 to 1.0, and is adjusted manually by looking at the image quality of the output image. This makes it possible to perform parameter estimation that places more importance on the block center.

(2−2−2)色成分推定用重み決定方法2
しかし例えば、図15のようなテクスチャ1501のような斜め45度のテクスチャが入力された場合、エッジは式(1)のモデルから外れる可能性が高いため、重みは式(5)のような等方的な重みよりは楕円1502のようなものが好ましい。このような色成分推定用重みKは撮像データを用いて決定することができる。非特許文献1では、グレイスケール画像の各点の画素値の変化量から、2次元ガウス分布状の重みを得る方法(以下、「従来型重み決定方法」という)が開示されている。そして、色成分推定用重み決定方法2は、従来型重み決定方法をさらに進歩させたものである。
(2-2-2) Color Component Estimation Weight Determination Method 2
However, for example, when a 45-degree oblique texture such as texture 1501 as shown in FIG. 15 is input, the edge is likely to deviate from the model of equation (1), so the weight is as in equation (5), etc. An ellipse 1502 is preferable to a square weight. Such a color component estimation weight K i can be determined using the imaging data. Non-Patent Document 1 discloses a method for obtaining a two-dimensional Gaussian distribution weight from the amount of change in pixel value at each point of a grayscale image (hereinafter referred to as “conventional weight determination method”). The color component estimation weight determination method 2 is a further advancement of the conventional weight determination method.

従来型重み決定方法では、ブロックw内の各点p=(x,y)(i=0,..,N)における画素値のx軸方向の変化量dxとy軸方向の変化量dy及び正の実数Hを用いて式(6)のような重みを与える。

Figure 2009010847
In the conventional weight determination method, the amount of change dx i in the x-axis direction of the pixel value at each point p i = (x i , y i ) (i = 0,..., N) in the block w and the y-axis direction Using the variation dy i and the positive real number H, a weight as shown in Equation (6) is given.
Figure 2009010847

色成分推定用重み決定方法2では、例えば、図11中の点pでは、dx=s−s,dy=s−sというように、垂直方向もしくは水平方向の同じカラーフィルタを持つ画素の信号量の差分を用いて変化量を定義し、式(6)を用いて重みを決定することができる。 In the color component estimation weight determination method 2, for example, at the point p 0 in FIG. 11, the same color in the vertical direction or the horizontal direction such as dx 0 = s 2 −s 0 and dy 0 = s 6 −s 0. The amount of change can be defined using the difference in the signal amount of the pixel having the filter, and the weight can be determined using Equation (6).

Hは、利用者が任意に設定する正の実数で、画質を見ながら調整する。Cの算出には例えばGのカラーフィルタを持つ画素のみ利用するなどして、計算量を削減できる。   H is a positive real number arbitrarily set by the user and is adjusted while viewing the image quality. For calculation of C, for example, only pixels having a G color filter are used, so that the amount of calculation can be reduced.

非特許文献1には、式(6)のCは特異値分解を用いて式(7)のように展開することが可能であることが開示されている。

Figure 2009010847
Non-Patent Document 1 discloses that C in equation (6) can be expanded as in equation (7) using singular value decomposition.
Figure 2009010847

式(7)のθはエッジ方向を表し、σはエッジ強度が大きいほど大きな値となる。   In Expression (7), θ represents the edge direction, and σ becomes a larger value as the edge strength increases.

(2−2−3)色成分推定用重み決定方法3
色成分推定用重み決定方法2では、ある画素における空間微分量を求めるためには、同じカラーフィルタを持つ画素が垂直方向及び水平方向に1つ以上存在しなければならない。そのため、図11におけるG画素1101,1103,1105,1107から変化量を取ることはできない。
(2-2-3) Color component estimation weight determination method 3
In the color component estimation weight determination method 2, one or more pixels having the same color filter must exist in the vertical direction and the horizontal direction in order to obtain a spatial differential amount in a certain pixel. Therefore, the amount of change cannot be taken from the G pixels 1101, 1103, 1105, and 1107 in FIG.

また、ブロックサイズを広げてG画素から変化量を取る場合でも、垂直方向か水平方向の画素しか利用せず、斜め方向の最も近い距離にある画素の情報は利用されない。   Further, even when the block size is increased and the amount of change is taken from the G pixel, only the pixel in the vertical direction or the horizontal direction is used, and information on the pixel at the closest distance in the oblique direction is not used.

そこで、色成分推定用重み決定方法3では、同一直線状にな存在しない同一のカラーフィルタを持った画素3つを利用して点毎の微分量を得る方法を示す。   Therefore, the color component estimation weight determination method 3 shows a method of obtaining the differential amount for each point using three pixels having the same color filter that do not exist on the same straight line.

図11のような撮像データを得て、図17のように同じカラーフィルタを持つ3画素1101,1103,1107を選択し、点1103におけるfの変化量のベクトルをd=(dx,dyを求める場合を例に説明する。 Image data as shown in FIG. 11 is obtained, three pixels 1101, 1103, and 1107 having the same color filter as shown in FIG. 17 are selected, and the vector of the amount of change in f g at the point 1103 is d 3 = (dx 3 , A case where dy 3 ) t is obtained will be described as an example.

図17で用いられる画素の位置を表すx,yの2軸に加え、信号量に対応するs軸を用いて定義される3次元空間(図18参照)を考える。画素1101が信号量sを持つ場合、図18の空間では、画素1101の上の高さsの位置に点1801(x,y,s)が存在すると考えることができる。同様に考えると、点1803(x,y,s)と点1807(x,y,s)及び、点1801〜1803を通る三角形1800を考えることができる。この平面のx軸及びy軸方向の傾きがdとなる。 Consider a three-dimensional space (see FIG. 18) defined by using the s-axis corresponding to the signal amount in addition to the x and y axes representing the pixel positions used in FIG. When the pixel 1101 has the signal amount s 1 , it can be considered that a point 1801 (x 1 , y 1 , s 1 ) exists at the position of the height s 1 above the pixel 1101 in the space of FIG. Considering similarly, a triangle 1800 passing through a point 1803 (x 3 , y 3 , s 3 ), a point 1807 (x 7 , y 7 , s 7 ), and points 1801 to 1803 can be considered. The inclination of the x-axis and y-axis direction of this plane is d 3.

選択された3画素のうち1103と1101をつなぐベクトルをv31とし、1103と1107をつなぐベクトルをv37とする。ベクトルvijの長さをlijとし、ベクトルvijがx軸となす角度をθijとすると、vij=(lijcosθij,lijsinθijとなる。これらを用いるとdは、

Figure 2009010847
Of the three selected pixels, a vector connecting 1103 and 1101 is v 31, and a vector connecting 1103 and 1107 is v 37 . If the length of the vector v ij is l ij and the angle formed by the vector v ij with respect to the x axis is θ ij , then v ij = (l ij cos θ ij , l ij sin θ ij ) t . Using these, d 3 is
Figure 2009010847

となる。式(8)を用いることで、ブロック内に同じカラーフィルタを持つ画素が最低3つあれば、各画素における色成分の微分量を得ることができる。   It becomes. By using Expression (8), if there are at least three pixels having the same color filter in the block, the differential amount of the color component in each pixel can be obtained.

画素3つを選択する方法は多数考えられるが、全ての可能な組み合わせを用いる、ブロック内部の同一カラーフィルタを持つ画素の中心を結ぶドロネー図を作成して得られる三角形を用いる等の方法が考えられる。   There are many possible methods for selecting three pixels, but there are methods that use all possible combinations, such as using a triangle obtained by creating a Delaunay diagram that connects the centers of pixels with the same color filter inside the block. It is done.

(3)パラメータ推定部105
次に、パラメータ推定部105は、式(9)のように図11の重みKからなる行列Kを用いて定義される色成分モデル誤差E(p)=|Ks−KWp|を最小化するパラメータpを求める。

Figure 2009010847
(3) Parameter estimation unit 105
Next, the parameter estimation unit 105 minimizes the color component model error E 1 (p) = | Ks−KWp | 2 defined using the matrix K composed of the weights K i in FIG. The parameter p to be converted is obtained.
Figure 2009010847

色成分推定用重み決定方法1を用いる場合、ブロック中心で得られた信号量と推定される色成分関数f(x,y),f(x,y),f(x,y)が大きく異なる場合と、ブロック周辺で得られた信号量と推定される色成分が大きく異なる場合では、前者の方がエネルギーEが大きくなる。 When the color component estimation weight determination method 1 is used, the signal amount obtained at the block center and the estimated color component functions f r (x, y), f g (x, y), f b (x, y) and if the large difference in the case where the color component that is estimated to amount of signal obtained in the peripheral block are greatly different, the former is the energy E 1 becomes larger.

結果として、色成分推定用重み決定方法1を用いて推定された色成分は、第1の実施形態で得られるものと比較してブロック中心で測定された信号により適合するものとなる。   As a result, the color component estimated using the color component estimation weight determination method 1 is more suitable for the signal measured at the block center than that obtained in the first embodiment.

色成分推定用重み決定方法2を用いる場合、図12で示されるようにエッジに沿った方向に大きな重みが与えられることになる。結果としてエッジを越えた領域にある画素がデモザイキング結果に寄与しにくくなり、鮮鋭化に役立つ。   When the color component estimation weight determination method 2 is used, a large weight is given in the direction along the edge as shown in FIG. As a result, pixels in the region beyond the edge are less likely to contribute to the demosaicing result, which is useful for sharpening.

(3−1)パラメータ推定方法4
パラメータ推定方法4としては、Eを最小化する関数のパラメータp’は行列KWの擬似逆行列(KW)を用いて式(10)のようにして得ることができる。

Figure 2009010847
(3-1) Parameter estimation method 4
As the parameter estimation method 4, the parameter p ′ of the function that minimizes E 1 can be obtained as shown in Equation (10) using a pseudo inverse matrix (KW) + of the matrix KW.
Figure 2009010847

(3−2)パラメータ推定方法5
色成分推定用重み決定方法1を用いた場合は行列Kが固定となるため、行列KWのパターンの数はWのパターンの数と変わらず4である。そのため、全パターンに対する(KW)を事前に算出しメモリ上に保持しておけば、計算コストを大幅に削減することができる。
(3-2) Parameter estimation method 5
Since the matrix K is fixed when the color component estimation weight determination method 1 is used, the number of patterns in the matrix KW is four, which is the same as the number of W patterns. Therefore, if (KW) + for all patterns is calculated in advance and stored in the memory, the calculation cost can be greatly reduced.

但し、色成分推定用重み決定方法2もしくは色成分推定用重み決定方法3を用いた場合は、行列Kが点毎に変化しそのパターンが膨大であるため(KW)を全てメモリに保持することはできない。この問題の対処法については第3の実施形態の項で述べる。 However, when the color component estimation weight determination method 2 or the color component estimation weight determination method 3 is used, since the matrix K changes point by point and the pattern is enormous, (KW) + is all stored in the memory. It is not possible. A method for dealing with this problem will be described in the section of the third embodiment.

(3−3)パラメータ推定方法6
パラメータ推定方法3と同様に最急降下法や共役勾配法等の方法を用いて近似解を得ることは、色成分推定用重み決定方法1〜3いずれを用いても可能である。
(3-3) Parameter estimation method 6
Similar to the parameter estimation method 3, it is possible to use any of the color component estimation weight determination methods 1 to 3 to obtain an approximate solution using a method such as the steepest descent method or the conjugate gradient method.

(4)色成分推定部103
最後に、色成分推定部103は、推定されたモデルのパラメータpを用いて出力画像の各点の色成分を推定する。色成分推定部103は第1の実施形態と同じ動作をする。
(4) Color component estimation unit 103
Finally, the color component estimation unit 103 estimates the color component of each point of the output image using the estimated model parameter p. The color component estimation unit 103 performs the same operation as in the first embodiment.

(5)効果
このように、本実施形態に係わる色成分補間装置100によれば、点毎の重みKを用いた色成分モデル誤差を導入することで出力画像を鮮鋭化するなど、画質を高めることが可能となる。
(5) Effect As described above, according to the color component interpolation apparatus 100 according to the present embodiment, the image quality is improved by, for example, sharpening the output image by introducing the color component model error using the weight K i for each point. It becomes possible to raise.

(6)変更例
なお、式(6)と式(7)から重み関数は式(11)のように展開できる。Gはユーザーが画質を見ながら値を調整する正の実数である。

Figure 2009010847
(6) Example of change It should be noted that the weighting function can be developed as in Expression (11) from Expression (6) and Expression (7). G is a positive real number in which the user adjusts the value while looking at the image quality.
Figure 2009010847

ここで、λがあまりに大きい場合、図15の楕円1203がほとんど直線に近い形となる。このときは極端に小さい値を取るKが多くなり、行列KWの行ベクトル中に0に近いものが多数発生するため、(KW)を正しく求めることができなくなる場合がある。この問題を回避するためには以下のようにすればよい。 Here, when λ l is too large, the ellipse 1203 in FIG. 15 is almost a straight line. At this time, K i taking an extremely small value increases, and many of the row vectors of the matrix KW are close to 0, so that (KW) + may not be obtained correctly. In order to avoid this problem, the following may be performed.

まず、λとλの上限として0.5程度の実数λmaxを設定する。 First, a real number λ max of about 0.5 is set as the upper limit of λ l and λ s .

次に、Cが得られるたびに式(11)の形に展開する。λ>λmaxの場合はλをλmaxに置き換える。 Next, every time C is obtained, it expands into the form of equation (11). In the case of λ l> λ max replace the λ l to λ max.

最後に、λ>λの場合は、λをλに置き換えた後、再度Cを求める。 Finally, when λ s > λ 1 , C is obtained again after replacing λ s with λ 1 .

このようにすることで、極端に小さい値を取るKがなくなり、安定して(KW)を求めることができる。 By doing in this way, K i taking an extremely small value is eliminated, and (KW) + can be obtained stably.

(第3の実施形態)
次に、第3の実施形態の色成分補間装置100について図5、図6に基づいて説明する。
(Third embodiment)
Next, a color component interpolation apparatus 100 according to the third embodiment will be described with reference to FIGS.

(1)本実施形態の目的
既に述べたが、第2の実施形態において、点毎に色成分推定用重み決定方法2もしくは色成分推定用重み決定方法3を用いて重み行列Kを求めた後に式(10)にしたがってデモザイキングをすると画質が向上することが期待される。
(1) Purpose of this embodiment As described above, after the weight matrix K is obtained for each point using the color component estimation weight determination method 2 or the color component estimation weight determination method 3 in the second embodiment, When demosaicing is performed according to Equation (10), it is expected that the image quality is improved.

しかし、行列(KW)K(以後この行列を「パラメータ推定用係数」と呼ぶ)の計算には大きなコストが必要となる。重み行列Kが有限のパターンしかないのであれば、全パラメータ推定用係数を事前に計算してメモリに保持しておくことで計算コストを削減できる。 However, calculation of the matrix (KW) + K (hereinafter this matrix is referred to as “parameter estimation coefficient”) requires a large cost. If the weight matrix K has only a finite pattern, the calculation cost can be reduced by calculating all parameter estimation coefficients in advance and storing them in the memory.

ところが、色成分推定用重み決定方法2もしくは色成分推定用重み決定方法3を用いて重み行列Kを求める場合は、そのパターンの数が膨大であるためパラメータ推定用係数を全てメモリに保持することは難しい。   However, when the weight matrix K is obtained using the color component estimation weight determination method 2 or the color component estimation weight determination method 3, since the number of patterns is enormous, all the parameter estimation coefficients are held in the memory. Is difficult.

そこで、本実施形態はこの問題に対処することを目的とする。   Therefore, the present embodiment aims to address this problem.

(2)色成分補間装置100の構成
図5は、本実施形態に関わる色成分補間装置100を表すブロック図である。
(2) Configuration of Color Component Interpolation Device 100 FIG. 5 is a block diagram showing the color component interpolation device 100 according to the present embodiment.

本実施形態に関わる色成分補間装置100は、撮像データを入力する撮像データ入力部101と、デモザイキングに用いるパラメータ推定用係数を蓄積するパラメータ推定用係数蓄積部106と、パラメータ推定用係数蓄積部106に蓄積されたパラメータ推定用係数の中から撮像データ入力部101から得たデータを手がかりに適切なものを選択するパラメータ推定用係数選定部107と、パラメータ推定用係数選定部107によって選ばれたパラメータ推定用係数を用いてRGB成分を記述する関数のパラメータを推定するパラメータ推定部108と、推定されたパラメータから各点の色成分を求める出力画像生成部103を備える。   A color component interpolation apparatus 100 according to this embodiment includes an imaging data input unit 101 that inputs imaging data, a parameter estimation coefficient storage unit 106 that stores parameter estimation coefficients used for demosaicing, and a parameter estimation coefficient storage unit. The parameter estimation coefficient selection unit 107 that selects an appropriate one from the data obtained from the imaging data input unit 101 among the parameter estimation coefficients stored in 106 and the parameter estimation coefficient selection unit 107 are selected. A parameter estimation unit 108 that estimates parameters of a function that describes RGB components using parameter estimation coefficients, and an output image generation unit 103 that obtains color components at each point from the estimated parameters are provided.

パラメータ推定用係数蓄積部106とパラメータ推定用係数選定部107とパラメータ推定部108をあわせると、本実施形態のパラメータ推定部102に類似した動作が実現できる。   When the parameter estimation coefficient storage unit 106, the parameter estimation coefficient selection unit 107, and the parameter estimation unit 108 are combined, an operation similar to the parameter estimation unit 102 of the present embodiment can be realized.

(3)色成分補間装置100の動作
次に、図5及び図6を用いて、本実施形態に関わる色成分補間装置100の動作について説明する。なお、図6は、本実施形態の処理手順を示すフローチャートである。
(3) Operation of Color Component Interpolation Device 100 Next, the operation of the color component interpolation device 100 according to the present embodiment will be described using FIG. 5 and FIG. FIG. 6 is a flowchart showing the processing procedure of this embodiment.

(3−1)パラメータ推定用係数蓄積部106
まず、パラメータ推定用係数蓄積部106は、現れうる無数のKのパターンの中から有限個を事前に選別し、選別されたKに対応するパラメータ推定用係数を算出してメモリに蓄積する(ステップ1)。
(3-1) Parameter estimation coefficient storage unit 106
First, the parameter estimation coefficient accumulating unit 106 selects in advance a finite number from an infinite number of K patterns that can appear, calculates a parameter estimation coefficient corresponding to the selected K, and stores it in the memory (step S1). 1).

色成分推定用重み決定方法2もしくは色成分推定用重み決定方法3で決定される重み関数K(x,y)は図12のように2次元ガウス関数となる。重み関数K(x,y)のパラメータは式(11)に示されているように、長軸の長さλ、短軸の長さλ(λ<λ)及び長軸とx軸のなす角度θ(0<=θ<π)の3つである。そこで例えば、λを0〜2.0の範囲で0.5刻みで振り、θを0度<=θ<180度の範囲を45度刻みで振ることで得られる合計60のパターンに対応するパラメータ推定用係数を事前に求めて、メモリに蓄積する。なお、メモリには、各パラメータ推定用係数に対応するλとθも併せて記録しておく。 The weight function K (x, y) determined by the color component estimation weight determination method 2 or the color component estimation weight determination method 3 is a two-dimensional Gaussian function as shown in FIG. The parameters of the weighting function K (x, y) are represented by the equation (11). The major axis length λ + , the minor axis length λ + ), the major axis and x There are three angles θ (0 <= θ <π) formed by the axes. Therefore, for example, a total of 60 patterns obtained by swinging λa in the range of 0 to 2.0 in increments of 0.5 and θ in the range of 0 degree <= θ <180 degrees in increments of 45 degrees are supported. The parameter estimation coefficient is obtained in advance and stored in the memory. Note that λ a and θ corresponding to each parameter estimation coefficient are also recorded in the memory.

これにより、全エッジ方向に対処でき、また様々なエッジ強度にも対処できるようになる。   As a result, all edge directions can be dealt with and various edge strengths can be dealt with.

(3−2)撮像データ入力部101
次に、撮像データ入力部101は、撮像素子から色成分を推定したい点の周囲の画素の明るさとカラーフィルタの色を取得する(ステップ2)。
(3-2) Imaging data input unit 101
Next, the imaging data input unit 101 acquires the brightness of pixels around the point where the color component is to be estimated from the imaging element and the color of the color filter (step 2).

撮像データ入力部101は第1の実施形態と同様の動作を行う。   The imaging data input unit 101 performs the same operation as in the first embodiment.

(3−3)パラメータ推定用係数選定部107
次に、パラメータ推定用係数選定部107は、撮像データ入力部101から得られたデータを用いて、パラメータ推定用係数蓄積部106から適切なパラメータ推定用係数を選択する(ステップ3)。
(3-3) Parameter estimation coefficient selection unit 107
Next, the parameter estimation coefficient selection unit 107 selects an appropriate parameter estimation coefficient from the parameter estimation coefficient storage unit 106 using the data obtained from the imaging data input unit 101 (step 3).

まず、撮像データから、デモザイキングを行う領域の近傍におけるRGB成分の変化量の自己相関行列Cを得る。Cの各要素(Cxx,Cxy,Cxy,Cyy)とλ及びθの関係は、式(12)のようになる。

Figure 2009010847
First, an autocorrelation matrix C of the amount of change in RGB components in the vicinity of the area where demosaicing is performed is obtained from the imaging data. Each element of C relationship (C xx, C xy, C xy, C yy) and λ A and θ is as Equation (12).
Figure 2009010847

(3−4)パラメータ推定用係数選定部107
その後、パラメータ推定用係数選定部107は、パラメータ推定用係数蓄積部106に記録されているλ及びθの組と、式(13)を用いて実データから得られたλ及びθの組を比較し、最も近い組み合わせに対応するパラメータ推定用係数を出力する。
(3-4) Parameter estimation coefficient selection unit 107
Then, the parameter estimation coefficient selecting unit 107, a set of λ A and θ are recorded in the parameter estimation coefficient storage unit 106, the formula (13) a set of λ A and θ obtained from the real data using And the parameter estimation coefficient corresponding to the closest combination is output.

最も近い組み合わせは、例えば以下のようにして選べばよい。   For example, the closest combination may be selected as follows.

まず、蓄積されているθと実データから得られたθを比較し、最も近いもの以外を候補から除外する。   First, the accumulated θ and the θ obtained from the actual data are compared, and those other than the closest are excluded from the candidates.

次に、残されたパラメータ推定用係数に対応するλと実データから得られたλを比較し、最も近いもの以外を候補から除外する。 Next, λ + corresponding to the remaining parameter estimation coefficient is compared with λ + obtained from the actual data, and those other than the closest are excluded from the candidates.

最後に、次に残されたパラメータ推定用係数に対応するλと実データから得られたλを比較し、最も近かったものを選択結果として出力する。 Finally, λ corresponding to the remaining parameter estimation coefficient is compared with λ obtained from the actual data, and the closest one is output as the selection result.

選ばれたパラメータ推定用係数は、実際に撮像データ入力部101から得られたCを用いて算出したパラメータ推定用係数に近いものになるため、出力画像の画質が第2の実施形態において色成分推定用重み決定方法2もしくは色成分推定用重み決定方法3を用いた場合に近づく。   Since the selected parameter estimation coefficient is close to the parameter estimation coefficient calculated using C actually obtained from the imaging data input unit 101, the image quality of the output image is the color component in the second embodiment. This approach is closer to the case where the estimation weight determination method 2 or the color component estimation weight determination method 3 is used.

(3−5)パラメータ推定部102
次に、パラメータ推定部102は、式(10)を用いてRGB成分を記述する関数のパラメータpを得る(ステップ4)。
(3-5) Parameter estimation unit 102
Next, the parameter estimation unit 102 obtains a parameter p of a function that describes RGB components using Expression (10) (step 4).

(3−6)色成分推定部103
最後に、色成分推定部103は、推定されたモデルのパラメータpを用いて出力画像の各点の色成分を推定する。色成分推定部103は第1の実施形態と同じ動作をする(ステップ5)。
(3-6) Color component estimation unit 103
Finally, the color component estimation unit 103 estimates the color component of each point of the output image using the estimated model parameter p. The color component estimation unit 103 performs the same operation as that in the first embodiment (step 5).

(4)効果
このように、本実施形態に係わる色成分補間装置100によれば、撮像データを用いて蓄積済みのパラメータ推定用係数の中から適切なものを選ぶようにすることで点毎の擬似逆行列演算を削減し計算コストを削減することが可能となる。
(4) Effect As described above, according to the color component interpolation apparatus 100 according to the present embodiment, an appropriate one is selected from the accumulated parameter estimation coefficients using the imaging data. It is possible to reduce pseudo-inverse matrix operations and reduce calculation costs.

(5)変更例
なお、本実施形態では、撮像する毎にステップ1を実行する必要はない。
(5) Example of change In this embodiment, it is not necessary to perform step 1 every time it images.

例えば、色成分補間装置100の製造時にステップ1を実行し、以後の撮像時は常にステップ2から開始することも可能であり、このようにすることでより高速に色成分の補間を行うことが可能である。   For example, it is possible to execute Step 1 when manufacturing the color component interpolation apparatus 100 and always start from Step 2 at the time of subsequent imaging. In this way, color components can be interpolated at a higher speed. Is possible.

(第4の実施形態)
次に、第4の実施形態について説明する。これまで第1〜第3の実施形態を用いてBayer配列のデモザイキングについて述べたが、本発明は図13の1301のようなカラーフィルタパターンでもデモザイキングすることが可能である。第4の実施形態では、カラーフィルタの変更への対応について説明する。
(Fourth embodiment)
Next, a fourth embodiment will be described. The Bayer array demosaicing has been described so far using the first to third embodiments, but the present invention can also be demosaiced even with a color filter pattern such as 1301 in FIG. In the fourth embodiment, a response to the change of the color filter will be described.

例えば、図8の左上の3×3画素のブロック、すなわち、図13の1301のようなパターンをデモザイキングするには、式(2)の行列Wを式(13)のように変更する。

Figure 2009010847
For example, in order to demosaicing a 3 × 3 pixel block in the upper left of FIG. 8, that is, a pattern such as 1301 in FIG. 13, the matrix W in Expression (2) is changed to Expression (13).
Figure 2009010847

式(2)のWと式(13)のWの違いは1列目から3列目の列ベクトルにおける0と1の配置である。カラーフィルタに合わせてWを変更した後の処理は、第1〜第3の実施形態と同様である。   The difference between W in Expression (2) and W in Expression (13) is the arrangement of 0 and 1 in the column vectors from the first column to the third column. Processing after changing W in accordance with the color filter is the same as in the first to third embodiments.

このようにRGBからなるカラーフィルタを持つ撮像素子であれば、1列目から3列目の列ベクトルにおける0と1の配置の変更でカラー配列の変化に対処できる。但し、式(12)の1302のようなパターンでは、1列目の列ベクトルが全て0になってしまうためデモザイキングに用いるブロックには必ずRGBのカラーフィルタを持つ画素が一つ以上含まれている必要がある。   Thus, in the case of an image sensor having a color filter made of RGB, it is possible to cope with a change in the color arrangement by changing the arrangement of 0 and 1 in the column vectors from the first column to the third column. However, in the pattern such as 1302 in Expression (12), the column vector in the first column is all 0, so that the block used for demosaicing always includes at least one pixel having an RGB color filter. Need to be.

なお、色成分重み推定手法1と色成分重み推定手法3は適用可能であるが、色成分重み推定手法2はブロック内の垂直方向及び水平方向に同じ色のカラーフィルタを持つ画素が配置される撮像素子でなければ適用することはできない。   Although the color component weight estimation method 1 and the color component weight estimation method 3 can be applied, the color component weight estimation method 2 includes pixels having color filters of the same color in the vertical and horizontal directions in the block. It cannot be applied unless it is an image sensor.

(第5の実施形態)
これまでの第1〜第4の実施形態の説明では、正方格子状に画素が配置された撮像素子のデモザイキングについて述べたが、本発明は例えば、図9や図10のような、正方格子を45度回転させたような画素配列(PIA配列, Pixel Interleaved Array)の撮像素子にも対処することができる。また、色成分を算出したい点p*が画素の座標pのいずれかと一致している必要もない。第5の実施形態では、画素の配置の変更への対応について説明する。
(Fifth embodiment)
In the description of the first to fourth embodiments so far, the demosaicing of the image pickup element in which the pixels are arranged in a square lattice shape has been described. However, the present invention is, for example, a square lattice as shown in FIG. 9 or FIG. It is also possible to deal with an image sensor having a pixel array (PIA array, Pixel Interleaved Array) that is rotated 45 degrees. Further, the point p i * at which the color component is to be calculated does not have to coincide with any of the pixel coordinates p i . In the fifth embodiment, a response to a change in pixel arrangement will be described.

例えば、図9のような配列の撮像素子から、正方格子状に画素が配置されたデジタル画像を得るには、例えば図16における点1501のように画素と画素の隙間にあたる点のRGB成分を推定する必要がある。このような場合でも、式(2)の行列Wは式(14)のように得ることができる。

Figure 2009010847
For example, in order to obtain a digital image in which pixels are arranged in a square grid pattern from an image sensor having an arrangement as shown in FIG. 9, for example, an RGB component at a point corresponding to a gap between the pixels, such as a point 1501 in FIG. 16, is estimated. There is a need to. Even in such a case, the matrix W of equation (2) can be obtained as in equation (14).
Figure 2009010847

このように画素の位置pを用いることで、PIA配列以外にも六角形の画素を隙間なく敷き詰めた六角格子などにも対応することが可能である。 In this way, by using the pixel position p i , it is possible to deal with a hexagonal lattice in which hexagonal pixels are spread without gaps in addition to the PIA arrangement.

なお、色成分重み推定手法1と色成分重み推定手法3は適用可能であるが、色成分重み推定手法2はブロック内の垂直方向及び水平方向に同じ色のカラーフィルタを持つ画素が配置される撮像素子でなければ適用することはできない。   Although the color component weight estimation method 1 and the color component weight estimation method 3 can be applied, the color component weight estimation method 2 includes pixels having color filters of the same color in the vertical and horizontal directions in the block. It cannot be applied unless it is an image sensor.

(第6の実施形態)
これまで、第1〜第5の実施形態の説明では、単板撮像素子のデモザイキングについて述べたが、本発明は、単板撮像素子以外の撮像素子にも適用することが可能である。
(Sixth embodiment)
So far, in the description of the first to fifth embodiments, the demosaicing of the single-plate image sensor has been described, but the present invention can also be applied to an image sensor other than the single-plate image sensor.

例えば、坂口隆他、「民生用新3CCDカメラシステム」、テレビジョン学会技術報告,Vol.19,No.20,pp47-52,1995.では、3CCDカメラにおいて、3つのCCDのうち一つの位置を故意にずらすことで解像度感を高めることができる方式(3CCD画素ずらし方式撮像装置)が提案されている。   For example, Takashi Sakaguchi et al., “New 3CCD Camera System for Consumers”, Television Society Technical Report, Vol.19, No.20, pp47-52, 1995. There has been proposed a method (3CCD pixel shifting type imaging device) that can increase the sense of resolution by intentionally shifting.

この撮像装置では、3つのCCDの各画素を出力画像上の点に対応付けることが可能である。そのため、画素が対応付けられた出力画像上の位置をpとすることで、式(14)の行列Wを得ることができる。この撮像装置ではRとBに対応する撮像素子の画素の位置が完全に重なっているため、2つ以上のpの値が完全に一致する。しかしカラーフィルタの色が異なるため(すなわち、各行ベクトルの左側の3要素が異なるため)、Wのランクが低下せず、上記各実施形態を適用することが可能である。 In this imaging apparatus, each pixel of the three CCDs can be associated with a point on the output image. Therefore, the position on the output image pixel is associated With p i, it is possible to obtain a matrix W of the formula (14). In the imaging apparatus because the position of the pixels of the imaging element corresponding to the R and B are completely overlapped, the value of two or more p i match exactly. However, since the colors of the color filters are different (that is, the three elements on the left side of each row vector are different), the rank of W does not decrease, and the above embodiments can be applied.

(第7の実施形態)
非特許文献1では、カメラを微小移動させて同じ被写体を撮像した複数枚の画像を合成して各入力画像より高い解像度を得る超解像の手法についても開示されている。また、画像の代わりに単板撮像素子の撮像データそのものを用いる手法も、奥富正敏,清水雅夫,中村智幸,後藤知将,矢野高宏,「単板CCD 画像データからのダイレクトカラースーパーレゾリューション,」第10回画像センシングシンポジウム講演論文集(SSII2004),pp.507-512, 2004.)に開示されている。超解像では、同一の被写体をカメラを移動させて複数回撮像する。撮像するたびに得られる画像の各画素、もしくは撮像データを1枚の出力画像上の各点に対応付けることで、擬似的に画素数を増やして高解像度の画像を得る。
(Seventh embodiment)
Non-Patent Document 1 also discloses a super-resolution technique in which a plurality of images obtained by capturing the same subject by moving a camera minutely are combined to obtain a higher resolution than each input image. In addition, the method of using the image data itself of the single-chip image sensor instead of the image is also described by Masatoshi Okutomi, Masao Shimizu, Tomoyuki Nakamura, Tomomasa Goto, Takahiro Yano, “Direct color super-resolution from single-plate CCD image data, "The 10th Symposium on Image Sensing Symposium (SSII2004), pp.507-512, 2004.) In super-resolution, the same subject is imaged multiple times by moving the camera. By associating each pixel of an image obtained each time an image is captured or each point on the output image with a single image, the number of pixels is increased in a pseudo manner to obtain a high-resolution image.

撮像データが対応付けられた位置をpとすれば、提案手法により超解像を行うことも可能である。 If the position where imaging data is associated with the p i, it is possible to perform super-resolution by the proposed method.

但し、色成分重み推定手法1〜3は適用可能であるが、画素の配置に規則性がなくなるため、第3の実施形態のような高速化は不可能になる。   However, although the color component weight estimation methods 1 to 3 can be applied, since the regularity of the pixel arrangement is lost, it is impossible to increase the speed as in the third embodiment.

(第8の実施形態)
第8の実施形態では、第1〜第3の実施形態で用いた色成分のモデルに対して、以下の3つの変更を加える実施形態を説明する。
(Eighth embodiment)
In the eighth embodiment, an embodiment will be described in which the following three changes are made to the color component model used in the first to third embodiments.

(1)色混合比を保つモデルへの対応
第1〜第3の実施形態では色成分間の差が位置に寄らず一定であるとするモデル化を行った。しかし、本実施形態では、色成分間の比が位置に寄らず一定であるとするモデル化を行うこともできる。
(1) Correspondence to model for maintaining color mixture ratio In the first to third embodiments, modeling was performed in which the difference between color components was constant regardless of the position. However, in the present embodiment, it is also possible to model that the ratio between the color components is constant regardless of the position.

そのために、式(2)のs=(s,s,・・・)を各要素の対数をとったベクトルs’=(log(s+α),log(s+α),・・・)とすればよい。 Therefore, s = (s 0 , s 1 ,...) T in equation (2) is a vector s ′ = (log (s 0 + α), log (s 1 + α), logarithm of each element,. ··)And it is sufficient.

αは、s=0の場合でもs’の値が無限大に発散しないようにするための定数で、例えば1.0とする。この場合、デモザイキングした結果のRGB成分はexp(f(x,y))−α,exp(f(x,y))−α,exp(f(x,y))−αとなる。 α is a constant for preventing the value of s ′ from diverging infinitely even when s i = 0, and is set to 1.0, for example. In this case, the RGB components as a result of demosaicing are exp (f r (x, y)) − α, exp (f g (x, y)) − α, exp (f g (x, y)) − α. Become.

色は、本来RGB成分の混合比によって規定されるため、RGB成分の差が一定であるとするモデル化では局所領域内で色が変化してしまうが、この変更を加えるとRGB成分の混合比を一定に保つことができる。但し、RGB成分間で大きな差がある領域においては、値の小さな色成分の微小変動が値の大きな色成分に大きな影響を与えてしまうことがある。   Since the color is originally defined by the mixing ratio of the RGB components, the modeling in which the difference between the RGB components is constant changes the color in the local region, but if this change is made, the mixing ratio of the RGB components Can be kept constant. However, in a region where there is a large difference between the RGB components, a small variation in the color component having a small value may greatly affect the color component having a large value.

(2)基底関数の変更への対応
第1〜第3の実施形態では色成分を、x,yの多項式でモデル化しているが、それ以外の式でモデル化することができる。
(2) Response to change of basis function In the first to third embodiments, the color component is modeled by a polynomial of x and y, but can be modeled by other expressions.

式(1)のモデル化は、色成分関数f(x,y),f(x,y),f(x,y)をp*近傍でテイラー展開し、近似の精度をある次元で打ち切ることと等価である。しかし、テイラー展開以外にもフーリエ級数やウェーブレットを用いて色成分関数f(x,y),f(x,y),f(x,y)を展開し、上記各実施形態の方法の枠組みを適用することが可能である。 The modeling of the equation (1) is based on Taylor expansion of the color component functions f r (x, y), f g (x, y), and f b (x, y) in the vicinity of p *, and the accuracy of approximation is a certain dimension. Is equivalent to censoring. However, in addition to Taylor expansion, the color component functions f r (x, y), f g (x, y), and f b (x, y) are expanded using Fourier series and wavelets, and the method of each of the above embodiments. It is possible to apply this framework.

色成分関数を複数の基底関数の重み付け和でモデル化し、その重みを周辺の画素から推定する方法は、上記各実施形態の範囲内である。   A method of modeling a color component function with a weighted sum of a plurality of basis functions and estimating the weight from surrounding pixels is within the scope of the above embodiments.

(3)スプラインへの対応
スプライン補間の考え方を取り入れることができる。
(3) Response to splines The concept of spline interpolation can be incorporated.

これまでに説明した方法は全て、色成分を記述する関数f(x,y),f(x,y),f(x,y)の画素が存在する位置における値と測定された信号sの差を小さくできる関数を得る方法である。 All the methods described so far were measured as values at the position where the pixels of the functions f r (x, y), f g (x, y), f b (x, y) describing the color components exist. This is a method of obtaining a function that can reduce the difference between the signals s i .

これに対し、スプライン補間の考え方を導入すると、RGB成分の色成分関数f(x,y),f(x,y),f(x,y)の微分量と画像上の各点で画素から得られた信号量の変化量の差を小さくできるモデル化も可能である。具体的方法について述べる。 On the other hand, when the concept of spline interpolation is introduced, the differential amounts of the color component functions f r (x, y), f g (x, y), f b (x, y) of the RGB components and the points on the image Thus, it is possible to model the difference in the amount of change in the signal amount obtained from the pixel. A specific method will be described.

まず、式(1)のモデルに従うと、R成分の点毎の微分量は式(15)のようになる。なお、第1の実施形態のモデル化の方法では、GB成分の点毎の微分量もR成分と同一になる。

Figure 2009010847
First, according to the model of Expression (1), the differential amount for each point of the R component is as shown in Expression (15). In the modeling method of the first embodiment, the differential amount of each GB component for each point is the same as that of the R component.
Figure 2009010847

一方で例えば図11のような3×3画素のデモザイキングの場合、RGB成分の空間微分量は全て同一としているため、中心画素1104におけるB成分のx軸方向の微分量はGの微分量と同一となり、0.5(s−s)/(x−x)で近似できる。これを用いると式(2)を変更して式(16)のような新たな色成分モデル誤差Eを定義することができる。

Figure 2009010847
On the other hand, for example, in the case of 3 × 3 pixel demosaicing as shown in FIG. 11, since the spatial differential amounts of the RGB components are all the same, the differential amount of the B component in the center pixel 1104 in the x-axis direction is the differential amount of G. They are the same and can be approximated by 0.5 (s 5 -s 3 ) / (x 5 -x 3 ). With this it is possible to change the equation (2) to define a new color component model error E 2 of Equation (16).
Figure 2009010847

エネルギー関数Eのように各行に式(10)のような重みをつけたい場合、式(16)の一番下の行につける重みの決定法は3つ考えられる。 If you want a weighted as equation (10) in each row as the energy function E 1, Determination of weights attached to the bottom line of equation (16) is considered three.

第1の決定方法は、色成分推定用重み決定部102が微分を求めた点に付与する重みをそのまま付与する方法である。例えば、式(16)の例の場合、一番下の行の重みはKとなる。 The first determination method is a method in which the weight given to the point at which the color component estimation weight determination unit 102 obtains the differentiation is assigned as it is. For example, in the example of equation (16), the weight of the bottom line is the K 4.

第2の決定方法は、色成分推定用重み決定部102が微分を求めるために用いた点に付与する重みの片方を選ぶ方法である。例えば、式(16)の例の場合、一番下の行の重みはKもしくはKとなる。 The second determination method is a method of selecting one of the weights to be given to the points used by the color component estimation weight determination unit 102 to obtain the differentiation. For example, in the example of Expression (16), the weight of the bottom row is K 3 or K 5 .

第3の決定方法は、第1、2の決定方法で決めた重みに1より小さな正の実数αを乗じる方法である。微分量は画素から得られた2つの信号量の差であり、2つの信号それぞれにノイズがのるため、その値は真の値からずれやすくなる。そのため微分量に対応する重みはそれ以外のものに対する重みより小さくなることが望ましい。   The third determination method is a method of multiplying the weight determined by the first and second determination methods by a positive real number α smaller than 1. The differential amount is the difference between the two signal amounts obtained from the pixel, and noise is added to each of the two signals, so that the value tends to deviate from the true value. Therefore, it is desirable that the weight corresponding to the differential amount is smaller than the weight for the other.

(第9の実施形態)
これまで説明した方法では、エッジに着目し同一カラーフィルタを持つ2つ以上の画素の信号量の差を用いて色成分推定用重みを決定していた。しかし、例えば白飛びや黒つぶれが生じた場合、その画素の信号量は式(1)のモデルから外れている可能性が高い。この対策としては2種類考えられる。
(Ninth embodiment)
In the methods described so far, the weight for color component estimation is determined using the difference in signal amount between two or more pixels having the same color filter, focusing on the edge. However, for example, when whiteout or blackout occurs, the signal amount of the pixel is likely to be out of the model of Expression (1). There are two possible countermeasures.

(1)第1の方法
まず、各画素に色成分推定用重み決定方法1〜3で決定した重みを与えた後、各画素の信号量を参照して重みを修正することが考えられる。
(1) First Method First, after giving the weight determined by the color component estimation weight determination methods 1 to 3 to each pixel, it is conceivable to correct the weight by referring to the signal amount of each pixel.

例えば、撮像素子が出力できる最大信号量smaxと信号量sの差が所定の閾値Δs以下であれば白飛びである可能性が高いと考え、Kに1より小さい実数α(例えば0.1)をかける、同様に信号量sが所定の閾値Δs以下であれば黒つぶれである可能性が高いと考え、Kにαをかけるという対策をとることができる。 For example, if the difference between the maximum signal amount s max and the signal amount s i that can be output by the image sensor is equal to or less than a predetermined threshold Δs, it is considered that there is a high possibility of whiteout, and K i is a real number α smaller than 1 (for example, 0 Similarly, if the signal amount s i is equal to or less than the predetermined threshold value Δs, it is considered that there is a high possibility of blackout, and a measure of multiplying K i by α can be taken.

(2)第2の方法
次に、白飛びや黒つぶれが起きている画素が一つの色成分に集中している場合は、その色成分のみ、他の色成分と導関数が異なるというモデル化をすることが可能である。
(2) Second method Next, when pixels with overexposure or underexposure are concentrated in one color component, only that color component has a different derivative from other color components. It is possible to

例えば、図11、式(2)においてWの5行目を削除し、ベクトルpの要素からβを除くことで、R成分とG成分を推定できる。B成分は例えば近傍画素を用いた線形補間等で補えばよい。 For example, Figure 11, to remove the fifth line of W in formula (2), by excluding the beta b from the elements of the vector p, can estimate R and G components. The B component may be supplemented by, for example, linear interpolation using neighboring pixels.

(変更例)
本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
(Example of change)
The present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage.

また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。   In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment.

さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。   Furthermore, constituent elements over different embodiments may be appropriately combined.

本発明の第1の実施形態に係わる色成分補間装置100の構成を示すブロック図である。1 is a block diagram illustrating a configuration of a color component interpolation apparatus 100 according to a first embodiment of the present invention. 第1の実施形態の動作を示すフローチャートである。It is a flowchart which shows operation | movement of 1st Embodiment. 第2の実施形態に係わる色成分補間装置100の構成を示すブロック図である。It is a block diagram which shows the structure of the color component interpolation apparatus 100 concerning 2nd Embodiment. 第2の実施形態の動作を示すフローチャートである。It is a flowchart which shows operation | movement of 2nd Embodiment. 第3の実施形態に係わる色成分補間装置100の構成を示すブロック図である。It is a block diagram which shows the structure of the color component interpolation apparatus 100 concerning 3rd Embodiment. 第3の実施形態の動作を示すフローチャートである。It is a flowchart which shows operation | movement of 3rd Embodiment. Bayer配列のカラーフィルタの図である。It is a figure of the color filter of a Bayer arrangement. Bayer配列でないカラーフィルタを装着した正方格子の撮像素子の図である。It is a figure of the image pick-up element of the square lattice which mounted | wore with the color filter which is not a Bayer arrangement. 正方格子でない撮像素子の例である。It is an example of an image sensor that is not a square lattice. 図9と異なる正方格子でない撮像素子の例である。10 is an example of an image sensor that is not a square lattice different from FIG. 9. Bayer配列から3×3画素のブロックの切り出す方法の例を説明する図である。It is a figure explaining the example of the method of cutting out the block of 3x3 pixels from a Bayer arrangement. Bayer配列から3×3画素のブロックの切り出す方法のうち、図11とは異なる例を説明する図である。FIG. 12 is a diagram illustrating an example different from FIG. 11 in a method of cutting out a 3 × 3 pixel block from a Bayer array. 図8の撮像素子から3×3画素のブロックを切り出す方法の例を説明する図である。It is a figure explaining the example of the method of cutting out the block of 3x3 pixels from the image pick-up element of FIG. 拡大前の画像の画素と拡大後の画像の画素の相対的な位置関係を示す図である。It is a figure which shows the relative positional relationship of the pixel of the image before an expansion, and the pixel of the image after an expansion. 第2の実施形態に関わる色成分推定用重み決定方法2の概念を表す図である。It is a figure showing the concept of the weight determination method 2 for color component estimation in connection with 2nd Embodiment. 図9の撮像素子において画素間の隙間における色成分を推定する方法の概念を表す図である。It is a figure showing the concept of the method of estimating the color component in the clearance gap between pixels in the image pick-up element of FIG. 第2の実施形態に関わる色成分推定用重み決定方法3において各点における色成分の変化量を求める方法の概念を表す図である。It is a figure showing the concept of the method of calculating | requiring the variation | change_quantity of the color component in each point in the weight determination method 3 for color component estimation in connection with 2nd Embodiment. 図17で用いられる画素の位置を表すx,yの2軸に加え、信号量に対応するs軸を用いて定義される3次元空間の概念を表す図である。It is a figure showing the concept of the three-dimensional space defined using the s axis | shaft corresponding to the signal amount in addition to the two axes of x and y showing the position of the pixel used in FIG.

符号の説明Explanation of symbols

100 色成分補間装置
101 撮像データ入力部
102 パラメータ推定部
103 色成分推定部
100 color component interpolation apparatus 101 imaging data input unit 102 parameter estimation unit 103 color component estimation unit

Claims (11)

各画素の撮像素子上での位置を示す画素位置、前記各画素の色及び前記各画素の信号量を有する撮像データを取得する撮像データ入力部と、
前記撮像素子上の任意の注目位置での複数の色のそれぞれの信号量を推定するための複数の色成分関数のそれぞれのパラメータを、前記複数の色成分関数の導関数が互いに類似するように、前記注目位置の周囲にある複数の画素の撮像データを用いて推定するパラメータ推定部と、
前記色成分関数と前記パラメータとを用いて、前記注目位置における任意の色の信号量を推定する色成分推定部と、
を備える色成分補間装置。
An imaging data input unit for acquiring imaging data having a pixel position indicating a position of each pixel on the imaging device, a color of each pixel, and a signal amount of each pixel;
The parameters of the plurality of color component functions for estimating the signal amounts of the plurality of colors at arbitrary positions of interest on the image sensor are set so that the derivatives of the plurality of color component functions are similar to each other. A parameter estimation unit that estimates using imaging data of a plurality of pixels around the target position;
A color component estimation unit that estimates a signal amount of an arbitrary color at the position of interest using the color component function and the parameter;
A color component interpolation apparatus.
前記注目位置から離れるほど小さくなる第1重みを求める第1の重み決定部を備え、
前記パラメータ推定部は、前記第1の重みが小さいほど、前記色毎の導関数の類似する度合いを低くする、
請求項1記載の色成分補間装置。
A first weight determining unit for obtaining a first weight that decreases as the distance from the target position decreases;
The parameter estimation unit decreases the degree of similarity of the derivative for each color as the first weight is smaller.
The color component interpolation apparatus according to claim 1.
前記注目位置を中心として、かつ、前記各画素の信号量から求められるエッジ方向に沿って拡がる領域内ほど大きくなる第2の重みを求める第2の重み決定部を備え、
前記パラメータ推定部は、前記第2の重みが小さいほど、前記色毎の導関数の類似する度合いを低くする、
請求項1記載の色成分補間装置。
A second weight determining unit that obtains a second weight that is larger in a region that extends in the edge direction obtained from the signal amount of each pixel centered on the target position;
The parameter estimation unit decreases the degree of similarity of the derivative for each color as the second weight is smaller.
The color component interpolation apparatus according to claim 1.
前記パラメータ推定部は、
(1)前記注目位置の周囲にある複数の画素の撮像データのそれぞれの信号量と、前記色毎の色成分関数に前記各信号量のそれぞれに対応する画素位置を代入したときの値との差から算出される前記パラメータを含む第1の誤差、または、
(2)前記各信号量のそれぞれに対応する画素位置近傍の変化量と前記各画素位置に対応する前記色成分関数の空間微分値の差、及び、前記第1の誤差から算出される前記パラメータを含む第2の誤差、
のいずれか一方を色成分モデル誤差と設定し、
前記色成分モデル誤差を最小とするように前記パラメータを算出する、
請求項3記載の色成分補間装置。
The parameter estimation unit includes:
(1) A signal amount of imaging data of a plurality of pixels around the target position, and a value when a pixel position corresponding to each of the signal amounts is substituted into a color component function for each color A first error including the parameter calculated from the difference, or
(2) The parameter calculated from the difference between the change amount in the vicinity of the pixel position corresponding to each signal amount and the spatial differential value of the color component function corresponding to each pixel position, and the first error A second error including
Set one of the color component model errors as
Calculating the parameter so as to minimize the color component model error;
The color component interpolation apparatus according to claim 3.
前記パラメータ推定部は、第3の重みを用いて前記信号量を重み付け和することによって、前記色成分モデル誤差を最小とする前記パラメータを算出する、
請求項4記載の色成分補間装置。
The parameter estimation unit calculates the parameter that minimizes the color component model error by performing a weighted sum of the signal amount using a third weight.
The color component interpolation apparatus according to claim 4.
前記パラメータ推定部は、
前記第2重みと前記第3の重みとを対応させて記憶する記憶部を備え、
前記信号量を用いて前記第2の重みを求め、前記求めた第2の重みに対応する前記第3重みを前記記憶部から呼び出し、
前記呼び出した第3の重みを用いて前記パラメータを算出する、
請求項5記載の色成分補間装置。
The parameter estimation unit includes:
A storage unit for storing the second weight and the third weight in association with each other;
The second weight is obtained using the signal amount, the third weight corresponding to the obtained second weight is called from the storage unit,
Calculating the parameter using the called third weight;
The color component interpolation apparatus according to claim 5.
前記色成分関数が、基底関数の重み付け和であり、
前記パラメータは、前記基底関数の重みである、
請求項1記載の色成分補間装置。
The color component function is a weighted sum of basis functions;
The parameter is a weight of the basis function;
The color component interpolation apparatus according to claim 1.
前記色成分関数のパラメータは、前記色成分関数をテイラー展開したときの係数である、
請求項1記載の色成分補間装置。
The parameter of the color component function is a coefficient when the color component function is Taylor-expanded.
The color component interpolation apparatus according to claim 1.
前記第2の重みは、前記色成分が同一である画素位置の間の前記信号量の差を用いて推定する、
請求項3記載の色成分補間装置。
The second weight is estimated using a difference in the signal amount between pixel positions having the same color component.
The color component interpolation apparatus according to claim 3.
各画素の撮像素子上での位置を示す画素位置、前記各画素の色及び前記各画素の信号量を有する撮像データを取得する撮像データ入力ステップと、
前記撮像素子上の任意の注目位置での複数の色のそれぞれの信号量を推定するための複数の色成分関数のそれぞれのパラメータを、前記複数の色成分関数の導関数が互いに類似するように、前記注目位置の周囲にある複数の画素の撮像データを用いて推定するパラメータ推定ステップと、
前記色成分関数と前記パラメータとを用いて、前記注目位置における任意の色の信号量を推定する色成分推定ステップと、
を備える色成分補間方法。
An imaging data input step of acquiring imaging data having a pixel position indicating the position of each pixel on the imaging device, a color of each pixel, and a signal amount of each pixel;
The parameters of the plurality of color component functions for estimating the signal amounts of the plurality of colors at arbitrary positions of interest on the image sensor are set so that the derivatives of the plurality of color component functions are similar to each other. A parameter estimation step of estimating using imaging data of a plurality of pixels around the target position;
A color component estimation step for estimating a signal amount of an arbitrary color at the target position using the color component function and the parameter;
A color component interpolation method comprising:
各画素の撮像素子上での位置を示す画素位置、前記各画素の色及び前記各画素の信号量を有する撮像データを取得する撮像データ入力機能と、
前記撮像素子上の任意の注目位置での複数の色のそれぞれの信号量を推定するための複数の色成分関数のそれぞれのパラメータを、前記複数の色成分関数の導関数が互いに類似するように、前記注目位置の周囲にある複数の画素の撮像データを用いて推定するパラメータ推定機能と、
前記色成分関数と前記パラメータとを用いて、前記注目位置における任意の色の信号量を推定する色成分推定機能と、
をコンピュータによって実現する色成分補間プログラム。
An imaging data input function for acquiring imaging data having a pixel position indicating a position of each pixel on the imaging device, a color of each pixel, and a signal amount of each pixel;
The parameters of the plurality of color component functions for estimating the signal amounts of the plurality of colors at arbitrary positions of interest on the image sensor are set so that the derivatives of the plurality of color component functions are similar to each other. A parameter estimation function for estimating using imaging data of a plurality of pixels around the target position;
A color component estimation function for estimating a signal amount of an arbitrary color at the target position using the color component function and the parameter;
This is a color component interpolation program that implements a computer.
JP2007172097A 2007-06-29 2007-06-29 Color component interpolation apparatus, and method thereof Pending JP2009010847A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007172097A JP2009010847A (en) 2007-06-29 2007-06-29 Color component interpolation apparatus, and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007172097A JP2009010847A (en) 2007-06-29 2007-06-29 Color component interpolation apparatus, and method thereof

Publications (1)

Publication Number Publication Date
JP2009010847A true JP2009010847A (en) 2009-01-15

Family

ID=40325438

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007172097A Pending JP2009010847A (en) 2007-06-29 2007-06-29 Color component interpolation apparatus, and method thereof

Country Status (1)

Country Link
JP (1) JP2009010847A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010199849A (en) * 2009-02-24 2010-09-09 Toshiba Corp Image processor, image processing method and imaging apparatus
WO2011043051A1 (en) * 2009-10-07 2011-04-14 パナソニック株式会社 Image pickup device and solid-state image pickup element
WO2011121760A1 (en) * 2010-03-31 2011-10-06 キヤノン株式会社 Image processing apparatus and image capturing apparatus using same
JP2011249900A (en) * 2010-05-24 2011-12-08 Oki Data Corp Image reading apparatus and image processing method
JP2014199527A (en) * 2013-03-29 2014-10-23 キヤノン株式会社 Information processor, information processing method and program
JP2015070612A (en) * 2013-09-28 2015-04-13 株式会社リコー Design of color filter module for plenoptic xyz imaging system
US9378540B2 (en) 2014-02-06 2016-06-28 Kabushiki Kaisha Toshiba Image processing device, image processing method, and imaging device

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010199849A (en) * 2009-02-24 2010-09-09 Toshiba Corp Image processor, image processing method and imaging apparatus
WO2011043051A1 (en) * 2009-10-07 2011-04-14 パナソニック株式会社 Image pickup device and solid-state image pickup element
US8537256B2 (en) 2009-10-07 2013-09-17 Panasonic Corporation Image pickup device and solid-state image pickup element
WO2011121760A1 (en) * 2010-03-31 2011-10-06 キヤノン株式会社 Image processing apparatus and image capturing apparatus using same
JP5054248B2 (en) * 2010-03-31 2012-10-24 キヤノン株式会社 Image processing apparatus, image processing method, image processing program, and imaging apparatus
US8565524B2 (en) 2010-03-31 2013-10-22 Canon Kabushiki Kaisha Image processing apparatus, and image pickup apparatus using same
JP2011249900A (en) * 2010-05-24 2011-12-08 Oki Data Corp Image reading apparatus and image processing method
JP2014199527A (en) * 2013-03-29 2014-10-23 キヤノン株式会社 Information processor, information processing method and program
JP2015070612A (en) * 2013-09-28 2015-04-13 株式会社リコー Design of color filter module for plenoptic xyz imaging system
US9378540B2 (en) 2014-02-06 2016-06-28 Kabushiki Kaisha Toshiba Image processing device, image processing method, and imaging device

Similar Documents

Publication Publication Date Title
US9412151B2 (en) Image processing apparatus and image processing method
JP6168794B2 (en) Information processing method and apparatus, program.
JP6735592B2 (en) Image processing apparatus, control method thereof, and image processing system
JPWO2004068862A1 (en) High resolution color image generation method, high resolution color image generation apparatus, and high resolution color image generation program
US9338364B2 (en) Imaging device and image generation method
JP2009010847A (en) Color component interpolation apparatus, and method thereof
JP5984493B2 (en) Image processing apparatus, image processing method, imaging apparatus, and program
JP2000188680A (en) Method and system for producing high resolution image
JP5822937B2 (en) Method for processing an image in the invisible spectral region, corresponding camera and measuring device
JP2010218271A (en) Parameter control processing apparatus and image processing apparatus
JP2010034696A (en) Resolution converting device, method, and program
JP2015524946A (en) Method and measuring apparatus for forming a super-resolution image with improved image resolution
Cao et al. Learning adaptive warping for real-world rolling shutter correction
JP2011182237A (en) Compound-eye imaging device, and image processing method in the same
JP2011041210A (en) Signal processing apparatus, imaging apparatus and signal processing method
JP6598473B2 (en) Imaging apparatus and image processing apparatus
JP2006203296A (en) Interpolation processing method, interpolation processing program, and imaging apparatus
JP6494402B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
Bielova et al. A digital image processing pipeline for modelling of realistic noise in synthetic images
JP6531848B2 (en) Real-time color preview generation for plenoptic imaging systems
JP7303896B2 (en) Information processing system, endoscope system, trained model, information storage medium, and information processing method
JP6802848B2 (en) Image processing equipment, imaging system, image processing method and image processing program
JP2012003454A (en) Image processing apparatus, imaging device and image processing program
JP2009047734A (en) Imaging apparatus and image processing program
JP2009077051A (en) Imaging apparatus and imaging method thereof