JP2012227869A - Image processing device, image processing method and digital camera - Google Patents

Image processing device, image processing method and digital camera Download PDF

Info

Publication number
JP2012227869A
JP2012227869A JP2011096052A JP2011096052A JP2012227869A JP 2012227869 A JP2012227869 A JP 2012227869A JP 2011096052 A JP2011096052 A JP 2011096052A JP 2011096052 A JP2011096052 A JP 2011096052A JP 2012227869 A JP2012227869 A JP 2012227869A
Authority
JP
Japan
Prior art keywords
processing
pixel
color
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011096052A
Other languages
Japanese (ja)
Inventor
Toshinobu Hatano
敏信 秦野
Original Assignee
Panasonic Corp
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, パナソニック株式会社 filed Critical Panasonic Corp
Priority to JP2011096052A priority Critical patent/JP2012227869A/en
Publication of JP2012227869A publication Critical patent/JP2012227869A/en
Withdrawn legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To generate a luminance signal in a small circuit scale while reducing aliasing in an oblique direction component while maintaining excellent resolution in red and blue parts, from an image signal read from an imaging element using a color filter.SOLUTION: Filtering 204 is performed in an oblique direction only on red (R) and blue (B) data in image signal data 201 read from an imaging element using a color filter. Green (G) data is not filtered and output as it is to generate data 205 having two color components, green and a pixel color obtained by the above processing. High-pass filtering is performed on the data 205 to generate a luminance signal with reduced aliasing.

Description

本発明は、イメージセンサーから出力されるRAW画像データを画像処理する画像処理装置に関し、特に、デジタルスチルカメラ等の画像処理やPCで実行する現像画像処理ソフトウエアに関する。   The present invention relates to an image processing apparatus that performs image processing on RAW image data output from an image sensor, and more particularly to image processing such as a digital still camera and development image processing software executed on a PC.
一般に、CCDイメージセンサーやCMOSイメージセンサーのような光量を検出可能な撮像素子を用いてカラー画像を生成するには、色フィルタを透過させた光を撮像素子に入射させる構成が採用される。   In general, in order to generate a color image using an image sensor that can detect the amount of light, such as a CCD image sensor or a CMOS image sensor, a configuration in which light transmitted through a color filter is incident on the image sensor is employed.
色フィルタには、用いる色の種類や、画素毎に割り当てる色の配列などによって様々な種類が存在するが、現状では、色の種類は原色(赤、緑、青)、色配列についてはベイヤー配列が主流となっている。   There are various types of color filters depending on the type of color to be used and the color arrangement assigned to each pixel. At present, the color type is the primary color (red, green, blue), and the color arrangement is the Bayer arrangement. Has become the mainstream.
図16は、原色ベイヤー配列での色フィルタの1単位を示す図である。実際には、同様の配列が撮像素子の画素数に応じて繰り返される。Rは赤、G1及びG2は緑、Bは青である。   FIG. 16 is a diagram showing one unit of a color filter in the primary color Bayer arrangement. Actually, the same arrangement is repeated according to the number of pixels of the image sensor. R is red, G1 and G2 are green, and B is blue.
図17は、図16に示す原色ベイヤー配列の色フィルタを用いて輝度信号を生成する従来方法のうち、緑(G)信号のみから輝度信号(OG信号)を生成するOut_Of_Green方式(以下、OG方式と記す)を実現する輝度信号生成回路の構成例を示す。   FIG. 17 illustrates an Out_Of_Green method (hereinafter referred to as an OG method) that generates a luminance signal (OG signal) from only a green (G) signal among conventional methods for generating a luminance signal using the color filters of the primary color Bayer arrangement shown in FIG. A configuration example of a luminance signal generation circuit for realizing
先ず、撮像素子の出力2204をデジタル化したRAW信号2200に対してZero挿入回路2201を適用して、G画素以外の値を0とした信号2205を作成する。次に、垂直方向の帯域を制限するローパスフィルタ(V−LPF)回路2202及び水平方向の帯域を制限するローパスフィルタ(H−LPF)回路2203を適用して、輝度信号(OG信号)を得る。   First, a zero insertion circuit 2201 is applied to the RAW signal 2200 obtained by digitizing the output 2204 of the image sensor to generate a signal 2205 in which values other than the G pixel are set to 0. Next, a low-pass filter (V-LPF) circuit 2202 for limiting the vertical band and a low-pass filter (H-LPF) circuit 2203 for limiting the horizontal band are applied to obtain a luminance signal (OG signal).
また、図17に示す原色ベイヤー配列の色フィルタを用いて輝度信号を生成する従来方法の別の例として、RGB全ての画素を用いて輝度信号を生成するSwitchY方式(以下、SWY方式と記す)がある。   Further, as another example of the conventional method for generating the luminance signal using the color filters of the primary color Bayer array shown in FIG. 17, the SwitchY method (hereinafter referred to as SWY method) for generating the luminance signal using all the RGB pixels. There is.
図18は、前記SWY方式を実現する輝度信号生成回路の構成例を示す図である。図17との比較から明らかなように、SWY方式は、OG方式におけるZero挿入回路2201を用いずに輝度信号を得る方式である。以下、SWY方式で得られる輝度信号をSWY信号という。   FIG. 18 is a diagram illustrating a configuration example of a luminance signal generation circuit that realizes the SWY method. As is clear from comparison with FIG. 17, the SWY method is a method of obtaining a luminance signal without using the Zero insertion circuit 2201 in the OG method. Hereinafter, a luminance signal obtained by the SWY method is referred to as a SWY signal.
図19は、OG信号とSWY信号との解像可能な空間周波数特性を示す図である。横軸は被写体の水平(H)方向の周波数空間を、縦軸は垂直(V)方向の周波数空間を示し、原点から遠ざかるほど空間周波数が高い。OG信号はG信号のみから輝度信号を生成するため、水平及び垂直方向の解像限界は撮像素子のナイキスト周波数(軸上、π/2)に等しい。しかし、斜め方向は画素が存在しないラインが存在するため、斜め方向の限界解像周波数は水平垂直と比較して低く、結果としてひし形上の空間周波数領域2400が解像可能な空間周波数となる。   FIG. 19 is a diagram showing a resolvable spatial frequency characteristic of the OG signal and the SWY signal. The horizontal axis indicates the frequency space in the horizontal (H) direction of the subject, the vertical axis indicates the frequency space in the vertical (V) direction, and the spatial frequency increases as the distance from the origin increases. Since the OG signal generates a luminance signal only from the G signal, the resolution limit in the horizontal and vertical directions is equal to the Nyquist frequency (on the axis, π / 2) of the image sensor. However, since there are lines in which no pixels exist in the oblique direction, the limit resolution frequency in the oblique direction is lower than that in the horizontal and vertical directions, and as a result, the spatial frequency region 2400 on the rhombus becomes a resolvable spatial frequency.
一方、SWY信号は、全ての画素を用いて信号をつくるので、被写体が無彩色の場合、同図のような正方形領域2401が解像可能な空間周波数となる。しかしながら、例えば赤い被写体においては、R画素以外の画素からは輝度信号が出力されないため、無彩色被写体に比べ、水平及び垂直方向共に半分となる空間周波数範囲2402でしか解像しない。   On the other hand, since the SWY signal is generated using all the pixels, when the subject is achromatic, the square area 2401 as shown in FIG. However, for a red subject, for example, a luminance signal is not output from pixels other than the R pixel, so that the resolution is performed only in the spatial frequency range 2402 that is half of both the horizontal and vertical directions compared to an achromatic subject.
特許文献1では、図19におけるOG信号の斜め領域2403については、SWY信号で置換する方法を提案している。但し、有彩色被写体はSWY信号の解像限界周波数が下がるため、斜め領域2403が無彩色被写体である場合に限り、OG信号をSWY信号で置換する。その後、生成された輝度信号を用いてエッジ強調成分を検出し、輝度信号に加算して最終輝度信号を生成する。   Patent Document 1 proposes a method of replacing the oblique region 2403 of the OG signal in FIG. 19 with the SWY signal. However, since the resolution limit frequency of the SWY signal is lowered for the chromatic subject, the OG signal is replaced with the SWY signal only when the oblique region 2403 is an achromatic subject. Thereafter, an edge enhancement component is detected using the generated luminance signal and added to the luminance signal to generate a final luminance signal.
また、特許文献2記載の方法では、OG信号を用いて第1の高周波信号を生成すると共に、全色画素の信号から水平及び垂直方向だけではなく斜め方向の帯域も制限した角度適応型SWY方式で生成した輝度信号を用いて第2の高周波信号を生成し、信号の空間周波数に応じて第1の高周波信号と第2の高周波信号とを加重加算して第3の高周波信号を生成し、OG信号と第3の高周波信号を加算して最終的な輝度信号を生成している。   Further, in the method described in Patent Document 2, the first adaptive high-frequency signal is generated by using the OG signal, and the angle adaptive SWY method in which not only the horizontal and vertical directions but also the diagonal band is limited from the signals of all the color pixels. A second high-frequency signal is generated using the luminance signal generated in step S1, and a third high-frequency signal is generated by weighted addition of the first high-frequency signal and the second high-frequency signal according to the spatial frequency of the signal, The final luminance signal is generated by adding the OG signal and the third high-frequency signal.
更に、特許文献3記載の方法は、複数のLPF特性より出力された各々の輝度信号を得た上で、着目画素の赤さ及び青さの尺度を示す指標を算出し、その指標に基づき、着目画素の赤さ又は青さが強いほどLPFにより高域抑圧された輝度信号の割合が高くなるように、高帯域の輝度信号と高域抑圧された輝度信号とを加重加算して、着目画素に対する最終的な輝度信号を生成している。   Furthermore, the method described in Patent Document 3 obtains each luminance signal output from a plurality of LPF characteristics, calculates an index indicating a measure of redness and blueness of the pixel of interest, and based on the index, The high-frequency luminance signal and the high-frequency-suppressed luminance signal are weighted and added so that the higher the redness or blueness of the target pixel is, the higher the ratio of the luminance signal suppressed by the LPF is. The final luminance signal for is generated.
特開2003−348609号公報JP 2003-348609 A 特開2008−72377号公報JP 2008-72377 A 特開2010−41511号公報JP 2010-41511 A
しかしながら、前記特許文献1記載の方法を原色ベイヤー配列の色フィルタを用いて得た信号に適用する場合、図18に示した輝度信号生成回路で生成したSWY信号を無彩色被写体部分に置換すれば、斜め方向の解像度が向上するが、無彩色と有彩色との境界の切り替え処理部分で色キャリアの低域側への変調成分が目立つ場合がある。   However, when the method described in Patent Document 1 is applied to a signal obtained using a primary color Bayer array color filter, the SWY signal generated by the luminance signal generation circuit shown in FIG. However, although the resolution in the oblique direction is improved, there may be a case where the modulation component toward the low frequency side of the color carrier is conspicuous in the switching process portion of the boundary between the achromatic color and the chromatic color.
図4にで輝度信号処理を実施する場合の画像の1例を示す。同図(a)は斜めカラーパレットのベイヤー配列RAWデータである。同図中の色を示す記号について、Rは赤、Gは緑、Bは青、Cyはシアン、Yeは黄、Mgはマゼンダである。同図(c)は斜めカラーパレットのベイヤー配列RAWデータに全ての画素を用ていSWY方式の輝度信号処理を実施した画像処理データである。同図(c)の画像観測により、原画像の高域情報は確保されている一方、有彩色のカラーパレットの色境界の切り替え処理部分で色キャリアの折り返し成分が目立っていることが判る。   FIG. 4 shows an example of an image when luminance signal processing is performed. FIG. 5A shows Bayer array RAW data of an oblique color palette. Regarding the symbols indicating the colors in the figure, R is red, G is green, B is blue, Cy is cyan, Ye is yellow, and Mg is magenta. FIG. 4C shows image processing data obtained by performing SWY luminance signal processing using all pixels in Bayer array RAW data of an oblique color palette. From the image observation in FIG. 5C, it can be seen that the high frequency information of the original image is secured, but the color carrier aliasing component is conspicuous in the color boundary switching processing portion of the chromatic color palette.
以下、有彩色のカラーパレットの色と色との境界の切り替え処理部分で色キャリアの折り返し成分画像を「ジッパーノイズ」と表現する。   Hereinafter, the aliasing component image of the color carrier is expressed as “zipper noise” in the switching processing portion between the colors of the chromatic color palette.
また、有彩色被写体についてはOG信号を用いるので、有彩色被写体についての斜め方向の解像度は向上しない。更に、OG信号の一部(斜め領域2403)をSWY信号に置き換えた後の輝度信号でエッジ強調信号を生成すると、OG信号とSWY信号との切り替わり部分が強調され、色キャリアの低域側への変調成分が不自然なテクスチャーとなって見えてくるため、エッジ強調度合いが制限される。   Further, since the OG signal is used for the chromatic subject, the resolution in the oblique direction for the chromatic subject is not improved. Further, when the edge emphasis signal is generated by the luminance signal after a part of the OG signal (oblique area 2403) is replaced with the SWY signal, the switching portion between the OG signal and the SWY signal is emphasized, and the color carrier is shifted to the low frequency side. Since the modulation component of the image appears as an unnatural texture, the degree of edge enhancement is limited.
また、特許文献2では、赤色被写体における画質劣化を抑制するために、赤色領域を検出し、その領域はOG信号から生成した第1の高周波信号を用いて最終的な輝度信号を生成している。そのため、特許文献1と同様に、図4(c)に示す赤色や青色の斜め線の折り返し歪み(ジッパーノイズ)が除去できないという問題があった。   Further, in Patent Document 2, in order to suppress image quality degradation in a red subject, a red region is detected, and the region generates a final luminance signal using a first high-frequency signal generated from an OG signal. . Therefore, similarly to Patent Document 1, there is a problem that the aliasing distortion (zipper noise) of the red and blue diagonal lines shown in FIG. 4C cannot be removed.
更に、特許文献3は、赤色又は青色被写体についての斜め方向成分における折り返し歪み(ジッパーノイズ)の発生を抑制可能とするための構成を採用しているが、赤色検出回路、青色検出回路や指標算出手段などを必要として、回路規模が大きくなる欠点がある。更に、赤色や青色の部分では、高域抑圧された輝度信号の割合が高くなるように輝度信号を生成しているため、2分の1ナイキスト周波数以下の特性となって、赤色や青色の有彩色部分の解像感が大幅に抑圧され、有彩色被写体のくっきりした立体感が阻害される欠点がある。更に、特許文献3では、高感度撮影などでセンサー出力のランダムノイズのレベルが大きい場合には、赤さ、青さの指標算出において誤判定処理動作が発生し、原画像のランダムな粒状感が損なわれた人工的なノイズ感を持った高帯域輝度信号が出力されることが予想される。また、判定処理が多岐にわたり、回路実装した場合には規模が大きくなると共に、所望の輝度信号特性を得るための画質調整設定が多くなる。プログラムに実装した場合にはその実行時間が長くなることが予想される。   Furthermore, Patent Document 3 employs a configuration that can suppress the occurrence of aliasing distortion (zipper noise) in a diagonal component of a red or blue subject, but a red detection circuit, a blue detection circuit, and an index calculation. There is a drawback that the circuit scale becomes large due to the need for means. In addition, in the red and blue portions, the luminance signal is generated so that the ratio of the luminance signal that is suppressed in the high frequency region is high. Therefore, the characteristic is less than a half Nyquist frequency, and red and blue are present. There is a drawback in that the resolution of the chromatic portion is greatly suppressed and the clear stereoscopic effect of the chromatic subject is obstructed. Further, in Patent Document 3, when the level of random noise of the sensor output is high due to high sensitivity photography or the like, an erroneous determination processing operation occurs in calculating the redness and blueness indexes, and the original image has a random graininess. It is expected that a high-band luminance signal with a sense of damaged artificial noise will be output. In addition, the determination processing is diverse, and when the circuit is mounted, the scale becomes large and the image quality adjustment setting for obtaining a desired luminance signal characteristic increases. When implemented in a program, its execution time is expected to increase.
本発明は、このような事情に鑑みてなされたものであり、その目的は、RAW原画像から輝度信号を生成する画像処理を実施するに際し、ジッパーノイズの発生を抑制して偽輝度信号を低減しながらも、良好な解像感を保持することにある。   The present invention has been made in view of such circumstances, and its purpose is to reduce false luminance signals by suppressing the generation of zipper noise when performing image processing for generating luminance signals from RAW original images. However, it is to maintain a good resolution.
更に、本発明は、前記目的に加えて、輝度信号生成の画像処理のアルゴリズム及びアーキテクチャをシンプルな構成で実現して、所望の特性を得るための回路規模を最小限に抑えると共に、プログラム実装時にはその実行時間を短縮することを第2の目的とする。   Furthermore, in addition to the above object, the present invention realizes an image processing algorithm and architecture for luminance signal generation with a simple configuration to minimize the circuit scale for obtaining desired characteristics, and at the time of program implementation. The second object is to shorten the execution time.
前記の目的を達成するために、請求項1記載の発明の画像処理装置は、周期的な配列の色フィルタを備えた撮像素子から読み出したRAW画像データから、画素毎の輝度信号を生成する輝度信号生成装置を備えた画像処理装置であって、前記輝度信号生成装置は、前記RAW画像データの画素位置が行方向が奇数で列方向の画素位置が偶数の画素と行方向の画素位置が偶数で列方向の画素位置が奇数の画素に対してはローパスフィルタ処理を行わず、行方向及び列方向の奇数位置の画素と行方向及び列方向の偶数位置の画素に対してのみローパスフィルタ処理を実施する画素位置選択フィルタ処理手段と、前記画素位置選択フィルタ処理手段の出力データを入力として高帯域な輝度信号処理を実施する輝度信号処理手段とを備えたことを特徴とする。   In order to achieve the above object, the image processing apparatus according to the first aspect of the present invention is a luminance that generates a luminance signal for each pixel from RAW image data read from an image sensor having a periodically arranged color filter. An image processing apparatus including a signal generation device, wherein the luminance signal generation device is configured such that a pixel position of the RAW image data is an odd number in a row direction, an even number in a column direction, and an even number in a row direction. Thus, low-pass filter processing is not performed for pixels with odd pixel positions in the column direction, and low-pass filter processing is performed only for pixels in odd positions in the row direction and column direction and even pixels in row direction and column direction. Pixel position selection filter processing means to be implemented, and luminance signal processing means for performing high-band luminance signal processing with the output data of the pixel position selection filter processing means as an input To.
請求項2記載の発明の画像処理装置は、周期的な配列の色フィルタを備えた撮像素子から読み出したRAW画像データから、画素毎の輝度信号を生成する輝度信号生成装置を備えた画像処理装置であって、前記輝度信号生成装置は、RAW画像データの画素位置が行方向が奇数で列方向の画素位置が偶数の画素と行方向の画素位置が偶数で列方向の画素位置が奇数の画素に対してのみローパスフィルタ処理を行い、行方向及び列方向の奇数位置の画素と行方向及び列方向の偶数位置の画素に対してはローパスフィルタ処理を実施しない画素位置選択フィルタ処理手段と、前記画素位置選択フィルタ処理手段の出力データを入力として高帯域な輝度信号処理を実施する輝度信号処理手段とを備えたことを特徴とする。   An image processing apparatus according to a second aspect of the present invention is provided with a luminance signal generation apparatus that generates a luminance signal for each pixel from RAW image data read from an image sensor having a color filter with a periodic array. The luminance signal generation device includes pixels in which the pixel position of the RAW image data is odd in the row direction and the pixel position in the column direction is even, and the pixel position in the row direction is even and the pixel position in the column direction is odd. Pixel position selection filter processing means that performs low-pass filter processing only on the pixel, and does not perform low-pass filter processing on pixels in odd positions in the row direction and column direction and pixels in even positions in the row direction and column direction, and And luminance signal processing means for performing high-band luminance signal processing with the output data of the pixel position selection filter processing means as an input.
請求項3記載の発明は、前記請求項1及び2の何れか1項に記載の画像処理装置であって、周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、前記画素位置選択フィルタ処理手段は、RGBの3色の原画素データのうち赤(R)と青(B)の各注目画素に対して選択的にローパスフィルタ処理を行うことを特徴とする。   A third aspect of the present invention is the image processing apparatus according to any one of the first and second aspects, wherein the filter array of the image pickup device including the color filters of the periodic array is a Bayer array. The pixel position selection filter processing means selectively performs low-pass filter processing on each target pixel of red (R) and blue (B) among the original pixel data of three colors of RGB.
請求項4記載の発明は、前記請求項1及び2の何れか1項に記載の画像処理装置であって、周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、前記画素位置選択フィルタ処理手段は、選択的に赤(R)と青(B)の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、赤(R)と青(B)の各注目画素を中心に奇数(2n+1)×奇数(2n+1)の周辺画素エリア内の画素を対してフィルタ演算処理を行って、ベイヤー配列の原画像を周期的な緑(G)と演算処理結果データとの2種類の色画素データに変換することを特徴とする。   A fourth aspect of the present invention is the image processing apparatus according to any one of the first and second aspects, wherein the filter array of the image pickup device including the color filters of the periodic array is a Bayer array. The pixel position selection filter processing means selectively performs red (R) and blue (B) when performing low-pass filter processing using peripheral pixels for the red (R) and blue (B) target pixels. Filter processing is performed on the pixels in the peripheral pixel area of odd number (2n + 1) × odd number (2n + 1) with each pixel of interest as the center, and the original image of the Bayer array is displayed as periodic green (G) and the result of the calculation processing Data is converted into two types of color pixel data.
請求項5記載の発明は、前記請求項1及び2の何れか1項に記載の画像処理装置であって、周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、前記画素位置選択フィルタ処理手段は、選択的に赤(R)と青(B)の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、注目画素を原点に右斜め方向と左斜め方向に位置する赤(R)画素と青(B)画素のみを用いてフィルタ演算処理を行い、赤(R)と青(B)との各注目画素に対しては赤色と青色とを合成してできるマゼンダ(M)色成分に置き換え、ベイヤー配列の原画像を周期的な緑(G)とマゼンダ(M)の2種類の色画素データに変換することを特徴とする。   A fifth aspect of the present invention is the image processing apparatus according to any one of the first and second aspects, wherein the filter array of the image pickup device including the color filters of the periodic array is a Bayer array. The pixel position selection filter processing means selectively performs the low-pass filter processing on the red (R) and blue (B) target pixels using peripheral pixels, and the pixel position selection filter processing means Filter operation processing is performed using only red (R) pixels and blue (B) pixels located in the diagonally left direction, and red and blue are applied to each target pixel of red (R) and blue (B). This is characterized in that the original image of the Bayer array is converted into two types of periodic pixel data of green (G) and magenta (M) by replacing the synthesized magenta (M) color component.
請求項6記載の発明は、前記請求項1及び2の何れか1項に記載の画像処理装置であって、周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、前記画素位置選択フィルタ処理手段は、選択的に赤(R)と青(B)の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、注目画素を原点に斜め方向に位置する赤(R)と青(B)の画素に加えて、水平・垂直方向に隣接する緑(G)画素の成分も加えたフィルタ演算処理を行い、赤(R)と青(B)の注目画素に対しては赤色と青色と緑色を合成してできるホワイト(W)色成分に置き換え、ベイヤー配列の原画像を周期的な緑(G)とホワイト(W)との2種類の色画素データに変換することを特徴とする。   A sixth aspect of the present invention is the image processing apparatus according to any one of the first and second aspects, wherein the filter array of the image pickup device including the color filters of the periodic array is a Bayer array. The pixel position selection filter processing means selectively performs the low-pass filter processing on the red (R) and blue (B) target pixels using the peripheral pixels, and the pixel position selection filter processing unit is positioned in an oblique direction with the target pixel as the origin. In addition to the red (R) and blue (B) pixels to be processed, the filter calculation processing is also performed in which the components of the green (G) pixels adjacent in the horizontal and vertical directions are added, and attention is paid to red (R) and blue (B). The pixel is replaced with a white (W) color component formed by combining red, blue, and green, and the original image in the Bayer array is converted into two types of color pixel data of green (G) and white (W). It is characterized by converting into.
請求項7記載の発明は、前記請求項4〜6の何れか1項に記載の画像処理装置であって、更に、周期的な2種類の色画素データに変換された画像データに対して水平及び垂直方向に周期的な色キャリア除去処理を実施して、高域輝度信号を生成処理する色キャリア除去手段を有することを特徴とする。   A seventh aspect of the present invention is the image processing apparatus according to any one of the fourth to sixth aspects, wherein the image data is further horizontal with respect to the image data converted into two types of periodic color pixel data. And color carrier removal means for generating a high-frequency luminance signal by performing periodic color carrier removal processing in the vertical direction.
請求項8記載の発明は、前記請求項4〜6の何れか1項に記載の画像処理装置であって、周期的な2種類の色画素データに変換された画像データに対して、水平及び垂直方向に周期的な色キャリアを含む高域成分と直流成分を含む低域成分とを除去するバンドパスフィルタ処理手段と、RGBの3色の原画素データを色毎に色分離出力する低域RGB色分離信号処理手段と、前記色毎に色分離出力されたRGBデータに対して前記バンドパスフィルタ処理で除去される直流成分を含む低域成分に相当する帯域を濾波するローパスフィルタ処理手段と、前記バンドパスフィルタ処理後の高域データと前記ローパスフィルタ処理後の低域色分離RGB成分との加算処理を実施する信号加算手段とを有することを特徴とする。   The invention according to claim 8 is the image processing apparatus according to any one of claims 4 to 6, wherein the image data converted into two kinds of periodic color pixel data is horizontal and Bandpass filter processing means for removing a high frequency component including a periodic color carrier in the vertical direction and a low frequency component including a DC component, and a low frequency for color-separating and outputting original pixel data of three colors of RGB for each color RGB color separation signal processing means, and low-pass filter processing means for filtering a band corresponding to a low-frequency component including a direct-current component removed by the band-pass filter processing for the RGB data color-separated and output for each color. And signal adding means for performing addition processing of the high-pass data after the band-pass filter processing and the low-pass color separation RGB component after the low-pass filter processing.
請求項9記載の発明は、前記請求項8記載の画像処理装置であって、解像感調整の信号として前記バンドパスフィルタ処理手段で処理された交流成分の大きさを制御して解像感を調整する、交流成分中の高域レベル調整手段を有し、前記信号加算手段は、前記バンドパスフィルタ処理後の高域レベルが調整された高域データと、前記ローパスフィルタ処理後の低域色分離RGB成分との加算処理を実施し、前記信号加算手段の出力により、高域輝度信号を得ることを特徴とする。   The invention according to claim 9 is the image processing apparatus according to claim 8, wherein the resolution is controlled by controlling the magnitude of the AC component processed by the band-pass filter processing means as a resolution adjustment signal. The high frequency level adjusting means in the alternating current component is adjusted, and the signal adding means is configured to adjust the high frequency data after the band pass filter processing and the low frequency after the low pass filter processing. Addition processing with color separation RGB components is performed, and a high-frequency luminance signal is obtained by the output of the signal adding means.
請求項10記載の発明は、前記請求項9記載の画像処理装置であって、前記高域レベル調整手段は、解像感調整の信号として前記バンドパスフィルタ処理手段で処理された交流成分の大きさを制御する際、原画像の緑(G)の画素位置と赤(R)の画素位置と青(B)の画素位置とで独立に前記交流成分の大きさを決定する高域レベル調整データを記憶する画素位置別調整データ記憶手段と、前記前記画素位置別に記憶された高域レベル調整データに応じて前記バンドパスフィルタ処理手段で処理された交流成分の大きさを増倍する乗算手段とを備え、前記信号加算手段は、前記バンドパスフィルタ処理後の高域データに対して原画像の緑(G)の画素位置と赤(R)の画素位置と青(B)の画素位置とで色毎に交流成分の大きさを調整された高域データと、前記ローパスフィルタ処理後の低域色分離RGB成分との加算処理を実施することを特徴とする。   A tenth aspect of the present invention is the image processing apparatus according to the ninth aspect, wherein the high frequency level adjusting means is a magnitude of an alternating current component processed by the bandpass filter processing means as a resolution adjustment signal. High-frequency level adjustment data that determines the magnitude of the AC component independently from the green (G) pixel position, the red (R) pixel position, and the blue (B) pixel position of the original image when controlling the height. Pixel-by-pixel position adjustment data storage means, and multiplication means for multiplying the magnitude of the AC component processed by the band-pass filter processing means in accordance with the high-frequency level adjustment data stored by the pixel position. The signal adding means includes a green (G) pixel position, a red (R) pixel position, and a blue (B) pixel position of the original image with respect to the high-pass data after the band-pass filter processing. The size of the AC component is adjusted for each color. And high-frequency data, which comprises carrying out the addition processing of a low pass color separation RGB components after the low pass filtering.
請求項11記載の発明の画像処理方法は、周期的な配列の色フィルタを備えた撮像素子から読み出したRAW画像データから、画素毎の輝度信号を生成する輝度信号生成方法を持つ画像処理方法であって、前記輝度信号生成方法は、前記RAW画像データの画素位置が行方向が奇数で列方向の画素位置が偶数の画素と行方向の画素位置が偶数で列方向の画素位置が奇数の画素に対してはローパスフィルタ処理を行わず、行方向及び列方向の奇数位置の画素と行方向及び列方向の偶数位置の画素に対してのみローパスフィルタ処理を実施する画素位置選択フィルタ処理工程と、前記画素位置選択フィルタ処理工程の出力データを入力として高帯域な輝度信号処理を実施する輝度信号処理工程とを備えたことを特徴とする。   An image processing method according to an eleventh aspect of the present invention is an image processing method having a luminance signal generation method for generating a luminance signal for each pixel from RAW image data read from an image sensor having a periodic arrangement of color filters. In the luminance signal generation method, the pixel position of the RAW image data is an odd-numbered pixel in the row direction and an even-numbered pixel position in the column direction, and an even-numbered pixel position in the row direction and an odd-numbered pixel position in the column direction. A pixel position selection filter processing step for performing low-pass filter processing only on pixels at odd positions in the row direction and column direction and pixels at even positions in the row direction and column direction without performing low-pass filter processing for A luminance signal processing step of performing high-band luminance signal processing using the output data of the pixel position selection filter processing step as an input.
請求項12記載の発明の画像処理方法は、周期的な配列の色フィルタを備えた撮像素子から読み出したRAW画像データから、画素毎の輝度信号を生成する輝度信号生成方法を備えた画像処理方法であって、前記輝度信号生成方法は、RAW画像データの画素位置が行方向が奇数で列方向の画素位置が偶数の画素と行方向の画素位置が偶数で列方向の画素位置が奇数の画素に対してのみローパスフィルタ処理を行い、行方向及び列方向の奇数位置の画素と行方向及び列方向の偶数位置の画素に対してはローパスフィルタ処理を実施しない画素位置選択フィルタ処理工程と、前記画素位置選択フィルタ処理工程の出力データを入力として高帯域な輝度信号処理を実施する輝度信号処理工程とを備えたことを特徴とする。   An image processing method according to a twelfth aspect of the present invention is an image processing method including a luminance signal generation method for generating a luminance signal for each pixel from RAW image data read from an image sensor having a color filter with a periodic array. In the luminance signal generation method, the pixel position of the RAW image data is an odd number in the row direction, the pixel position in the column direction is an even number, and the pixel position in the row direction is an even number and the pixel position in the column direction is an odd number. A pixel position selection filter processing step that performs low-pass filter processing only on the pixel, and does not perform low-pass filter processing on pixels in odd positions in the row direction and column direction and pixels in even positions in the row direction and column direction; And a luminance signal processing step for performing high-band luminance signal processing using the output data of the pixel position selection filter processing step as an input.
請求項13記載の発明は、前記請求項11及び12の何れか1項に記載の画像処理方法であって、周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、前記画素位置選択フィルタ処理工程は、RGBの3色の原画素データのうち赤(R)と青(B)の各注目画素に対して選択的にローパスフィルタ処理を行うことを特徴とする。   A thirteenth aspect of the invention is the image processing method according to any one of the eleventh and twelfth aspects of the invention, wherein the filter arrangement of the image pickup device having the periodic arrangement of color filters is a Bayer arrangement. The pixel position selection filter processing step is characterized in that low-pass filter processing is selectively performed on each pixel of interest of red (R) and blue (B) among the original pixel data of three colors of RGB.
請求項14記載の発明は、前記請求項11及び12の何れか1項に記載の画像処理方法であって、周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、前記画素位置選択フィルタ処理工程は、選択的に赤(R)と青(B)の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、赤(R)と青(B)の各注目画素を中心に奇数(2n+1)×奇数(2n+1)の周辺画素エリア内の画素を対してフィルタ演算処理を行って、ベイヤー配列の原画像を周期的な緑(G)と演算処理結果データとの2種類の色画素データに変換することを特徴とする。   A fourteenth aspect of the invention is the image processing method according to any one of the eleventh and twelfth aspects, wherein the filter arrangement of the image pickup device having the periodic arrangement of color filters is a Bayer arrangement. In the pixel position selection filter processing step, red (R) and blue (B) are selectively used when low-pass filter processing is performed using peripheral pixels on the red (R) and blue (B) target pixels. Filter processing is performed on the pixels in the peripheral pixel area of odd number (2n + 1) × odd number (2n + 1) with each pixel of interest as the center, and the original image of the Bayer array is displayed as periodic green (G) and the result of the calculation processing Data is converted into two types of color pixel data.
請求項15記載の発明は、前記請求項11及び12の何れか1項に記載の画像処理方法であって、周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、前記画素位置選択フィルタ処理工程は、選択的に赤(R)と青(B)の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、注目画素を原点に右斜め方向と左斜め方向に位置する赤(R)画素と青(B)画素のみを用いてフィルタ演算処理を行い、赤(R)と青(B)との各注目画素に対しては赤色と青色とを合成してできるマゼンダ(M)色成分に置き換え、ベイヤー配列の原画像を周期的な緑(G)とマゼンダ(M)の2種類の色画素データに変換することを特徴とする。   A fifteenth aspect of the invention is the image processing method according to any one of the eleventh and twelfth aspects, wherein the filter arrangement of the image pickup element having the periodic arrangement of color filters is a Bayer arrangement. In the pixel position selection filter processing step, when the low-pass filter processing is selectively performed on the red (R) and blue (B) target pixels using peripheral pixels, the pixel position selection filter processing step Filter operation processing is performed using only red (R) pixels and blue (B) pixels located in the diagonally left direction, and red and blue are applied to each target pixel of red (R) and blue (B). This is characterized in that the original image of the Bayer array is converted into two types of periodic pixel data of green (G) and magenta (M) by replacing the synthesized magenta (M) color component.
請求項16記載の発明は、前記請求項11及び12の何れか1項に記載の画像処理方法であって、周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、前記画素位置選択フィルタ処理工程は、選択的に赤(R)と青(B)の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、注目画素を原点に斜め方向に位置する赤(R)と青(B)の画素に加えて、水平・垂直方向に隣接する緑(G)画素の成分も加えたフィルタ演算処理を行い、赤(R)と青(B)の注目画素に対しては赤色と青色と緑色を合成してできるホワイト(W)色成分に置き換え、ベイヤー配列の原画像を周期的なGとWの2種類の色画素データに変換することを特徴とする。   A sixteenth aspect of the invention is the image processing method according to any one of the eleventh and twelfth aspects, wherein the filter arrangement of the image pickup device having the periodic arrangement of color filters is a Bayer arrangement. In the pixel position selection filter processing step, when the low-pass filter processing is performed selectively on the red (R) and blue (B) target pixels using the peripheral pixels, the pixel position selection filter processing step is positioned in an oblique direction with the target pixel as the origin. In addition to the red (R) and blue (B) pixels to be processed, the filter calculation processing is also performed in which the components of the green (G) pixels adjacent in the horizontal and vertical directions are added, and the attention of red (R) and blue (B) The pixel is replaced with a white (W) color component formed by combining red, blue, and green, and the original image in the Bayer array is converted into two types of periodic pixel data of G and W. To do.
請求項17記載の発明は、前記請求項14〜16の何れか1項に記載の画像処理方法であって、更に、周期的な2種類の色画素データに変換された画像データに対して水平及び垂直方向に周期的な色キャリア除去処理を実施し、高域輝度信号を生成処理する色キャリア除去工程を有することを特徴とする。   The invention according to claim 17 is the image processing method according to any one of claims 14 to 16, wherein the image data converted into two types of periodic color pixel data is further horizontal. And a color carrier removal step of performing a periodic color carrier removal process in the vertical direction to generate a high-frequency luminance signal.
請求項18記載の発明は、前記請求項14〜16の何れか1項に記載の画像処理方法であって、周期的な2種類の色画素データに変換された画像データに対して、水平及び垂直方向に周期的な色キャリアを含む高域成分と直流成分を含む低域成分とを除去するバンドパスフィルタ処理工程と、RGBの3色の原画素データを色毎に色分離出力する低域RGB色分離信号処理工程と、前記色毎に色分離出力されたRGBデータに対して前記バンドパスフィルタ処理で除去される直流成分を含む低域成分に相当する帯域を濾波するローパスフィルタ処理工程と、前記バンドパスフィルタ処理後の高域データと前記ローパスフィルタ処理後の低域色分離RGB成分との加算処理を実施する信号加算工程とを有することを特徴とする。   The invention according to claim 18 is the image processing method according to any one of claims 14 to 16, wherein the image data converted into two kinds of periodic color pixel data are horizontally and A bandpass filter processing step for removing a high-frequency component including a periodic color carrier in the vertical direction and a low-frequency component including a direct current component, and a low frequency for color-separating and outputting original pixel data of three colors of RGB for each color An RGB color separation signal processing step, and a low-pass filter processing step of filtering a band corresponding to a low-frequency component including a direct-current component removed by the band-pass filter processing with respect to RGB data color-separated and output for each color. And a signal addition step of performing addition processing of the high-pass data after the band-pass filter processing and the low-pass color separation RGB component after the low-pass filter processing.
請求項19記載の発明は、前記請求項18記載の画像処理方法であって、解像感調整の信号として前記バンドパスフィルタ処理工程で処理された交流成分の大きさを制御して解像感を調整する、交流成分中の高域レベル調整工程を有し、前記信号加算工程は、前記バンドパスフィルタ処理後の高域レベルが調整された高域データと、前記ローパスフィルタ処理後の低域色分離RGB成分との加算処理を実施し、前記信号加算工程の出力により、高域輝度信号を得ることを特徴とする。   The image processing method according to claim 19 is the image processing method according to claim 18, wherein the resolution is controlled by controlling the magnitude of the AC component processed in the bandpass filter processing step as a resolution adjustment signal. A high-frequency level adjusting step in the AC component, and the signal adding step includes a high-frequency data in which the high-frequency level after the band-pass filter processing is adjusted, and a low-frequency level after the low-pass filter processing. Addition processing with color separation RGB components is performed, and a high-frequency luminance signal is obtained by an output of the signal addition step.
請求項20記載の発明は、前記請求項19記載の画像処理方法であって、前記高域レベル調整工程は、解像感調整の信号として前記バンドパスフィルタ処理工程で処理された交流成分の大きさを制御する際、原画像の緑(G)の画素位置と赤(R)の画素位置と青(B)の画素位置とで独立に前記交流成分の大きさを決定する高域レベル調整データを記憶する画素位置別調整データ記憶工程と、前記前記画素位置別に記憶された高域レベル調整データに応じて前記バンドパスフィルタ処理工程で処理された交流成分の大きさを増倍する乗算工程とを備え、前記信号加算工程は、前記バンドパスフィルタ処理後の高域データに対して原画像の緑(G)の画素位置と赤(R)の画素位置と青(B)の画素位置とで色毎に交流成分の大きさを調整された高域データと、前記ローパスフィルタ処理後の低域色分離RGB成分との加算処理を実施することを特徴とする。   A twentieth aspect of the present invention is the image processing method according to the nineteenth aspect, wherein the high-frequency level adjusting step includes a magnitude of the AC component processed in the band pass filter processing step as a resolution adjustment signal. High-frequency level adjustment data that determines the magnitude of the AC component independently from the green (G) pixel position, the red (R) pixel position, and the blue (B) pixel position of the original image when controlling the height. A pixel-by-pixel position adjustment data storing step, and a multiplication step for multiplying the magnitude of the AC component processed in the bandpass filter processing step in accordance with the high-frequency level adjustment data stored by the pixel position. And the signal adding step includes a green (G) pixel position, a red (R) pixel position, and a blue (B) pixel position of the original image with respect to the high-pass data after the bandpass filter processing. Adjust the AC component size for each color And high-frequency data, which comprises carrying out the addition processing of a low pass color separation RGB components after the low pass filtering.
請求項21記載の発明のデジタルカメラは、前記請求項1〜10の何れか1項に記載の画像処理装置を備えた処理機能部を有することを特徴とする。   According to a twenty-first aspect of the present invention, there is provided a digital camera including a processing function unit including the image processing apparatus according to any one of the first to tenth aspects.
以上説明したように、本発明の画像処理装置によれば、赤色又は青色被写体について斜め方向の色と色との境界における折り返し歪み(ジッパーノイズ)の発生を抑制して、偽輝度信号を低減しながらも、良好な解像感を保持することができる。   As described above, according to the image processing apparatus of the present invention, the false luminance signal is reduced by suppressing the occurrence of aliasing distortion (zipper noise) at the boundary between the color in the oblique direction for the red or blue subject. However, good resolution can be maintained.
また、RAW画像データの特定の画素に対してのみローパスフィルタ処理を実施するだけのシンプルな構成であるので、所望の特性を得るための回路規模を最小限に抑えることが可能であると共に、プログラム実装時にはその実行時間を短縮することができる。   In addition, since the simple configuration is such that only low-pass filter processing is performed on specific pixels of RAW image data, the circuit scale for obtaining desired characteristics can be minimized, and a program At the time of implementation, the execution time can be shortened.
更に、ゲインアップ時に課題となるランダムノイズ成分を含む原画像に対しても自然でノイズ感の少ない高帯域な特性を持つ輝度信号を生成することができ、所定の色信号処理や後処理と合わせて高画質な静止画や動画を撮影できる撮像装置を提供することができる。   Furthermore, it is possible to generate a luminance signal with high-bandwidth characteristics with a natural and low noise feeling even for the original image containing random noise components, which is a problem at the time of gain increase, and is combined with predetermined color signal processing and post-processing. In addition, it is possible to provide an imaging device that can capture high-quality still images and moving images.
本発明の第1の実施形態に係る画像処理装置の概略構成図である。1 is a schematic configuration diagram of an image processing apparatus according to a first embodiment of the present invention. 同画像処理装置を含む撮像装置を示す全体構成図である。It is a whole block diagram which shows the imaging device containing the image processing apparatus. 同画像処理装置における色キャリア変換処理の第1のアルゴリズムの詳細を示す図である。It is a figure which shows the detail of the 1st algorithm of the color carrier conversion process in the image processing apparatus. (a)は同画像処理装置の輝度信号処理の入力となる斜めカラーパレット画像を示す図、同図(b)は同実施形態での色キャリア変換処理結果の画像を示す図、同図(c)は従来の画像処理でジッパーノイズが存在する画像を示す図、同図(d)は本実施形態でのローパスフィルタ処理後の画像を示す図である。(A) is a diagram showing an oblique color palette image as an input for luminance signal processing of the image processing apparatus, (b) is a diagram showing an image of a color carrier conversion processing result in the embodiment, (c) ) Is a diagram showing an image in which zipper noise is present in the conventional image processing, and FIG. 8D is a diagram showing an image after the low-pass filter processing in the present embodiment. (a)は被写体画像の色境界を示す図、同図(b)は同色境界を持つ場合の撮像素子からのRAW画像データを示す図、同図(c)は画素選択処理及びフィルタ演算処理を示す図、同図(d)は同フィルタ演算処理後のRAWデータを示す図である。(A) is a diagram showing the color boundary of the subject image, (b) is a diagram showing RAW image data from the image sensor when it has the same color boundary, and (c) is a pixel selection process and a filter calculation process. FIG. 4D is a diagram showing RAW data after the filter calculation process. 同画像処理装置における色キャリア変換処理の第2のアルゴリズムの詳細を示す図である。It is a figure which shows the detail of the 2nd algorithm of the color carrier conversion process in the image processing apparatus. 同色キャリア変換処理の変形例を示す図である。It is a figure which shows the modification of the same color carrier conversion process. 同画像処理装置における色キャリア変換処理と輝度信号処理とを合わせた第1の処理ブロックを示す図である。It is a figure which shows the 1st process block which combined the color carrier conversion process and the luminance signal process in the image processing apparatus. (a)は同第1の処理ブロックの高域輝度信号処理(1)工程で実施するフィルタ処理特性を示す図、同図(b)は同第1の処理ブロックの低域輝度信号処理工程で実施するフィルタ処理特性を示す図である。(A) is a figure which shows the filter processing characteristic implemented by the high frequency luminance signal processing (1) process of the said 1st processing block, The figure (b) is a low frequency luminance signal processing process of the said 1st processing block. It is a figure which shows the filter processing characteristic to implement. (a)は同実施形態の色キャリア変換処理で生成したG画素とM画素とからなるRAWデータを示す図、同図(b)は同実施形態のバンドパスフィルタ処理後の各画素の高域成分を示す図、同図(c)は解像感調整された高域輝度信号データの生成アルゴリズムを示す図である。(A) is a view showing RAW data composed of G pixels and M pixels generated by the color carrier conversion process of the embodiment, and (b) is a high band of each pixel after the band pass filter process of the embodiment. The figure which shows a component and the figure (c) are figures which show the production | generation algorithm of the high region luminance signal data by which the feeling of resolution adjustment was carried out. 同画像処理装置における色キャリア変換処理と輝度信号処理とを合わせた第2の処理ブロック図である。It is the 2nd processing block diagram which combined color carrier conversion processing and luminance signal processing in the image processing device. 同第2の処理ブロックの輝度信号処理(2)工程で実施するフィルタ処理特性を示す図である。It is a figure which shows the filter processing characteristic implemented at the luminance signal processing (2) process of the said 2nd processing block. 同画像処理装置の色キャリア変換処理の要部を示すフローチャート図である。It is a flowchart figure which shows the principal part of the color carrier conversion process of the image processing apparatus. 同色キャリア変換処理の全体を示すフローチャート図である。It is a flowchart figure which shows the whole same color carrier conversion process. 同色キャリア変換処理の詳細を示すフローチャート図である。It is a flowchart figure which shows the detail of the same color carrier conversion process. 原色ベイヤー配列の1単位を示す図である。It is a figure which shows 1 unit of a primary color Bayer arrangement | sequence. 従来のOG方式による輝度信号生成回路の構成例を示すブロック図である。It is a block diagram which shows the structural example of the luminance signal generation circuit by the conventional OG system. 従来のSWY方式による輝度信号生成回路の構成例を示すブロック図である。It is a block diagram which shows the structural example of the luminance signal generation circuit by the conventional SWY system. OG信号とSWY信号との解像可能な空間周波数特性を示す図である。It is a figure which shows the resolvable spatial frequency characteristic of OG signal and SWY signal.
(第1の実施形態)
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
(First embodiment)
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
本実施形態の輝度信号生成する画像処理装置は、例えば原色ベイヤー配列の色フィルタを備える撮像素子を用いる撮像装置において、いわゆる現像処理等の信号処理を行なう信号処理回路で好適に実現可能である。現像処理とは、図1に示すように、撮像素子の出力のRAW画像データ101から、Yデータ105、CrCbデータ106及びRGBデータ107を生成することを主たる目的とする信号処理を示す。   The image processing apparatus for generating a luminance signal according to the present embodiment can be suitably realized by a signal processing circuit that performs signal processing such as so-called development processing in an imaging apparatus that uses an imaging device including, for example, a primary color Bayer array color filter. As shown in FIG. 1, the development processing indicates signal processing whose main purpose is to generate Y data 105, CrCb data 106, and RGB data 107 from RAW image data 101 output from the image sensor.
<撮像装置>
図2は、本発明の実施形態に係る代表的な撮像装置の構成図である。この撮像装置10は、撮像部12を介して撮像した被写体の光学像をデジタル画像データに変換して記録メディア912に記録する単板式のデジタルカメラである。
<Imaging device>
FIG. 2 is a configuration diagram of a typical imaging apparatus according to the embodiment of the present invention. The imaging device 10 is a single-plate digital camera that converts an optical image of a subject imaged via the imaging unit 12 into digital image data and records it on a recording medium 912.
前記撮像部12は、光学レンズ901、光学LPF902、カラーフィルタ903、撮像素子904、AFE(アナログフロントエンド)部905を含む。   The imaging unit 12 includes an optical lens 901, an optical LPF 902, a color filter 903, an imaging element 904, and an AFE (analog front end) unit 905.
前記撮像素子904は、CCD型又はCMOS型等に代表されるイメージセンサーである。撮像素子904の受光面には多数のフォトダイオード(感光画素)が2次元的に配列されており、光学レンズ901を通過した被写体情報を光電変換する。前記光学LPF902は、撮像素子904の画素ピッチ等に依存するサンプリング周波数以上の高周波成分を除去する機能を有し、画像再現(信号処理)後の最終画像におけるエリアジング発生を防止する。また、前記カラーフィルタ903は、撮像素子904の各画素に対応する位置にR、G、Bの何れかの色が存在するような所定の色配列を有し、受光素子たるフォトダイオードに入射する光の色選択を行う。   The image sensor 904 is an image sensor typified by a CCD type or a CMOS type. A large number of photodiodes (photosensitive pixels) are two-dimensionally arranged on the light receiving surface of the image sensor 904, and subject information that has passed through the optical lens 901 is photoelectrically converted. The optical LPF 902 has a function of removing high frequency components equal to or higher than the sampling frequency depending on the pixel pitch of the image sensor 904, and prevents aliasing from occurring in the final image after image reproduction (signal processing). The color filter 903 has a predetermined color arrangement in which any one of R, G, and B is present at a position corresponding to each pixel of the image sensor 904, and is incident on a photodiode as a light receiving element. Select the light color.
RGB原色タイプのカラーフィルタ配列のイメージセンサーの例を図1に示す。図1に示したベイヤー配列101は、受光素子が行方向及び列方向にそれぞれ一定ピッチで正方行列的に配列されている。尚、本発明はベイヤー配列に限定されない。   An example of an RGB primary color type color filter array image sensor is shown in FIG. In the Bayer array 101 shown in FIG. 1, the light receiving elements are arranged in a square matrix at a constant pitch in the row direction and the column direction. The present invention is not limited to the Bayer arrangement.
図2の光学レンズ901を通過した光は、光学LPF902とカラーフィルタ903とを通過して撮像素子904に入射する。撮像素子904の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換され、図示せぬドライバ回路から与えられるパルスに基づいて信号電荷に応じた電圧信号(画像信号)として順次読み出される。   The light that has passed through the optical lens 901 in FIG. 2 passes through the optical LPF 902 and the color filter 903 and enters the image sensor 904. A subject image formed on the light receiving surface of the image sensor 904 is converted into a signal charge corresponding to the amount of incident light by each photodiode, and a voltage corresponding to the signal charge based on a pulse provided from a driver circuit (not shown). It is sequentially read out as a signal (image signal).
前記撮像素子904は、シャッタゲートパルスのタイミングによって各フォトダイオードの電荷蓄積時間(シャッタスピード)を制御する電子シャッタ機能を有している。撮像素子904の動作(露光、読み出し等)はCPU914により制御される。   The image sensor 904 has an electronic shutter function for controlling the charge accumulation time (shutter speed) of each photodiode according to the timing of the shutter gate pulse. The operation (exposure, reading, etc.) of the image sensor 904 is controlled by the CPU 914.
撮像素子904から出力された画像信号はAFE部905に送られ、アナログゲイン、CDS(相関二重サンプリング)等の処理後、A/D変換処理によりデジタル信号に変換される。   The image signal output from the image sensor 904 is sent to the AFE unit 905, and after being subjected to processing such as analog gain and CDS (correlated double sampling), it is converted into a digital signal by A / D conversion processing.
またCMOS型に代表される撮像素子904においては、高速読み出しを実現する手段として、当該撮像素子904内にノイズ処理部とA/D変換器とを実装し、直接デジタル信号として出力する形態もある。   In addition, in an image sensor 904 represented by a CMOS type, as a means for realizing high-speed reading, there is a mode in which a noise processing unit and an A / D converter are mounted in the image sensor 904 and directly output as a digital signal. .
前記AFE部905にてA/D変換された画像データは、撮像装置10の動作モードに従い必要な信号処理を経て、又は信号処理を省略して、記録メディア912に記録される。本実施形態の撮像装置10は、JPEG形式による画像記録が可能であると共に、A/D変換した直後の画像(以下、RAW画像という)を記録することができる。   The image data A / D converted by the AFE unit 905 is recorded on the recording medium 912 through necessary signal processing according to the operation mode of the imaging apparatus 10 or by omitting signal processing. The imaging apparatus 10 according to the present embodiment can record an image in the JPEG format and can record an image immediately after A / D conversion (hereinafter referred to as a RAW image).
JPEG形式で記録する場合、A/D変換された画像データは、前処理部906を経て画像信号処理部(処理機能部)909に送られる。前処理部906と画像信号処理部909は、同時化処理(カラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理)、ホワイトバランス(WB)調整、ガンマ補正、輝度・色差信号生成、輪郭強調、電子ズーム機能による変倍(拡大/縮小)処理等の各種処理を実施する処理回路であって、CPU914からのコマンドに従って画像信号を処理する。これら前処理部906及び画像信号処理部909は、メモリ制御部907を介して処理途中の画像を一時記憶できるメモリー部908に接続でき、このメモリー部908を利用しながら画像信号の処理を行う。   When recording in the JPEG format, the A / D converted image data is sent to the image signal processing unit (processing function unit) 909 via the preprocessing unit 906. The pre-processing unit 906 and the image signal processing unit 909 perform a synchronization process (a process of calculating the color of each point by interpolating a spatial shift of the color signal associated with the color filter array), white balance (WB) adjustment, gamma A processing circuit that performs various processes such as correction, luminance / color difference signal generation, contour enhancement, and scaling (enlargement / reduction) processing using an electronic zoom function, and processes image signals in accordance with commands from the CPU 914. The pre-processing unit 906 and the image signal processing unit 909 can be connected to a memory unit 908 that can temporarily store an image being processed via the memory control unit 907, and process the image signal while using the memory unit 908.
前記前処理部906と画像信号処理部909とにおいて、所定の信号処理を経た画像データは、圧縮伸張部910に送られ、JPEG形式の圧縮フォーマットに従って圧縮される。尚、圧縮形式はJPEGに限定されず、MPEG、その他の動画圧縮方式を採用してもよく、使用される圧縮形式に対応した圧縮エンジンが用いられる。   In the pre-processing unit 906 and the image signal processing unit 909, the image data that has undergone predetermined signal processing is sent to the compression / decompression unit 910 and compressed according to the JPEG compression format. The compression format is not limited to JPEG, MPEG and other moving image compression methods may be adopted, and a compression engine corresponding to the compression format used is used.
圧縮された画像データは、記録メディアI/F(インターフェース)部911を介して記録メディア912に記録される。記録メディア912は、メモリカードに代表される半導体メモリに限定されず、磁気ディスク、光ディスク、光磁気ディスク等の種々の媒体を用いることができる。また、リムーバブルメディアに限らず、撮像装置10に内蔵された記録媒体(内部メモリ)であってもよい。   The compressed image data is recorded on the recording medium 912 via the recording medium I / F (interface) unit 911. The recording medium 912 is not limited to a semiconductor memory typified by a memory card, and various media such as a magnetic disk, an optical disk, and a magneto-optical disk can be used. Further, the recording medium (internal memory) built in the imaging apparatus 10 is not limited to a removable medium.
一方、RAW画像を記録するモードの場合、AFE部905のA/D変換によってデジタル化された画像データは、同時化その他の信号処理を経ずにメモリ制御部907、記録メディアI/F部911を介して記録メディア912に記録される。すなわち、RAW画像は、ガンマ補正、ホワイトバランス調整、同時化等の信号処理が行われていない画像であり、カラーフィルタ903の配列パターンに対応して画素毎に異なる色情報を1つだけ保持しているモザイク状の画像である。   On the other hand, in the mode for recording a RAW image, the image data digitized by the A / D conversion of the AFE unit 905 is not subjected to the synchronization or other signal processing, and the memory control unit 907 and the recording media I / F unit 911. To the recording medium 912. In other words, a RAW image is an image that has not undergone signal processing such as gamma correction, white balance adjustment, and synchronization, and holds only one color information that differs for each pixel corresponding to the arrangement pattern of the color filter 903. It is a mosaic image.
CPU914は、所定のプログラムに従って本撮像装置10を統括制御する制御部であって、操作パネル913からの指示信号に基づいて撮像装置10内の各回路の動作を制御する。ROM915には、CPU914が実行するプログラム及び制御に必要な各種データ等が格納され、RAM916は、CPU914の作業用領域として利用される。   The CPU 914 is a control unit that performs overall control of the imaging apparatus 10 according to a predetermined program, and controls the operation of each circuit in the imaging apparatus 10 based on an instruction signal from the operation panel 913. The ROM 915 stores programs executed by the CPU 914 and various data necessary for control, and the RAM 916 is used as a work area for the CPU 914.
表示処理部917、モニタI/F部918を介して、撮影時のリアルタイムモニターを実現したり、撮影後の画像や操作モードを表示する。   Through the display processing unit 917 and the monitor I / F unit 918, real-time monitoring at the time of shooting is realized, and images and operation modes after shooting are displayed.
操作パネル913は、撮像装置10に対してユーザが各種の指示を入力するための手段である。例えば、撮像装置10の動作モードを選択するためモード選択スイッチ、メニュー項目の選択操作(カーソル移動操作)や再生画像のコマ送り/コマ戻し等の指示を入力する十字キー、選択項目の確定(登録)や動作の実行を指示する実行キー、選択項目等所望の対象の消去や指示のキャンセルを行うためのキャンセルキー、電源スイッチ、ズームスイッチ、レリーズスイッチ等各種の操作手段を含む。尚、モニターI/F部918に接続されるモニターと一体型としたタッチパネルの形態をとることもできる。   The operation panel 913 is a means for the user to input various instructions to the imaging apparatus 10. For example, a mode selection switch for selecting the operation mode of the imaging apparatus 10, a cross key for inputting instructions such as a menu item selection operation (cursor movement operation) and a frame advance / return of a playback image, and confirmation of a selection item (registration) ) And an execution key for instructing execution of the operation, a cancel key for deleting a desired object such as a selection item, and canceling the instruction, a power switch, a zoom switch, a release switch, and various other operation means. Note that a touch panel integrated with a monitor connected to the monitor I / F unit 918 may be used.
前記CPU914は、操作パネル913から入力される指示信号に応じて種々の撮影条件(露出条件、ストロボ発光有無、撮影モード等)に従い、撮像素子904等の撮像部12を制御すると共に、リアルタイムモニター表示制御、自動露出(AE)制御、自動焦点調節(AF)制御、オートホワイトバランス(AWB)制御、レンズ駆動制御、画像処理制御、記録メディア912の読み書き制御等を行う。   The CPU 914 controls the image pickup unit 12 such as the image pickup device 904 according to various shooting conditions (exposure conditions, presence / absence of strobe light emission, shooting mode, etc.) according to an instruction signal input from the operation panel 913, and also displays a real-time monitor. Control, automatic exposure (AE) control, automatic focus adjustment (AF) control, auto white balance (AWB) control, lens drive control, image processing control, read / write control of the recording medium 912, and the like are performed.
<画像処理装置及び画像処理方法>
次に、前記のように構成された撮像装置10において、撮像素子904から得られるRAW画像データを取り扱う画像処理装置及びその画像処理方法について説明する。
<Image processing apparatus and image processing method>
Next, an image processing apparatus that handles RAW image data obtained from the image sensor 904 and an image processing method thereof in the imaging apparatus 10 configured as described above will be described.
RAW画像データは、図2の前処理部906及び画像信号処理部909でカラーコンポーネント信号への変換処理を実施され、又は、RAW画像のまま記録メディア912に記録され、専用の画像処理装置又はパソコン等にデータを移してカラーコンポーネント信号へ変換処理される。   The RAW image data is converted into a color component signal by the preprocessing unit 906 and the image signal processing unit 909 in FIG. 2, or is recorded on the recording medium 912 as a RAW image, and is used as a dedicated image processing apparatus or personal computer. The data is transferred to a color component signal and the like.
本実施形態の輝度信号生成処理は、画像信号処理部(輝度信号生成装置)909内で実施され、RAW画像データの画素毎の画像信号を用い、画素毎の輝度信号を生成する。従って、特に述べないが、以下に説明する処理は着目画素を順次更新しながら、着目画素毎に実行される。   The luminance signal generation process of the present embodiment is performed in the image signal processing unit (luminance signal generation device) 909, and generates a luminance signal for each pixel using an image signal for each pixel of the RAW image data. Therefore, although not particularly described, the processing described below is executed for each target pixel while sequentially updating the target pixel.
図1に、画像信号処理部909の内部処理の概要を示す。原色ベイヤー配列の色フィルタを備える撮像素子904から出力されたRAW画像データ101(以下RAWデータと称す)は画像信号処理部909に入力される。この際、RGBの画素の色毎にゲイン調整を行うホワイトバランス処理やガンマ処理が前処理906で実施された後に入力される場合もある。   FIG. 1 shows an outline of internal processing of the image signal processing unit 909. Raw image data 101 (hereinafter referred to as RAW data) output from an image sensor 904 having a primary color Bayer array color filter is input to an image signal processing unit 909. At this time, there is a case where the input is performed after the white balance processing or gamma processing for performing gain adjustment for each color of RGB pixels is performed in the preprocessing 906.
前記画像信号処理部909では、入力されたRAWデータ101に本実施形態の最大の特徴となる色キャリア変換処理部102での色キャリア変換処理(以下、この変換処理も同符号102を使用する)を実施した後、輝度信号処理部103での輝度信号処理(以下、この輝度信号処理も同符号103を使用する)及び色信号処理部104での色信号処理(以下、この輝度信号処理も同符号104を使用する)を実施する。   In the image signal processing unit 909, the input RAW data 101 is subjected to color carrier conversion processing in the color carrier conversion processing unit 102 which is the greatest feature of the present embodiment (hereinafter, this conversion processing also uses the same symbol 102). After that, the luminance signal processing in the luminance signal processing unit 103 (hereinafter, this luminance signal processing also uses the same reference numeral 103) and the color signal processing in the color signal processing unit 104 (hereinafter, this luminance signal processing is also the same). (Use reference numeral 104).
詳細は後に記載するが、本発明の創作部分の第一番目は前記色キャリア変換処理102である。   Although details will be described later, the first of the creative portions of the present invention is the color carrier conversion processing 102.
画像信号処理部909で処理されて出力されるデータは、輝度信号(Y)105、2種類の色差信号(Cr)、(Cb)106、RAWデータより色補完処理を行った赤(R)、緑(G)、青(B)107の各データである。   The data processed and output by the image signal processing unit 909 is a luminance signal (Y) 105, two types of color difference signals (Cr), (Cb) 106, red (R) that has undergone color complementation processing from RAW data, Each data is green (G) and blue (B) 107.
<色キャリア変換処理102−第1のアルゴリズム>
図3は、前記画像信号処理部909での色キャリア変換処理部(画素位置選択フィルタ処理手段)102を実現するための第1のアルゴリズムの詳細を示す。
<Color Carrier Conversion Processing 102-First Algorithm>
FIG. 3 shows details of a first algorithm for realizing the color carrier conversion processing unit (pixel position selection filter processing means) 102 in the image signal processing unit 909.
RAW画像データ201は、周期的な配列の色フィルタとしてベイヤー配列色フィルタを備えた撮像素子の出力データである。同図に例示したRAWデータ201では、行方向及び列方向が共に奇数番目の画素位置と行方向及び列方向が共に偶数番目の画素位置とに青(B)又は赤(R)の各色フィルタが、行方向が奇数番目で列方向が偶数番目及び行方向が偶数番目で列方向が奇数番目の画素位置に緑(G)の色フィルタが配置されている場合であるが、本発明はこの色フィルタ配置に限定されず、前記とは逆に、行方向及び列方向が共に奇数番目の画素位置と行方向及び列方向が共に偶数番目の画素位置とに緑(G)の色フィルタが、行方向が奇数番目で列方向が偶数番目及び行方向が偶数番目で列方向が奇数番目の画素位置に青(B)又は赤(R)の色フィルタが配置されている場合であってもよいのは勿論である。   The RAW image data 201 is output data of an image sensor provided with a Bayer array color filter as a periodic array color filter. In the RAW data 201 illustrated in the figure, blue (B) or red (R) color filters are provided at odd pixel positions in both the row direction and the column direction and even pixel positions in both the row direction and the column direction. This is a case where a green (G) color filter is arranged at a pixel position where the row direction is odd, the column direction is even, and the row direction is even and the column direction is odd. Contrary to the above, the green (G) color filter is arranged at the odd-numbered pixel positions in both the row direction and the column direction and the even-numbered pixel positions in both the row direction and the column direction. A blue (B) or red (R) color filter may be arranged at pixel positions where the direction is odd, the column direction is even, the row direction is even, and the column direction is odd. Of course.
そして、RAWデータ201の各画素に対して、選択的に赤(R)と青(B)の各注目画素に対して周辺の画素から画素選択処理202、203を行う。   Then, for each pixel of the RAW data 201, pixel selection processing 202 and 203 is performed from the surrounding pixels for each pixel of interest of red (R) and blue (B).
この際、赤(R)と青(B)の各注目画素を中心に、奇数(2n+1)×奇数(2n+1)の周辺画素エリア内の画素を用いたフィルタ演算処理204を行って、前記RAWデータ201を、周期的な緑(G)と演算処理結果データとの2種類の画素よりなる色画素データ205に変換する。   At this time, the RAW data is obtained by performing a filter calculation process 204 using pixels in the peripheral pixel area of odd number (2n + 1) × odd number (2n + 1) centering on each pixel of interest of red (R) and blue (B). 201 is converted into color pixel data 205 composed of two types of pixels of periodic green (G) and calculation processing result data.
図3では、n=1として、注目画素に隣接する4画素を用いてローパスフィルタ処理を行う様子を示している。   FIG. 3 shows a state where n = 1 and low-pass filter processing is performed using four pixels adjacent to the target pixel.
注目画素の赤(R)に対して周辺の画素を用いた画素選択処理202を行う際、注目画素(R)と、その注目画素(R)を中心に右斜め方向と左斜め方向に位置する4つの青(B)の画素のみを選択する。次に、注目画素(R)と選択された4つの画素(B)に対して、注目画素(R)の比率を4、4つの周辺画素(B)のそれぞれの比率を1とするフィルタ演算処理204を行って赤と青の混合色となるマゼンダ(M)成分を生成する。M成分の絶対値は無彩色被写体を撮影した際に、M=Gとなるように大きさを調整する。本実施形態では、RAWデータ201内の緑(G)の大きさを1としてフィルタ演算処理204で1/8の除算処理を実施して、注目画素(R)を演算処理した画素(M)に置き換える。   When pixel selection processing 202 using peripheral pixels is performed on red (R) of the target pixel, the target pixel (R) and the target pixel (R) are positioned in the right diagonal direction and the left diagonal direction. Only four blue (B) pixels are selected. Next, with respect to the pixel of interest (R) and the selected four pixels (B), a filter calculation process that sets the ratio of the pixel of interest (R) to 4 and the ratio of each of the four peripheral pixels (B) to 1 Step 204 is performed to generate a magenta (M) component that is a mixed color of red and blue. The absolute value of the M component is adjusted so that M = G when an achromatic subject is photographed. In the present embodiment, the size of green (G) in the RAW data 201 is set to 1, and 1/8 division processing is performed by the filter calculation processing 204 to calculate the pixel of interest (R) (M). replace.
同様に、注目画素の青(B)に対して周辺の画素を用いた画素選択処理203を行う際、注目画素(B)と、その注目画素(B)を中心に右斜め方向と左斜め方向に位置する4つの赤(R)の画素のみを選択する。次に、注目画素(B)と選択された4つの画素(R)に対して、注目画素(B)の比率を4、4つの周辺画素(R)のそれぞれの比率を1とするフィルタ演算処理204を行って、赤と青の混合色となるマゼンダ(M)成分を生成する。M成分の絶対値は無彩色被写体を撮影した際に、M=Gとなるように大きさを調整する。本実施形態では、RAWデータ201内の緑(G)の大きさを1としてフィルタ演算処理204で1/8の除算処理を実施して、注目画素(B)を演算処理した画素(M)に置き換える。   Similarly, when pixel selection processing 203 using peripheral pixels is performed for blue (B) of the target pixel, the target pixel (B) and the right diagonal direction and the left diagonal direction centering on the target pixel (B) Only the four red (R) pixels located at are selected. Next, with respect to the target pixel (B) and the selected four pixels (R), a filter calculation process is performed in which the ratio of the target pixel (B) is 4, and the ratio of each of the four peripheral pixels (R) is 1. Step 204 is performed to generate a magenta (M) component that is a mixed color of red and blue. The absolute value of the M component is adjusted so that M = G when an achromatic subject is photographed. In the present embodiment, the size of green (G) in the RAW data 201 is set to 1, and 1/8 division processing is performed by the filter calculation processing 204 to calculate the pixel of interest (B) to the pixel (M) subjected to the calculation processing. replace.
注目画素となる赤(R)と青(B)の2種類の画素を前記の通り演算処理したM画素に変換して置き換えることにより、入力RAWデータ201の配列を周期的な緑画素(G)とマゼンダ画素(M)の2種類の色画素データ205に変換する。   By converting and replacing the two types of pixels of red (R) and blue (B) as the target pixel with M pixels that have been processed as described above, the array of the input RAW data 201 is converted into a periodic green pixel (G). And magenta pixel (M).
図4に、色キャリア変換処理102の処理結果画像を示す。同図(a)は斜め色カラーパレットの入力RGBベイヤー配列RAWデータ201の画像を示す。同図(b)は、斜め色カラーパレットの入力RAWデータ201の色キャリア変換処理102の実施後の緑画素(G)とマゼンダ画素(M)の2種類の色画素データ205の画像である。同図(b)の色画素データの観測により、本実施形態の色キャリア変換処理102を実施した段階で既に色と色との境界での折り返しノイズ(ジッパーノイズ成分)が大幅に抑圧されていることが判る。   FIG. 4 shows a processing result image of the color carrier conversion processing 102. FIG. 4A shows an image of the input RGB Bayer array RAW data 201 of the diagonal color palette. FIG. 6B shows images of two types of color pixel data 205, that is, a green pixel (G) and a magenta pixel (M) after the color carrier conversion processing 102 of the input RAW data 201 of the oblique color palette. By observing the color pixel data in FIG. 5B, the aliasing noise (zipper noise component) at the boundary between the colors has already been greatly suppressed at the stage where the color carrier conversion processing 102 of the present embodiment is performed. I understand that.
<本画像処理でジッパーノイズが軽減される説明>
ここで、本実施形態の色キャリア変換処理102の実施により、色と色との境界でのジッパーノイズが軽減する様子を図面を用いて説明する。この説明では、色と色との境界で輝度信号データにジッパーノイズが発生する一例を用いることとする。
<Explanation that zipper noise is reduced by this image processing>
Here, how the zipper noise at the boundary between colors is reduced by performing the color carrier conversion processing 102 of the present embodiment will be described with reference to the drawings. In this description, an example in which zipper noise is generated in the luminance signal data at the boundary between colors is used.
図5(a)に示すように、被写体画像の左上側が赤色(R)であり右下側が青色(B)となるような右上から左下への斜めの色境界を持つ場合、周期的な配列の色フィルタとしてベイヤー配列を備えた撮像素子の出力は、同図(b)に示すように、R画素のデータとB画素のデータとが突出したRAW画像データとなる。同図(b)に示したRAW画像データでは、赤色被写体部分ではR画素出力を1、G画素出力を0、B画素出力を0とし、青色被写体部分ではR画素出力を0、G画素出力を0、B画素出力を1として、出力の1を白、出力の0を黒として各画素の明るさを表現している。   As shown in FIG. 5A, when the subject image has an oblique color boundary from upper right to lower left such that the upper left side of the subject image is red (R) and the lower right side is blue (B), The output of the image sensor having a Bayer array as a color filter is RAW image data in which R pixel data and B pixel data protrude as shown in FIG. In the RAW image data shown in FIG. 4B, the R pixel output is 1, the G pixel output is 0, and the B pixel output is 0 in the red subject portion, and the R pixel output is 0 and the G pixel output in the blue subject portion. The brightness of each pixel is expressed with 0, B pixel output as 1, output 1 as white, and output 0 as black.
一般的な輝度信号処理は、周期的なナイキスト周波数近傍の色キャリア成分を除去するSWY方式に代表されるローパスフィルタ処理であるので、同図(b)に示したRAWデータに対してナイキスト周波数近傍の色キャリア成分を除去するローパスフィルタ処理を実施すると、縦方向、斜め方向、横方向にデータ出力が1、0、1、0…と周期的に繰り返している箇所は色キャリアが除去され、連続的な輝度信号データに変換される。赤(R)と青(B)との境界部分では縦方向、斜め方向、横方向にデータ出力の1、0、1、0…の周期性が失われるため、白黒のドット状となる高周波成分が残留する。その結果、出力となる輝度データの色境界部分に周期的な白黒ドットノイズ(ジッパーノイズ)が発生することになる。   Since general luminance signal processing is low-pass filter processing represented by the SWY method that removes the color carrier component in the vicinity of the periodic Nyquist frequency, it is in the vicinity of the Nyquist frequency with respect to the RAW data shown in FIG. When the low-pass filter processing for removing the color carrier component is performed, the color carrier is continuously removed at locations where the data output is periodically repeated as 1, 0, 1, 0. Converted into typical luminance signal data. Since the periodicity of data output 1, 0, 1, 0... Is lost in the vertical, diagonal, and horizontal directions at the boundary between red (R) and blue (B), the high-frequency components that are in the form of black and white dots Remains. As a result, periodic black and white dot noise (zipper noise) is generated at the color boundary portion of the luminance data to be output.
これに対し、ナイキスト周波数近傍の色キャリアを除去するローパスフィルタ処理を実施する前に、本実施形態の色キャリア変換処理102を実施する場合は、次の通りとなる。   On the other hand, when the color carrier conversion processing 102 of this embodiment is performed before the low-pass filter processing for removing the color carrier in the vicinity of the Nyquist frequency is performed, the following is performed.
すなわち、同図(b)に示す緑(G)以外の赤(R)と青(B)との各注目画素に対して選択的に同図(c)に示すような周辺の画素を用いた画素選択処理202、203とフィルタ演算処理204とを行う。   That is, peripheral pixels as shown in FIG. 6C are selectively used for each pixel of interest of red (R) and blue (B) other than green (G) shown in FIG. Pixel selection processing 202 and 203 and filter calculation processing 204 are performed.
具体的には、赤(R)と青(B)との各注目画素を中心画素として右斜め方向と左斜め方向に位置する赤(R)画素と青(B)画素のみを用いてフィルタ演算処理202、203を行う。   Specifically, the filter calculation is performed using only the red (R) pixel and the blue (B) pixel located in the right diagonal direction and the left diagonal direction with each target pixel of red (R) and blue (B) as the central pixel. Processes 202 and 203 are performed.
その結果、赤(R)と青(B)との各注目画素に対しては、赤色と青色を合成してできるマゼンダ(M)色成分に置き換えられ、同図(d)に示すように色境界以外のM画素部分は大きさが0.5(これを同図(d)でMと記す)となる。色境界部分では、M画素部分の大きさが0.625(8分の5)(これをMhと記す)と、大きさが0.475(8分の3)(これをMlと記す)との2種類となる。G画素出力は0である。   As a result, each pixel of interest of red (R) and blue (B) is replaced with a magenta (M) color component formed by combining red and blue, and the color as shown in FIG. The size of the M pixel portion other than the boundary is 0.5 (this is denoted as M in FIG. 4D). In the color boundary portion, the size of the M pixel portion is 0.625 (5/8) (denoted as Mh) and the size is 0.475 (3/8) (denoted as Ml). There are two types. The G pixel output is zero.
同図(d)に示す青(G)画素とマゼンダ色成分(M)画素に変換処理したRAWデータに対してナイキスト周波数近傍の色キャリア成分を除去するローパスフィルタ処理を実施すると、縦方向、斜め方向、横方向にデータ出力が0.5、0、0.5、0…と規則的に繰り返している部分の色キャリア成分は完全に除去され、連続的な輝度信号データに変換される。   When low-pass filter processing for removing color carrier components in the vicinity of the Nyquist frequency is performed on the RAW data converted into blue (G) pixels and magenta color component (M) pixels shown in FIG. The color carrier component where the data output regularly repeats in the horizontal and horizontal directions, 0.5, 0, 0.5, 0... Is completely removed and converted to continuous luminance signal data.
そして、赤(R)と青色(B)との斜め境界部分では、縦方向、斜め方向、横方向のM画素データ出力が0.5、0.625、0.425とG画素の0とにより、ほぼ規則的に繰り返すので、白黒のドット状となる高周波成分が大幅に抑圧される。その結果、出力となる輝度データの色境界部分では周期的な白黒ドットノイズ(ジッパーノイズ)が抑えられた滑らかな画像となるのである。   In the oblique boundary portion between red (R) and blue (B), the M pixel data output in the vertical direction, the diagonal direction, and the horizontal direction is 0.5, 0.625, 0.425 and 0 of the G pixel. Since it repeats almost regularly, the high-frequency components in the form of black and white dots are greatly suppressed. As a result, a smooth image in which periodic black-and-white dot noise (zipper noise) is suppressed at the color boundary portion of the luminance data to be output.
<色キャリア変換処理102−第2のアルゴリズム>
続いて色キャリア変換処理102を実現するための第2のアルゴリズムの詳細を図6に基づいて説明する。
<Color Carrier Conversion Process 102—Second Algorithm>
Next, details of the second algorithm for realizing the color carrier conversion processing 102 will be described with reference to FIG.
RAWデータ201は周期的な配列の色フィルタとしてベイヤー配列色フィルタを備えた撮像素子の出力データである。このRAWデータ201の各画素に対して、選択的に赤(R)と青(B)の各注目画素に対して、周辺の画素から画素選択処理302、303を行う。   The RAW data 201 is output data of an image sensor having a Bayer array color filter as a periodic array color filter. For each pixel of the RAW data 201, pixel selection processing 302 and 303 is performed from surrounding pixels selectively for each target pixel of red (R) and blue (B).
この際、赤(R)と青(B)の各注目画素を中心に、奇数(2n+1)×奇数(2n+1)の周辺画素エリア内の画素を用いたフィルタ演算処理304を行って、周期的な緑(G)データと演算処理結果データとの2種類の画素よりなる色画素データ305に変換する。   At this time, the filter operation processing 304 using the pixels in the peripheral pixel area of the odd number (2n + 1) × odd number (2n + 1) is performed around each pixel of interest of red (R) and blue (B). Conversion into color pixel data 305 composed of two types of pixels, green (G) data and calculation processing result data.
図6では、n=1として、注目画素に隣接する8画素を用いてローパスフィルタ処理を行う様子を示している。   FIG. 6 shows a state where n = 1 and low-pass filter processing is performed using 8 pixels adjacent to the target pixel.
注目画素の赤(R)に対して周辺の画素を用いた画素選択処理302を行う際、注目画素(R)と、その注目画素(R)を中心に右斜め方向と左斜め方向に位置する4つの青(B)の画素に加えて、水平・垂直方向に隣接する4つの緑(G)画素の成分も選択する。次に、選択された注目画素(R)と青(B)と緑(G)との9つの画素に対して、注目画素(R)の比率を4、4つの周辺画素(B)のそれぞれの比率を1、4つの周辺画素(G)の比率を2とするフィルタ演算処理304を行って、赤と青と緑の混合色となるホワイト(W)成分を生成する。W成分の絶対値は、無彩色被写体を撮影した際に、W=Gとなるように大きさを調整する。本実施形態では、RAWデータ301内の緑(G)の大きさを1としてフィルタ演算処理304で1/16の除算処理を実施して、注目画素(R)を演算処理した画素(W)に置き換える。   When pixel selection processing 302 using peripheral pixels is performed on red (R) of the target pixel, the target pixel (R) and the target pixel (R) are positioned in the right diagonal direction and the left diagonal direction. In addition to the four blue (B) pixels, the components of the four green (G) pixels adjacent in the horizontal and vertical directions are also selected. Next, the ratio of the target pixel (R) is set to 4 for each of the four peripheral pixels (B) with respect to the nine pixels of the selected target pixel (R), blue (B), and green (G). A filter calculation process 304 is performed in which the ratio is 1 and the ratio of the four surrounding pixels (G) is 2, and a white (W) component that is a mixed color of red, blue, and green is generated. The absolute value of the W component is adjusted so that W = G when an achromatic subject is photographed. In the present embodiment, the size of green (G) in the RAW data 301 is set to 1, and 1/16 division processing is performed by the filter calculation processing 304, and the pixel of interest (R) is calculated and processed to the pixel (W). replace.
同様に、注目画素の青(B)に対して周辺の画素を用いた画素選択処理303を行う際、注目画素(B)と、その注目画素(B)を中心に右斜め方向と左斜め方向に位置する4つの赤(R)の画素に加えて、水平・垂直方向に隣接する4つの緑(G)画素の成分も選択する。次に、選択された赤(R)と緑(B)と緑(G)の9つの画素に対して、注目画素(B)の比率を4、4つの周辺画素(R)のそれぞれの比率を1、4つの周辺画素(G)の比率を2とするフィルタ演算処理304を行って、赤と青と緑の混合色となるホワイト(W)成分を生成する。W成分の絶対値は、無彩色被写体を撮影した際に、W=Gとなるように大きさを調整する。本実施形態では、RAWデータ301内の緑(G)の大きさを1としてフィルタ演算処理304で1/16の除算処理を実施して、注目画素(R)を演算処理した画素(W)に置き換える。   Similarly, when pixel selection processing 303 using peripheral pixels is performed on blue (B) of the target pixel, the target pixel (B) and the right diagonal direction and the left diagonal direction centering on the target pixel (B) In addition to the four red (R) pixels located at, the components of the four green (G) pixels adjacent in the horizontal and vertical directions are also selected. Next, for the selected nine pixels of red (R), green (B), and green (G), the ratio of the pixel of interest (B) is set to 4, and the ratio of each of the four peripheral pixels (R) is set. A filter calculation process 304 is performed with a ratio of 1, 4 peripheral pixels (G) being 2, and a white (W) component that is a mixed color of red, blue, and green is generated. The absolute value of the W component is adjusted so that W = G when an achromatic subject is photographed. In the present embodiment, the size of green (G) in the RAW data 301 is set to 1, and 1/16 division processing is performed by the filter calculation processing 304, and the pixel of interest (R) is calculated and processed to the pixel (W). replace.
注目画素となる赤(R)と緑(G)の2種類の画素を演算処理したW画素に変換して置き換えることにより、入力RAWデータの配列を周期的な緑画素(G)とホワイト画素(W)の2種類の色画素データ305に変換する。   By converting and replacing two types of pixels, red (R) and green (G), which are the target pixels, with W pixels that have been subjected to arithmetic processing, the array of input RAW data is changed to periodic green pixels (G) and white pixels ( W) two types of color pixel data 305.
尚、図6では、フィルタ演算処理304を実施する際、4つの周辺画素(G)の比率を2としたが、この値は、最終処理結果画像の解像感にかかわる係数αとして調整できる構成を取ることが望ましい。   In FIG. 6, when the filter calculation process 304 is performed, the ratio of the four peripheral pixels (G) is set to 2, but this value can be adjusted as a coefficient α related to the resolution of the final process result image. It is desirable to take.
<フィルタ演算処理の変形例>
図7は、前記色キャリア変換処理102を実現するための第1のアルゴリズムと第2のアルゴリズムとを、赤(R)と青(B)との各注目画素を中心に奇数(2n+1)×奇数(2n+1)の周辺画素エリア内の画素を対してフィルタ演算処理を行った場合の一例として、n=2の場合の5×5の周辺画素を用いた場合の処理の詳細を示す。
<Modified example of filter operation processing>
FIG. 7 shows a first algorithm and a second algorithm for realizing the color carrier conversion processing 102, which are odd (2n + 1) × odd centered around each pixel of interest of red (R) and blue (B). As an example of the case where the filter calculation process is performed on the pixels in the (2n + 1) peripheral pixel area, details of the process when using 5 × 5 peripheral pixels when n = 2 are shown.
RAWデータ201は周期的な配列の色フィルタとしてベイヤー配列色フィルタを備えた撮像素子の出力データである。このRAWデータ201の各画素に対して選択的に赤(R)と青(B)との各注目画素に対して、周辺の画素から画素選択処理2020、2030を行う。   The RAW data 201 is output data of an image sensor having a Bayer array color filter as a periodic array color filter. For each target pixel of red (R) and blue (B), pixel selection processing 2020 and 2030 is performed from surrounding pixels selectively for each pixel of the RAW data 201.
図7では、n=2として注目画素に隣接する4画素を用いてローパスフィルタ処理を行う様子を示している。   FIG. 7 shows a state where n = 2 and low-pass filter processing is performed using four pixels adjacent to the target pixel.
この際、赤(R)と青(B)との各注目画素を中心に(奇数:5)×(奇数5)の周辺画素エリア内の画素を用いたフィルタ演算処理2040を行って、前記RAWデータ201を周期的な緑(G)と演算処理結果データとの2種類の画素よりなる色画素データ2050に変換する。   At this time, the RAW processing is performed by performing the filter calculation processing 2040 using the pixels in the peripheral pixel area of (odd number: 5) × (odd number 5) centering on each target pixel of red (R) and blue (B). Data 201 is converted into color pixel data 2050 composed of two types of pixels, periodic green (G) and operation processing result data.
注目画素の赤(R)に対して周辺の画素を用いた画素選択処理2020を行う際、注目画素(R)と、その注目画素(R)を中心に右斜め方向と左斜め方向に位置する4つの青(B)の画素と5つの赤(R)の画素とを選択する。次に、注目R画素と選択された4つの青(B)の画素と5つの赤(R)の画素に対して注目画素(R)の比率を20、4つの周辺画素(B)のそれぞれの比率を4、4つの周辺画素(R)のそれぞれの比率をー1とするフィルタ演算処理2040を行って、赤と青の混合色となるマゼンダ(M)成分を生成する。M成分の絶対値は、無彩色被写体を撮影した際に、M=Gとなるように大きさを調整する。本実施形態では、RAWデータ201内の緑(G)の大きさを1としてフィルタ演算処理2040で1/32の除算処理を実施して、注目画素(R)を演算処理した画素(M)に置き換える。   When pixel selection processing 2020 using peripheral pixels is performed on red (R) of the target pixel, the target pixel (R) and the target pixel (R) are positioned in the right diagonal direction and the left diagonal direction. Four blue (B) pixels and five red (R) pixels are selected. Next, the ratio of the pixel of interest (R) to the four pixels of blue (B) and five pixels of red (R) selected as the pixel of interest R is set to 20, and each of the four peripheral pixels (B). A filter calculation process 2040 is performed in which the ratio is 4 and the ratio of each of the four peripheral pixels (R) is −1 to generate a magenta (M) component that is a mixed color of red and blue. The absolute value of the M component is adjusted so that M = G when an achromatic subject is photographed. In the present embodiment, the size of green (G) in the RAW data 201 is set to 1, and the filter calculation processing 2040 performs 1/32 division processing to the pixel (M) that has undergone calculation processing on the target pixel (R). replace.
同様に、注目画素の青(B)に対して周辺の画素を用いた画素選択処理2030を行う際、注目画素(B)と、その注目画素(B)を中心に右斜め方向と左斜め方向に位置する4つの赤(R)の画素と5つの青(B)の画素とを選択する。次に、注目画素(B)と選択された4つの赤(R)の画素と5つの青(B)の画素とに対して、注目画素(B)の比率を20、4つの周辺画素(R)のそれぞれの比率を4、4つの周辺画素(B)のそれぞれの比率をー1とするフィルタ演算処理2040を行って、赤と青の混合色となるマゼンダ(M)成分を生成する。M成分の絶対値は、無彩色被写体を撮影した際に、M=Gとなるように大きさを調整する。本実施形態では、RAWデータ201内の緑(G)の大きさを1としてフィルタ演算処理2040で1/32の除算処理を実施して、注目画素(R)を前記演算処理した画素(M)に置き換える。   Similarly, when pixel selection processing 2030 using peripheral pixels is performed on blue (B) of the target pixel, the target pixel (B) and the right diagonal direction and the left diagonal direction centering on the target pixel (B) 4 red (R) pixels and 5 blue (B) pixels located at. Next, with respect to the target pixel (B), the selected four red (R) pixels and the five blue (B) pixels, the ratio of the target pixel (B) is set to 20, and the four peripheral pixels (R) ) Is set to 4, and the ratio of each of the four peripheral pixels (B) is set to −1 to generate a magenta (M) component that is a mixed color of red and blue. The absolute value of the M component is adjusted so that M = G when an achromatic subject is photographed. In the present embodiment, the size of green (G) in the RAW data 201 is set to 1, and the filter calculation processing 2040 performs 1/32 division processing, and the pixel (M) that has been subjected to the calculation processing on the target pixel (R). Replace with
注目画素となる赤(R)と青(B)との2種類の画素を、演算処理したM画素に変換して置き換えることにより、入力RAWデータ201の配列を周期的な緑画素(G)とマゼンダ画素(M)との2種類の色画素データ205に変換する。   By converting the two types of pixels of red (R) and blue (B) that are the target pixel into M pixels that have undergone arithmetic processing, the array of the input RAW data 201 is replaced with periodic green pixels (G). Conversion into two types of color pixel data 205 with magenta pixels (M).
尚、赤(R)と青(B)の各注目画素を中心に(奇数:5)×(奇数:5)の周辺画素エリア内の画素を対してフィルタ演算処理を行う場合、フィルタ演算処理2040にて右斜め方向と左斜め方向の対角線上以外のデータに関しては係数0として説明したが、0以外の数値の係数を設定して、フィルタ演算処理を行っても良い。   In the case where the filter calculation process is performed on the pixels in the peripheral pixel area of (odd number: 5) × (odd number: 5) centering on each target pixel of red (R) and blue (B), the filter calculation process 2040 is performed. In the above description, the data other than those on the diagonal line in the right diagonal direction and the left diagonal direction has been described as the coefficient 0. However, a numerical value coefficient other than 0 may be set to perform the filter calculation process.
また、フィルタ演算処理2040の係数設定においては、固定値である必要はなく、変数として自由に設定する構成としても良い。その自由に設定する例としては、フレーム単位で設定しても良いし、フレーム内の画素単位で設定してもよい。   Further, the coefficient setting of the filter calculation processing 2040 does not have to be a fixed value, and may be configured to be freely set as a variable. As an example of setting it freely, it may be set in units of frames, or may be set in units of pixels in the frame.
<輝度信号処理>
次に、前記色キャリア変換処理102を実施した後の輝度信号処理103のアルゴリズムの詳細を説明する。
<Luminance signal processing>
Next, details of the algorithm of the luminance signal processing 103 after the color carrier conversion processing 102 is performed will be described.
図8に、色キャリア変換処理102と輝度信号処理103とを合わせた第1の処理ブロック図を示す。   FIG. 8 shows a first processing block diagram in which the color carrier conversion processing 102 and the luminance signal processing 103 are combined.
本実施形態の輝度信号処理103のアルゴリズムは、ベイヤー配列のRAWデータ401の入力を前提に、前記図3を用いて説明した色キャリア変換処理工程402、この色キャリア変換後のデータを用いて輝度信号の高域成分を処理する高域輝度信号処理(1)手段(バンドパスフィルタ処理手段)403の高域輝度信号処理工程(以下、この処理工程も同符号403を使用する)、前記RAWデータ401から低域のRGBデータを各色毎に出力する低域RGB色分離信号処理手段404の低域RGB色分離信号処理工程(以下、この処理工程も同符号404を使用する)、この色分離処理工程404で分離された各色毎の低域R、G、Bの信号から低域輝度信号を生成する低域輝度信号処理手段405の低域輝度信号処理工程(以下、この処理工程も同符号405を使用する)、前記高域輝度信号と低域輝度信号とを加算処理する信号加算手段407での信号加算工程(以下、この処理工程も同符号407を使用する)により構成される。   The algorithm of the luminance signal processing 103 of the present embodiment is based on the color carrier conversion processing step 402 described with reference to FIG. 3 on the assumption that Bayer array RAW data 401 is input, and the luminance using the data after the color carrier conversion. A high-frequency luminance signal processing step (1) means (band-pass filter processing means) 403 for processing high-frequency components of the signal (hereinafter, this processing step also uses the same reference numeral 403), the RAW data A low-frequency RGB color separation signal processing unit 404 for outputting low-frequency RGB data for each color from 401 (hereinafter, this processing step also uses the same reference numeral 404), and this color separation processing A low-frequency luminance signal processing step (hereinafter, referred to as a low-frequency luminance signal processing unit 405) that generates a low-frequency luminance signal from the low-frequency R, G, and B signals for each color separated in step 404. And the signal adding step in the signal adding means 407 for adding the high-frequency luminance signal and the low-frequency luminance signal (hereinafter, this processing step also uses the same symbol 407). Consists of.
次に前記各処理の詳細を説明する。   Next, details of each process will be described.
高域輝度信号処理(1)工程403においては、色キャリア変換後のデータを入力とし、図9(a)に示すようなバンドパスフィルタ処理特性601で処理を実施する。   In the high-frequency luminance signal processing (1) step 403, the data after color carrier conversion is input, and processing is performed with a bandpass filter processing characteristic 601 as shown in FIG.
前記図9(a)に示したバンドパスフィルタ処理特性601において、横軸は空間周波数であって、ポイントNがナイキスト周波数である。縦軸は出力信号レベルをリニアスケールで示している。本バンドパスフィルタ特性のカーブは一例であって、本発明はバンドパスフィルタ処理特性を一義的に限定するものではない。   In the band pass filter processing characteristic 601 shown in FIG. 9A, the horizontal axis is the spatial frequency and the point N is the Nyquist frequency. The vertical axis represents the output signal level with a linear scale. The curve of the band pass filter characteristic is an example, and the present invention does not uniquely limit the band pass filter processing characteristic.
また、図9(a)に示したバンドパスフィルタ処理特性601は1次元の特性を示したが、実際の処理では水平方向と垂直方向との両方向に対して独立に実施して、水平方向と垂直方向との高域輝度信号成分を合成することにより、2次元画像の高域輝度信号成分を生成する。   Further, the bandpass filter processing characteristic 601 shown in FIG. 9A shows a one-dimensional characteristic. However, in actual processing, the bandpass filter processing characteristic 601 is performed independently in both the horizontal direction and the vertical direction. By synthesizing the high-frequency luminance signal component with the vertical direction, the high-frequency luminance signal component of the two-dimensional image is generated.
一方、低域RGB色分離信号処理工程404においては、RAWデータ401を入力とし、RGBの各色画素に対して色補完処理を実施して、RGBの3色のプレーンデータを生成すると共に、図9(b)に示したような直流成分とその近傍成分のみを通過するローパスフィルタ処理特性602で周波数帯域制限処理を実施する。   On the other hand, in the low-frequency RGB color separation signal processing step 404, RAW data 401 is input, color interpolation processing is performed on each RGB color pixel to generate RGB three-color plane data, and FIG. Frequency band limiting processing is performed with a low-pass filter processing characteristic 602 that passes only the DC component and its neighboring components as shown in FIG.
前記ローパスフィルタ処理特性602においても、横軸は空間周波数であって、ポイントNがナイキスト周波数である。縦軸は出力信号レベルをリニアスケールで示している。本ローパスフィルタ特性602のカーブも一例であり、本発明はローパスフィルタ処理特性を一義的に限定するものではない。   Also in the low-pass filter processing characteristic 602, the horizontal axis is the spatial frequency and the point N is the Nyquist frequency. The vertical axis represents the output signal level with a linear scale. The curve of the present low-pass filter characteristic 602 is also an example, and the present invention does not uniquely limit the low-pass filter processing characteristic.
前記ローパスフィルタ処理特性602を持つローパスフィルタによる帯域制限特性を決定する際の標準設定となるポイントは、色分離されたRGBの3色のプレーンデータの特性が前記バンドパスフィルタ処理特性601で除去される直流成分とその近傍成分に相当する帯域成分を持つような特性にすることにある。   The standard setting point when determining the band limiting characteristic by the low-pass filter having the low-pass filter processing characteristic 602 is that the characteristics of the three-color plane data of the color separated RGB are removed by the band-pass filter processing characteristic 601. The characteristic is to have a band component corresponding to a direct current component and its neighboring components.
前記低域輝度信号処理工程405においては、前記低域RGB色分離信号処理工程404で色分離されたRGBの3色のプレーンデータを入力として、RGBの3つの信号を合成することにより、直流成分とその近傍成分に相当する帯域成分を持つ低域輝度信号成分406を生成する。例えば、標準設定を、Y=0.3R+0.59G+0.11Bとして、各係数を調整することにより、色被写体画像の低域輝度信号のレベル調整を行うことができる。   In the low-frequency luminance signal processing step 405, the RGB three-color plane data color-separated in the low-frequency RGB color separation signal processing step 404 is input, and the three components of RGB are synthesized to generate a direct current component. And a low-frequency luminance signal component 406 having a band component corresponding to a component in the vicinity thereof. For example, the standard setting is Y = 0.3R + 0.59G + 0.11B, and the level of the low-frequency luminance signal of the color subject image can be adjusted by adjusting each coefficient.
こうして生成された低域輝度信号成分(Y_low)406と、前記高域輝度信号処理403後の高域データ(Y_high)を加算処理工程407で1つの信号408に合成することにより、自然なノイズ感をもった素性の良い高域輝度信号(Y)408を生成することができる。   By combining the low-frequency luminance signal component (Y_low) 406 thus generated and the high-frequency data (Y_high) after the high-frequency luminance signal processing 403 into one signal 408 in the addition processing step 407, a natural noise feeling is obtained. It is possible to generate a high-frequency luminance signal (Y) 408 with good characteristics.
色キャリア変換処理102の実施後の斜めカラーパレットの画像では、図4(b)に示した通り、赤色(R)と青色(B)との境界部分に留まらず、全ての色の境界やエッジにおいて発生する折り返しノイズ(ジッパーノイズ)が画面内で均一に抑圧されているので、直流成分を含む低域成分とナイキスト周波数近傍に存在する色キャリア成分とをバンドパスフィルタ処理特性601を用いて除去することにより、周波数全帯域で素性が良く、後段処理で扱い易い高域輝度信号成分(Y_high)を抽出することができる。   In the image of the diagonal color palette after the color carrier conversion process 102 is performed, as shown in FIG. 4B, not only the boundary between red (R) and blue (B) but also all color boundaries and edges. Since the aliasing noise (zipper noise) generated in the image is uniformly suppressed in the screen, the low-frequency component including the DC component and the color carrier component existing in the vicinity of the Nyquist frequency are removed using the band-pass filter processing characteristic 601. By doing so, it is possible to extract a high-frequency luminance signal component (Y_high) that has a good feature in the entire frequency band and is easy to handle in subsequent processing.
以上のように、低域RGB色分離処理404後の低域輝度信号処理とは独立して高域輝度信号データを生成する構成により、撮影シーンに合わせた解像感の調整を更に自由に調整することができる。   As described above, the high-frequency luminance signal data is generated independently of the low-frequency RGB color separation processing 404 after the low-frequency RGB color separation processing 404, so that the resolution can be adjusted more freely according to the shooting scene. can do.
また、前記高域輝度信号処理403後の高域データ(Y_high)のレベルを周波数帯域毎に調整して低域輝度信号成分406に加えることにより、輝度信号の画質調整が容易に実施できる。   Further, the image quality of the luminance signal can be easily adjusted by adjusting the level of the high frequency data (Y_high) after the high frequency luminance signal processing 403 for each frequency band and adding it to the low frequency luminance signal component 406.
更に、通常エッジ強調とよばれる処理に関しても、本バンドパスフィルタ処理特性601の任意周波数部分を水平方向及び垂直方向に独立に持ち上げることにより、解像感の調整を自由に調整することができる。   Further, regarding processing called normal edge enhancement, the resolution can be freely adjusted by lifting the arbitrary frequency portion of the bandpass filter processing characteristics 601 independently in the horizontal direction and the vertical direction.
加えて、解像感調整の信号として前記バンドパスフィルタ処理特性601で処理された交流成分の大きさを制御する際、原画像のGの位置とRの位置とBの位置で高域レベル調整を独立に調整することにより、原画像のGの画素位置とRの画素位置とBの画素位置で高域レベルが任意の大きさに調整された高域輝度信号データを生成してもよい。以下、この具体例を説明する。   In addition, when controlling the magnitude of the AC component processed by the band-pass filter processing characteristic 601 as a resolution adjustment signal, high-frequency level adjustment is performed at the G position, R position, and B position of the original image. May be adjusted independently to generate high-frequency luminance signal data in which the high-frequency level is adjusted to an arbitrary size at the G pixel position, R pixel position, and B pixel position of the original image. Hereinafter, this specific example will be described.
<解像感調整された高域輝度信号データの生成>
以上のようにG画素とM画素からなる2種類の市松模様データから輝度信号の高域成分をバンドパスフィルタ処理特性601で抽出した場合、画素単位の解像情報に僅かな差異が発生する場合がある。
<Generation of high-frequency luminance signal data with adjusted resolution>
As described above, when the high-frequency component of the luminance signal is extracted from the two types of checkered pattern data including the G pixel and the M pixel by the band pass filter processing characteristic 601, there is a slight difference in the resolution information for each pixel. There is.
本色キャリア変換処理102で生成したG画素とM画素とからなる図10(a)に示すRAWデータに対して、図9に示したバンドパスフィルタ処理601を実施して図10(b)に示すような輝度信号の高域成分とする際(図10(b)では、高域情報の多いG画素位置を相対的に白く、高域情報を抑圧したM画素位置を相対的に黒くしている)、M画素部分に関しては、赤(R)と青(B)との各注目画素を各々原点として右斜め方向と左斜め方向に位置する赤(R)画素と青(B)画素のみを用いてフィルタ演算処理を実施しているので、図10(b)の輝度信号のM画素位置の交流成分Yh中の高域成分がG画素部分の交流成分Yh中の高域成分に対して相対的に抑圧されている。   The band pass filter process 601 shown in FIG. 9 is performed on the RAW data shown in FIG. 10A composed of the G pixel and the M pixel generated in the color carrier conversion process 102, and the result shown in FIG. When a high frequency component of such a luminance signal is used (FIG. 10B), the G pixel position with a lot of high frequency information is relatively white, and the M pixel position where the high frequency information is suppressed is relatively black. For the M pixel portion, only the red (R) pixel and the blue (B) pixel located in the right diagonal direction and the left diagonal direction with the respective target pixels of red (R) and blue (B) as the origin are used. Therefore, the high frequency component in the AC component Yh at the M pixel position of the luminance signal in FIG. 10B is relative to the high frequency component in the AC component Yh of the G pixel portion. Has been suppressed.
ベイヤー配列の市松模様を構成するG画素部分が有する高域情報よりも、水平方向と垂直方向とに関してはナイキスト周波数までの解像度が確保できるが、同様に市松模様を構成するM画素部分に対しては斜め方向のフィルタ処理により僅かに解像感が抑圧されるため、画素単位の解像情報に僅かな差異が発生するのである。   The resolution up to the Nyquist frequency can be secured in the horizontal direction and the vertical direction, compared to the high frequency information of the G pixel portion constituting the checkered pattern of the Bayer arrangement, but similarly for the M pixel portion constituting the checkered pattern. Since the sense of resolution is slightly suppressed by the filter processing in the oblique direction, a slight difference occurs in the resolution information for each pixel.
これに対処して、本変形例では、画素毎の解像感調整を行う。解像感調整を実施する具体的な方法として、前記バンドパスフィルタ処理601で処理された交流成分(Y_high)450の大きさを画素毎に制御して解像感を調整することができる。   In response to this, in the present modification, resolution adjustment for each pixel is performed. As a specific method for adjusting the resolution, the sense of resolution can be adjusted by controlling the size of the AC component (Y_high) 450 processed in the bandpass filter processing 601 for each pixel.
すなわち、図10(c)に示すように、バンドパスフィルタ処理601の交流成分(Y_high)450に対して、画素毎に大きさを制御できる高域レベル調整手段451を用いて、解像感補正した交流成分(Y_high’)454を出力する。具体的には、前記高域レベル調整手段451は、原画像のGの画素位置とMの画素位置(Rの画素位置とBの画素位置)とで高域レベル調整を独立に調整することとして、相対的にGの画素位置に対してMの画素位置の高域レベルが大きくなるように画素位置毎に独立のゲインデータ(調整データ)を記憶するメモリ(画素位置別調整データ記憶手段)453を用い、乗算器(乗算手段)452にて、前記バンドパスフィルタ処理601の交流成分(Y_high)450に、この画素の位置に対応したゲインを乗算して、解像感補正した交流成分(Y_high’)454を出力する。   That is, as shown in FIG. 10C, the resolution correction is performed using the high-frequency level adjusting unit 451 that can control the size of each pixel with respect to the AC component (Y_high) 450 of the bandpass filter processing 601. The AC component (Y_high ′) 454 is output. Specifically, the high frequency level adjusting means 451 adjusts the high frequency level adjustment independently between the G pixel position and the M pixel position (R pixel position and B pixel position) of the original image. A memory (adjustment data storage unit for each pixel position) 453 that stores independent gain data (adjustment data) for each pixel position so that the high level of the M pixel position is relatively larger than the G pixel position. The multiplier (multiplier means) 452 multiplies the alternating current component (Y_high) 450 of the bandpass filter processing 601 by a gain corresponding to the position of this pixel to correct the resolution sense (Y_high). ') Output 454.
そして、前記バンドパスフィルタ処理後の画素毎に高域レベルが調整されて解像感補正された交流成分(Y_high’)453と、図8に示した通り、RGB低域色分離処理404後のRGB成分に対して低域輝度信号処理405を行った信号(Y_low)とを、加算処理407で合成して、輝度信号(Y)408を生成する高域輝度信号生成処理を行う。   Then, an AC component (Y_high ′) 453 in which a high frequency level is adjusted and resolution is corrected for each pixel after the band pass filter processing, and after the RGB low frequency color separation processing 404 as shown in FIG. A signal (Y_low) obtained by performing low-frequency luminance signal processing 405 on the RGB components is synthesized by addition processing 407, and high-frequency luminance signal generation processing for generating a luminance signal (Y) 408 is performed.
<輝度信号処理の他の例>
図11に、色キャリア変換処理102と輝度信号処理103とを合わせた第2の処理ブロック図を示す。
<Other examples of luminance signal processing>
FIG. 11 shows a second processing block diagram in which the color carrier conversion processing 102 and the luminance signal processing 103 are combined.
本輝度信号処理103のアルゴリズムは、ベイヤー配列RAWデータ401の入力を前提に、前記図3を用いて説明した色キャリア変換処理工程402と、その色キャリア変換後のデータを用いて輝度信号の高域成分を処理する高域輝度信号処理(2)手段(色キャリア除去手段)503の高域輝度信号処理(2)工程(以下、この工程も同符号503を使用する)をとにより構成される。   The algorithm of the luminance signal processing 103 is based on the assumption that the Bayer array RAW data 401 is input. The color carrier conversion processing step 402 described with reference to FIG. The high-frequency luminance signal processing (2) means (color carrier removal means) 503 for processing the high-frequency components (2) step (hereinafter, this step also uses the same reference numeral 503). .
次に、前記処理の詳細を説明する。前記第2の高域輝度信号処理(2)工程503においては、色キャリア変換後のデータを入力として図12に示すような色キャリア成分のみを除去する高帯域のローパスフィルタ処理特性603で処理を実施する。この高帯域のローパスフィルタ処理特性603において、横軸は空間周波数であって、ポイントNナイキスト周波数である。縦軸は出力信号レベルをリニアスケールで示している。本ローパスフィルタ特性603のカーブは一例であり、本発明は特性を一義的に限定するものではない。   Next, details of the processing will be described. In the second high-frequency luminance signal processing (2) step 503, processing is performed with a high-band low-pass filter processing characteristic 603 that removes only the color carrier component as shown in FIG. carry out. In this high-band low-pass filter processing characteristic 603, the horizontal axis is the spatial frequency, and is the point N Nyquist frequency. The vertical axis represents the output signal level with a linear scale. The curve of the present low-pass filter characteristic 603 is an example, and the present invention does not uniquely limit the characteristic.
また、本ローパスフィルタ特性603は、1次元の特性を示すが、実際の処理では水平方向と垂直方向との両方向に対して独立に実施して、水平方向と垂直方向との高域輝度信号成分を合成することにより、2次元画像の高域輝度信号成分を生成する。   The low-pass filter characteristic 603 shows a one-dimensional characteristic. In actual processing, the low-pass filter characteristic 603 is performed independently in both the horizontal direction and the vertical direction, so that the high-frequency luminance signal component in the horizontal direction and the vertical direction is obtained. Are combined to generate a high-frequency luminance signal component of a two-dimensional image.
前記高域輝度信号処理(2)工程503では、直流成分も出力するため、前記図8の第1の処理ブロックで示したような色分離されたRGBの3色のプレーンデータを入力としてRGBの3つの信号を合成調整することによる色被写体画像の低域輝度信号レベル調整は行わない。従って、ハードウエアに実装する際は、より小規模な回路構成で実現することができる。勿論、高周波特性においては、自然なノイズ感を持った素性の良い高域輝度信号505を生成することができる。   In the high-frequency luminance signal processing (2) step 503, since a direct current component is also output, the RGB separated color plane data as shown in the first processing block of FIG. The low-frequency luminance signal level of the color subject image is not adjusted by combining and adjusting the three signals. Therefore, when implemented in hardware, it can be realized with a smaller circuit configuration. Of course, in the high frequency characteristics, a high-frequency luminance signal 505 having a natural noise feeling and good characteristics can be generated.
色キャリア変換後の画像は、図4(b)に示した通り、赤色、青色に留まらず、全ての色の境界やエッジにおいて発生するジッパーノイズが画面均一に抑圧されているので、ナイキスト周波数近傍に存在する色キャリア成分を高帯域なローパスフィルタ処理特性603を用いて除去することにより、図4(d)に示すように同等の素性の良い高域輝度信号成分を抽出することができる。   As shown in FIG. 4B, the image after the color carrier conversion is not limited to red and blue, and zipper noise generated at all color boundaries and edges is uniformly suppressed on the screen. The high-frequency luminance signal component having the same characteristic can be extracted as shown in FIG. 4D by removing the color carrier component existing in the high-frequency low-pass filter processing characteristic 603.
また、通常、エッジ強調と呼ばれる処理に関しても、本高帯域なローパスフィルタ処理特性603の任意周波数部分を水平方向及び垂直方向に独立に持ち上げることにより、解像感の調整を自由に調整することができる。   Also, regarding processing called edge enhancement, the resolution adjustment can be freely adjusted by lifting the arbitrary frequency portion of the high-band low-pass filter processing characteristic 603 independently in the horizontal direction and the vertical direction. it can.
更に、解像感調整の信号として前記高帯域なローパスフィルタ処理特性603で処理された交流成分の大きさを制御する際、既述の通り、原画像のGの画素位置とRの画素位置とBの画素位置とで高域レベル調整を独立に切り替え調整することにより、原画像のGの画素位置とRの画素位置とBの画素位置とで高域レベルを任意の大きさに調整して、高域輝度信号データを生成してもよい。   Further, when controlling the magnitude of the AC component processed by the high-band low-pass filter processing characteristic 603 as a resolution adjustment signal, as described above, the G pixel position and R pixel position of the original image By independently switching and adjusting the high frequency level adjustment with the B pixel position, the high frequency level is adjusted to an arbitrary size between the G pixel position, the R pixel position, and the B pixel position of the original image. High frequency luminance signal data may be generated.
このようにして、図8の第1の処理ブロックと同様に、撮影シーンに合わせた解像感の調整を自由に調整することができる。   In this way, as with the first processing block in FIG. 8, the adjustment of resolution according to the shooting scene can be freely adjusted.
以上説明したように、本実施形態によれば、原色ベイヤー配列の色フィルタを用いた撮像素子から得られる画像信号から輝度信号を生成する輝度信号生成装置において、赤色被写体や青色被写体を有する画像に対して、折り返し歪みの発生を十分抑制した輝度信号を生成することができる。   As described above, according to the present embodiment, in a luminance signal generation device that generates a luminance signal from an image signal obtained from an image sensor using a color filter with a primary color Bayer array, an image having a red subject or a blue subject is obtained. On the other hand, it is possible to generate a luminance signal in which the occurrence of aliasing distortion is sufficiently suppressed.
(第2の実施形態)
前記第1の実施形態は、システム又は装置のコンピュータ(CPU、MPU等)により、ソフトウェア的に実現することも可能である。
(Second Embodiment)
The first embodiment can also be realized in software by a computer (CPU, MPU, etc.) of a system or apparatus.
従って、上述の実施形態をコンピュータで実現するために、そのコンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。   Therefore, in order to realize the above-described embodiment by a computer, the computer program itself supplied to the computer also realizes the present invention. That is, the computer program itself for realizing the functions of the above-described embodiments is also one aspect of the present invention.
図13に、本発明の色キャリア変換処理をプログラムで実現する際のフローチャートを示す。   FIG. 13 shows a flowchart when the color carrier conversion processing of the present invention is realized by a program.
図13において、ステップS1は、RGBベイヤー配列の原画像データの取り込み工程である。ステップS2は、R画素とB画素のみローパスフィルタ処理する工程である。ステップS3は、G画素とローパスフィルタ処理後の画素とで構成されるキャリア変換配列データの生成工程である。本フローチャートは、前記図3と図6とで説明した色キャリア変換処理アルゴリズムに相当するフローチャートである。   In FIG. 13, step S <b> 1 is a process of capturing original image data of an RGB Bayer array. Step S2 is a process in which only the R pixel and the B pixel are subjected to low-pass filter processing. Step S3 is a process for generating carrier conversion array data including G pixels and pixels after low-pass filter processing. This flowchart is a flowchart corresponding to the color carrier conversion processing algorithm described in FIG. 3 and FIG.
図14に、本発明の色キャリア変換処理をプログラムで実現する際のフローチャートを示す。   FIG. 14 shows a flowchart when the color carrier conversion processing of the present invention is realized by a program.
図14において、ステップS1は、RGBベイヤー配列の原画像データの取り込み工程である。ステップS2は、R画素とB画素のみをローパスフィルタ処理する工程である。ステップS3は、G画素とローパスフィルタ処理後の画素とで構成される色キャリア変換配列データの生成工程である。ステップS4は、色キャリア変換配列データを用いて高域輝度信号を処理する工程である。   In FIG. 14, step S <b> 1 is a process of taking original image data of an RGB Bayer array. Step S2 is a process of performing low pass filter processing only on the R pixel and the B pixel. Step S3 is a process of generating color carrier conversion array data composed of G pixels and pixels after low-pass filter processing. Step S4 is a process of processing the high-frequency luminance signal using the color carrier conversion array data.
本フローチャートは、図3と図6を用いて説明した色キャリア変換処理アルゴリズムに図11で示す輝度信号処理工程を加えたフローチャートである。   This flowchart is a flowchart in which the luminance signal processing step shown in FIG. 11 is added to the color carrier conversion processing algorithm described with reference to FIGS. 3 and 6.
図15に、本発明の色キャリア変換処理をプログラムで実現する際のフローチャートを示す。   FIG. 15 shows a flowchart when the color carrier conversion processing of the present invention is realized by a program.
同図において、ステップS1は、RGBベイヤー配列の原画像データの取り込み工程である。ステップS2は、R画素とB画素のみをローパスフィルタ処理する工程である。ステップS3は、G画素と前記ローパスフィルタ処理後の画素とで構成されるキャリア変換配列データの生成工程である。ステップS14は、前記色キャリア変換配列データを用いて中域及び高域成分を抽出する中域・高域輝度信号処理工程である。ステップS5は、RGBベイヤー配列の原画像データから色毎に低域のR、G、B色分離信号を生成する低域RGB色分離信号処理工程である。ステップS6は、低域のR、G、B色分離信号から低域輝度信号を生成する低域輝度信号処理工程である。ステップS7は、前記の中域・高域輝度信号と低域輝度信号とを合成して輝度信号を生成する加算処理工程である。   In the figure, step S1 is a process of taking in original image data of an RGB Bayer array. Step S2 is a process of performing low pass filter processing only on the R pixel and the B pixel. Step S3 is a step of generating carrier conversion array data composed of G pixels and pixels after the low-pass filter processing. Step S14 is a mid- and high-frequency luminance signal processing step for extracting mid-range and high-frequency components using the color carrier conversion array data. Step S5 is a low-frequency RGB color separation signal processing step for generating low-frequency R, G, and B color separation signals for each color from the RGB Bayer array original image data. Step S6 is a low-frequency luminance signal processing step for generating a low-frequency luminance signal from the low-frequency R, G, B color separation signals. Step S7 is an addition processing step of generating a luminance signal by synthesizing the mid-range / high-range luminance signal and the low-frequency luminance signal.
本フローチャートは、前記図3と図6で説明した色キャリア変換処理アルゴリズムに図8に示した輝度信号処理工程を加えたフローチャートである。   This flowchart is a flowchart obtained by adding the luminance signal processing step shown in FIG. 8 to the color carrier conversion processing algorithm described in FIG. 3 and FIG.
尚、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。   The computer program for realizing the above-described embodiment may be in any form as long as it can be read by a computer. For example, it can be composed of object code, a program executed by an interpreter, script data supplied to the OS, but is not limited thereto.
上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線/無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、MO、CD、DVD等の光/光磁気記憶媒体、不揮発性の半導体メモリなどがある。   A computer program for realizing the above-described embodiment is supplied to a computer via a storage medium or wired / wireless communication. Examples of the storage medium for supplying the program include a magnetic storage medium such as a flexible disk, a hard disk, and a magnetic tape, an optical / magneto-optical storage medium such as an MO, CD, and DVD, and a nonvolatile semiconductor memory.
有線/無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなり得るデータファイル(プログラムファイル)をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであってもよい。   As a computer program supply method using wired / wireless communication, there is a method of using a server on a computer network. In this case, a data file (program file) that can be a computer program forming the present invention is stored in the server. The program file may be an executable format or a source code.
以上説明したように、本発明は、赤色又は青色被写体について斜め方向の色と色との境界における折り返し歪み(ジッパーノイズ)の発生を抑制して、偽輝度信号を低減しながらも、良好な解像感を保持することができるので、銀塩カメラ、静止画電子カメラ、ビデオカメラなどの撮像装置内部の処理として適用可能である。また、RAW画像データを現像するソフトアプリケーションの内部処理としても適用可能である。   As described above, the present invention suppresses the occurrence of aliasing distortion (zipper noise) at the boundary between colors in a diagonal direction with respect to a red or blue subject, while reducing the false luminance signal, while providing a good solution. Since the image can be maintained, the present invention can be applied to processing inside an imaging apparatus such as a silver salt camera, a still image electronic camera, and a video camera. It can also be applied as an internal process of a software application that develops RAW image data.
10 撮像装置
12 撮像部
101 ベイヤー配列
102 色キャリア変換処理部(画素位置選択フィルタ処理手段)
103 輝度信号処理部
104 色信号処理部
105 輝度信号(Y)
106 2種類の色差信号(Cr)、(Cb)
107 赤(R)、緑(G)、青(B)データ
201、301 RAWデータ
202、203 画素選択処理
204 フィルタ演算処理
205 2種類の画素よりなる色画素データ
302、303 画素選択処理
304 フィルタ演算処理
305 2種類の画素よりなる色画素データ
401 ベイヤー配列RAWデータ
402 色キャリア変換処理工程
403 高域輝度信号処理(1)手段(バンドパスフィルタ処理手段)
404 低域RGB色分離信号処理手段
405 低域輝度信号処理手段(ローパスフィルタ処理手段)
406 低域輝度信号成分
407 加算処理手段
408 高域輝度信号
451 高域レベル調整手段
452 乗算器(乗算手段)
453 メモリ(画素位置別調整データ記憶手段)
503 高域輝度信号処理(2)手段(色キャリア除去手段)
505 高域輝度信号
601 バンドパスフィルタ処理特性
602 ローパスフィルタ処理特性
603 高帯域のローパスフィルタ処理特性
10 撮像装置
12 撮像部
901 光学レンズ
902 光学LPF(ローパスフィルタ)
903 カラーフィルタ
904 撮像素子
905 AFE(アナログフロントエンド)部
906 前処理部
907 メモリ制御部
908 メモリ部
909 画像信号処理部(輝度信号生成装置)(処理機能部)
910 圧縮伸張部
911 記録メディアI/F(インターフェース)部
912 記録メディア
913 操作パネル
914 CPU
915 ROM
916 RAM
917 表示処理部
918 モニタI/F部
2020、2030 画素選択処理
2040 フィルタ演算処理
2050 2種類の画素よりなる色画素データ
DESCRIPTION OF SYMBOLS 10 Imaging device 12 Imaging part 101 Bayer arrangement | sequence 102 Color carrier conversion process part (pixel position selection filter process means)
103 luminance signal processing unit 104 color signal processing unit 105 luminance signal (Y)
106 Two kinds of color difference signals (Cr), (Cb)
107 Red (R), Green (G), Blue (B) data 201, 301 RAW data 202, 203 Pixel selection processing 204 Filter calculation processing 205 Color pixel data 302, 303 pixel selection processing 304 consisting of two types of pixels Filter calculation Processing 305 Color pixel data composed of two types of pixels 401 Bayer array RAW data 402 Color carrier conversion processing step 403 High-frequency luminance signal processing (1) means (bandpass filter processing means)
404 Low-frequency RGB color separation signal processing means 405 Low-frequency luminance signal processing means (low-pass filter processing means)
406 Low-frequency luminance signal component 407 Addition processing means 408 High-frequency luminance signal 451 High-frequency level adjusting means 452 Multiplier (multiplication means)
453 memory (pixel position adjustment data storage means)
503 High-frequency luminance signal processing (2) means (color carrier removal means)
505 High-frequency luminance signal 601 Band-pass filter processing characteristic 602 Low-pass filter processing characteristic 603 High-band low-pass filter processing characteristic 10 Imaging device 12 Imaging unit 901 Optical lens 902 Optical LPF (low-pass filter)
903 Color filter 904 Image sensor 905 AFE (analog front end) unit 906 Preprocessing unit 907 Memory control unit 908 Memory unit 909 Image signal processing unit (luminance signal generation device) (processing function unit)
910 Compression / decompression unit 911 Recording medium I / F (interface) unit 912 Recording medium 913 Operation panel 914 CPU
915 ROM
916 RAM
917 Display processing unit 918 Monitor I / F unit 2020, 2030 Pixel selection processing 2040 Filter operation processing 2050 Color pixel data composed of two types of pixels

Claims (21)

  1. 周期的な配列の色フィルタを備えた撮像素子から読み出したRAW画像データから、画素毎の輝度信号を生成する輝度信号生成装置を備えた画像処理装置であって、
    前記輝度信号生成装置は、
    前記RAW画像データの画素位置が行方向が奇数で列方向の画素位置が偶数の画素と行方向の画素位置が偶数で列方向の画素位置が奇数の画素に対してはローパスフィルタ処理を行わず、行方向及び列方向の奇数位置の画素と行方向及び列方向の偶数位置の画素に対してのみローパスフィルタ処理を実施する画素位置選択フィルタ処理手段と、
    前記画素位置選択フィルタ処理手段の出力データを入力として高帯域な輝度信号処理を実施する輝度信号処理手段とを備えた
    ことを特徴とする画像処理装置。
    An image processing apparatus including a luminance signal generation apparatus that generates a luminance signal for each pixel from RAW image data read from an image sensor having a periodic arrangement of color filters,
    The luminance signal generation device includes:
    Low-pass filter processing is not performed on pixels in which the pixel position of the RAW image data is an odd number in the row direction, an even number in the column direction, and an even number in the row direction and an odd number in the column direction. Pixel position selection filter processing means for performing low-pass filter processing only on pixels at odd positions in the row direction and column direction and pixels at even positions in the row direction and column direction;
    An image processing apparatus comprising: luminance signal processing means for performing high-band luminance signal processing using output data of the pixel position selection filter processing means as input.
  2. 周期的な配列の色フィルタを備えた撮像素子から読み出したRAW画像データから、画素毎の輝度信号を生成する輝度信号生成装置を備えた画像処理装置であって、
    前記輝度信号生成装置は、
    RAW画像データの画素位置が行方向が奇数で列方向の画素位置が偶数の画素と行方向の画素位置が偶数で列方向の画素位置が奇数の画素に対してのみローパスフィルタ処理を行い、行方向及び列方向の奇数位置の画素と行方向及び列方向の偶数位置の画素に対してはローパスフィルタ処理を実施しない画素位置選択フィルタ処理手段と、
    前記画素位置選択フィルタ処理手段の出力データを入力として高帯域な輝度信号処理を実施する輝度信号処理手段とを備えた
    ことを特徴とする画像処理装置。
    An image processing apparatus including a luminance signal generation apparatus that generates a luminance signal for each pixel from RAW image data read from an image sensor having a periodic arrangement of color filters,
    The luminance signal generation device includes:
    Low-pass filter processing is performed only for pixels in which the pixel position of the RAW image data is an odd number in the row direction and an even number in the column direction, and an even number in the row direction and an odd number in the column direction. Pixel position selection filter processing means that does not perform low-pass filter processing on pixels at odd positions in the direction and column direction and pixels at even positions in the row direction and column direction;
    An image processing apparatus comprising: luminance signal processing means for performing high-band luminance signal processing using output data of the pixel position selection filter processing means as input.
  3. 前記請求項1及び2の何れか1項に記載の画像処理装置であって、
    周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、
    前記画素位置選択フィルタ処理手段は、
    RGBの3色の原画素データのうち赤(R)と青(B)の各注目画素に対して選択的にローパスフィルタ処理を行う
    ことを特徴とする画像処理装置。
    The image processing apparatus according to any one of claims 1 and 2,
    The filter array of the image sensor having the periodic array of color filters is a Bayer array,
    The pixel position selection filter processing means includes:
    An image processing apparatus, wherein low-pass filter processing is selectively performed on each pixel of interest of red (R) and blue (B) among RGB original pixel data.
  4. 前記請求項1及び2の何れか1項に記載の画像処理装置であって、
    周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、
    前記画素位置選択フィルタ処理手段は、
    選択的に赤(R)と青(B)の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、赤(R)と青(B)の各注目画素を中心に奇数(2n+1)×奇数(2n+1)の周辺画素エリア内の画素を対してフィルタ演算処理を行って、ベイヤー配列の原画像を周期的な緑(G)と演算処理結果データとの2種類の色画素データに変換する
    ことを特徴とする画像処理装置。
    The image processing apparatus according to any one of claims 1 and 2,
    The filter array of the image sensor having the periodic array of color filters is a Bayer array,
    The pixel position selection filter processing means includes:
    When the low-pass filter process is performed selectively on the red (R) and blue (B) target pixels using peripheral pixels, an odd number (2n + 1) centering on each of the red (R) and blue (B) target pixels. ) × odd (2n + 1) pixels in the peripheral pixel area are subjected to filter arithmetic processing, and the Bayer array original image is converted into two types of color pixel data of periodic green (G) and arithmetic processing result data. An image processing apparatus characterized by converting.
  5. 前記請求項1及び2の何れか1項に記載の画像処理装置であって、
    周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、
    前記画素位置選択フィルタ処理手段は、
    選択的に赤(R)と青(B)の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、注目画素を原点に右斜め方向と左斜め方向に位置する赤(R)画素と青(B)画素のみを用いてフィルタ演算処理を行い、赤(R)と青(B)との各注目画素に対しては赤色と青色とを合成してできるマゼンダ(M)色成分に置き換え、ベイヤー配列の原画像を周期的な緑(G)とマゼンダ(M)の2種類の色画素データに変換する
    ことを特徴とする画像処理装置。
    The image processing apparatus according to any one of claims 1 and 2,
    The filter array of the image sensor having the periodic array of color filters is a Bayer array,
    The pixel position selection filter processing means includes:
    When the low-pass filter processing is performed on the red (R) and blue (B) target pixels selectively using the peripheral pixels, red (R) positioned in the right diagonal direction and the left diagonal direction with the target pixel as the origin. A magenta (M) color component obtained by performing filter calculation processing using only pixels and blue (B) pixels and combining red and blue for each pixel of interest of red (R) and blue (B) An image processing apparatus characterized by converting an original image of a Bayer array into two types of color pixel data of green (G) and magenta (M).
  6. 前記請求項1及び2の何れか1項に記載の画像処理装置であって、
    周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、
    前記画素位置選択フィルタ処理手段は、
    選択的に赤(R)と青(B)の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、注目画素を原点に斜め方向に位置する赤(R)と青(B)の画素に加えて、水平・垂直方向に隣接する緑(G)画素の成分も加えたフィルタ演算処理を行い、赤(R)と青(B)の注目画素に対しては赤色と青色と緑色を合成してできるホワイト(W)色成分に置き換え、ベイヤー配列の原画像を周期的な緑(G)とホワイト(W)との2種類の色画素データに変換する
    ことを特徴とする画像処理装置。
    The image processing apparatus according to any one of claims 1 and 2,
    The filter array of the image sensor having the periodic array of color filters is a Bayer array,
    The pixel position selection filter processing means includes:
    When the low-pass filter processing is performed on the target pixel of red (R) and blue (B) selectively using peripheral pixels, red (R) and blue (B) that are positioned obliquely with the target pixel as the origin In addition to the above pixels, filter operation processing is also performed by adding the components of the green (G) pixels adjacent in the horizontal and vertical directions, and red, blue, and green are applied to the target pixel of red (R) and blue (B). Image processing characterized by converting the original image of the Bayer array into two types of color pixel data of periodic green (G) and white (W) apparatus.
  7. 前記請求項4〜6の何れか1項に記載の画像処理装置であって、
    更に、周期的な2種類の色画素データに変換された画像データに対して水平及び垂直方向に周期的な色キャリア除去処理を実施して、高域輝度信号を生成処理する色キャリア除去手段を有する
    ことを特徴とする画像処理装置。
    The image processing apparatus according to any one of claims 4 to 6,
    Furthermore, color carrier removal means for generating a high-frequency luminance signal by performing periodic color carrier removal processing in the horizontal and vertical directions on the image data converted into two kinds of periodic color pixel data. An image processing apparatus comprising:
  8. 前記請求項4〜6の何れか1項に記載の画像処理装置であって、
    周期的な2種類の色画素データに変換された画像データに対して、水平及び垂直方向に周期的な色キャリアを含む高域成分と直流成分を含む低域成分とを除去するバンドパスフィルタ処理手段と、
    RGBの3色の原画素データを色毎に色分離出力する低域RGB色分離信号処理手段と、
    前記色毎に色分離出力されたRGBデータに対して前記バンドパスフィルタ処理で除去される直流成分を含む低域成分に相当する帯域を濾波するローパスフィルタ処理手段と、
    前記バンドパスフィルタ処理後の高域データと前記ローパスフィルタ処理後の低域色分離RGB成分との加算処理を実施する信号加算手段とを有する
    ことを特徴とする画像処理装置。
    The image processing apparatus according to any one of claims 4 to 6,
    Band pass filter processing for removing high frequency components including periodic color carriers and low frequency components including DC components in horizontal and vertical directions from image data converted into two types of periodic color pixel data Means,
    Low-frequency RGB color separation signal processing means for color-separating and outputting original pixel data of three colors of RGB for each color;
    Low-pass filter processing means for filtering a band corresponding to a low-frequency component including a direct-current component removed by the band-pass filter processing with respect to the RGB data color-separated and output for each color;
    An image processing apparatus comprising: signal addition means for performing addition processing of the high-pass data after the band-pass filter processing and the low-pass color separation RGB component after the low-pass filter processing.
  9. 前記請求項8記載の画像処理装置であって、
    解像感調整の信号として前記バンドパスフィルタ処理手段で処理された交流成分の大きさを制御して解像感を調整する、交流成分中の高域レベル調整手段を有し、
    前記信号加算手段は、
    前記バンドパスフィルタ処理後の高域レベルが調整された高域データと、前記ローパスフィルタ処理後の低域色分離RGB成分との加算処理を実施し、
    前記信号加算手段の出力により、高域輝度信号を得る
    ことを特徴とする画像処理装置。
    The image processing apparatus according to claim 8, wherein
    A high frequency level adjusting means in the AC component for adjusting the resolution feeling by controlling the magnitude of the AC component processed by the bandpass filter processing means as a resolution adjustment signal,
    The signal adding means includes
    Addition processing of the high-frequency data adjusted high-frequency level after the band-pass filter processing and the low-frequency color separation RGB component after the low-pass filter processing,
    A high-frequency luminance signal is obtained from the output of the signal adding means.
  10. 前記請求項9記載の画像処理装置であって、
    前記高域レベル調整手段は、
    解像感調整の信号として前記バンドパスフィルタ処理手段で処理された交流成分の大きさを制御する際、原画像の緑(G)の画素位置と赤(R)の画素位置と青(B)の画素位置とで独立に前記交流成分の大きさを決定する高域レベル調整データを記憶する画素位置別調整データ記憶手段と、
    前記前記画素位置別に記憶された高域レベル調整データに応じて前記バンドパスフィルタ処理手段で処理された交流成分の大きさを増倍する乗算手段とを備え、
    前記信号加算手段は、
    前記バンドパスフィルタ処理後の高域データに対して原画像の緑(G)の画素位置と赤(R)の画素位置と青(B)の画素位置とで色毎に交流成分の大きさを調整された高域データと、前記ローパスフィルタ処理後の低域色分離RGB成分との加算処理を実施する
    ことを特徴とする画像処理装置。
    The image processing apparatus according to claim 9, wherein
    The high frequency level adjusting means is
    When controlling the magnitude of the AC component processed by the bandpass filter processing means as a resolution adjustment signal, the green (G) pixel position, the red (R) pixel position, and the blue (B) of the original image Pixel position-specific adjustment data storage means for storing high-frequency level adjustment data for determining the magnitude of the AC component independently of the pixel position of
    Multiplying means for multiplying the magnitude of the alternating current component processed by the bandpass filter processing means according to the high frequency level adjustment data stored for each pixel position,
    The signal adding means includes
    For the high-frequency data after the bandpass filter processing, the magnitude of the AC component for each color is determined by the green (G) pixel position, the red (R) pixel position, and the blue (B) pixel position of the original image. An image processing apparatus that performs addition processing of the adjusted high-frequency data and the low-frequency color separation RGB component after the low-pass filter processing.
  11. 周期的な配列の色フィルタを備えた撮像素子から読み出したRAW画像データから、画素毎の輝度信号を生成する輝度信号生成方法を持つ画像処理方法であって、
    前記輝度信号生成方法は、
    前記RAW画像データの画素位置が行方向が奇数で列方向の画素位置が偶数の画素と行方向の画素位置が偶数で列方向の画素位置が奇数の画素に対してはローパスフィルタ処理を行わず、行方向及び列方向の奇数位置の画素と行方向及び列方向の偶数位置の画素に対してのみローパスフィルタ処理を実施する画素位置選択フィルタ処理工程と、
    前記画素位置選択フィルタ処理工程の出力データを入力として高帯域な輝度信号処理を実施する輝度信号処理工程とを備えた
    ことを特徴とする画像処理方法。
    An image processing method having a luminance signal generation method for generating a luminance signal for each pixel from RAW image data read from an image sensor having a periodic arrangement of color filters,
    The luminance signal generation method includes:
    Low-pass filter processing is not performed on pixels in which the pixel position of the RAW image data is an odd number in the row direction, an even number in the column direction, and an even number in the row direction and an odd number in the column direction. A pixel position selection filter processing step for performing low-pass filter processing only on pixels in odd positions in the row direction and column direction and pixels in even positions in the row direction and column direction;
    A luminance signal processing step of performing high-band luminance signal processing with the output data of the pixel position selection filter processing step as an input.
  12. 周期的な配列の色フィルタを備えた撮像素子から読み出したRAW画像データから、画素毎の輝度信号を生成する輝度信号生成方法を備えた画像処理方法であって、
    前記輝度信号生成方法は、
    RAW画像データの画素位置が行方向が奇数で列方向の画素位置が偶数の画素と行方向の画素位置が偶数で列方向の画素位置が奇数の画素に対してのみローパスフィルタ処理を行い、行方向及び列方向の奇数位置の画素と行方向及び列方向の偶数位置の画素に対してはローパスフィルタ処理を実施しない画素位置選択フィルタ処理工程と、
    前記画素位置選択フィルタ処理工程の出力データを入力として高帯域な輝度信号処理を実施する輝度信号処理工程とを備えた
    ことを特徴とする画像処理方法。
    An image processing method including a luminance signal generation method for generating a luminance signal for each pixel from RAW image data read from an image sensor having a periodic arrangement of color filters,
    The luminance signal generation method includes:
    Low-pass filter processing is performed only for pixels in which the pixel position of the RAW image data is an odd number in the row direction and an even number in the column direction, and an even number in the row direction and an odd number in the column direction. A pixel position selection filter processing step in which low-pass filter processing is not performed on pixels in odd positions in the direction and column direction and pixels in even positions in the row direction and column direction;
    A luminance signal processing step of performing high-band luminance signal processing with the output data of the pixel position selection filter processing step as an input.
  13. 前記請求項11及び12の何れか1項に記載の画像処理方法であって、
    周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、
    前記画素位置選択フィルタ処理工程は、
    RGBの3色の原画素データのうち赤(R)と青(B)の各注目画素に対して選択的にローパスフィルタ処理を行う
    ことを特徴とする画像処理方法。
    The image processing method according to any one of claims 11 and 12,
    The filter array of the image sensor having the periodic array of color filters is a Bayer array,
    The pixel position selection filter processing step includes
    An image processing method, wherein low-pass filter processing is selectively performed on each pixel of interest of red (R) and blue (B) among RGB original pixel data.
  14. 前記請求項11及び12の何れか1項に記載の画像処理方法であって、
    周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、
    前記画素位置選択フィルタ処理工程は、
    選択的に赤(R)と青(B)の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、赤(R)と青(B)の各注目画素を中心に奇数(2n+1)×奇数(2n+1)の周辺画素エリア内の画素を対してフィルタ演算処理を行って、ベイヤー配列の原画像を周期的な緑(G)と演算処理結果データとの2種類の色画素データに変換する
    ことを特徴とする画像処理方法。
    The image processing method according to any one of claims 11 and 12,
    The filter array of the image sensor having the periodic array of color filters is a Bayer array,
    The pixel position selection filter processing step includes
    When the low-pass filter process is performed selectively on the red (R) and blue (B) target pixels using peripheral pixels, an odd number (2n + 1) centering on each of the red (R) and blue (B) target pixels. ) × odd (2n + 1) pixels in the peripheral pixel area are subjected to filter arithmetic processing, and the Bayer array original image is converted into two types of color pixel data of periodic green (G) and arithmetic processing result data. An image processing method characterized by converting.
  15. 前記請求項11及び12の何れか1項に記載の画像処理方法であって、
    周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、
    前記画素位置選択フィルタ処理工程は、
    選択的に赤(R)と青(B)の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、注目画素を原点に右斜め方向と左斜め方向に位置する赤(R)画素と青(B)画素のみを用いてフィルタ演算処理を行い、赤(R)と青(B)との各注目画素に対しては赤色と青色とを合成してできるマゼンダ(M)色成分に置き換え、ベイヤー配列の原画像を周期的な緑(G)とマゼンダ(M)の2種類の色画素データに変換する
    ことを特徴とする画像処理方法。
    The image processing method according to any one of claims 11 and 12,
    The filter array of the image sensor having the periodic array of color filters is a Bayer array,
    The pixel position selection filter processing step includes
    When the low-pass filter processing is performed on the red (R) and blue (B) target pixels selectively using the peripheral pixels, red (R) positioned in the right diagonal direction and the left diagonal direction with the target pixel as the origin. A magenta (M) color component obtained by performing filter calculation processing using only pixels and blue (B) pixels and combining red and blue for each pixel of interest of red (R) and blue (B) And converting the Bayer array original image into two types of periodic color pixel data of green (G) and magenta (M).
  16. 前記請求項11及び12の何れか1項に記載の画像処理方法であって、
    周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、
    前記画素位置選択フィルタ処理工程は、
    選択的に赤(R)と青(B)の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、注目画素を原点に斜め方向に位置する赤(R)と青(B)の画素に加えて、水平・垂直方向に隣接する緑(G)画素の成分も加えたフィルタ演算処理を行い、赤(R)と青(B)の注目画素に対しては赤色と青色と緑色を合成してできるホワイト(W)色成分に置き換え、ベイヤー配列の原画像を周期的なGとWの2種類の色画素データに変換する
    ことを特徴とする画像処理方法。
    The image processing method according to any one of claims 11 and 12,
    The filter array of the image sensor having the periodic array of color filters is a Bayer array,
    The pixel position selection filter processing step includes
    When the low-pass filter processing is performed on the target pixel of red (R) and blue (B) selectively using peripheral pixels, red (R) and blue (B) that are positioned obliquely with the target pixel as the origin In addition to the above pixels, filter operation processing is also performed by adding the components of the green (G) pixels adjacent in the horizontal and vertical directions, and red, blue, and green are applied to the target pixel of red (R) and blue (B). A white (W) color component formed by synthesizing the image and converting the Bayer array original image into two types of periodic G and W color pixel data.
  17. 前記請求項14〜16の何れか1項に記載の画像処理方法であって、
    更に、周期的な2種類の色画素データに変換された画像データに対して水平及び垂直方向に周期的な色キャリア除去処理を実施し、高域輝度信号を生成処理する色キャリア除去工程を有する
    ことを特徴とする画像処理方法。
    The image processing method according to any one of claims 14 to 16, comprising:
    Further, the image data converted into two kinds of periodic color pixel data is subjected to a color carrier removal process for performing a periodic color carrier removal process in the horizontal and vertical directions to generate a high-frequency luminance signal. An image processing method.
  18. 前記請求項14〜16の何れか1項に記載の画像処理方法であって、
    周期的な2種類の色画素データに変換された画像データに対して、水平及び垂直方向に周期的な色キャリアを含む高域成分と直流成分を含む低域成分とを除去するバンドパスフィルタ処理工程と、
    RGBの3色の原画素データを色毎に色分離出力する低域RGB色分離信号処理工程と、
    前記色毎に色分離出力されたRGBデータに対して前記バンドパスフィルタ処理で除去される直流成分を含む低域成分に相当する帯域を濾波するローパスフィルタ処理工程と、
    前記バンドパスフィルタ処理後の高域データと前記ローパスフィルタ処理後の低域色分離RGB成分との加算処理を実施する信号加算工程とを有する
    ことを特徴とする画像処理方法。
    The image processing method according to any one of claims 14 to 16, comprising:
    Band pass filter processing for removing high frequency components including periodic color carriers and low frequency components including DC components in horizontal and vertical directions from image data converted into two types of periodic color pixel data Process,
    A low-frequency RGB color separation signal processing step for color-separating and outputting original pixel data of three colors of RGB for each color;
    A low-pass filter processing step of filtering a band corresponding to a low-frequency component including a direct-current component removed by the band-pass filter processing with respect to the RGB data color-separated and output for each color;
    An image processing method comprising: a signal addition step of performing addition processing of the high-pass data after the band-pass filter processing and the low-pass color separation RGB component after the low-pass filter processing.
  19. 前記請求項18記載の画像処理方法であって、
    解像感調整の信号として前記バンドパスフィルタ処理工程で処理された交流成分の大きさを制御して解像感を調整する、交流成分中の高域レベル調整工程を有し、
    前記信号加算工程は、
    前記バンドパスフィルタ処理後の高域レベルが調整された高域データと、前記ローパスフィルタ処理後の低域色分離RGB成分との加算処理を実施し、
    前記信号加算工程の出力により、高域輝度信号を得る
    ことを特徴とする画像処理方法。
    The image processing method according to claim 18, wherein
    Having a high frequency level adjustment step in the AC component for adjusting the resolution by controlling the magnitude of the AC component processed in the bandpass filter processing step as a resolution adjustment signal,
    The signal adding step includes
    Addition processing of the high-frequency data adjusted high-frequency level after the band-pass filter processing and the low-frequency color separation RGB component after the low-pass filter processing,
    A high-frequency luminance signal is obtained from the output of the signal adding step.
  20. 前記請求項19記載の画像処理方法であって、
    前記高域レベル調整工程は、
    解像感調整の信号として前記バンドパスフィルタ処理工程で処理された交流成分の大きさを制御する際、原画像の緑(G)の画素位置と赤(R)の画素位置と青(B)の画素位置とで独立に前記交流成分の大きさを決定する高域レベル調整データを記憶する画素位置別調整データ記憶工程と、
    前記前記画素位置別に記憶された高域レベル調整データに応じて前記バンドパスフィルタ処理工程で処理された交流成分の大きさを増倍する乗算工程とを備え、
    前記信号加算工程は、
    前記バンドパスフィルタ処理後の高域データに対して原画像の緑(G)の画素位置と赤(R)の画素位置と青(B)の画素位置とで色毎に交流成分の大きさを調整された高域データと、前記ローパスフィルタ処理後の低域色分離RGB成分との加算処理を実施する
    ことを特徴とする画像処理方法。
    The image processing method according to claim 19, wherein
    The high frequency level adjustment step includes:
    When controlling the magnitude of the AC component processed in the bandpass filter processing step as a resolution adjustment signal, the green (G) pixel position, the red (R) pixel position, and the blue (B) of the original image A pixel position-specific adjustment data storage step for storing high-frequency level adjustment data for determining the magnitude of the AC component independently of the pixel position of
    A multiplication step of multiplying the magnitude of the alternating current component processed in the band pass filter processing step according to the high frequency level adjustment data stored for each pixel position,
    The signal adding step includes
    For the high-frequency data after the bandpass filter processing, the magnitude of the AC component for each color is determined by the green (G) pixel position, the red (R) pixel position, and the blue (B) pixel position of the original image. An image processing method, comprising: adding the adjusted high-frequency data and the low-frequency color separation RGB component after the low-pass filter processing.
  21. 前記請求項1〜10の何れか1項に記載の画像処理装置を備えた処理機能部を有する
    ことを特徴とするデジタルカメラ。
    A digital camera comprising a processing function unit including the image processing apparatus according to claim 1.
JP2011096052A 2011-04-22 2011-04-22 Image processing device, image processing method and digital camera Withdrawn JP2012227869A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011096052A JP2012227869A (en) 2011-04-22 2011-04-22 Image processing device, image processing method and digital camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011096052A JP2012227869A (en) 2011-04-22 2011-04-22 Image processing device, image processing method and digital camera

Publications (1)

Publication Number Publication Date
JP2012227869A true JP2012227869A (en) 2012-11-15

Family

ID=47277543

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011096052A Withdrawn JP2012227869A (en) 2011-04-22 2011-04-22 Image processing device, image processing method and digital camera

Country Status (1)

Country Link
JP (1) JP2012227869A (en)

Similar Documents

Publication Publication Date Title
JP5108172B2 (en) Image data size conversion processing apparatus, electronic still camera, and image data size conversion processing recording medium
JP4284628B2 (en) IMAGING DEVICE, IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, PROGRAM FOR IMAGE PROCESSING METHOD, AND RECORDING MEDIUM CONTAINING PROGRAM FOR IMAGE PROCESSING METHOD
JP5045421B2 (en) Imaging apparatus, color noise reduction method, and color noise reduction program
KR101422096B1 (en) Image processing device and image processing method
JP5280448B2 (en) Image processing apparatus, image processing method, image processing program, and semiconductor integrated circuit
JP2004241991A (en) Imaging apparatus, image processor, and image processing program
JP4946581B2 (en) Image processing device
JP5006814B2 (en) Imaging device
US8320714B2 (en) Image processing apparatus, computer-readable recording medium for recording image processing program, and image processing method
JP4725520B2 (en) Image processing device, non-imaging color signal calculation device, and image processing method
JP2011041208A (en) Image processing apparatus, image processing program and image processing method
WO2012169140A1 (en) Image processing device, image processing method and digital camera
US8086032B2 (en) Image processing device, image processing method, and image pickup apparatus
JP5709131B2 (en) Image processing system
JP4894594B2 (en) Image processing device
JP4581633B2 (en) Color signal correction method, apparatus and program
JP2004064227A (en) Video signal processing apparatus
JP5268321B2 (en) Image processing apparatus, image processing method, and image processing program
JP2007180893A (en) Image processor and imaging apparatus
JP3730063B2 (en) Color component generation apparatus, color component generation method, and multicolor image pickup apparatus using the same
JP5948167B2 (en) Imaging device
JP4133179B2 (en) Image signal processing device
JP2012227869A (en) Image processing device, image processing method and digital camera
JP5454820B2 (en) Image processing apparatus, image processing method, and image processing program
JP4934183B2 (en) Image signal processing method

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140701