JP2010178226A - Imaging apparatus, chromatic aberration suppressing method, and chromatic aberration suppressing circuit, and program - Google Patents

Imaging apparatus, chromatic aberration suppressing method, and chromatic aberration suppressing circuit, and program Download PDF

Info

Publication number
JP2010178226A
JP2010178226A JP2009020917A JP2009020917A JP2010178226A JP 2010178226 A JP2010178226 A JP 2010178226A JP 2009020917 A JP2009020917 A JP 2009020917A JP 2009020917 A JP2009020917 A JP 2009020917A JP 2010178226 A JP2010178226 A JP 2010178226A
Authority
JP
Japan
Prior art keywords
level
target pixel
pixel
predetermined
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009020917A
Other languages
Japanese (ja)
Inventor
Yuya Yamaguchi
雄也 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009020917A priority Critical patent/JP2010178226A/en
Publication of JP2010178226A publication Critical patent/JP2010178226A/en
Pending legal-status Critical Current

Links

Landscapes

  • Color Television Image Signal Generators (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To prevent coloring in the periphery of an overexposed image and to prevent its display. <P>SOLUTION: An imaging apparatus 10 extracts signals of primary colors at a plurality of positions around a predetermined pixel position from an image signal obtained by an imaging device in which color filters of primary colors of R, G and B are alternately arranged on a plurality of pixels that are two-dimensionally arranged in a predetermined array, and interpolates the signals at the predetermined pixel position. At that time, a neighboring overexposure detecting part 11 determines that a pixel under consideration is included in the periphery of overexposure when the level of peripheral pixels arranged in a neighborhood being within a predetermined range to the pixel under consideration included in an image composed of RGB signals exceeds a predetermined threshold. A clip level generating part 12 generates a clip level for suppressing the level of the pixel under consideration in accordance with the change amount of the levels of the pixel under consideration and the peripheral pixels. A suppression processing part 13 suppresses the level of the pixel under consideration and suppresses chromatic aberration that occurs in the pixel under consideration on the basis of the change amount of the levels and the clip level. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、例えば、ベイヤ配列方式の色フィルタを通して得られた画像信号に色情報を補間する場合に適用して好適な撮像装置、色収差抑制方法、色収差抑制回路及びプログラムに関する。   The present invention relates to an imaging apparatus, a chromatic aberration suppression method, a chromatic aberration suppression circuit, and a program that are suitable for use when, for example, color information is interpolated in an image signal obtained through a Bayer color filter.

近年、電子カメラ等の撮像装置は、小型化、高倍率、多画素化を実現すると共に高画質が要求されている。しかしながら、小型化、高倍率、かつ多画素に対応した高いMTF(Modulation Transfer Function)特性をもつレンズを製造することが非常に困難になってきている。このため、レンズを小型にすることで、画面の位置や波長によって合焦位置がズレる「色収差」が発生する。色収差には、色によって像の倍率が異なる「倍率色収差」だけでなく、色によるピント位置の差によって起こる「軸上色収差」も含まれ、信号処理によって色収差を抑制する技術が提案されている。   In recent years, an imaging device such as an electronic camera has been required to have a small size, a high magnification, a large number of pixels, and a high image quality. However, it has become very difficult to manufacture a lens having high MTF (Modulation Transfer Function) characteristics corresponding to downsizing, high magnification, and multiple pixels. For this reason, by reducing the size of the lens, “chromatic aberration” occurs in which the in-focus position is shifted depending on the position and wavelength of the screen. Chromatic aberration includes not only “magnification chromatic aberration” in which the magnification of an image differs depending on colors but also “axial chromatic aberration” caused by a difference in focus position due to color, and a technique for suppressing chromatic aberration by signal processing has been proposed.

特許文献1には、高輝度周辺のカラーフリンジを抑制する技術が記載されている。   Patent Document 1 describes a technique for suppressing color fringes around a high luminance.

特開2007−133592号公報JP 2007-133582 A

ところで、金属光沢等の明るい部分を撮像すると、その部分が高輝度であるため、色収差によって白くなる「白とび」が発生する。従来の撮像装置はダイナミックレンジが狭く、高輝度の色情報を正確に取得することはできなかったが、近年の撮像装置の高感度化に伴い、取得できるダイナミックレンジが広がった。しかし、それに伴って、今まで現れなかった(取得できなかった)高輝度における色収差などのカラーフリンジの色まで正確に取得できるようになり、そのカラーフリンジが画質に影響を及ぼすようになってきた。   By the way, when a bright part such as a metallic luster is imaged, since the part has high luminance, “whiteout” that becomes white due to chromatic aberration occurs. Conventional imaging devices have a narrow dynamic range and cannot accurately acquire high-luminance color information. However, with the recent increase in sensitivity of imaging devices, the dynamic range that can be acquired has expanded. However, along with this, it has become possible to accurately acquire even the color fringe color, such as chromatic aberration at high brightness, which has not appeared (cannot be acquired) until now, and the color fringe has influenced the image quality. .

図11は、色収差を抑制することによって白とびの周辺に生じるカラーフリンジの例を示す。
Y信号(または、RGB信号のいずれか)の信号レベルが飽和すると、白とび101が発生する。白とび101は、例えば、金属光沢や光源といったコントラストの大きい画像に発生しやすいため、白とび101に色収差抑制がなされる。しかし、白とび101の周辺には、光軸上の焦点位置の違いによって、カラーフリンジ102が生じることがあった。これは、従来、軸上色収差を抑制するための有効な方法がなかったためである。
FIG. 11 shows an example of a color fringe generated around a whiteout by suppressing chromatic aberration.
When the signal level of the Y signal (or any one of the RGB signals) is saturated, the overexposure 101 occurs. For example, the overexposure 101 is likely to occur in a high contrast image such as metallic luster or a light source, and thus the overexposure 101 is suppressed in chromatic aberration. However, a color fringe 102 may occur around the whiteout 101 due to the difference in the focal position on the optical axis. This is because there has been no effective method for suppressing axial chromatic aberration.

また、特許文献1に記載された技術は、白とび周辺の画素を検出し、その画素が紫色である場合に色消しを行うものであるため、紫色以外の他の色(赤や緑)のカラーフリンジを非表示とすることはできなかった。このため、カラーフリンジ102を表示させないようにする技術が求められていた。   Moreover, since the technique described in Patent Document 1 detects a whiteout peripheral pixel and performs achromatic processing when the pixel is purple, other colors (red and green) other than purple are used. The color fringe could not be hidden. For this reason, a technique for preventing the color fringe 102 from being displayed has been demanded.

本発明はこのような状況に鑑みて成されたものであり、高輝度の画像を表示する場合に高輝度画像の周辺に色が付いて表示されないように軸上色収差を抑制することを目的とする。   The present invention has been made in view of such a situation, and an object of the present invention is to suppress axial chromatic aberration so that a high-brightness image is not displayed with a color when a high-brightness image is displayed. To do.

本発明は、二次元配置された複数の画素上に、RとGとBの原色のカラーフィルタを所定配列で交互に配置した撮像素子で得た画像信号から、所定画素位置の周辺の複数位置の原色の信号を取り出して、所定画素位置の信号を補間する場合に適用される。
この場合に、RGB信号よりなる画像に含まれ、注目画素に対する所定の範囲内に配置される周辺画素のレベルが所定の閾値を超えた場合に、注目画素が白とびの周辺に含まれることを検出する。
次に、注目画素及び周辺画素のレベルの変化量に応じて注目画素のレベルを抑制するためのクリップレベルを生成する。
そして、レベルの変化量及びクリップレベルに基づいて、注目画素のレベルを抑制し、注目画素に生じた色収差を抑制する。
The present invention provides a plurality of positions around a predetermined pixel position from an image signal obtained by an image sensor in which R, G, and B primary color filters are alternately arranged in a predetermined arrangement on a plurality of two-dimensionally arranged pixels. This is applied when the primary color signal is extracted and the signal at a predetermined pixel position is interpolated.
In this case, if the level of the peripheral pixels included in the image composed of the RGB signals and disposed within a predetermined range with respect to the target pixel exceeds a predetermined threshold, the target pixel is included in the periphery of the overexposure. To detect.
Next, a clip level for suppressing the level of the target pixel is generated in accordance with the amount of change in the level of the target pixel and surrounding pixels.
Then, based on the level change amount and the clip level, the level of the target pixel is suppressed, and chromatic aberration generated in the target pixel is suppressed.

このようにしたことで、白とび周辺の画素に生じる色収差を抑制することが可能となった。   By doing so, it is possible to suppress chromatic aberration that occurs in the pixels in the surrounding areas.

本発明によれば、白とび周辺の画素に生じる色収差を抑制することが可能であるため、画像の一部に白とびが生じても、白とびの周辺に発生するカラーフリンジを抑制することができるという効果がある。   According to the present invention, since it is possible to suppress chromatic aberration that occurs in pixels around a whiteout, even if whiteout occurs in a part of an image, color fringes that occur around the whiteout can be suppressed. There is an effect that can be done.

本発明の第1の実施の形態における撮像装置の内部構成例を示すブロック図である。1 is a block diagram illustrating an internal configuration example of an imaging device according to a first embodiment of the present invention. 本発明の第1の実施の形態におけるカラーフリンジ抑制部の内部構成例を示すブロック図である。It is a block diagram which shows the internal structural example of the color fringe suppression part in the 1st Embodiment of this invention. 本発明の第1の実施の形態における平滑化処理部の内部構成例を示すブロック図である。It is a block diagram which shows the internal structural example of the smoothing process part in the 1st Embodiment of this invention. 本発明の第1の実施の形態におけるベイヤ配列の画素の例を示す説明図である。It is explanatory drawing which shows the example of the pixel of a Bayer arrangement | sequence in the 1st Embodiment of this invention. 本発明の第1の実施の形態における周辺画素のGレベルの絶対値から求まる白とび近傍判定条件の例を示す説明図である。It is explanatory drawing which shows the example of the overexposure vicinity determination condition calculated | required from the absolute value of the G level of the surrounding pixel in the 1st Embodiment of this invention. 本発明の第1の実施の形態におけるクリップレベルの例を示す説明図である。It is explanatory drawing which shows the example of the clip level in the 1st Embodiment of this invention. 本発明の第2の実施の形態における撮像装置の内部構成例を示すブロック図である。It is a block diagram which shows the internal structural example of the imaging device in the 2nd Embodiment of this invention. 本発明の第2の実施の形態における画素の例を示す説明図である。It is explanatory drawing which shows the example of the pixel in the 2nd Embodiment of this invention. 本発明の第2の実施の形態における周辺画素のYレベルの絶対値から求まる白とび近傍判定条件の例を示す説明図である。It is explanatory drawing which shows the example of the over-out vicinity determination condition calculated | required from the absolute value of the Y level of the surrounding pixel in the 2nd Embodiment of this invention. 本発明の第2の実施の形態におけるクリップレベルの例を示す説明図である。It is explanatory drawing which shows the example of the clip level in the 2nd Embodiment of this invention. 軸上色収差を抑制することによって白とびの周辺に生じるカラーフリンジの例を示すShows examples of color fringes that occur around white spots by suppressing axial chromatic aberration

以下、発明を実施するための最良の形態(以下実施の形態とする。)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(カラーフリンジの抑制処理:R,G,B信号を用いた例)
2.第2の実施の形態(カラーフリンジの抑制処理:Y信号を用いた例)
3.変形例
Hereinafter, the best mode for carrying out the invention (hereinafter referred to as an embodiment) will be described. The description will be given in the following order.
1. First Embodiment (Color Fringe Suppression Processing: Example Using R, G, and B Signals)
2. Second Embodiment (Color Fringe Suppression Processing: Example Using Y Signal)
3. Modified example

<1.第1の実施の形態>
[撮像装置の内部構成例]
<1. First Embodiment>
[Example of internal configuration of imaging device]

以下、本発明の第1の実施の形態について、図1〜図6を参照して説明する。本実施の形態では、本発明の画像信号処理装置を撮像装置10に適用させている。   Hereinafter, a first embodiment of the present invention will be described with reference to FIGS. In the present embodiment, the image signal processing device of the present invention is applied to the imaging device 10.

図1は、撮像装置10の内部構成例を示す。
撮像装置10は、レンズ部1と、色フィルタ2と、撮像素子3とを有する。
FIG. 1 shows an internal configuration example of the imaging apparatus 10.
The imaging device 10 includes a lens unit 1, a color filter 2, and an imaging element 3.

レンズ部1は、光学レンズ系や絞り機構によって構成され、撮像素子3の撮像面に被写体の像光を結像する。撮像素子3は、二次元配置された複数の光電変換素子からなる。この光電変換素子は、例えば、CCD(Charge Coupled Devices)イメージセンサ、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等が用いられる。各光電変換素子は複数の画素を構成し、撮像面上で各光電変換素子が占める位置が画素位置に対応する。   The lens unit 1 is configured by an optical lens system or a diaphragm mechanism, and forms an image of a subject on the imaging surface of the imaging device 3. The image sensor 3 is composed of a plurality of photoelectric conversion elements arranged two-dimensionally. As this photoelectric conversion element, for example, a charge coupled device (CCD) image sensor, a complementary metal oxide semiconductor (CMOS) image sensor, or the like is used. Each photoelectric conversion element constitutes a plurality of pixels, and the position occupied by each photoelectric conversion element on the imaging surface corresponds to the pixel position.

撮像素子3の二次元配置された複数の画素上には、赤(R)、緑(G)、または青(B)の色フィルタ2を配置してあり、色フィルタ2を通して、1画素あたり1色の信号値が得られる。色フィルタ2は、後述するベイヤ配列のものを使用しており、フィルタ幅は、例えば垂直方向と水平方向にそれぞれ5画素×5画素とする。以下の説明において、ある画素に注目した場合、その画素を「注目画素」と称し、注目画素を中心として周囲の5画素×5画素の範囲内を「近傍」と称する。入射光は、色フィルタ2を通過することにより、色フィルタ2の各色成分のみが撮像素子3の受光部に到達する。つまり、受光部においては、赤(R)、緑(G)、および青(B)の各成分が互いに異なる位置に入射され、光電変換される。   A red (R), green (G), or blue (B) color filter 2 is arranged on the two-dimensionally arranged pixels of the image sensor 3, and one per pixel is passed through the color filter 2. A color signal value is obtained. The color filter 2 uses a Bayer array that will be described later, and the filter width is, for example, 5 pixels × 5 pixels in the vertical direction and the horizontal direction, respectively. In the following description, when attention is paid to a certain pixel, the pixel is referred to as a “target pixel”, and a range of 5 pixels × 5 pixels around the target pixel is referred to as a “neighbor”. The incident light passes through the color filter 2 so that only each color component of the color filter 2 reaches the light receiving unit of the image sensor 3. That is, in the light receiving unit, the red (R), green (G), and blue (B) components are incident on different positions and photoelectrically converted.

また、撮像装置10は、撮像素子3から出力された信号をデジタルの信号に変換するアナログ・デジタル変換部4と、アナログ・デジタル変換部4で変換されたデジタル信号に対して所定の補正処理を行う補正処理部5を備える。アナログ・デジタル変換部4は、撮像素子3から供給された赤(R)、緑(G)、および青(B)の各成分の電気信号(アナログ信号)をデジタル化し、そのデジタル信号を補正処理部5に供給する。補正処理部5は、光学系や撮像系の特性に起因して発生した輝度ムラを補正するシェーディング補正や、撮像素子3の欠陥等に起因して発生した画素欠陥補正等の処理を行う。   The imaging apparatus 10 also converts the signal output from the image sensor 3 into a digital signal, and performs a predetermined correction process on the digital signal converted by the analog / digital converter 4. A correction processing unit 5 is provided. The analog / digital converter 4 digitizes the electrical signals (analog signals) of the red (R), green (G), and blue (B) components supplied from the image sensor 3 and corrects the digital signals. Supply to part 5. The correction processing unit 5 performs processing such as shading correction for correcting luminance unevenness caused by the characteristics of the optical system and the imaging system, and pixel defect correction caused by a defect of the imaging device 3 and the like.

RGBのフルカラー画像を得る色分離部7を備える。また、撮像装置10は、信号に対してガンマ補正や輪郭強調等の処理を施す画像処理部8を備える。カラーフリンジ抑制部6の構成例及び処理の具体的な内容については後述する。 A color separation unit 7 for obtaining an RGB full color image is provided. The imaging apparatus 10 also includes an image processing unit 8 that performs processing such as gamma correction and contour enhancement on the signal. A configuration example of the color fringe suppressing unit 6 and specific contents of the processing will be described later.

画像処理部8は、供給された画像データ(R,G,B信号)に対して、その画像データに対応する画像を加工するように、信号処理(画像処理)を施し、その画像データを輝度信号Yおよび色信号Cr,Cbとして出力する。   The image processing unit 8 performs signal processing (image processing) on the supplied image data (R, G, B signals) so as to process an image corresponding to the image data, and converts the image data into luminance. The signal Y and the color signals Cr and Cb are output.

図2は、カラーフリンジ抑制部6の内部構成例を示す。
カラーフリンジ抑制部6は、色収差を抑制するための色収差抑制回路として用いられる。本例のカラーフリンジ抑制処理の前提として、二次元配置された複数の画素上に、RとGとBの原色のカラーフィルタを所定配列で交互に配置した撮像素子3で得た画像信号から、所定画素位置の周辺の複数位置の原色の信号が取り出される。取り出された所定画素位置の周辺の原色の信号は、所定画素位置の信号を補間する場合に適用される。
FIG. 2 shows an internal configuration example of the color fringe suppressing unit 6.
The color fringe suppression unit 6 is used as a chromatic aberration suppression circuit for suppressing chromatic aberration. As a premise of the color fringe suppression processing of the present example, from an image signal obtained by the image sensor 3 in which R, G, and B primary color filters are alternately arranged in a predetermined arrangement on a plurality of pixels arranged two-dimensionally, Signals of primary colors at a plurality of positions around a predetermined pixel position are extracted. The extracted primary color signal around the predetermined pixel position is applied when the signal at the predetermined pixel position is interpolated.

カラーフリンジ抑制部6は、白とびが生じた画像の中から白とびの周辺を検出する近傍白とび検出部11と、白とびの周辺に付く色(カラーフリンジ)を抑制するクリップレベルを生成するクリップレベル生成部12を備える。また、カラーフリンジ抑制部6は、クリップレベル生成部12が生成したクリップレベルに従って、白とびの周辺に付いた色を抑制する抑制処理部13と、画像を平滑化する平滑化処理部14を備える。   The color fringe suppression unit 6 generates a near whiteout detection unit 11 that detects the periphery of the overexposure from an image in which overexposure occurs, and a clip level that suppresses the color (color fringe) attached to the periphery of the overexposure. A clip level generation unit 12 is provided. Further, the color fringe suppression unit 6 includes a suppression processing unit 13 that suppresses the color attached to the periphery of the overexposure according to the clip level generated by the clip level generation unit 12, and a smoothing processing unit 14 that smoothes the image. .

近傍白とび検出部11は、入力されたR,G,B信号から、各画素の輝度値を参照し、予め定められた所定の閾値より大きいか否か(信号レベルが飽和しているか否か)を判定する。このとき、近傍白とび検出部11は、RGB信号よりなる画像に含まれる注目画素に対する所定の範囲内に配置される周辺画素のレベルが所定の閾値を超えた場合に、注目画素が白とびの周辺に含まれることを検出する。そして、近傍白とび検出部11は、判定結果(閾値判定結果)を白とび抑制処理部13に供給する。この閾値は、どのような値であってもよいが、白とびが生じた部分の画素を検出するために用いられる。このため、一般的には、輝度値のレンジ幅の最大値近傍である、十分に大きな値が設定される。   The adjacent white spot detection unit 11 refers to the luminance value of each pixel from the input R, G, and B signals, and determines whether or not it is greater than a predetermined threshold value (whether or not the signal level is saturated). ). At this time, the neighboring white-out detection unit 11 detects that the target pixel is out-of-white when the level of a peripheral pixel arranged within a predetermined range with respect to the target pixel included in the image composed of RGB signals exceeds a predetermined threshold. Detects being included in the vicinity. Then, the neighboring white spot detection unit 11 supplies the determination result (threshold judgment result) to the white spot suppression processing unit 13. This threshold value may be any value, but is used to detect a pixel in a portion where overexposure occurs. For this reason, generally, a sufficiently large value that is in the vicinity of the maximum value of the range of luminance values is set.

クリップレベル生成部12は、注目画素及び周辺画素の輝度レベルの変化量に応じて、注目画素のG色差のレベル(以下、「Gレベル」と称する。)を所定の値に抑制するためのクリップレベルを生成する。   The clip level generation unit 12 is a clip for suppressing the G color difference level of the pixel of interest (hereinafter referred to as “G level”) to a predetermined value in accordance with the amount of change in the luminance level of the pixel of interest and surrounding pixels. Generate a level.

抑制処理部13には、入力された画像信号と共に、近傍白とび検出部11から白とびの位置に関する情報が供給され、クリップレベル生成部12からクリップレベルが供給される。抑制処理部13は、これらの情報に基づいて、白とびの周辺に生じたカラーフリンジを抑制する処理を行う。具体的には、抑制処理部13は、レベルの変化量及びクリップレベルに基づいて、G色差のレベルを抑制し、注目画素に生じた色収差を抑制する。例えば、輝度が高い画素と輝度が低い画素を並べると、コントラスト比が高くなる。この場合、カラーフリンジが生じ易くなるため、G色差を周辺の変化量に応じて一定レベルまで抑制することによってカラーフリンジを抑制できる。   Along with the input image signal, the suppression processing unit 13 is supplied with information on the position of overexposure from the adjacent overexposure detection unit 11, and is supplied with the clip level from the clip level generation unit 12. Based on these pieces of information, the suppression processing unit 13 performs a process of suppressing color fringes that occur around the overexposure. Specifically, the suppression processing unit 13 suppresses the G color difference level based on the level change amount and the clip level, and suppresses chromatic aberration generated in the target pixel. For example, when a pixel with high luminance and a pixel with low luminance are arranged, the contrast ratio increases. In this case, since color fringe is likely to occur, the color fringe can be suppressed by suppressing the G color difference to a certain level according to the amount of change in the periphery.

平滑化処理部14は、抑制処理部13によってレベルが抑制された注目画素及び周辺画素の色成分を、周辺画素の周囲の画素に含まれる色成分を用いて平滑化する。平滑化処理部14には、例えば、フィルタ係数を(1,2,1)としたローパスフィルタ(LPF:Low Pass Filter)が用いられる。これにより、カラーフリンジが抑制されたことによって生じる複数の画素にわたる色成分の不連続が平滑化される。   The smoothing processing unit 14 smoothes the color components of the target pixel and the peripheral pixels whose levels are suppressed by the suppression processing unit 13 using the color components included in the pixels around the peripheral pixels. For the smoothing processing unit 14, for example, a low pass filter (LPF) having a filter coefficient of (1, 2, 1) is used. Thereby, the discontinuity of the color component over a plurality of pixels caused by suppressing the color fringe is smoothed.

図3は、平滑化処理部14の内部構成例を示す。
平滑化処理部14は、SRAM(Static Random Access Memory)21、乗算器22、SRAM23、加算器24及び除算器25を有している。
FIG. 3 shows an internal configuration example of the smoothing processing unit 14.
The smoothing processing unit 14 includes an SRAM (Static Random Access Memory) 21, a multiplier 22, an SRAM 23, an adder 24 and a divider 25.

SRAM21,23は、それぞれ1ライン分の画像信号を保持するラインメモリである。これらは、直列に接続されており、新たな1ライン分の画像信号がSRAM21に供給されると、SRAM23が保持している画像信号は、順番に転送される。また、SRAM21の出力は乗算器22により2倍されて加算器24に供給される。SRAM21の入力と、SRAM23の出力は、そのまま加算器24に供給される。加算器24は、入力された画像信号を全て加算し、加算結果を除算器25に供給する。除算器25は、加算結果の4分の1を出力する。   Each of the SRAMs 21 and 23 is a line memory that holds an image signal for one line. These are connected in series. When an image signal for one new line is supplied to the SRAM 21, the image signals held in the SRAM 23 are transferred in order. The output of the SRAM 21 is doubled by the multiplier 22 and supplied to the adder 24. The input of the SRAM 21 and the output of the SRAM 23 are supplied to the adder 24 as they are. The adder 24 adds all the input image signals and supplies the addition result to the divider 25. The divider 25 outputs a quarter of the addition result.

つまり、平滑化処理部14は、(1,2,1)という垂直方向のローパスフィルタであり、1ライン分の画像信号を保持するラインメモリ(SRAM)を用いて、垂直方向に2段連結するように構成されている。図3において、下側のSRAMの方がより過去(画面上側)のデータが保持され、上側のSRAMの方がより新しい(画面下側)データが保持されている。このとき、画像データの出力位相はSRAM21に保持され、乗算器22により2倍されて出力されるカレント信号に対して2ライン分遅延する。   That is, the smoothing processing unit 14 is a low-pass filter (1, 2, 1) in the vertical direction, and is connected in two stages in the vertical direction using a line memory (SRAM) that holds an image signal for one line. It is configured as follows. In FIG. 3, the lower SRAM holds data in the past (upper screen), and the upper SRAM holds newer (lower screen) data. At this time, the output phase of the image data is held in the SRAM 21 and is delayed by two lines with respect to the current signal output by being doubled by the multiplier 22.

次に、色分離を行う前に高輝度付近のカラーフリンジを抑制する方法について図4〜図6を参照して説明する。   Next, a method for suppressing color fringe near high brightness before color separation will be described with reference to FIGS.

まず、以下の条件を全て満たす場所を色収差が発生する可能性が高い場所として検出する。
(1)注目画素の近傍に一定レベル以上のG信号があること。
(2)注目画素の近傍に位置する周辺画素のG信号に一定レベル以上の変化量があること。
そして、注目画素の近傍に位置する周辺画素のG色差の変化量に応じて色成分(G色差)を制限することにより、カラーフリンジを抑制する処理を行う。
First, a place that satisfies all of the following conditions is detected as a place where chromatic aberration is likely to occur.
(1) There is a G signal having a certain level or more in the vicinity of the target pixel.
(2) The G signal of the peripheral pixel located in the vicinity of the target pixel has a change amount of a certain level or more.
Then, processing for suppressing color fringes is performed by restricting the color component (G color difference) in accordance with the amount of change in G color difference of neighboring pixels located in the vicinity of the target pixel.

以下の説明では簡単のためベイヤ配列状の画像について説明する。
図4は、ベイヤ配列の画素の例を示す。
In the following description, a Bayer array image will be described for the sake of simplicity.
FIG. 4 shows an example of pixels in a Bayer array.

単板式の撮像装置では、レンズを通して得られる被写体光をR(赤),G(緑),B(青)の3原色に分解するために、色フィルタが使用される。色フィルタとしては、ベイヤ配列を用いたものがよく使用されている。ベイヤ配列とは、輝度信号が寄与する割合の高いG信号の画素を市松状に配列し、残りの部分にR信号とB信号の画素をそれぞれ市松状に配列したものである。   In a single-plate imaging device, a color filter is used to separate subject light obtained through a lens into three primary colors of R (red), G (green), and B (blue). A color filter using a Bayer array is often used. In the Bayer array, G signal pixels to which a luminance signal contributes are arranged in a checkered pattern, and R signal and B signal pixels are arranged in a checkered pattern in the remaining part.

各画素においてはR,G,B信号のうち1色のデータしか得られない。このため、他の色のデータは、周辺の画素の出力を用いた補間演算を行う色分離処理によって得られる。R44の位置であれば、欠落しているG信号とB信号とを補間演算により生成する。本例では、R44に位置する画素を「注目画素」と称する。また、後述する「Ggrad」と区別するため、G信号の表記を便宜的に「Gr」と記載する。 In each pixel, only one color data of R, G and B signals can be obtained. For this reason, data of other colors is obtained by color separation processing that performs an interpolation operation using the outputs of surrounding pixels. If the position is R44, the missing G signal and B signal are generated by interpolation. In this example, the pixel located at R44 is referred to as a “target pixel”. Further, in order to distinguish from “G grad ” described later, the notation of the G signal is described as “Gr” for convenience.

次に、白とびの検出とカラーフリンジの抑制処理について説明する。
前提条件として注目画素R44の近傍に位置する、R44と同じ色(R22,R24,R26,R42,R44,R46,R62,R64,R66)の画素値を用いて、R44と同じ位置の画素におけるGr44を求める。なお、Gr44は、既存の色分離手法により導出可能である。色分離手法については、例えば、アダプティブ補間については、米国特許5629734号明細書に記載があり、局所的な色成分の相関については、米国特許4642678号明細書に記載があり、いずれの手法を用いてもよい。
Next, processing for detecting overexposure and suppressing color fringes will be described.
As a precondition, the pixel value of the same color as R44 (R22, R24, R26, R42, R44, R46, R62, R64, R66) located in the vicinity of the target pixel R44 is used, and Gr44 in the pixel at the same position as R44 is used. Ask for. Gr44 can be derived by an existing color separation method. Regarding the color separation method, for example, adaptive interpolation is described in US Pat. No. 5,629,734, and local color component correlation is described in US Pat. No. 4,642,678, which method is used. May be.

まず、近傍白とび検出部11は、注目画素R44に対してある一定範囲の領域内にGレベルが高輝度条件を超えたG信号が一定値以上あるか否かを判定することによって、白とびの発生有無を判定する。ここでは説明を簡単にするため、垂直方向の画素のみについて説明する。   First, the adjacent overexposure detection unit 11 determines whether or not the G signal whose G level exceeds the high luminance condition within a certain range with respect to the target pixel R44 is greater than or equal to a certain value. The presence or absence of occurrence is determined. Here, in order to simplify the description, only the pixels in the vertical direction will be described.

図5は、周辺画素のGレベルの絶対値から求まる白とび近傍判定条件の例を示す。
注目画素がGr44と、Gr44の周辺画素であるGr34とGr54のGレベルが図5に示される。注目画素Gr44の近傍のGレベルの傾きは、周辺画素のGレベルによって求まる。この傾きをGgradとする。
FIG. 5 shows an example of a whiteout neighborhood determination condition obtained from the absolute value of the G level of surrounding pixels.
The target pixel is Gr44, and the Gr levels of Gr34 and Gr54 which are peripheral pixels of Gr44 are shown in FIG. The gradient of the G level in the vicinity of the target pixel Gr44 is obtained from the G level of the peripheral pixels. This slope is G grad .

近傍白とび検出部11は、周辺画素のうち、例えば、垂直方向(Gr14,Gr34,Gr54,Gr74)のG信号のうち、一つでもG信号のレベルが所定の閾値を超える画素があるか否かを求める。そして、近傍白とび検出部11は、そのような画素がある場合に、注目画素R44が、白とびが生じた画素の近傍に位置する画素であることを判定する。   The neighboring white spot detection unit 11 determines whether there is a pixel in which the level of the G signal exceeds a predetermined threshold among the peripheral pixels, for example, among the G signals in the vertical direction (Gr14, Gr34, Gr54, Gr74). Ask for. Then, when there is such a pixel, the neighboring white spot detection unit 11 determines that the target pixel R44 is a pixel located in the vicinity of the pixel where the white spot has occurred.

次に、カラーフリンジの補正手法を説明する。
色分離部7は、色分離を行う際、R信号とB信号についてはG色差(R−G,B−G)やG色比(R/G,B/G)を用いて色成分の補間を行っている。本発明に係る高輝度周辺のカラーフリンジ抑制アルゴリズムでは、白とび近傍の領域に対して、G色差やG色比の色成分を制限(クリップ)することで、白とび周辺に余計な色が付かないように色つきを抑制する。
Next, a color fringe correction method will be described.
When performing color separation, the color separation unit 7 interpolates color components using the G color difference (RG, BG) and G color ratio (R / G, B / G) for the R signal and the B signal. It is carried out. In the color fringe suppression algorithm around the high brightness according to the present invention, the color component of the G color difference or G color ratio is limited (clipped) to the region near the whiteout, thereby adding an extra color around the whiteout. Suppress the coloring so that there is no.

上述したように、高輝度画像の周辺にカラーフリンジが発生しやすい条件として大きなGレベルの変化があることとしており、白とび周辺のG信号のGレベルが大きく変化するほど、注目画素の色成分が大きく制限される。注目画素の近傍に配置される周辺画素のうち、垂直方向の周辺画素のGレベルの変化量として、例えば、Gr34とGr54のGレベルの差分の絶対値(|Gr34−Gr54|)を選ぶ。このとき、白とび周辺のG信号の垂直方向のGレベルの差分の絶対値を平均した値を選んでもよい。また、周辺画素のGレベルの差分の絶対値のうち、最も大きな値を選んでもよい。   As described above, there is a large change in G level as a condition that color fringes are likely to occur in the periphery of a high-luminance image. The color component of the target pixel increases as the G level of the G signal in the surrounding area changes greatly. Is greatly limited. For example, an absolute value (| Gr34−Gr54 |) of a difference between Gr34 and Gr54 is selected as the amount of change in the G level of the peripheral pixels in the vertical direction among the peripheral pixels arranged in the vicinity of the target pixel. At this time, a value obtained by averaging the absolute values of the differences in the G level in the vertical direction of the G signal in the surrounding area may be selected. Further, the largest value may be selected from the absolute values of the difference between the G levels of the peripheral pixels.

図6は、クリップレベルを生成する処理の例を示す。
クリップレベル生成部12は、図5によって得られた傾きGgradに基づいて、G色差を抑制するクリップレベルを生成する。クリップレベルは、次式(1)によって生成され、注目画素及び周辺画素のレベルの変化量が大きいほど注目画素のレベルを抑制するものとなる。ここで、各変数は、以下のように定められる。
THgrad:クリップしないG信号の変化量のレベル
min:最小のクリップレベル
max:クリップなしのレベル(Cmin,Cmaxは、R−G又はB−Gを表す。)
K:Gレベルの変化量に応じたクリップレベルの傾き
FIG. 6 shows an example of processing for generating a clip level.
The clip level generation unit 12 generates a clip level that suppresses the G color difference based on the gradient G grad obtained in FIG. The clip level is generated by the following equation (1), and the level of the target pixel is suppressed as the amount of change in the level of the target pixel and the surrounding pixels is larger. Here, each variable is defined as follows.
TH grad : level of change amount of G signal not clipped C min : minimum clip level C max : level without clip (C min and C max represent RG or BG)
K: The slope of the clip level according to the amount of change in the G level

図6に示したように、一般に、周辺画素のGレベルの変化量が大きいほど小さなクリップレベルが選択される。例えば、白とび近傍において、周辺画素のGレベルの変化量が大きいものほどG色差(R−G,B−G)やG色比(R/G,B/G)を大きく抑制する。このため、急激な輝度変化があるところほどG色差のレベルがクリップにより制限されることになる。   As shown in FIG. 6, generally, the smaller the G level change amount of the peripheral pixels, the smaller the clip level is selected. For example, the G color difference (R−G, B−G) and the G color ratio (R / G, B / G) are greatly suppressed as the amount of change in the G level of the surrounding pixels increases in the vicinity of the whiteout. For this reason, the level of the G color difference is limited by the clip as the brightness changes rapidly.

抑制処理部13は、上述した条件に従って、注目画素R44と同位相であるG44を補間により求め、G色差を導出する。そして、抑制処理部13は、今回求めたR44に対応するクリップレベル(Cclp)を用いて、導出したG色差がクリップレベル(Cclp)を超える値をクリップする。これにより、白とびの部分についてはそのまま出力するが、白とびの周辺部分で色が付く部分は色成分が制限されるようになり、カラーフリンジが抑制される。 In accordance with the above-described conditions, the suppression processing unit 13 obtains G44 having the same phase as the target pixel R44 by interpolation, and derives a G color difference. Then, the suppression processing unit 13 uses the clip level (C clp ) corresponding to R44 obtained this time to clip a value where the derived G color difference exceeds the clip level (C clp ). As a result, the overexposed portion is output as it is, but the color component is restricted in the portion where the color is added around the overexposed portion, and the color fringe is suppressed.

しかし、このままだと色成分をクリップしたことに伴い、注目画素と周辺画素の色成分が不連続となって表れてしまう。このため、平滑化処理部14は、周辺画素の色成分を用いて色成分の平滑化を行う。ここで、前提条件により周辺画素のG信号を導出することは可能であるため、垂直方向にあるR24とR64に対して同位相のG信号を補間することによって、それぞれのG色差(C24,C64)を得る。   However, as the color component is clipped, the color components of the target pixel and the peripheral pixels appear discontinuously. For this reason, the smoothing processing unit 14 smoothes the color components using the color components of the peripheral pixels. Here, since it is possible to derive the G signal of the surrounding pixels based on the precondition, each G color difference (C24, C64) is obtained by interpolating the G signal having the same phase with respect to R24 and R64 in the vertical direction. )

平滑化処理部14は、得られたG色差(C24,Cclp,C64)に対して、フィルタ係数(1,2,1)のLPFをかけることで色成分を平滑化し、色成分の不連続が表れないようにする。そして、平滑化処理部14は、垂直方向の補正値Cvを得る。 The smoothing processing unit 14 applies the LPF of the filter coefficient (1, 2 , 1) to the obtained G color difference (C24, C clp , C64) to smooth the color component, and the color component is discontinuous. To prevent from appearing. Then, the smoothing processing unit 14 obtains a correction value Cv in the vertical direction.

ところで、抑制処理部13は、周囲により強烈な収差が生じたことによって、上記のアルゴリズムによりG色差が大きくなってしまう場合には、Gレベルの補正を行わない等の調整を行った上で、注目画素R44のG色差を導出する。さらに、求めたG色差に補正後のG色差(Cclp)を加算することによって注目画素R44を補正した画素R44’を得る。これにより、軸上色収差を抑制し、カラーフリンジを抑制することが可能となる。 By the way, when the G color difference is increased by the above algorithm due to the occurrence of intense aberration in the surroundings, the suppression processing unit 13 performs adjustment such as not correcting the G level. The G color difference of the target pixel R44 is derived. Further, a pixel R44 ′ obtained by correcting the target pixel R44 is obtained by adding the corrected G color difference (C clp ) to the obtained G color difference. Thereby, axial chromatic aberration can be suppressed and color fringe can be suppressed.

以上説明した第1の実施の形態に係る撮像装置10によれば、高輝度の部分を撮像したことによって画像の一部に白とびが生じても、白とびの周辺に発生するカラーフリンジを抑制することができる。このため、表示装置は、白とびの周辺にカラーフリンジを表示させなくなるという効果がある。また、クリップレベルの設定やクリップ係数の変更は任意に行うことができるため、様々な撮影環境に適したカラーフリンジの抑制を容易に行うことができるという効果がある。また、本例のカラーフリンジ抑制処理は、後段の信号処理によらず適用可能であるため、応用範囲が広くなるという効果がある。   According to the imaging device 10 according to the first embodiment described above, even if a whiteout occurs in a part of an image due to imaging of a high-luminance part, color fringes generated around the whiteout are suppressed. can do. For this reason, the display device has an effect of preventing the color fringe from being displayed around the whiteout. In addition, since the setting of the clip level and the change of the clip coefficient can be arbitrarily performed, there is an effect that the color fringe suitable for various shooting environments can be easily suppressed. In addition, since the color fringe suppression processing of this example can be applied regardless of the signal processing at the subsequent stage, there is an effect that the application range is widened.

<2.第2の実施の形態>
[撮像装置の内部構成例]
<2. Second Embodiment>
[Example of internal configuration of imaging device]

以下、本発明の第2の実施の形態について、図7を参照して説明する。
白とび周辺のカラーフリンジを抑制する処理は、色分離の前後にかかわらず行うことが可能である。本例では、上述した第1の実施の形態と異なり、色分離を行った後に、R,G,Bプレーンに対してカラーフリンジ抑制処理を行う例について説明する。なお、以下の説明において、既に第1の実施の形態で説明した図1に対応する部分には同一符号を付し、詳細な説明を省略する。
Hereinafter, a second embodiment of the present invention will be described with reference to FIG.
The process of suppressing the color fringe around the overexposure can be performed regardless of the color separation. In this example, unlike the above-described first embodiment, an example in which color fringe suppression processing is performed on the R, G, and B planes after color separation will be described. In the following description, parts corresponding to those in FIG. 1 already described in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.

カラーフリンジ抑制処理は、輝度Yを用いて白とびの検出を行うことによって色分離後にも適用することが可能である。この場合、補正対象としてG色差ではなく、色差Cr又は色差Cbなどを選んでもよい。上記のカラーフリンジ抑制処理のためのアルゴリズムは高輝度周辺のカラーフリンジが現れそうな場所を検出し、そのような場所での彩度Cr,Cb、G色差等の色成分を制限することでカラーフリンジの抑制を行う。   The color fringe suppression process can be applied after color separation by detecting overexposure using the luminance Y. In this case, not the G color difference but the color difference Cr or the color difference Cb may be selected as the correction target. The algorithm for color fringe suppression processing described above detects places where color fringes around high brightness are likely to appear, and limits color components such as saturation Cr, Cb, and G color differences in such places. Control fringe.

図7は、撮像装置30の内部構成例を示す。
撮像装置30は、上述した第1の実施の形態に係る撮像装置10と同じ処理ブロックを備える。ただし、補正処理部5の後、色分離部7によって、R,G,B信号に分離し、カラーフリンジ抑制部31は、R,G,B信号から得られる輝度Yと色差Cr、又は輝度Yと色差Cbに基づいてカラーフリンジ抑制処理を行う。本例のカラーフリンジ抑制処理は、色分離後に行うため、周辺画素が彩度の値が高くないことと、輝度の値が高いことを所定の閾値で判定する。
FIG. 7 illustrates an internal configuration example of the imaging device 30.
The imaging device 30 includes the same processing blocks as the imaging device 10 according to the first embodiment described above. However, after the correction processing unit 5, the color separation unit 7 separates the signals into R, G, and B signals, and the color fringe suppression unit 31 performs luminance Y and color difference Cr or luminance Y obtained from the R, G, and B signals. Color fringe suppression processing is performed based on the color difference Cb. Since the color fringe suppression processing of this example is performed after color separation, it is determined by a predetermined threshold that the peripheral pixels are not high in saturation value and high in luminance value.

ここで、輝度信号(Y信号)と色差信号(Cr信号、Cb信号)の導出処理について説明する。
始めに、カラーフリンジ抑制部31は、色分離部7より供給されたRGB信号を用いて、以下の式(2)を演算することにより、輝度信号(Y信号)を生成する。
Here, the process of deriving the luminance signal (Y signal) and the color difference signals (Cr signal, Cb signal) will be described.
First, the color fringe suppression unit 31 generates a luminance signal (Y signal) by calculating the following equation (2) using the RGB signals supplied from the color separation unit 7.

Y=0.3R+0.6G+0.1B ・・・(2)   Y = 0.3R + 0.6G + 0.1B (2)

式(2)において、Yは、輝度値(Y信号の値)を示し、Rは、R信号の信号レベル(赤成分の量)を示し、Gは、G信号の信号レベル(緑成分の量)を示し、Bは、B信号の信号レベル(青成分の量)を示している。そして、得られた輝度信号(Y信号)を不図示のラインメモリに供給する。   In Expression (2), Y represents a luminance value (Y signal value), R represents a signal level of the R signal (red component amount), and G represents a signal level of the G signal (green component amount). B indicates the signal level of the B signal (the amount of the blue component). Then, the obtained luminance signal (Y signal) is supplied to a line memory (not shown).

ラインメモリは、SRAMやDRAM(Dynamic Random Access Memory)等の揮発性の半導体メモリ等により構成され、画面の水平方向の画素列(ライン)単位で、画像データを一時的に保持する。ラインメモリは、供給された画像データ(Y信号)を所定のライン数分、所定の期間保持し、色差信号(Cr信号、Cb信号)の出力タイミングに対応するタイミングで、保持しているY信号を出力する。   The line memory is composed of a volatile semiconductor memory such as SRAM or DRAM (Dynamic Random Access Memory), and temporarily holds image data in units of pixel columns (lines) in the horizontal direction of the screen. The line memory holds the supplied image data (Y signal) for a predetermined number of lines for a predetermined period, and holds the Y signal at a timing corresponding to the output timing of the color difference signals (Cr signal, Cb signal). Is output.

そして、カラーフリンジ抑制部31は、色分離部7より供給されたRGB信号を用いて、以下の式(3)と式(4)を演算することにより、色信号(Cr信号およびCb信号)を生成する。   The color fringe suppression unit 31 calculates the color signals (Cr signal and Cb signal) by calculating the following equations (3) and (4) using the RGB signals supplied from the color separation unit 7. Generate.

Cr(R−Y)=0.7R−0.6G−0.1B ・・・(3)
Cb(B−Y)=−0.3R−0.6G+0.9B ・・・(4)
Cr (R−Y) = 0.7R−0.6G−0.1B (3)
Cb (B−Y) = − 0.3R−0.6G + 0.9B (4)

式(3)と式(4)において、左辺のCr(R−Y)およびCb(B−Y)は、各色信号の値を示し、右辺のR,G,Bは、上記の式(2)の場合と同様である。   In Expressions (3) and (4), Cr (R−Y) and Cb (B−Y) on the left side indicate the values of the respective color signals, and R, G, and B on the right side are the above expressions (2). It is the same as the case of.

カラーフリンジ抑制部31は、演算したY信号、Cr信号、およびCb信号に基づいて、その画像データに含まれる、軸上色収差や倍率色収差等の色収差の補正を行い、補正後のCr信号やCb信号を出力する。本例では、彩度として、(|Cr|+|Cb|)を用いたり、(Cr+Cb1/2を用いたりすればよい。 Based on the calculated Y signal, Cr signal, and Cb signal, the color fringe suppression unit 31 corrects chromatic aberration such as longitudinal chromatic aberration and lateral chromatic aberration included in the image data, and the corrected Cr signal and Cb Output a signal. In this example, (| Cr | + | Cb |) may be used as the saturation, or (Cr 2 + Cb 2 ) 1/2 may be used.

図8は、画素毎の輝度信号(Y信号)の例を示す。
本例では、後の説明を容易とするため、画素毎に輝度信号(Y信号)を割り振った例を示す。そして、輝度信号(Y信号)を用いて、上述した第1の実施の形態と同様に、クリップレベルを生成することとなる。
FIG. 8 shows an example of a luminance signal (Y signal) for each pixel.
In this example, in order to facilitate later explanation, an example in which a luminance signal (Y signal) is assigned to each pixel is shown. Then, using the luminance signal (Y signal), a clip level is generated as in the first embodiment described above.

図9は、注目画素Y44の近傍に位置する周辺画素の輝度Yの絶対値から求まる傾きの例を示す。
注目画素がY44である場合、RGB信号を変換することによって、Y44の周囲にあるY24とY64のY信号の輝度レベル(以下、「Yレベル」とも称する。)が求められる。注目画素Y44の近傍のYレベルの傾きは、周囲の画素のYレベルによって求まる。この傾きをYgradとする。
FIG. 9 shows an example of the inclination obtained from the absolute value of the luminance Y of the peripheral pixels located in the vicinity of the target pixel Y44.
When the pixel of interest is Y44, the luminance level of the Y signals Y24 and Y64 around Y44 (hereinafter also referred to as “Y level”) is obtained by converting the RGB signal. The slope of the Y level in the vicinity of the target pixel Y44 is obtained from the Y levels of the surrounding pixels. This slope is Y grad .

図10は、クリップレベルを生成する処理の例を示す。
クリップレベル生成部12は、図9によって得られた傾きYgradに基づいて、Yレベルを抑制するクリップレベルを生成する。クリップレベルは、次式(5)によって生成される。ここで、各変数は、以下のように定められる。
THgrad:クリップしない輝度Yの変化量のレベル
min:最小のクリップレベル
max:クリップなしのレベル
K:輝度Yの変化量に応じたクリップレベルの傾き
FIG. 10 shows an example of processing for generating a clip level.
The clip level generation unit 12 generates a clip level for suppressing the Y level based on the slope Y grad obtained in FIG. The clip level is generated by the following equation (5). Here, each variable is defined as follows.
TH grad : level of change in luminance Y that does not clip C min : minimum clip level C max : level without clipping K: slope of clip level according to the amount of change in luminance Y

一般に、周辺画素の輝度Yの変化量が大きいほど小さなクリップレベルが選択される。つまり急激な輝度変化があるところほど輝度Yのレベルがクリップにより限定されることになる。このように白とび近傍において、周辺画素の輝度Yの変化量が大きいものほど大きく彩度を抑制する。なお、近傍白とび検出部11と平滑化処理部14による処理は、上述した第1の実施の形態において、G色差を用いた処理を、彩度を用いて行うものであるため、詳細な説明を省略する。   In general, a smaller clip level is selected as the amount of change in luminance Y of surrounding pixels is larger. That is, the level of the brightness Y is limited by the clip as the brightness changes rapidly. In this way, in the vicinity of overexposure, the greater the amount of change in the luminance Y of the surrounding pixels, the greater the saturation is suppressed. Note that the processing by the neighboring white spot detection unit 11 and the smoothing processing unit 14 is processing using G color difference in the first embodiment described above, using saturation, and thus detailed description thereof. Is omitted.

以上説明した第2の実施の形態に係る撮像装置30によれば、高輝度画像が含まれ白とびが発生するような画像であっても白とびの周辺にカラーフリンジを生じさせることなく処理することができる。このため、容易に高輝度周辺のカラーフリンジの補正を行うことができる。また、色つきの抑制をスケーラブルに行えるため、後段の信号処理によらず適用可能である。   According to the imaging apparatus 30 according to the second embodiment described above, even an image that includes a high-intensity image and causes overexposure is processed without causing color fringe around the overexposure. be able to. For this reason, it is possible to easily correct the color fringe around the high luminance. In addition, since the suppression of coloring can be performed in a scalable manner, the present invention can be applied regardless of the subsequent signal processing.

<3.変形例>
なお、上述した第1及び第2の実施の形態に係る撮像装置において、色フィルタ2にベイヤ配列を用いた場合について説明したが、他の配列を用いてもよい。
また、平滑化処理部14に用いられるLPFのフィルタ係数は(1,2,1)に限定されず、任意の係数を用いてもよい。あるいは、彩度が高くならないように非線形LPFを用いてもよい。
<3. Modification>
In the imaging devices according to the first and second embodiments described above, the case where the Bayer array is used for the color filter 2 has been described. However, other arrays may be used.
Further, the filter coefficient of the LPF used in the smoothing processing unit 14 is not limited to (1, 2, 1), and an arbitrary coefficient may be used. Alternatively, a non-linear LPF may be used so that saturation is not increased.

また、注目画素の垂直方向、水平方向、斜め方向など複数の方向に対しても、同様な処理を行い、複数の補正値Cv,Ch,Cdを求めてもよい。そして、これらの補正値のうち、絶対値が最小となるものを選んで、注目画素について補正したG色差を得たり、補正値Cv,Ch,Cdを平均した値を注目画素の補正したG色差として選んだりしてもよい。   Further, the same processing may be performed for a plurality of directions such as the vertical direction, the horizontal direction, and the oblique direction of the target pixel to obtain a plurality of correction values Cv, Ch, and Cd. Of these correction values, the one having the smallest absolute value is selected to obtain a G color difference corrected for the target pixel, or a value obtained by averaging the correction values Cv, Ch, and Cd is a G color difference corrected by the target pixel. You may choose as

また、上述した第1及び第2の実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給してもよい。また、そのシステムあるいは装置のコンピュータ(またはCPU等の制御装置)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、機能が実現されることは言うまでもない。   Further, a recording medium that records a program code of software that realizes the functions of the first and second embodiments described above may be supplied to the system or apparatus. It goes without saying that the function is also realized by a computer (or a control device such as a CPU) of the system or apparatus reading and executing the program code stored in the recording medium.

この場合のプログラムコードを供給するための記録媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。   As a recording medium for supplying the program code in this case, for example, a floppy disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile memory card, a ROM, or the like is used. Can do.

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現される。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(Operating System)などが実際の処理の一部又は全部を行う。その処理によって上述した実施の形態の機能が実現される場合も含まれる。   Further, the functions of the above-described embodiment are realized by executing the program code read by the computer. In addition, based on the instruction of the program code, an OS (Operating System) running on the computer performs part or all of the actual processing. The case where the functions of the above-described embodiment are realized by the processing is also included.

また、本発明は上述した実施の形態に限られるものではなく、本発明の要旨を逸脱することなくその他種々の構成を取り得ることは勿論である。   Further, the present invention is not limited to the above-described embodiment, and it is needless to say that various other configurations can be taken without departing from the gist of the present invention.

1…レンズ部、2…色フィルタ、3…撮像素子、4…アナログ・デジタル変換部、5…補正処理部、6…カラーフリンジ抑制部、7…色分離部、8…画像処理部、10…撮像装置、11…近傍白とび検出部、12…クリップレベル生成部、13…抑制処理部、14…平滑化処理部、21…SRAM、22…乗算器、23…SRAM、24…加算器、25…除算器、30…撮像装置、31…カラーフリンジ抑制部   DESCRIPTION OF SYMBOLS 1 ... Lens part, 2 ... Color filter, 3 ... Image pick-up element, 4 ... Analog-digital conversion part, 5 ... Correction processing part, 6 ... Color fringe suppression part, 7 ... Color separation part, 8 ... Image processing part, 10 ... Image pickup device, 11 ... Neighborhood white-out detection unit, 12 ... Clip level generation unit, 13 ... Suppression processing unit, 14 ... Smoothing processing unit, 21 ... SRAM, 22 ... Multiplier, 23 ... SRAM, 24 ... Adder, 25 ... Divisor, 30 ... Imaging device, 31 ... Color fringe suppression unit

Claims (9)

二次元配置された複数の画素上に、RとGとBの原色のカラーフィルタを所定配列で交互に配置した撮像素子で得た画像信号から、所定画素位置の周辺の複数位置の原色の信号を取り出して、前記所定画素位置の信号を補間する場合に、RGB信号よりなる画像に含まれ、注目画素に対する所定の範囲内に配置される周辺画素のレベルが所定の閾値を超えた場合に、前記注目画素が白とびの周辺に含まれることを検出する近傍白とび検出部と、
前記注目画素及び前記周辺画素のレベルの変化量に応じて前記注目画素のレベルを抑制するためのクリップレベルを生成するクリップレベル生成部と、
前記レベルの変化量及び前記クリップレベルに基づいて、前記注目画素のレベルを抑制し、前記注目画素に生じた色収差を抑制する抑制処理部と、備える
撮像装置。
A primary color signal at a plurality of positions around a predetermined pixel position from an image signal obtained by an image sensor in which color filters of primary colors of R, G, and B are alternately arranged in a predetermined arrangement on a plurality of pixels arranged two-dimensionally When the signal at the predetermined pixel position is interpolated and the level of peripheral pixels included in the image made up of RGB signals and arranged within a predetermined range with respect to the target pixel exceeds a predetermined threshold, A neighboring overexposure detecting unit for detecting that the target pixel is included in the periphery of overexposure;
A clip level generation unit that generates a clip level for suppressing the level of the target pixel according to the amount of change in the level of the target pixel and the surrounding pixels;
An image pickup apparatus comprising: a suppression processing unit that suppresses a level of the target pixel based on the level change amount and the clip level, and suppresses chromatic aberration generated in the target pixel.
前記近傍白とび検出部は、前記周辺画素のうち一つでも前記所定の閾値を超えるレベルである画素がある場合に、前記注目画素が、前記白とびが生じた画素の近傍に位置する画素であることを判定し、
前記クリップレベル生成部は、前記注目画素及び前記周辺画素のレベルの変化量が大きいほど前記注目画素のレベルを抑制する前記クリップレベルを生成する
請求項1記載の撮像装置。
The adjacent overexposure detection unit is a pixel that is located in the vicinity of the pixel in which the overexposure occurs when there is a pixel that is at a level exceeding the predetermined threshold among at least one of the peripheral pixels. Determine that there is
The imaging apparatus according to claim 1, wherein the clip level generation unit generates the clip level that suppresses the level of the target pixel as the amount of change in the level of the target pixel and the surrounding pixels increases.
前記抑制処理部によって抑制された前記注目画素及び前記周辺画素の色成分を、前記周辺画素の周囲の画素に含まれる色成分を用いて平滑化する平滑化処理部を備える
請求項2記載の撮像装置。
The imaging according to claim 2, further comprising: a smoothing processing unit that smoothes the color components of the target pixel and the peripheral pixels suppressed by the suppression processing unit using color components included in pixels around the peripheral pixels. apparatus.
前記注目画素及び周辺画素のレベルは、前記RGB信号を変換して求められるG色差又は輝度のレベルである
請求項3記載の撮像装置。
The imaging apparatus according to claim 3, wherein the levels of the target pixel and the peripheral pixels are G color difference levels or luminance levels obtained by converting the RGB signals.
前記レベルの変化量は、前記注目画素の所定の方向に配置される前記周辺画素のレベルの差分値、前記周辺画素の差分値を平均した値又は前記周辺画素のうち最も大きなレベルの値である
請求項1又は2記載の撮像装置。
The level change amount is a level difference value of the peripheral pixels arranged in a predetermined direction of the target pixel, a value obtained by averaging the difference values of the peripheral pixels, or a value of the largest level among the peripheral pixels. The imaging device according to claim 1 or 2.
前記平滑化処理部は、ローパスフィルタである
請求項3記載の撮像装置。
The imaging device according to claim 3, wherein the smoothing processing unit is a low-pass filter.
二次元配置された複数の画素上に、RとGとBの原色のカラーフィルタを所定配列で交互に配置した撮像素子で得た画像信号から、所定画素位置の周辺の複数位置の原色の信号を取り出して、前記所定画素位置の信号を補間する場合に、RGB信号よりなる画像に含まれ、注目画素に対する所定の範囲内である近傍に配置される周辺画素のレベルが所定の閾値を超えた場合に、前記注目画素が白とびの周辺に含まれることを判定するステップと、
前記注目画素及び前記周辺画素のレベルの変化量に応じて前記注目画素のレベルを抑制するためのクリップレベルを生成するステップと、
前記レベルの変化量及び前記クリップレベルに基づいて、前記注目画素のレベルを抑制し、前記注目画素に生じた色収差を抑制するステップと、を有する
色収差抑制方法。
A primary color signal at a plurality of positions around a predetermined pixel position from an image signal obtained by an image sensor in which color filters of primary colors of R, G, and B are alternately arranged in a predetermined arrangement on a plurality of pixels arranged two-dimensionally When the signal at the predetermined pixel position is interpolated and the level of the peripheral pixels included in the image made up of RGB signals and arranged in the vicinity within the predetermined range with respect to the target pixel exceeds the predetermined threshold value A step of determining that the target pixel is included in the vicinity of overexposure;
Generating a clip level for suppressing the level of the target pixel according to the amount of change in the level of the target pixel and the peripheral pixel;
Suppressing the level of the target pixel based on the amount of change in the level and the clip level, and suppressing chromatic aberration generated in the target pixel.
二次元配置された複数の画素上に、RとGとBの原色のカラーフィルタを所定配列で交互に配置した撮像素子で得た画像信号から、所定画素位置の周辺の複数位置の原色の信号を取り出して、前記所定画素位置の信号を補間する場合に、RGB信号よりなる画像に含まれ、注目画素に対する所定の範囲内である近傍に配置される周辺画素のレベルが所定の閾値を超えた場合に、前記注目画素が白とびの周辺に含まれることを検出する近傍白とび検出部と、
前記注目画素及び前記周辺画素のレベルの変化量に応じて前記注目画素のレベルを抑制するためのクリップレベルを生成するクリップレベル生成部と、
前記レベルの変化量及び前記クリップレベルに基づいて、前記注目画素のレベルを抑制し、前記注目画素に生じた色収差を抑制する抑制処理部と、備える
色収差抑制回路。
A primary color signal at a plurality of positions around a predetermined pixel position from an image signal obtained by an image sensor in which color filters of primary colors of R, G, and B are alternately arranged in a predetermined arrangement on a plurality of pixels arranged two-dimensionally When the signal at the predetermined pixel position is interpolated and the level of the peripheral pixels included in the image made up of RGB signals and arranged in the vicinity within the predetermined range with respect to the target pixel exceeds the predetermined threshold value A neighboring overexposure detecting unit for detecting that the pixel of interest is included in the periphery of the overexposure;
A clip level generation unit that generates a clip level for suppressing the level of the target pixel according to the amount of change in the level of the target pixel and the surrounding pixels;
A chromatic aberration suppression circuit, comprising: a suppression processing unit configured to suppress a level of the target pixel based on the level change amount and the clip level and suppress chromatic aberration generated in the target pixel.
二次元配置された複数の画素上に、RとGとBの原色のカラーフィルタを所定配列で交互に配置した撮像素子で得た画像信号から、所定画素位置の周辺の複数位置の原色の信号を取り出して、前記所定画素位置の信号を補間する場合に、RGB信号よりなる画像に含まれ、注目画素に対する所定の範囲内である近傍に配置される周辺画素のレベルが所定の閾値を超えた場合に、前記注目画素が白とびの周辺に含まれることを判定するステップと、
前記注目画素及び前記周辺画素のレベルの変化量に応じて前記注目画素のレベルを抑制するためのクリップレベルを生成するステップと、
前記レベルの変化量及び前記クリップレベルに基づいて、前記注目画素のレベルを抑制し、前記注目画素に生じた色収差を抑制するステップと、を含む
コンピュータに実行させるためのプログラム。
A primary color signal at a plurality of positions around a predetermined pixel position from an image signal obtained by an image sensor in which color filters of primary colors of R, G, and B are alternately arranged in a predetermined arrangement on a plurality of pixels arranged two-dimensionally When the signal at the predetermined pixel position is interpolated and the level of the peripheral pixels included in the image made up of RGB signals and arranged in the vicinity within the predetermined range with respect to the target pixel exceeds the predetermined threshold value A step of determining that the target pixel is included in the vicinity of overexposure;
Generating a clip level for suppressing the level of the target pixel according to the amount of change in the level of the target pixel and the peripheral pixel;
A program for causing a computer to execute the method, including: suppressing a level of the target pixel based on the change amount of the level and the clip level, and suppressing a chromatic aberration generated in the target pixel.
JP2009020917A 2009-01-30 2009-01-30 Imaging apparatus, chromatic aberration suppressing method, and chromatic aberration suppressing circuit, and program Pending JP2010178226A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009020917A JP2010178226A (en) 2009-01-30 2009-01-30 Imaging apparatus, chromatic aberration suppressing method, and chromatic aberration suppressing circuit, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009020917A JP2010178226A (en) 2009-01-30 2009-01-30 Imaging apparatus, chromatic aberration suppressing method, and chromatic aberration suppressing circuit, and program

Publications (1)

Publication Number Publication Date
JP2010178226A true JP2010178226A (en) 2010-08-12

Family

ID=42708695

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009020917A Pending JP2010178226A (en) 2009-01-30 2009-01-30 Imaging apparatus, chromatic aberration suppressing method, and chromatic aberration suppressing circuit, and program

Country Status (1)

Country Link
JP (1) JP2010178226A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012257140A (en) * 2011-06-10 2012-12-27 Canon Inc Image processing apparatus, image processing method, and program
JP2013013007A (en) * 2011-06-30 2013-01-17 Nikon Corp Imaging apparatus, image processor, program and recording medium
JP2015173490A (en) * 2015-05-14 2015-10-01 キヤノン株式会社 Image processing apparatus, imaging device, image processing method, and image processing program
JP2018121239A (en) * 2017-01-26 2018-08-02 株式会社日立国際電気 Imaging apparatus and imaging method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012257140A (en) * 2011-06-10 2012-12-27 Canon Inc Image processing apparatus, image processing method, and program
JP2013013007A (en) * 2011-06-30 2013-01-17 Nikon Corp Imaging apparatus, image processor, program and recording medium
JP2015173490A (en) * 2015-05-14 2015-10-01 キヤノン株式会社 Image processing apparatus, imaging device, image processing method, and image processing program
JP2018121239A (en) * 2017-01-26 2018-08-02 株式会社日立国際電気 Imaging apparatus and imaging method

Similar Documents

Publication Publication Date Title
US8436910B2 (en) Image processing apparatus and image processing method
JP4501855B2 (en) Image signal processing apparatus, imaging apparatus, image signal processing method, and computer program
JP5047048B2 (en) Image processing apparatus, imaging apparatus, control method, program, and storage medium
JP5546229B2 (en) Image processing method, image processing apparatus, imaging apparatus, and image processing program
JP5349790B2 (en) Image processing apparatus, image processing method, and program
US8150201B2 (en) Image processing apparatus, method, and computer program with pixel brightness-change detection and value correction
JP5441652B2 (en) Image processing method, image processing apparatus, imaging apparatus, and image processing program
US8837853B2 (en) Image processing apparatus, image processing method, information recording medium, and program providing image blur correction
JP4144630B2 (en) Imaging device
JP2013219705A (en) Image processor, image processing method and program
WO2013031367A1 (en) Image processing device, image processing method, and program
US8922680B2 (en) Image processing apparatus and control method for image processing apparatus
JP6086663B2 (en) Image processing apparatus, endoscope apparatus, and isolated point noise correction method
JP6227084B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP6312487B2 (en) Image processing apparatus, control method therefor, and program
JP2011123589A5 (en)
JP2012239103A (en) Image processing device, image processing method, and program
JP2007306447A (en) Imaging apparatus, image processing method and computer program
JP2011124692A5 (en)
WO2014073386A1 (en) Signal processing device, signal processing method and signal processing program
WO2015098243A1 (en) Image processing device, image capturing device, program, and image processing method
JP2008258909A (en) Signal processing circuit
JP2010178226A (en) Imaging apparatus, chromatic aberration suppressing method, and chromatic aberration suppressing circuit, and program
JP4539299B2 (en) Image processing apparatus, image processing method, and computer program
JP5274697B2 (en) Image processing apparatus and image processing method