JP2008258786A - Brightness signal generating method and brightness signal generating device, and focus detecting method and focus detecting device in imaging apparatus - Google Patents
Brightness signal generating method and brightness signal generating device, and focus detecting method and focus detecting device in imaging apparatus Download PDFInfo
- Publication number
- JP2008258786A JP2008258786A JP2007096861A JP2007096861A JP2008258786A JP 2008258786 A JP2008258786 A JP 2008258786A JP 2007096861 A JP2007096861 A JP 2007096861A JP 2007096861 A JP2007096861 A JP 2007096861A JP 2008258786 A JP2008258786 A JP 2008258786A
- Authority
- JP
- Japan
- Prior art keywords
- luminance signal
- pixels
- unit
- generated
- signal generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
Description
本発明は、撮像装置において、例えばCCD等の撮像素子を介して得られるデジタル画像信号に応じて輝度信号を生成する輝度信号生成方法及び輝度信号生成装置に関する。 The present invention relates to a luminance signal generation method and a luminance signal generation device for generating a luminance signal in accordance with a digital image signal obtained via an imaging element such as a CCD in an imaging device.
従来、被写体像をCCD(Charge Coupled Devices)等の撮像素子に導く撮像レンズと、この撮像レンズを介して導かれた被写体像を光電変換して画像信号を出力する撮像素子とを用いた撮像装置において、撮像素子から出力された画像信号から輝度信号を生成し、この生成した輝度信号を焦点合せのための評価値とする焦点検出方法がある(例えば、特許文献1参照)。 2. Description of the Related Art Conventionally, an imaging apparatus using an imaging lens that guides a subject image to an imaging device such as a CCD (Charge Coupled Devices), and an imaging device that photoelectrically converts the subject image guided through the imaging lens and outputs an image signal There is a focus detection method in which a luminance signal is generated from an image signal output from an image sensor, and the generated luminance signal is used as an evaluation value for focusing (see, for example, Patent Document 1).
輝度信号は、CCDに結像した画像信号が、AD変喚器を介して所定のサンプリングパルスに同期してデジタルデータに変換されて、ハイパスフィルタを介して高周波成分が取り出され、その高周波成分が画面の評価領域全体にわたって積分されてオートフォーカスのための評価値として利用されている。 As for the luminance signal, the image signal formed on the CCD is converted into digital data in synchronization with a predetermined sampling pulse through an AD converter, and a high frequency component is taken out through a high pass filter. It is integrated over the entire evaluation area of the screen and used as an evaluation value for autofocus.
そして、オートフォーカスにおいて、上述の評価値に応じて撮像レンズを光軸方向に移動し、評価値が最大となる位置、即ち、焦点が一致した位置で撮像レンズを停止させてフォーカスを自動的に調整している。 In autofocus, the imaging lens is moved in the optical axis direction according to the evaluation value described above, and the imaging lens is stopped at the position where the evaluation value is maximized, that is, at the position where the focal points coincide with each other. It is adjusted.
また、撮像素子がマトリクス状に複数の光電変換素子によって構成されて、複数の光電変換素子上に複数色の色フィルタが備えられ、この色フィルタを介して出力した各色の画素信号に応じて輝度信号(Y)を生成する輝度信号生成方法が知られている。 In addition, the imaging element is configured by a plurality of photoelectric conversion elements in a matrix, and a plurality of color filters are provided on the plurality of photoelectric conversion elements, and the luminance according to the pixel signal of each color output through the color filter A luminance signal generation method for generating the signal (Y) is known.
例えば、前記の輝度信号生成方法において、色フィルタがR(赤)G(緑)B(青)等の3色からなるBayer配列で構成され、Rが1画素、Gが2画素、Bが1画素からなる4画素を1単位とし、所定の画像領域を水平及び垂直方向に走査して1単位毎に輝度信号を生成しているものがある(例えば、特許文献2参照)。 For example, in the luminance signal generation method described above, the color filter is configured by a Bayer array including three colors such as R (red), G (green), and B (blue), and R is 1 pixel, G is 2 pixels, and B is 1 In some cases, a unit of four pixels is used as a unit, and a predetermined image region is scanned in the horizontal and vertical directions to generate a luminance signal for each unit (see, for example, Patent Document 2).
つまり、Bayer配列の色画像データを出力する撮像装置において、水平方向および垂直方向に沿ってマトリクス状に配設された複数の画素上に、複数の色フィルタが縦2画素、横2画素の繰り返しパターンで備えられ、色フィルタを介して色毎の画素信号を出力し、該画素信号の出力に対応付けて、隣接する水平方向の2画素および垂直方向の2画素からなる4画素(R、G、G、Bの画素データ)を1単位として輝度信号を生成している。
そして、Bayer配列の色画像データにおける従来の輝度信号生成方法によれば、必然的に各色別のサンプリング間隔が画素間隔よりも長くなってしまい、これによって折り返しノイズが発生する。 According to the conventional luminance signal generation method for Bayer color image data, the sampling interval for each color inevitably becomes longer than the pixel interval, which causes aliasing noise.
すなわち、水平方向に高周波成分の輝度レベルの変化があり、垂直方向には輝度レベルの変化のない場合を考えると、図3の色フィルタ配列より、垂直方向の差分では、R−Gb=0、B−Gr=0になる。しかし、水平方向の差分では、R−Gr≠0、B−Gb≠0になりこれが折り返しノイズの原因になる。 That is, considering the case where there is a change in the luminance level of the high-frequency component in the horizontal direction and no change in the luminance level in the vertical direction, R−Gb = 0 in the vertical difference from the color filter array in FIG. B-Gr = 0. However, in the horizontal difference, R−Gr ≠ 0 and B−Gb ≠ 0, which causes aliasing noise.
また、同様に、垂直方向に高周波成分の輝度レベルの変化があり、水平方向には輝度レベルの変化のない場合を考えると、図3の色フィルタ配列より、水平方向の差分では、R−Gr=0、B−Gb=0になる。しかし、垂直方向の差分では、R−Gb≠0、B−Gr≠0になりこれが折り返しノイズの原因になる。 Similarly, in the case where there is a change in the luminance level of the high-frequency component in the vertical direction and no change in the luminance level in the horizontal direction, R-Gr is obtained from the color filter arrangement of FIG. = 0 and B-Gb = 0. However, in the vertical difference, R−Gb ≠ 0 and B−Gr ≠ 0, which causes aliasing noise.
また、水平方向および垂直方向における高周波成分検出の解像度がサンプリングピッチに依存して、サンプリングが4画素毎である際には、特に、高周波数成分を有する被写体の輝度信号の周波数を正しく検出することが不十分となる虞があった。 In addition, when the resolution of the high frequency component detection in the horizontal direction and the vertical direction depends on the sampling pitch and the sampling is performed every four pixels, the frequency of the luminance signal of the subject having the high frequency component is correctly detected. May be insufficient.
そこで、本発明は、Bayer配列の色画像データを出力する撮像装置において、折り返しノイズを低減できて、精度良く輝度信号を生成できる輝度信号生成方法、及び、精度良く焦点検出ができる焦点検出方法を提供することを目的とする。 Therefore, the present invention provides a luminance signal generation method capable of reducing aliasing noise and generating a luminance signal with high accuracy, and a focus detection method capable of detecting focus with high accuracy in an imaging apparatus that outputs color image data of a Bayer array. The purpose is to provide.
かかる目的を達成するためになされた請求項1に記載の発明は、水平方向および垂直方向に沿ってマトリクス状に配設された複数の画素上に、複数の色フィルタを水平方向の2画素、垂直方向の2画素の繰り返しパターンで備え、前記フィルタを介して色毎の画素信号を出力し、該画素信号の出力に対応付けて、隣接する水平2画素および垂直2画素の4画素を1単位とする輝度信号を所定の画素領域にわたって順次生成する輝度信号生成方法であって、前記輝度信号が、前記画素領域の水平方向に移る際には、前の1単位における垂直列の後列の2画素を含む4画素毎に生成され、前記画素領域の垂直方向に移る際には、前の1単位における水平列の後列の2画素を含む4画素毎に生成されることを特徴とする。
In order to achieve this object, the invention according to
請求項1に記載の輝度信号生成方法によれば、輝度信号が、画素領域の水平方向に移る際には、前の1単位における垂直列の後列の2画素を含む4画素毎に生成され、画素領域の垂直方向に移る際には、前の1単位における水平列の後列の2画素を含む4画素毎に生成されるので、所定の画像領域における輝度信号を生成する際に、4画素毎にずらして輝度信号を生成するよりもサンプリング周波数を高くでき、高周波成分が含まれる画像を撮像しても、折り返しノイズが少なくて精度良く輝度信号を生成できる。
According to the luminance signal generation method of
また、請求項1に記載の輝度信号生成方法は、請求項2に記載の発明のように、前記複数の色フィルタは、前記4画素における一方の斜め方向どうしが同色のG(緑)、他の2画素の一方がR(赤)であって他方がB(青)であることにより、RGB三色の色信号から輝度信号を生成する際に、夫々の色の、折返しノイズの少ない輝度信号を生成できて、カラー画像の解像度を向上できる。
Further, in the luminance signal generation method according to
また、請求項1又は請求項2に記載の輝度信号生成方法は、請求項3に記載の発明のように、所定の画像領域における輝度信号を生成する際には、先頭の前記1単位には前記後列の2画素を含まず、画素領域における水平又は垂直方向の先頭列が、前記先頭の1単位における画素列の1列目であるようにすればよい。
In addition, the luminance signal generation method according to claim 1 or 2, when generating a luminance signal in a predetermined image area, as in the invention according to
また、請求項1乃至請求項3の何れか記載の輝度信号生成方法は、請求項4に記載の発明のように、前記1単位毎に生成された輝度信号から所定の周波数成分の輝度信号を抽出するようにフィルタ処理を施すことにより、不要な周波数成分を除去して所望の周波数成分に対応つけた輝度信号を生成することができる。
The luminance signal generation method according to any one of
次に、請求項5に記載の発明は、被写体像を撮像素子に結像して光電変換し画像信号を出力する撮像装置の焦点検出方法において、請求項1乃至請求項4の何れか一つに記載の輝度信号生成方法を用いて輝度信号を生成し、該輝度信号を前記被写体の焦点合せの評価値とすることを特徴とする。
Next, the invention described in
請求項5に記載の撮像装置における焦点検出方法によれば、高周波成分が含まれる画像を撮像しても、折り返しノイズが少ない輝度信号を焦点合せの評価値とすることができるので、精度良く焦点を一致させることができる。
According to the focus detection method in the imaging device according to
次に、請求項6に記載の発明は、水平方向および垂直方向に沿ってマトリクス状に配設された画素上に、複数の色フィルタを水平方向の2画素、垂直方向の2画素の繰り返しパターンで備え、前記フィルタを介して色毎の画素信号を出力する撮像素子と、前記画素信号の出力に対応付けて、隣接する水平2画素および垂直2画素の4画素を1単位とする輝度信号を所定の画素領域にわたって順次生成する輝度信号生成手段とを備えた輝度信号生成装置であって、前記輝度信号生成手段が、前記画素領域の水平方向に移る際には、前の1単位における垂直列の後列の2画素を含む4画素毎に前記輝度信号を生成し、前記画素領域の垂直方向に移る際には、前の1単位における水平列の後列の2画素を含む4画素毎に前記輝度信号を生成するように構成されていることを特徴とする。 Next, according to a sixth aspect of the present invention, a plurality of color filters are repeated on a pixel arranged in a matrix along the horizontal direction and the vertical direction. And an image sensor that outputs a pixel signal for each color through the filter, and a luminance signal in which four adjacent pixels of two horizontal pixels and two vertical pixels are associated with the output of the pixel signal. A luminance signal generation device including a luminance signal generation unit that sequentially generates over a predetermined pixel area, when the luminance signal generation unit moves in the horizontal direction of the pixel area; When the luminance signal is generated for every four pixels including two pixels in the rear row and moved in the vertical direction of the pixel area, the luminance signal is generated for every four pixels including two pixels in the rear row of the horizontal row in the previous unit. To generate a signal Characterized in that it is configured.
請求項6に記載の輝度信号生成装置によれば、請求項1に記載の発明と同様に、輝度信号が、画素領域の水平方向に移る際には、前の1単位における垂直列の後列の2画素を含む4画素毎に生成され、画素領域の垂直方向に移る際には、前の1単位における水平列の後列の2画素を含む4画素毎に生成されるので、所定の画像領域における輝度信号を生成する際に、4画素毎にずらして輝度信号を生成するよりもサンプリング周波数を高くでき、高周波成分が含まれる画像を撮像しても、折り返しノイズが少ない輝度信号を生成できる。 According to the luminance signal generation device of the sixth aspect, as in the first aspect of the invention, when the luminance signal moves in the horizontal direction of the pixel area, It is generated every 4 pixels including 2 pixels, and when it moves in the vertical direction of the pixel area, it is generated every 4 pixels including 2 pixels in the back row of the horizontal column in the previous unit, so in the predetermined image area When generating a luminance signal, the sampling frequency can be made higher than when generating the luminance signal by shifting every four pixels, and even when an image containing a high-frequency component is captured, a luminance signal with less aliasing noise can be generated.
また、請求項6に記載の輝度信号生成装置は、請求項7に記載の発明のように、前記複数の色フィルタが、前記4画素における一方の斜め方向どうしが同色のG(緑)であって、他の2画素の一方がR(赤)、他方がB(青)であるように構成されていることにより、RGB三色の色信号から輝度信号を生成する際に、夫々の色の、折返しノイズの少ない輝度信号を生成できて、カラー画像の解像度を向上できる。 According to a sixth aspect of the present invention, in the luminance signal generation device according to the seventh aspect of the present invention, the plurality of color filters are G (green) in which one of diagonal directions of the four pixels is the same color. Thus, when one of the other two pixels is configured to be R (red) and the other is B (blue), when generating the luminance signal from the RGB color signals, Thus, a luminance signal with less aliasing noise can be generated, and the resolution of the color image can be improved.
また、請求項6又は請求項7に記載の輝度信号生成装置は、請求項8に記載の発明のように、先頭の前記1単位には前記後列の2画素を含まず、画素領域における水平又は垂直方向の先頭列が、前記先頭の1単位における画素列の1列目であるようにすればよい。
Further, in the luminance signal generation device according to claim 6 or 7, as in the invention according to
また、請求項6乃至請求項8の何れか記載の輝度信号生成方法は、請求項9に記載の発明のように、前記1単位毎に生成された輝度信号から所定の周波数成分の輝度信号を抽出するフィルタを備えていることにより、不要な周波数成分を除去して所望の周波数成分に対応つけた輝度信号を生成することができる。 Further, in the luminance signal generation method according to any one of claims 6 to 8, as in the invention according to claim 9, a luminance signal having a predetermined frequency component is generated from the luminance signal generated for each unit. By including the filter for extraction, an unnecessary frequency component can be removed and a luminance signal corresponding to a desired frequency component can be generated.
次に、請求項10に記載の発明は、撮影光学系により撮像素子上に被写体像を結像し該撮像素子で被写体を表わす画像信号を生成して記録する撮影装置における焦点検出装置において、前記撮像素子で得られた画像信号から輝度信号を生成する輝度信号生成手段と、前記輝度信号生成手段で生成された輝度信号から所定の周波数領域の輝度信号を抽出するフィルタ手段と、前記フィルタ手段を介して抽出された輝度信号に応じて、焦点の合焦度を検出する焦点評価手段とを備え、前記輝度信号生成手段が、請求項6乃至請求項8の何れか一つであることを特徴とする。
Next, the invention according to
請求項10に記載の撮像装置における焦点検出装置によれば、高周波成分が含まれる画像を撮像しても、折り返しノイズが少ない輝度信号を焦点合せの評価値とすることができるので、精度良く焦点を一致させることができる。
According to the focus detection device of the imaging device according to
本発明の輝度信号生成方法及び輝度信号生成装置は、輝度信号が、画素領域の水平方向に移る際には前の1単位における垂直列の後列の2画素を含む4画素毎に生成され、画素領域の垂直方向に移る際には前の1単位における水平列の後列の2画素を含む4画素毎に生成されるので、所定の画像領域における輝度信号を生成する際に、4画素毎にずらして輝度信号を生成するよりもサンプリング周波数を高くでき、高周波成分が含まれる画像を撮像しても、折り返しノイズが少なくて精度の良い輝度信号を生成できる。 According to the luminance signal generation method and the luminance signal generation apparatus of the present invention, when the luminance signal moves in the horizontal direction of the pixel area, the luminance signal is generated every four pixels including two pixels in the rear column of the vertical column in the previous unit. When moving in the vertical direction of the area, it is generated every 4 pixels including 2 pixels in the back row of the horizontal row in the previous unit, so when generating a luminance signal in a predetermined image area, it is shifted every 4 pixels. Thus, the sampling frequency can be made higher than that for generating a luminance signal, and even when an image including a high-frequency component is captured, an accurate luminance signal can be generated with less aliasing noise.
また、本発明の輝度信号生成方法及び輝度信号生成装置は、複数の色フィルタが、4画素における一方の斜め方向どうしが同色のG(緑)、他の2画素の一方がR(赤)であって他方がB(青)であることにより、RGB三色の色信号から輝度信号を生成する際に、夫々の色の、折返しノイズの少ない輝度信号を生成できて、カラー画像の解像度を向上できる。 In the luminance signal generation method and the luminance signal generation apparatus according to the present invention, the plurality of color filters have G (green) in which one diagonal direction of four pixels is the same color, and one of the other two pixels is R (red). Since the other is B (blue), when generating a luminance signal from the RGB color signals, it is possible to generate a luminance signal with less aliasing noise for each color and improve the resolution of the color image. it can.
また、本発明の輝度信号生成方法及び輝度信号生成装置は、1単位毎に生成された輝度信号から所定の周波数成分の輝度信号を抽出するようにフィルタ処理を施すことにより、不要な周波数成分を除去して所望の周波数成分に対応付けた輝度信号を生成することができる。 In addition, the luminance signal generation method and the luminance signal generation apparatus according to the present invention filter unnecessary frequency components by performing a filtering process so as to extract a luminance signal having a predetermined frequency component from the luminance signal generated for each unit. A luminance signal associated with a desired frequency component can be generated by removing the luminance signal.
次に、本発明の撮像装置における焦点検出方法及び焦点検出装置は、本発明の輝度信号生成方法及び輝度信号生成装置を用いているので、高周波成分が含まれる画像を撮像しても、折り返しノイズが少ない輝度信号を焦点合せの評価値とすることができて、精度良く焦点を一致させることができる。 Next, since the focus detection method and the focus detection device in the imaging apparatus of the present invention use the luminance signal generation method and the luminance signal generation apparatus of the present invention, even if an image including a high frequency component is captured, aliasing noise is generated. Therefore, it is possible to use a luminance signal with a small amount as an evaluation value for focusing, and it is possible to accurately match the focus.
次に、本発明の輝度信号生成方法及び輝度信号生成装置を用いた撮像装置における焦点検出方法及び焦点検出装置の一実施例を図面にもとづいて説明する。図1は本実施例の輝度信号生成方法の手順を表すフローチャート、図2は同実施例における輝度信号生成方法の説明図、図3は同実施例の撮像装置の構成を表すブロック図である。 Next, an embodiment of a focus detection method and a focus detection apparatus in an imaging apparatus using the brightness signal generation method and the brightness signal generation apparatus of the present invention will be described with reference to the drawings. FIG. 1 is a flowchart showing the procedure of the luminance signal generation method of the present embodiment, FIG. 2 is an explanatory diagram of the luminance signal generation method of the embodiment, and FIG. 3 is a block diagram showing the configuration of the image pickup apparatus of the embodiment.
図3に表したように、本実施例は、被写体(撮像信号S)を撮影してデジタル画像信号Cを出力する撮像装置1と、撮像装置1から入力したデジタル画像信号Cを用いて被写体の合焦度(焦点合せのためのパラメータ)を検出する焦点検出装置15とによって構成され、検出された合焦度に基づいてフォーカスレンズ3を光軸Xに沿って移動させ、被写体像の焦点が合うように、フォーカスレンズ3の位置を調整する。
As shown in FIG. 3, in this embodiment, the
撮像装置1には、前部レンズ2、フォーカスレンズ3、有害な赤外線及び有害な反射光などを除去するフィルタ(赤外線除去フィルタや光学フィルタである)4、撮像素子(CCD:Charge Coupled Devices)5、撮像素子5から出力されるアナログ画像信号をデジタル画像信号Cに変換して出力するAFE(Analog Front End)6、撮像素子5及びAFE6を所定の周期で制御するTG(Timing Generator)13、フォーカスレンズ3の光軸方向のスライド駆動を行うフォーカス駆動部12、センサ11を介してフォーカスレンズ3のスライド量を検出するフォーカス検出部10等が備えられている。
The
撮像素子5は、複数の光電変換素子がマトリクス状に並設され、撮像信号Sを光電変換して夫々の光電変換素子毎にアナログ画像信号を出力するように構成されている。
The
また、撮像素子5は、図2(a)に表したように、光電変換素子に対応付けてR(赤)G(緑)B(青)3色のBayer配列からなるカラーフィルター(図示せず)を備え、各色のフィルタ部を通過した光量を電気信号に変換して出力する。
Further, as shown in FIG. 2A, the
AFE6は、撮像素子5を介して出力されたアナログ画像信号に対してノイズを除去する相関二重サンプリング回路(CDS:Corelated Double Sampling)7、相関二重サンプリング回路7で相関二重サンプリングされた画像信号を増幅する可変利得増幅器(AGC:Automatic Gain Control)8、可変利得増幅器8を介して入力された撮像素子5からのアナログ画像信号をデジタル画像信号に変換するA/D変換器9、等によって構成され、撮像素子5から出力された画像信号を、所定のサンプリング周波数でデジタル画像信号Cに変換し、焦点検出装置15に出力する。
The AFE 6 is a correlated double sampling circuit (CDS: Correlated Double Sampling) 7 that removes noise from the analog image signal output via the
撮像装置1は、撮像素子5、相関二重サンプリング回路7、可変利得増幅器8、A/D変換器9等に代えて、CMOS(Complementary Metal Oxide Semiconductor)センサを用いて構成してもよい。
The
焦点検出装置15は、撮像装置1から入力されたデジタル画像信号CをRGBの色毎に各画素アドレスに対応付けて記憶するフィールドメモリ16、フィールドメモリ16に記憶された画素信号に基づいて所定の画像領域における輝度信号を生成する輝度信号生成部20、CPU(Central Processing Unit)25、ROM(Read Only Memory)26、積分器23からの出力をフォーカスレンズの位置に対応付けて記憶したAF(オートフォーカス)評価部27、輝度信号生成部20で生成された輝度信号を一時的に記憶するバッファ28等によって構成され、CPU25がROM26に格納された制御用プログラムに従って、当該焦点検出装置15の各処理を制御する。
The
フィールドメモリ16は、Bayer配列に対応付けて、赤(R)の画素信号を記憶するRフィールドメモリ17と、緑(G)の画素信号を記憶するGフィールドメモリ18と、青(B)の画素信号を記憶するBフィールドメモリ19とによって構成されている。
The
輝度信号生成部20は、フィールドメモリ16に記憶された画素信号に基づいて、所定のサンプリング毎に、隣接する水平方向の2画素および垂直方向の2画素の4画素を1単位として輝度信号を生成する輝度演算部21と、輝度演算部21で生成された輝度信号から、特定周波数成分を抽出するハイパスフィルタ(HPF)22と、所定の画素慮域分の高周波成分を積分して焦点合せのための評価値としてCPU25に出力する積分器23によって構成されている。
Based on the pixel signal stored in the
詳しくは、図2(b)に表したように、輝度演算部21は、まず所定の画素領域における先頭のP0−0に表した4画素を1単位とする輝度信号Yを生成する。詳しくは、Y=(K1×Gr)+(K2×Gb)+(K3×R)+(K4×B)、の演算式でP0−0を1単位とする輝度信号Yが生成される。ここで、Gr、Gb、R、Bが夫々の画素の光量に対応付けられた画素値であって、K1〜K4が予め定められた係数である。
Specifically, as illustrated in FIG. 2B, the
また、輝度演算部21において、輝度信号Yを生成する際の画素位置が画素領域の水平方向に移る際には、(b)〜(g)に表したように、前の1単位における垂直列の後列の2画素を含む4画素毎に生成され、画素領域の垂直方向に移る際には、前の1単位における水平方向後列の2画素を含む4画素毎に生成される。
Further, in the
つまり、P0−0からP1−0に移る際には、P1−0において前の1単位P0−0における垂直列の後列の2画素Gr及びGbを含む4画素を1単位とする輝度信号Yが生成され、P1−0からP2−0に移る際には、P2−0において前の1単位P1−0における垂直方向後列の2画素R及びGbを含む4画素を1単位とする輝度信号Yが生成される。 That is, when moving from P 0-0 to P 1-0 , 4 pixels including 2 pixels Gr and Gb in the rear row of the vertical column in the previous unit P 0-0 in P 1-0 are set as one unit. When the luminance signal Y is generated and moves from P 1-0 to P 2-0 , 4 pixels including 2 pixels R and Gb in the vertical rear row in the previous unit P 1-0 in P 2-0 are displayed. A luminance signal Y as one unit is generated.
そして、所定の画素領域における水平方向の末部の輝度信号Yが生成された後、(e)に表したように、水平方向の先頭位置P0−1に戻り、P0−1おいて前の1単位P0−0における水平方向後列2画素Gr及びBを含む4画素を1単位P0−1とする輝度信号Yが生成され、次いで、(f)(g)に表したように、順次、水平方向の前の1単位における垂直方向後列の2画素を含む4画素P1−1、P2−1が読み込まれ、輝度信号Yが生成される。 After the luminance signal Y of the end portion of the horizontal direction in predetermined pixel region is generated, as shown in (e), return to the horizontal start position P 0-1, P 0-1 Oite ago The luminance signal Y having 4 pixels including 2 pixels Gr and B in the horizontal rear row in 1 unit P 0-0 as 1 unit P 0-1 is generated, and then, as shown in (f) and (g), Sequentially, the four pixels P 1-1 and P 2-1 including two pixels in the vertical rear row in one unit in the horizontal direction are read, and the luminance signal Y is generated.
また、この際、P1−1、P2−1には、夫々、垂直方向の前の1単位であるP1−0、P2−0における、水平方向後列の2画素B及びGb、Gb及びBが含まれている。 At this time, P 1-1 and P 2-1 include two pixels B and Gb, Gb in the horizontal rear row in P 1-0 and P 2-0 which are one unit in the vertical direction, respectively. And B are included.
次に、輝度信号生成部20は、輝度演算部21で生成された輝度信号Yから、ハイパスフィルタ(HPF)22を介して特定周波数成分を抽出し、この抽出された高周波成分を積分器23を介して積分し、焦点合せのための評価値としてCPU25に出力する。
Next, the luminance
そして、CPU25は、積分器23からの出力と予めAF評価部27に記憶されたオートフォーカスのための調整値とを参照し、焦点合せ(コントラスト)が最適になるフォーカスレンズ3の位置を算出してフォーカス駆動部12を制御する。
Then, the
本発明における輝度信号生成手段は、フィールドメモリ21及び輝度信号生成部20等によって、その機能が発現される。
The function of the luminance signal generation means in the present invention is expressed by the
次に、図1に基づいて、Bayer配列の色画像データを出力する撮像装置1において、輝度信号を生成する手順を説明する。この手順は、CPU25がROM26に格納されたプログラムにもとづいて、各機能部に指令信号を与えて実行する。また、図1におけるSはステップを表している。
Next, a procedure for generating a luminance signal in the
まず、この手順は、オペレータによって撮像装置1及び焦点検出装置15に起動信号が入力された際にスタートする。
First, this procedure starts when an activation signal is input to the
次いで、図1に表したように、S110において、フィールドメモリ21やバッファ28に記憶されている以前のデータを消去して初期化し、その後、S120に移る。
Next, as shown in FIG. 1, in S110, the previous data stored in the
次いで、S120において、CPU25がオペレータが選択した撮影条件に基づいて、ROM26を介して焦点合せのための画素領域及びその画素領域における読み出し開始位置を取得するとともに、撮像装置1を介して被写体を撮影してデジタル画像信号Cをフィールドメモリ21に読み込み、その後S130に移る。
Next, in S120, the
次いで、S130において、Bayer配列の先頭の4画素値(図2(b)記載のP0−0)を読み込み、その後、S140に移る。 Next, in S130, the first four pixel values of the Bayer array (P 0-0 described in FIG. 2B) are read, and then the process proceeds to S140.
次いで、S140において、S130で読み込みしたP0−0の4画素を1単位とする輝度信号Yを生成する。詳しくは、CPU25が、ROM26に記憶されたY=(K1×Gr)+(K2×Gb)+(K3×R)+(K4×B)、の演算式を用いて、P0−0を1単位とする輝度信号Yを生成する。
Next, in S140, it generates a luminance signal Y for reading the four pixels P 0-0 at S130 as one unit. Specifically, the
次いで、S150において、S140で生成した輝度Yをバッファ28に保存し、その後、S160に移る。
Next, in S150, the luminance Y generated in S140 is stored in the
次いで、S160において、読み込み画素の位置が画素領域における水平方向の末部に至ったか否かを判定し、末部に至っているEND(Yes)と判定された際にはS170に移り、一方、S160で末部に至っていない、所謂、次の読み込む画素がある(No)と判定された際にはS180に移り、S180において読み出し位置を水平方向に1画素だけシフトし、その後S130に移り、S130からS160を繰り返す。 Next, in S160, it is determined whether or not the position of the read pixel has reached the end in the horizontal direction in the pixel area. If it is determined that END (Yes) has reached the end, the process proceeds to S170, while S160. When it is determined that there is a so-called next pixel that has not reached the end (No), the process proceeds to S180. In S180, the readout position is shifted by one pixel in the horizontal direction, and then, the process proceeds to S130. S160 is repeated.
次いで、S170において、読み込む画素の位置が画素領域における垂直方向の末部に至ったか否かを判定し、末部に至っていない、所謂、次の読み込む画素が有る(No)と判定された際にはS190に移り、S190において読み出し位置を垂直方向に1画素だけシフトし、その後S130に移ってS130からS170を繰り返し、S170で垂直方向の画素位置が末部に至っているEND(Yes)と判定された際に、当該儀度信号生成の処理を終了する。 Next, in S170, it is determined whether or not the position of the pixel to be read has reached the end in the vertical direction in the pixel area, and when it is determined that there is a so-called next read pixel that has not reached the end (No). Shifts to S190, shifts the readout position by one pixel in the vertical direction in S190, and then shifts to S130 and repeats S130 to S170. In S170, it is determined that the vertical pixel position reaches the end. When this occurs, the process of generating the courtesy signal is terminated.
以上のように、本実施例に記載の撮像装置1における輝度信号生成方法及び輝度信号生は、図2(b)〜図2(g)に表したように、輝度信号Yが、画素領域の横方向に移る際には、前の1単位における縦列の後列の2画素を含む4画素毎に生成され、画素領域の縦方向に移る際には、前の1単位における横列の後列の2画素を含む4画素毎に生成されるので、所定の画像領域における輝度信号Yを生成する際に、4画素毎にずらして輝度信号を生成するよりもサンプリング周波数を高くでき、高周波成分が含まれる画像を撮像しても、折り返しノイズが少なくて精度の良い輝度信号Yを生成できる。
As described above, the luminance signal generation method and the luminance signal generation in the
また、本実施例の輝度信号生成方法及び輝度信号生成装置は、1単位毎に生成された輝度信号からハイパスフィルタ22を介して所定の周波数成分の輝度信号Yを抽出することにより、不要な周波数成分を除去して所望の周波数成分に対応つけた輝度信号Yを生成することができる。
In addition, the luminance signal generation method and the luminance signal generation apparatus according to the present embodiment extract an unnecessary frequency by extracting the luminance signal Y having a predetermined frequency component from the luminance signal generated for each unit through the high-
また、本実施例の撮像装置1における焦点検出方法及び焦点検出装置15は、高周波成分が含まれる画像を撮像しても、折り返しノイズが少ない輝度信号Yを焦点合せの評価値とすることができるので、精度良く焦点を一致させることができる。
Further, the focus detection method and the
以上、本発明の一実施例について説明したが、本発明は、前記実施例に限定されるものでなく、各種の態様を取ることができる。 As mentioned above, although one Example of this invention was described, this invention is not limited to the said Example, Various aspects can be taken.
1…撮像装置、2…前部レンズ、3…フォーカスレンズ、4…フィルタ、5…撮像素子、6…AFE(Analog Front End)、7…相関二重サンプリング回路、8…可変利得増幅器(AGC:Automatic Gain Control)、9…A/D変換器、10…フォーカス検出部、11…センサ、12…フォーカス駆動部、13…TG(Timing Generator)、15…焦点検出装置、16…フィールドメモリ、17…Rフィールドメモリ、18…Gフィールドメモリ、19…Bフィールドメモリ、20…輝度信号生成部、21…輝度演算部、22…ハイパスフィルタ(HPF)、23…積分器、25…CPU(Central Processing Unit)26…ROM(Read Only Memory)、27…AF評価部、28…バッファ。
DESCRIPTION OF
Claims (10)
前記フィルタを介して色毎の画素信号を出力し、該画素信号の出力に対応付けて、隣接する水平2画素および垂直2画素の4画素を1単位とする輝度信号を所定の画素領域にわたって順次生成する輝度信号生成方法であって、
前記輝度信号が、
前記画素領域の水平方向に移る際には、前の1単位における垂直列の後列の2画素を含む4画素毎に生成され、
前記画素領域の垂直方向に移る際には、前の1単位における水平列の後列の2画素を含む4画素毎に生成される、
ことを特徴とする輝度信号生成方法。 A plurality of color filters are provided in a repeating pattern of two pixels in the horizontal direction and two pixels in the vertical direction on a plurality of pixels arranged in a matrix along the horizontal direction and the vertical direction,
A pixel signal for each color is output through the filter, and in correspondence with the output of the pixel signal, a luminance signal having four units of two adjacent horizontal pixels and two vertical pixels as one unit is sequentially applied over a predetermined pixel region. A luminance signal generation method for generating,
The luminance signal is
When moving in the horizontal direction of the pixel area, it is generated every 4 pixels including 2 pixels in the back row of the vertical row in the previous unit,
When moving in the vertical direction of the pixel area, it is generated every 4 pixels including 2 pixels in the back row of the horizontal row in the previous unit.
A luminance signal generation method characterized by the above.
ことを特徴とする請求項1に記載の輝度信号生成方法。 In the plurality of color filters, one diagonal direction of the four pixels is G (green) having the same color, one of the other two pixels is R (red), and the other is B (blue).
The luminance signal generation method according to claim 1.
ことを特徴とする請求項1又は請求項2に記載の輝度信号生成方法。 The first unit does not include the two pixels in the rear column, and the first column in the horizontal or vertical direction in the pixel region is the first column of the pixel columns in the first unit.
The luminance signal generation method according to claim 1, wherein the luminance signal is generated.
ことを特徴とする請求項1乃至請求項3の何れか記載の輝度信号生成方法。 Filter processing is performed so as to extract a luminance signal having a predetermined frequency component from the luminance signal generated for each unit.
4. The luminance signal generation method according to claim 1, wherein the luminance signal is generated.
請求項1乃至請求項4の何れか一つに記載の輝度信号生成方法を用いて輝度信号を生成
し、該輝度信号を前記被写体像の焦点合せの評価値とする、
ことを特徴とする撮像装置における焦点検出方法。 In an imaging device that forms a subject image on an imaging device, photoelectrically converts it, and outputs an image signal,
A luminance signal is generated using the luminance signal generation method according to any one of claims 1 to 4, and the luminance signal is used as an evaluation value for focusing of the subject image.
A focus detection method in an imaging apparatus.
前記画素信号の出力に対応付けて、隣接する水平2画素および垂直2画素の4画素を1単位とする輝度信号を所定の画素領域にわたって順次生成する輝度信号生成手段と、
を備え、
前記輝度信号生成手段が、
前記画素領域の水平方向に移る際には、前の1単位における垂直列の後列の2画素を含む4画素毎に前記輝度信号を生成し、
前記画素領域の垂直方向に移る際には、前の1単位における水平列の後列の2画素を含む4画素毎に前記輝度信号を生成するように構成されている、
ことを特徴とする輝度信号生成装置。 A plurality of color filters are provided in a repeating pattern of two pixels in the horizontal direction and two pixels in the vertical direction on the pixels arranged in a matrix along the horizontal direction and the vertical direction, and pixels for each color are passed through the filter. An image sensor that outputs a signal;
A luminance signal generating means for sequentially generating a luminance signal having four units of two adjacent horizontal pixels and two vertical pixels as one unit in association with the output of the pixel signal over a predetermined pixel region;
With
The luminance signal generating means;
When moving in the horizontal direction of the pixel area, the luminance signal is generated for every four pixels including two pixels in the rear row of the vertical column in the previous unit,
When moving in the vertical direction of the pixel region, the luminance signal is generated for every four pixels including two pixels in the back row of the horizontal row in the previous unit.
A luminance signal generation apparatus characterized by the above.
ことを特徴とする請求項6に記載の輝度信号生成装置。 In the plurality of color filters, one diagonal direction of the four pixels is G (green) having the same color, one of the other two pixels is R (red), and the other is B (blue).
The luminance signal generation apparatus according to claim 6.
ことを特徴とする請求項6又は請求項7に記載の輝度信号生成装置。 The first unit does not include the two pixels in the rear column, and the first column in the horizontal or vertical direction in the pixel region is the first column of the pixel columns in the first unit.
The luminance signal generation apparatus according to claim 6 or 7, wherein
ことを特徴とする請求項6乃至請求項8の何れか記載の輝度信号生成装置。 A filter for extracting a luminance signal of a predetermined frequency component from the luminance signal generated for each unit;
9. The luminance signal generation device according to claim 6, wherein the luminance signal generation device is a luminance signal generation device.
前記撮像素子で得られた画像信号から輝度信号を生成する輝度信号生成手段と、
前記輝度信号生成手段で生成された輝度信号から所定の周波数領域の輝度信号を抽出するフィルタ手段と、
前記フィルタ手段を介して抽出された輝度信号に応じて、焦点の合焦度を検出する焦点評価手段と、
を備え、
前記輝度信号生成手段が、請求項6乃至請求項9の何れか一つに記載の輝度信号生成装置であることを特徴とする撮像装置における焦点検出装置。 In a photographing apparatus that forms a subject image on an image sensor with a photographing optical system and generates an image signal representing the subject image with the image sensor.
A luminance signal generating means for generating a luminance signal from an image signal obtained by the imaging element;
Filter means for extracting a luminance signal in a predetermined frequency region from the luminance signal generated by the luminance signal generating means;
Focus evaluation means for detecting a focus degree of focus according to the luminance signal extracted through the filter means;
With
The focus detection device in an imaging apparatus, wherein the brightness signal generation means is the brightness signal generation device according to any one of claims 6 to 9.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007096861A JP2008258786A (en) | 2007-04-02 | 2007-04-02 | Brightness signal generating method and brightness signal generating device, and focus detecting method and focus detecting device in imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007096861A JP2008258786A (en) | 2007-04-02 | 2007-04-02 | Brightness signal generating method and brightness signal generating device, and focus detecting method and focus detecting device in imaging apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008258786A true JP2008258786A (en) | 2008-10-23 |
Family
ID=39981948
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007096861A Withdrawn JP2008258786A (en) | 2007-04-02 | 2007-04-02 | Brightness signal generating method and brightness signal generating device, and focus detecting method and focus detecting device in imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008258786A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114928730A (en) * | 2022-06-23 | 2022-08-19 | 湖南国科微电子股份有限公司 | Image processing method and image processing apparatus |
-
2007
- 2007-04-02 JP JP2007096861A patent/JP2008258786A/en not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114928730A (en) * | 2022-06-23 | 2022-08-19 | 湖南国科微电子股份有限公司 | Image processing method and image processing apparatus |
CN114928730B (en) * | 2022-06-23 | 2023-08-22 | 湖南国科微电子股份有限公司 | Image processing method and image processing apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5739640B2 (en) | Imaging device and imaging apparatus | |
JP4241840B2 (en) | Imaging device | |
JP5331945B2 (en) | Imaging apparatus and driving method thereof | |
US10397502B2 (en) | Method and apparatus for imaging an object | |
JP2007010908A (en) | Focus adjusting method and device | |
JP2007150643A (en) | Solid state imaging element, driving method therefor, and imaging apparatus | |
KR20190029615A (en) | Image pickup apparatus and control method of image pickup apparatus | |
JP5156148B2 (en) | Imaging apparatus and imaging method | |
US10003734B2 (en) | Image capturing apparatus and control method of image sensor | |
JP5657184B2 (en) | Imaging apparatus and signal processing method | |
JP2010130343A (en) | Imaging apparatus and its drive control method | |
CN101931745A (en) | Digital camera apparatus | |
WO2017138200A1 (en) | Imaging device and method for controlling imaging device | |
JP4972902B2 (en) | Imaging apparatus and imaging method | |
JP4678053B2 (en) | Imaging device | |
JP6594048B2 (en) | Imaging apparatus and control method thereof | |
JP2008258786A (en) | Brightness signal generating method and brightness signal generating device, and focus detecting method and focus detecting device in imaging apparatus | |
JP2008015353A (en) | Imaging device | |
JP2018050267A (en) | Imaging apparatus and method of controlling imaging element | |
WO2015008635A1 (en) | Solid-state imaging element, method for driving same, and electronic apparatus | |
JP2009237327A (en) | Focusing device and focus control method | |
JP2009188650A (en) | Imaging apparatus | |
JP2008118378A (en) | Photographing device and its driving method | |
JP6399844B2 (en) | Imaging device | |
JP2010081422A (en) | Photographing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20100706 |