JP2009038458A - Imaging apparatus - Google Patents

Imaging apparatus Download PDF

Info

Publication number
JP2009038458A
JP2009038458A JP2007198983A JP2007198983A JP2009038458A JP 2009038458 A JP2009038458 A JP 2009038458A JP 2007198983 A JP2007198983 A JP 2007198983A JP 2007198983 A JP2007198983 A JP 2007198983A JP 2009038458 A JP2009038458 A JP 2009038458A
Authority
JP
Japan
Prior art keywords
photoelectric conversion
pixel
conversion element
light
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007198983A
Other languages
Japanese (ja)
Other versions
JP5104104B2 (en
Inventor
Takeshi Watabe
剛 渡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2007198983A priority Critical patent/JP5104104B2/en
Publication of JP2009038458A publication Critical patent/JP2009038458A/en
Application granted granted Critical
Publication of JP5104104B2 publication Critical patent/JP5104104B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging apparatus capable of reducing the occurrence of misdetection when detecting a person. <P>SOLUTION: The imaging apparatus is provided with a photoelectric conversion element having a plurality of color filters; a spectral optical system 100 for spectralizing a subject and forming images of optical components, corresponding to the color filters per pixel unit of the photoelectric conversion element to correct false color; a correcting means 1023 for applying digital filter processing to the image data by the output of the photoelectric conversion element, on the basis of the position of the pixel having saturated output of the photoelectric conversion element and the optical characteristics of the spectral optical system 100, thereby removing the influence of the unwanted optical components contained in a light spectralized in the spectral optical system 100; and a target detecting means 1023 for detecting the position of a predetermined target in a field, on the basis of at least the color information of the image data corrected by the correcting means 1023. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、回折光学素子の分光光を光電変換素子で受光する撮像装置に関する。   The present invention relates to an imaging apparatus that receives spectral light of a diffractive optical element with a photoelectric conversion element.

従来より、複数の色フィルタが設けられた2次元イメージセンサを用いて被写体光を受光し、複数の色成分毎に測光および測色を行う測光装置が知られている(例えば、特許文献1参照)。2次元イメージセンサの各画素にはそれぞれ対応する色フィルタが設けられており、フィルタを透過する色成分のみが光電変換素子によって検出される。測光装置に用いられるイメージセンサは、感度を重視するために画素の大きさが大きめに設定され、偽色の発生が問題となる。   2. Description of the Related Art Conventionally, a photometric device that receives subject light using a two-dimensional image sensor provided with a plurality of color filters and performs photometry and colorimetry for each of a plurality of color components is known (see, for example, Patent Document 1). ). Each pixel of the two-dimensional image sensor is provided with a corresponding color filter, and only a color component that passes through the filter is detected by the photoelectric conversion element. In an image sensor used in a photometric device, the size of a pixel is set to be large in order to place importance on sensitivity, and generation of false colors becomes a problem.

このような偽色の発生に対しては、被写体光を回折格子で分光して、それらの色成分を各色フィルタに入射させることで低減することが可能である。ところで、測光センサの色情報を利用して撮影シーンの解析を行う場合には、結像に使用しない次数の不要回折光がフレアー成分となり、それがシーン解析の際の誤検出要因となる。そして、そのような不要回折光を除去する方法として、被写体像からフレアー成分を算出し、画像信号からフレアー成分を減算して補正する方法が提案されている(例えば、特許文献2参照)。   The generation of such false colors can be reduced by spectrally dividing the subject light with a diffraction grating and making those color components enter each color filter. By the way, when analyzing a photographic scene using the color information of a photometric sensor, unnecessary diffracted light of an order not used for image formation becomes a flare component, which becomes a false detection factor in scene analysis. As a method of removing such unnecessary diffracted light, a method of correcting a flare component from a subject image and subtracting the flare component from an image signal has been proposed (for example, see Patent Document 2).

特許第3321932号公報Japanese Patent No. 3321932 特開平9−238357号公報JP-A-9-238357

しかしながら、光源のように被写体輝度が高い領域では、シーン解析の際の出力が飽和してフレアー成分の算出が困難になる場合がある。その場合、補正できないフレアー成分が残り、フレアー成分による誤検出が避けられなかった。   However, in a region where the subject brightness is high, such as a light source, the output at the time of scene analysis is saturated, and it may be difficult to calculate the flare component. In this case, a flare component that cannot be corrected remains, and erroneous detection due to the flare component cannot be avoided.

請求項1の発明による撮像装置は、複数色の色フィルタを有する光電変換素子と、被写体光を分光し、色フィルタに対応する光成分を光電変換素子の画素単位で結像させて偽色を補正する分光光学系と、光電変換素子の出力が飽和している画素の位置および分光光学系の光学特性に基づいて、光電変換素子の出力による画像データをデジタルフィルタ処理することにより、分光光学系で分光された光に含まれる不要光成分の影響を除去する補正手段と、補正手段により補正された画像データの少なくとも色情報に基づいて、被写界の所定対象物の位置を検出する対象検出手段とを備えたことを特徴とする。
請求項2の発明は、請求項1に記載の撮像装置において、分光光学系の光学特性の影響の度合いに応じた重み付けを光電変換素子の画素単位で行うことで、不要光成分の影響を除去するようにしたものである。
請求項3の発明は、請求項1に記載の撮像装置において、出力が飽和している画素の位置および分光光学系の光学特性に基づいて不要光成分入射画素領域を算出し、該不要光成分入射画素領域を対象検出手段の検出領域から除外するようにしたものである。
請求項4の発明は、請求項1に記載の撮像装置において、分光光学系に回折光学素子を設けて1次回折光を撮像光として使用し、1次回折光に対する0次光成分の方向に隣り合う2つの画素の出力差を算出し、その出力差が所定値以上の場合に、0次光成分方向に位置する所定数の画素位置を対象検出手段の検出領域から除外するようにしたものである。
請求項5の発明は、請求項1〜4のいずれか一項に記載の撮像装置において、光電変換素子の出力に基づいて被写界の輝度を検出する測光手段をさらに備えたものである。
請求項6の発明は、請求項1〜5のいずれか一項に記載の撮像装置において、対象検出手段は被写界の人物または顔の位置を検出し、対象検出手段によって検出された人物または顔の位置に基づいて、焦点検出制御を行う焦点検出手段を備えたものである。
請求項7の発明は、請求項6に記載の撮像装置において、光電変換素子はRGBフィルタを有し、Rフィルタを通過するR光成分に関する不要光成分の影響を除去するようにしたものである。
請求項8の発明による撮像装置は、複数色の色フィルタを有する光電変換素子と、被写体光を分光し、色フィルタに対応する光成分を光電変換素子の画素単位で結像させて偽色を補正する分光光学系と、光電変換素子の出力が飽和している画素の位置および分光光学系の光学特性に基づいて不要光成分入射画素領域を算出し、該不要光成分入射画素領域を除外することで不要光成分の影響が除去された画像データを生成する生成手段とを備えたことを特徴とする。
An image pickup apparatus according to a first aspect of the present invention includes a photoelectric conversion element having color filters of a plurality of colors, and subject light is dispersed, and a light component corresponding to the color filter is imaged in units of pixels of the photoelectric conversion element to generate a false color. Spectral optical system by performing digital filter processing on image data based on output of photoelectric conversion element based on spectral optical system to be corrected, position of pixel where output of photoelectric conversion element is saturated and optical characteristic of spectral optical system Correction means for removing the influence of unnecessary light components contained in the light separated in step, and object detection for detecting the position of a predetermined object in the scene based on at least color information of the image data corrected by the correction means Means.
According to a second aspect of the present invention, in the imaging device according to the first aspect, weighting according to the degree of influence of the optical characteristics of the spectroscopic optical system is performed for each pixel of the photoelectric conversion element, thereby removing the influence of unnecessary light components. It is what you do.
According to a third aspect of the present invention, in the imaging device according to the first aspect, the unnecessary light component incident pixel region is calculated based on the position of the pixel whose output is saturated and the optical characteristics of the spectroscopic optical system, and the unnecessary light component is calculated. The incident pixel area is excluded from the detection area of the object detection means.
According to a fourth aspect of the present invention, in the imaging device according to the first aspect, a diffractive optical element is provided in the spectroscopic optical system and the first-order diffracted light is used as imaging light, and is adjacent in the direction of the zero-order light component with respect to the first-order diffracted light. An output difference between two pixels is calculated, and when the output difference is equal to or greater than a predetermined value, a predetermined number of pixel positions located in the 0th-order light component direction are excluded from the detection area of the target detection means. .
A fifth aspect of the present invention is the imaging apparatus according to any one of the first to fourth aspects, further comprising a photometric means for detecting the luminance of the object field based on the output of the photoelectric conversion element.
According to a sixth aspect of the present invention, in the imaging apparatus according to any one of the first to fifth aspects, the object detection unit detects a position of a person or a face in the object scene, and the person detected by the target detection unit or Focus detection means for performing focus detection control based on the position of the face is provided.
According to a seventh aspect of the present invention, in the imaging device according to the sixth aspect, the photoelectric conversion element has an RGB filter, and the influence of an unnecessary light component on the R light component passing through the R filter is removed. .
According to an eighth aspect of the present invention, there is provided an image pickup apparatus including a photoelectric conversion element having color filters of a plurality of colors and a subject light, and forming a light component corresponding to the color filter in a pixel unit of the photoelectric conversion element to generate a false color. The unnecessary light component incident pixel region is calculated based on the spectroscopic optical system to be corrected, the pixel position where the output of the photoelectric conversion element is saturated, and the optical characteristics of the spectroscopic optical system, and the unnecessary light component incident pixel region is excluded. And generating means for generating image data from which the influence of unnecessary light components has been removed.

本発明によれば、不要光成分の影響が除去された画像データに基づくことにより、被写界の所定対象物を検出する際の誤検出の発生を低減することができる。   According to the present invention, it is possible to reduce the occurrence of erroneous detection when detecting a predetermined object in the scene by using image data from which the influence of unnecessary light components has been removed.

以下、図を参照して本発明を実施するための最良の形態について説明する。図1は、本発明による撮像装置の一実施の形態を示す図であり、デジタルスチルカメラの概略構成を示す図である。本実施の形態の撮像装置では、測光素子の出力を利用して撮影シーンの認識、例えば顔位置の検出を行うようにしている。   Hereinafter, the best mode for carrying out the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing an embodiment of an imaging apparatus according to the present invention, and is a diagram showing a schematic configuration of a digital still camera. In the imaging apparatus according to the present embodiment, the photographic scene is recognized, for example, the face position is detected, using the output of the photometric element.

レンズ光学系1および絞り2を通った光は、クイッククリターンミラー3に導かれる。クイッククリターンミラー3を透過した光はサブミラー4により測距素子5に導かれ、測距素子5においてレンズ光学系1の焦点調節状態が算出される。カメラがレリーズされると、クイックリターンミラー3は実線で示すミラーアップ位置に跳ね上がりシャッタ14を介して撮像素子15に被写体光が導かれる。非露光時には、クイッククリターンミラー3およびサブミラー4は破線で示すミラーダウン位置に配置される。クイッククリターンミラー3で反射された光は拡散スクリーン6に投影され、コンデンサレンズ7を通りペンタプリズム8に導かれファインダーである接眼レンズ9に向かう。   The light that has passed through the lens optical system 1 and the diaphragm 2 is guided to the quick return mirror 3. The light transmitted through the quick return mirror 3 is guided to the distance measuring element 5 by the sub mirror 4, and the focus adjusting state of the lens optical system 1 is calculated in the distance measuring element 5. When the camera is released, the quick return mirror 3 jumps to the mirror-up position indicated by the solid line, and the subject light is guided to the image sensor 15 via the shutter 14. At the time of non-exposure, the quick return mirror 3 and the sub mirror 4 are arranged at a mirror down position indicated by a broken line. The light reflected by the quick return mirror 3 is projected onto the diffusing screen 6, passes through the condenser lens 7, is guided to the pentaprism 8, and travels toward the eyepiece 9 that is a finder.

また、拡散スクリーン6を出射した光の一部は測光光学系を介して測光センサ10に結像される。測光光学系はプリズム11,分光光学素子12,測光レンズ13を備えており、ペンタプリズム8からの光はプリズム11により進行方向を図示上方に変更されて分光光学素子12に入射する。拡散スクリーン6と測光センサ10とは光学的に共役関係にあり、測光センサ10上には後述するように分光光学素子12で分光された光が結像される。   A part of the light emitted from the diffusing screen 6 is imaged on the photometric sensor 10 via the photometric optical system. The photometric optical system includes a prism 11, a spectroscopic optical element 12, and a photometric lens 13, and light from the pentaprism 8 is incident on the spectroscopic optical element 12 with the traveling direction changed upward by the prism 11. The diffusing screen 6 and the photometric sensor 10 are optically conjugate, and the light split by the spectroscopic optical element 12 is imaged on the photometric sensor 10 as will be described later.

図2は、測光センサ10の出力に基づく制御を説明する制御ブロック図である。測光光学系100により被写体像が測光センサ10上に結像されると、測光センサ10は、結像された像に応じたセンサ出力をA/D変換器101に出力する。A/D変換器101は、アナログ信号のセンサ出力をデジタル信号に変換する。A/D変換器101によりデジタル値に変換されたセンサ出力は、適切な出力が得られているか測光センサ制御部1021により制御される。   FIG. 2 is a control block diagram illustrating control based on the output of the photometric sensor 10. When the subject image is formed on the photometric sensor 10 by the photometric optical system 100, the photometric sensor 10 outputs a sensor output corresponding to the formed image to the A / D converter 101. The A / D converter 101 converts the sensor output of the analog signal into a digital signal. The sensor output converted to a digital value by the A / D converter 101 is controlled by the photometric sensor control unit 1021 to determine whether an appropriate output is obtained.

測光センサ制御部1021は、A/D変換器101から入力されたセンサ出力が、そのセンサ出力に基づいて行われる制御に適切な出力となっているか否かを判断し、適切な値となるように測光センサをフィードバック制御する。ここでは、センサ出力に基づいて行われる制御として露出制御およびAF(オートフォーカス)制御があり、露出制御時には測光演算処理に適切なセンサ出力となるようにフィードバック制御され、そのような制御により得られたセンサ出力は測光演算処理部1022に入力される。一方、AF制御時には、シーン解析(例えば、人物検出)に適切なセンサ出力となるようにフィードバック制御され、そのような制御により得られたセンサ出力は人物検出処理部1023に入力される。   The photometric sensor control unit 1021 determines whether or not the sensor output input from the A / D converter 101 is an appropriate output for the control performed based on the sensor output, and takes an appropriate value. The photometric sensor is feedback controlled. Here, there are exposure control and AF (autofocus) control as the control performed based on the sensor output, and feedback control is performed so that the sensor output is suitable for the photometric calculation processing at the time of exposure control. The sensor output is input to the photometric calculation processing unit 1022. On the other hand, during AF control, feedback control is performed so that the sensor output is appropriate for scene analysis (for example, person detection), and the sensor output obtained by such control is input to the person detection processing unit 1023.

例えば、測光演算処理部1022で測光演算を行う場合には、被写界の最大輝度が目標レベルの出力となるように蓄積時間とアンプゲインを設定し、測光センサ10をフィードバック制御する。そして、最大輝度が目標レベルとなったならば、センサ出力は測光演算処理部1022へ送られ、そこで測光演算が行われて適切な露出が算出される。その露出演算結果は露出制御部1024へ送られ、露出制御部1024により適正な絞り値やシャッタ速度が設定される。   For example, when the photometry calculation processing unit 1022 performs the photometry calculation, the accumulation time and the amplifier gain are set so that the maximum luminance of the object scene becomes the target level output, and the photometry sensor 10 is feedback-controlled. When the maximum luminance reaches the target level, the sensor output is sent to the photometric calculation processing unit 1022, where photometric calculation is performed to calculate an appropriate exposure. The exposure calculation result is sent to the exposure control unit 1024, and an appropriate aperture value and shutter speed are set by the exposure control unit 1024.

図3はレベル設定を説明するための模式図であり、(a)は測光時を、(b)はシーン解析時を示している。いずれの場合も、左側は調整前、右側は調整後を示す。図3において、横軸は画素位置、縦軸は各画素の出力(輝度値)をそれぞれ表しており、3つの出力P1,P2,P3が図示されている。出力P1は最大輝度を与えるものであり、測光時には、調整後の出力P1のレベルが殆ど飽和に近い目標レベルS1となるように、蓄積時間およびアンプゲインを設定する。   FIGS. 3A and 3B are schematic diagrams for explaining level setting. FIG. 3A shows the time of photometry, and FIG. 3B shows the time of scene analysis. In either case, the left side shows before adjustment and the right side shows after adjustment. In FIG. 3, the horizontal axis represents the pixel position, the vertical axis represents the output (luminance value) of each pixel, and three outputs P1, P2, and P3 are shown. The output P1 gives the maximum luminance, and at the time of photometry, the accumulation time and the amplifier gain are set so that the level of the adjusted output P1 becomes a target level S1 that is almost saturated.

一方、AF制御時において人物検出処理部1023でシーン解析を行う場合には、逆光や輝度差が大きいシーンにおいて被写体の色情報が黒つぶれするのを防ぐために、図3(b)に示すように、破線で示す被写界の平均的輝度が目標レベルS2の出力となるように蓄積時間とアンプゲインを設定し、測光センサ10をフィードバック制御する。このような制御を行うことで、図3(b)のように出力レベルが低い出力P2,P3も調整後には十分大きな出力レベルとなり、色情報を取得することができる。   On the other hand, when scene analysis is performed by the human detection processing unit 1023 during AF control, as shown in FIG. 3B, in order to prevent the color information of the subject from being blacked out in a scene having a large backlight or luminance difference. Then, the accumulation time and the amplifier gain are set so that the average luminance of the object field indicated by the broken line becomes the output of the target level S2, and the photometric sensor 10 is feedback-controlled. By performing such control, the outputs P2 and P3 having low output levels as shown in FIG. 3B also have sufficiently high output levels after adjustment, and color information can be acquired.

図2に戻って、人物検出処理部1023では、センサ出力に基づいて、人物または顔に特有な色相を有する画素を抽出しその画素の連結状態等から人物または顔がある位置を検出する。例えば、人の色相は色相環の0度〜30度に相当するので、そのような色相の画素を検出するようにする。AF制御部1025では、人物検出処理部1023で得られた人物または顔の位置を参考にしてオートフォーカス処理が行われる。   Returning to FIG. 2, the person detection processing unit 1023 extracts pixels having a hue specific to the person or the face based on the sensor output, and detects a position where the person or the face is present from the connection state of the pixels. For example, since the human hue corresponds to 0 to 30 degrees in the hue circle, pixels having such a hue are detected. The AF control unit 1025 performs autofocus processing with reference to the position of the person or face obtained by the person detection processing unit 1023.

図4は、分光光学素子12による分光を説明する図である。図4(a)に示すように、測光センサ10には、光電変換素子がマトリックス状に配列された2次元イメージセンサが用いられる。各光電変換素子には、赤(R)、緑(G)、青(B)の色フィルタがオンチップフィルタとして形成されている。本実施の形態の測光センサでは、R、G、BフィルタがR,B,G,R,B,G,R,…のように周期的に配置された、ストライプタイプの色フィルタが設けられている。Rフィルタが設けられた光電変換素子、Gフィルタが設けられた光電変換素子およびBフィルタが設けられた光電変換素子の三つ一組で、一つの画素が構成されている。   FIG. 4 is a diagram for explaining the spectrum by the spectroscopic optical element 12. As shown in FIG. 4A, the photometric sensor 10 is a two-dimensional image sensor in which photoelectric conversion elements are arranged in a matrix. In each photoelectric conversion element, red (R), green (G), and blue (B) color filters are formed as on-chip filters. In the photometric sensor of the present embodiment, R, G, B filters are provided with stripe type color filters in which R, B, G, R, B, G, R,... Are periodically arranged. Yes. One pixel is composed of a set of photoelectric conversion elements provided with R filters, photoelectric conversion elements provided with G filters, and photoelectric conversion elements provided with B filters.

分光光学素子12には、ブレーズド回折格子が用いられている。本実施の形態では1次の回折光を結像光として利用するため、分光光学素子12は1次光の強度が大きくなるように設定されている。分光光学素子12に白色光Wが入射すると、白色光Wは赤(R)成分光L1R,緑(G)成分光L1G,青(B)成分光L1Bに分光される。なお、R成分光L1R,G成分光L1G,B成分光L1Bは、いずれも1次の回折光である。そして、Rフィルタが設けられた光電変換素子にR成分光L1Rが入射するときには、G成分光L1Gは同一画素のGフィルタが設けられた光電変換素子に入射し、B成分光L1Bは同一画素のBフィルタが設けられた光電変換素子にそれぞれ入射するように設定されている。   For the spectroscopic optical element 12, a blazed diffraction grating is used. In the present embodiment, since the first-order diffracted light is used as the imaging light, the spectroscopic optical element 12 is set so that the intensity of the first-order light is increased. When the white light W enters the spectroscopic optical element 12, the white light W is split into red (R) component light L1R, green (G) component light L1G, and blue (B) component light L1B. The R component light L1R, the G component light L1G, and the B component light L1B are all first-order diffracted light. When the R component light L1R enters the photoelectric conversion element provided with the R filter, the G component light L1G enters the photoelectric conversion element provided with the G filter of the same pixel, and the B component light L1B Each is set so as to be incident on a photoelectric conversion element provided with a B filter.

分光光学素子12は1次の回折光が効率よく生じるように設計されているが、1次光以外の次数の回折光の発生を全くゼロにするのは難しく、図4(b)に示すように0次光や2次光も発生する。図4(b)に示す例では、1次光L1R,L1G,L1Bが入射する画素を0番目の画素とすると、右側の2番目の画素に0次光L0R,L0Bが入射しており、左側の2番目の画素(−2と表記する)には2次光L2Bが入射している。R成分の0次光L0Rの強度は、B成分の0次光L0Bに比べて数倍の大きさになっている。このような回折光の分離状態は分光光学素子12の分光特性によってそれぞれ異なる。   Although the spectroscopic optical element 12 is designed so that the first-order diffracted light is efficiently generated, it is difficult to completely generate diffracted light of orders other than the first-order light, as shown in FIG. 4B. In addition, zero-order light and secondary light are also generated. In the example shown in FIG. 4B, if the pixel on which the primary light L1R, L1G, and L1B is incident is the 0th pixel, the 0th order light L0R and L0B is incident on the second pixel on the right side, and the left side The second light L2B is incident on the second pixel (denoted as -2). The intensity of the 0th-order light L0R of the R component is several times larger than that of the 0th-order light L0B of the B component. Such a diffracted light separation state varies depending on the spectral characteristics of the spectroscopic optical element 12.

図4(b)に示す0次光および2次光は、フレアー成分となる不要光である。フレアー成分となるR,G,B成分は、分光光学系や測光センサの分光感度特性により、差を持って出力されることとなる。また、これらのフレアー成分は、1次光の出力レベルに比例して大きくなる。結像光である1次光に対する不要光(0次光および2次光)の発生する位置や、1次光に対する0次光および2次光の相対強度は分光光学系の設計によって決まるので、分光光学素子12の分光特性と測光センサ10の出力とに基づいて従来と同様のデジタルフィルタ処理を行うことにより、0次光成分、2次光成分の影響を低減するように補正することが可能である。   The 0th-order light and the secondary light shown in FIG. 4B are unnecessary lights that become flare components. The R, G, and B components that are flare components are output with a difference depending on the spectral sensitivity characteristics of the spectroscopic optical system and the photometric sensor. These flare components increase in proportion to the output level of the primary light. Since the position where unnecessary light (0th order light and secondary light) is generated with respect to the primary light that is the imaging light, and the relative intensity of the 0th order light and secondary light with respect to the primary light are determined by the design of the spectroscopic optical system By performing digital filter processing similar to the conventional one based on the spectral characteristics of the spectroscopic optical element 12 and the output of the photometric sensor 10, it is possible to correct so as to reduce the influence of the zero-order light component and the secondary light component. It is.

測光を行う場合には、図3(a)に示したように最大輝度が所定目標レベルとなるように測光センサ10の蓄積時間およびアンプゲインを制御するため、最大輝度となる出力が飽和するようなことはない。そのため、この場合には、従来のデジタルフィルタ処理による補正を有効に行うことができる。   When performing photometry, the accumulation time and the amplifier gain of the photometry sensor 10 are controlled so that the maximum luminance becomes a predetermined target level as shown in FIG. There is nothing wrong. Therefore, in this case, correction by the conventional digital filter processing can be performed effectively.

しかし、シーン解析を行う場合には、色情報を取得するために図3(b)で示すような蓄積時間およびアンプゲインの設定が行われる。そのため、輝度値の大きな画素に関しては出力P1のように画素の出力値が飽和することになり、その画素に入射している1次光の値を推定することができず、その一次光に対する0次光および2次光も算出できないことになる。   However, when scene analysis is performed, accumulation time and amplifier gain are set as shown in FIG. 3B in order to acquire color information. Therefore, for a pixel with a large luminance value, the output value of the pixel is saturated like the output P1, the value of the primary light incident on the pixel cannot be estimated, and 0 for the primary light. The secondary light and the secondary light cannot be calculated.

例えば、被写界に図3(b)の出力P1で示すような高輝度な被写体があると、出力P1が1次光であるならば、調整後の出力P1の場合と同様に、その出力P1に関するフレアー成分(0次光、2次光)も調整後には大きくなる。特に、フレアー成分が入射する画素の輝度が比較的低い場合には、その画素における結像光(1次光)の強度に対してフレアー成分の強度が無視できなくなり、その画素の色相に大きく影響するようになる。   For example, if there is a subject with high brightness as shown by the output P1 in FIG. 3B in the field, if the output P1 is primary light, the output is the same as in the case of the adjusted output P1. The flare component related to P1 (0th order light, second order light) also increases after adjustment. In particular, when the luminance of a pixel on which a flare component is incident is relatively low, the intensity of the flare component cannot be ignored with respect to the intensity of the imaging light (primary light) at that pixel, which greatly affects the hue of the pixel. Will come to do.

図5は、そのような場合の一例を示したものである。測光センサ10の検出領域には、人物200と高輝度被写体である照明201とが共存している。人物200の顔が含まれる9(=3×3)つの画素から成る画素領域203では、色相環の0〜30度内の色相が色情報として取得される。照明201が撮像されている画素の右側の画素領域202において、R成分のフレアー成分(0次光)が検出されている。   FIG. 5 shows an example of such a case. In the detection area of the photometric sensor 10, the person 200 and the illumination 201, which is a high-luminance subject, coexist. In a pixel region 203 composed of 9 (= 3 × 3) pixels including the face of the person 200, a hue within 0 to 30 degrees of the hue circle is acquired as color information. An R component flare component (0th order light) is detected in the pixel region 202 on the right side of the pixel in which the illumination 201 is imaged.

そして、画素領域202と照明201の領域との輝度差が大きいと、画素領域202で検出される光はR成分の割合が大きくなり、画素領域202を顔領域として誤検出するおそれがある。そのため、後述するように、本実施の形態では、マスク処理によって図5の画素領域202を除き、画素領域202を除いた残りの領域において顔検出を行うようにした。   If the luminance difference between the pixel region 202 and the illumination 201 is large, the ratio of the R component of the light detected in the pixel region 202 increases, and there is a possibility that the pixel region 202 is erroneously detected as a face region. Therefore, as will be described later, in this embodiment, face detection is performed in the remaining area excluding the pixel area 202 by excluding the pixel area 202 in FIG. 5 by mask processing.

図6は撮像処理の流れを説明するフローチャートである。CPU102は、レリーズボタンが半押しされると図6のフローチャートで示すプログラムを起動する。ステップS11ではレリーズボタンが半押し状態か否かを判定し、YESと判定されるとステップS12へ進み、NOと判定されるとステップS24へ進む。ステップS11でNOと判定されてステップS24へ進んだ場合には、ステップS24において、レリーズボタンの半押し操作で計時スタートした半押しタイマがタイムアップしたか否かを判定する。タイムアップしたと判定されると撮像動作を終了し、そうでない場合にはステップS11へ戻る。   FIG. 6 is a flowchart for explaining the flow of the imaging process. When the release button is half-pressed, the CPU 102 activates the program shown in the flowchart of FIG. In step S11, it is determined whether or not the release button is half-pressed. If YES is determined, the process proceeds to step S12, and if NO is determined, the process proceeds to step S24. If it is determined NO in step S11 and the process proceeds to step S24, it is determined in step S24 whether or not the half-press timer that has started timing by the half-press operation of the release button has timed out. If it is determined that the time is up, the imaging operation is terminated. If not, the process returns to step S11.

一方、ステップS11でYESと判定されてステップS12に進んだ場合には、図7に示すような測光処理を行う。図7は測光処理の詳細を示すフローチャートであり、ステップS101では測光センサ10の蓄積と読み出しの制御を行う。ステップS102では、測光センサ10の最大値出力が、すなわち図3(a)の出力P1が所定目標レベルS1に達しているか否かを判定する。   On the other hand, if it is determined as YES in step S11 and the process proceeds to step S12, photometric processing as shown in FIG. 7 is performed. FIG. 7 is a flowchart showing the details of the photometric process. In step S101, the storage and readout of the photometric sensor 10 are controlled. In step S102, it is determined whether or not the maximum value output of the photometric sensor 10, that is, the output P1 in FIG. 3A has reached the predetermined target level S1.

ステップS102で所定目標レベルS1に達していないと判定されるとステップS101へ戻り、センサ出力が増加するように蓄積時間とアンプゲインを再設定し、再び蓄積と読み出しを行う。このような制御を繰り返すことで、最大値出力P1が図3(a)の調整後のように所定目標レベルS1に達したならば、ステップS102でYESと判定されてステップS103へと進む。ステップS103では測光演算処理を行い、測光センサ10の出力に基づいて算出される被写界の輝度から、露出が適正となる測光値を算出する。ステップS103の処理が終了したならば、図6のステップS13に進む。   If it is determined in step S102 that the predetermined target level S1 has not been reached, the process returns to step S101, the accumulation time and the amplifier gain are reset so that the sensor output increases, and accumulation and readout are performed again. By repeating such control, if the maximum value output P1 reaches the predetermined target level S1 after the adjustment in FIG. 3A, YES is determined in step S102 and the process proceeds to step S103. In step S103, photometric calculation processing is performed, and a photometric value at which exposure is appropriate is calculated from the luminance of the object scene calculated based on the output of the photometric sensor 10. If the process of step S103 is completed, the process proceeds to step S13 of FIG.

ステップS13では、AF処理の際に人物をAFエリアとして自動選択するモードか否かを判定する。カメラは人物自動選択モードの他にも複数種類のAFモードを有しており、予め人物自動選択モードに設定されていると、ステップS13でYESと判定されてステップS14へと進む。他のモードに設定されている場合には、ステップS16へと進む。   In step S13, it is determined whether or not the mode is a mode for automatically selecting a person as an AF area during AF processing. The camera has a plurality of types of AF modes in addition to the automatic person selection mode. If the automatic person selection mode is set in advance, the camera determines YES in step S13 and proceeds to step S14. If another mode is set, the process proceeds to step S16.

人物自動選択モードに設定されていてステップS14に進んだ場合には、図8に示す人物検出処理が実行される。図8は人物検出処理の一例を示すフローチャートであり、ステップS201ではシーン認識のための蓄積と読出しを行う。すなわち、図3(b)に示すように出力平均値が飽和レベルの60〜70%程度となるように、蓄積時間およびアンプゲインを設定する。この蓄積時間およびアンプゲインは、ステップS12の測光処理時の蓄積時間とセンサ出力の線形性に基づいて設定される。   If the automatic human selection mode is set and the process proceeds to step S14, the human detection process shown in FIG. 8 is executed. FIG. 8 is a flowchart showing an example of person detection processing. In step S201, accumulation and readout for scene recognition are performed. That is, as shown in FIG. 3B, the accumulation time and the amplifier gain are set so that the output average value is about 60 to 70% of the saturation level. The accumulation time and the amplifier gain are set based on the accumulation time and the sensor output linearity during the photometric processing in step S12.

ステップS202では、フレアー領域を除去するためのフレアーマスクを生成する。図9は、フレアーマスク生成処理の一例を示すフローチャートである。上述したように、ステップS201の蓄積・読み出し処理においては、図3(b)に示すように蓄積時間及びアンプゲインが設定されるため、高輝度領域に関するフレアー成分が顕著になって人物検出における誤検出の要因となる。   In step S202, a flare mask for removing the flare area is generated. FIG. 9 is a flowchart illustrating an example of the flare mask generation process. As described above, in the accumulation / read-out process in step S201, the accumulation time and the amplifier gain are set as shown in FIG. It becomes a factor of detection.

図10はフレアーマスク生成処理を説明する図であり、図10(a)に示すような高輝度被写体(例えば、蛍光灯照明)301〜304が被写界にある場合を示す。図10(b)のハッチングを施した領域310は、高輝度被写体301〜304に対応して発生したフレアー成分の影響を受ける画素領域を表している。フレアー成分の影響は、高輝度領域301〜304とフレアー成分が入射する領域との間の輝度差が大きいほど大きくなる。領域310は、高輝度領域301〜304との輝度差が大きく、フレアー成分の影響が顕著となる領域である。   FIG. 10 is a diagram for explaining the flare mask generation processing, and shows a case where high-luminance subjects (for example, fluorescent lamp illumination) 301 to 304 as shown in FIG. A hatched area 310 in FIG. 10B represents a pixel area affected by a flare component generated corresponding to the high brightness subjects 301 to 304. The influence of the flare component increases as the luminance difference between the high luminance regions 301 to 304 and the region where the flare component is incident increases. The area 310 is an area where the luminance difference with the high luminance areas 301 to 304 is large and the influence of the flare component becomes significant.

図9に示すフレアーマスク生成処理では、この領域310を除去するマスクを生成する。フレアー成分の発生の仕方は分光光学素子12の分光特性により異なるが、ここでは、図4(b)に示すような分光特性を仮定し、図10(b)に示すように高輝度領域301〜304の右側にR成分のフレアーが発生する場合を例に説明する。   In the flare mask generation process shown in FIG. 9, a mask for removing this region 310 is generated. The method of generating the flare component differs depending on the spectral characteristics of the spectroscopic optical element 12, but here, assuming the spectral characteristics as shown in FIG. 4B, the high-luminance regions 301 to 1001 as shown in FIG. A case where an R component flare occurs on the right side of 304 will be described as an example.

なお、図10の矩形枠は測光センサ10の撮像領域を示しており、測光領域には画素がマトリックス状に配列されている。矩形枠の左上端から右方向に1,2,3,…と列番号iを設定し、左上端から下方向に1,2,3,…と行番号jを設定する。各画素の位置は[i、j]のように表すことができる。   Note that the rectangular frame in FIG. 10 indicates the imaging area of the photometric sensor 10, and pixels are arranged in a matrix in the photometric area. The column number i is set in the right direction from the upper left end of the rectangular frame, and the row number j is set in the lower direction from the upper left end. The position of each pixel can be expressed as [i, j].

図9のステップS301では、行番号jを1に設定し、続くステップS302において列番号iを1に設定する。ステップS303では、左側の画素[i−1、j]と注目している画素[i、j]との出力差を算出し、その値が所定値STrよりも大きいか否かを判定する。所定値としては、誤検出が問題となる場合の輝度差(=Y(i-1,j)−Y(i,j))を用いれば良い。ここでは、出力差として輝度値の差(輝度差)を用いるが、本実施の形態のようにR成分の影響を取り除く場合には輝度差の代わりにR成分(R画素の出力)の差を用いても良い。   In step S301 in FIG. 9, the row number j is set to 1, and in the subsequent step S302, the column number i is set to 1. In step S303, an output difference between the left pixel [i-1, j] and the focused pixel [i, j] is calculated, and it is determined whether the value is larger than a predetermined value STr. As the predetermined value, a luminance difference (= Y (i−1, j) −Y (i, j)) when erroneous detection is a problem may be used. Here, the difference in luminance value (luminance difference) is used as the output difference. However, when the influence of the R component is removed as in this embodiment, the difference between the R component (output of the R pixel) is used instead of the luminance difference. It may be used.

ステップ303において「輝度差>STr」と判定されるとステップS304に進み、ステップS304において、注目している画素[i,j]のマスク[i,j]を1とするとともに、その右側に位置する画素[i+1,j]のマスク[i+1,j]および画素[i+2,j]のマスク[i+2,j]も1に設定する。ここでは、高輝度画素の右側3画素までフレアー成分の影響が出るものとして、3画素分のマスクを1に設定するようにしている。   If it is determined in step 303 that “luminance difference> STr”, the process proceeds to step S304. In step S304, the mask [i, j] of the pixel of interest [i, j] is set to 1, and the position on the right side thereof is set. The mask [i + 1, j] of the pixel [i + 1, j] and the mask [i + 2, j] of the pixel [i + 2, j] are also set to 1. Here, the mask for three pixels is set to 1 on the assumption that the flare component affects up to the right three pixels of the high luminance pixel.

一方、ステップ303において「輝度差≦STr」と判定されてステップS305に進んだ場合には、ステップS305において注目している画素[i,j]のマスク[i,j]が「≠1」か「=1」かを判定する。ステップS305で「マスク[i,j]=1」と判定されるとステップS307へ進み、「マスク[i,j]≠1」と判定されるとステップS306に進んで「マスク[i,j]=0」と設定する。ステップS306の処理が終了したら、ステップS307へ進む。   On the other hand, if it is determined in step 303 that “luminance difference ≦ STr” and the process proceeds to step S305, whether or not the mask [i, j] of the pixel [i, j] of interest in step S305 is “≠ 1”. It is determined whether “= 1”. If “mask [i, j] = 1” is determined in step S305, the process proceeds to step S307, and if “mask [i, j] ≠ 1” is determined, the process proceeds to step S306 and “mask [i, j] is determined. = 0 ". When the process of step S306 ends, the process proceeds to step S307.

ステップS307では、列番号iが右端の列番号Hであるか否かを判定する。ステップS307でYESと判定されるとステップS309へ進み、NOと判定された場合にはステップS308へ進んで列番号iをインクリメントした後にステップS303へ戻る。ステップS309では、行番号jが下端の行番号であるか否かを判定する。ステップS309でNOと判定された場合には、ステップS310へ進んで行番号jをインクリメントした後にステップS302へ戻る。一方、ステップS309でYESと判定された場合には、全ての画素領域に関してマスク生成が終了したことになり、図8のステップS203へ進む。図10(c)は生成されたフレアーマスクFMを示す図である。   In step S307, it is determined whether the column number i is the rightmost column number H or not. If YES is determined in the step S307, the process proceeds to a step S309. If NO is determined, the process proceeds to the step S308, the column number i is incremented, and the process returns to the step S303. In step S309, it is determined whether or not the line number j is the lowermost line number. If NO is determined in step S309, the process proceeds to step S310 to increment the line number j and then returns to step S302. On the other hand, if “YES” is determined in the step S309, the mask generation is completed for all the pixel regions, and the process proceeds to the step S203 in FIG. FIG. 10C shows the generated flare mask FM.

高輝度被写体ではなくて1次光が飽和していない場合には、その出力値を利用してフレアー成分である0次光および2次光を除去できる。そこで、図8のステップS203では、飽和していない1次光に関するフレアー成分の除去を、従来と同様のデジタルフィルタ処理にて行う。図10(a)に示す画像の場合、高輝度領域301〜304では、図3(b)の右側の出力P1のように出力が飽和しているので、全てのフレアー成分をデジタルフィルタ処理で除去することができず、フレアー成分が残った画像となる。   If the primary light is not saturated because it is not a high-luminance subject, the 0th-order light and the secondary light, which are flare components, can be removed using the output value. Therefore, in step S203 of FIG. 8, the flare component relating to the unsaturated primary light is removed by the digital filter processing similar to the conventional one. In the case of the image shown in FIG. 10A, in the high luminance regions 301 to 304, since the output is saturated like the output P1 on the right side of FIG. 3B, all flare components are removed by digital filter processing. The image with the flare component remaining cannot be obtained.

次いで、ステップS204でフレアー補正した画像に基づいて測光センサ出力に対するオートホワイトバランス処理を行い、ステップS205でRGB画像から色相に変換を行う。その結果、画素毎に色情報(色相)を取得することができる。しかし、図10(b)の斜線を施した画素領域310では、フレアー成分(R成分)の影響を受けて人物の顔と同じような色相となっている。   Next, an auto white balance process is performed on the photometric sensor output based on the image subjected to flare correction in step S204, and an RGB image is converted to a hue in step S205. As a result, color information (hue) can be acquired for each pixel. However, the shaded pixel region 310 in FIG. 10B has a hue similar to that of a human face due to the influence of the flare component (R component).

そのため、ステップS206における色情報に基づく人物抽出処理では、ステップS202で生成したフレアーマスクFMに基づき、図10(c)のマスク=1の領域を除外したマスク=0の画素領域内で人物グループの抽出を行う。具体的には、色相が人物と思われる約0〜30度の範囲の領域の抽出を行い、さらに、抽出された領域を人物と思われる色相の形状や連結成分ごとに分類しグループ化する。   Therefore, in the person extraction process based on the color information in step S206, based on the flare mask FM generated in step S202, the person group in the pixel area of mask = 0 excluding the area of mask = 1 in FIG. Perform extraction. Specifically, an area in the range of about 0 to 30 degrees in which the hue is considered to be a person is extracted, and the extracted area is further classified and grouped for each hue shape and connected component that seems to be a person.

ステップS207では、グループ化された領域について人物と思われる領域の判定を行う。例えば、レンズ光学系1の焦点距離に基づいて撮像素子15上に結像される人物の顔の大きさを推定し、その大きさとグループ化された領域の大きさとを比較することで人物か否かの判定を行う。ステップS208では、類似色相の出現頻度やレンズの周辺光量落ちによる影響などを加味し、人物検出結果の信頼性評価を行う。AF処理の際のAFエリア決定に人物検出結果を利用する際には、この信頼性評価値を加味してAFエリア選択を行う。   In step S207, an area that seems to be a person is determined for the grouped area. For example, the size of a person's face imaged on the image sensor 15 is estimated based on the focal length of the lens optical system 1, and the size is compared with the size of the grouped region to determine whether the person is a person. Judgment is made. In step S208, the reliability of the person detection result is evaluated in consideration of the appearance frequency of similar hues and the influence of a decrease in the amount of light around the lens. When the person detection result is used for AF area determination in the AF process, the AF area selection is performed in consideration of the reliability evaluation value.

ステップS208の処理が終了したならば、図6のステップS15へ進む。ステップS15では、ステップS14で抽出された人物位置をAFエリアの候補位置とするAFエリア情報をAF制御部1025へ送信する。そして、ステップS16へ進んで、AF制御部1025おいて、AFエリア情報に基づくオートフォーカス処理が行われる。その結果、人物に顔にピントが合うようなAF処理が行われる。一方、ステップS13でNOと判定されてステップS16に進んだ場合には、ユーザによって選択されたAFモードに基づいてAF処理が行われる。   If the process of step S208 is completed, the process proceeds to step S15 of FIG. In step S15, AF area information with the person position extracted in step S14 as the AF area candidate position is transmitted to the AF control unit 1025. In step S16, the AF control unit 1025 performs autofocus processing based on the AF area information. As a result, AF processing is performed to bring the person into focus on the face. On the other hand, if NO is determined in step S13 and the process proceeds to step S16, AF processing is performed based on the AF mode selected by the user.

ステップS17では、レリーズボタンの全押し操作が行われたか否かを判定する。ステップS17でYESと判定されるとステップS18へ進み、一方、NOと判定されるとステップS11へ戻る。ステップS18からステップS23までの一連の処理は、デジタルカメラにおける通常の露光動作である。すなわち、ステップS18で、クイッククリターンミラー3およびサブミラー4を図1の実線で示す位置まで移動するミラーアップ動作を行い、ステップS19において撮像素子15の初期化(電荷排出等)を行う。ステップS20では撮像素子15に撮影用の電荷蓄積および蓄積電荷の掃き出しを行わせ、ステップS21ではクイッククリターンミラー3およびサブミラー4を図1の破線の位置へ戻すミラーダウン動作を行う。ステップS22では、撮像素子15の出力信号に所定の画像処理を行う。そして、ステップS23において画像データを不図示の記憶媒体に記録し、一連の撮像処理を終了する。   In step S17, it is determined whether or not the release button has been fully pressed. If YES is determined in the step S17, the process proceeds to a step S18. If NO is determined, the process returns to the step S11. A series of processing from step S18 to step S23 is a normal exposure operation in the digital camera. That is, in step S18, a mirror up operation for moving the quick return mirror 3 and the sub mirror 4 to the position indicated by the solid line in FIG. 1 is performed, and in step S19, the image sensor 15 is initialized (charge discharge or the like). In step S20, the image pickup device 15 causes the image pickup device 15 to store electric charges and sweep out the accumulated electric charges. In step S21, a mirror-down operation is performed to return the quick return mirror 3 and the sub mirror 4 to the positions indicated by broken lines in FIG. In step S22, predetermined image processing is performed on the output signal of the image sensor 15. In step S23, the image data is recorded in a storage medium (not shown), and a series of imaging processing ends.

上述したように、本実施の形態では、フレアーマスクFMを生成してフレアー成分の影響が大きい領域を人物検出領域から除外することにようにした。その結果、照明のような高輝度被写体があってフレアー成分の影響が顕著な場合でも、フレアー成分による人物誤検出が低減される。なお、上述した実施の形態では、高輝度画素の右側3画素をマスクする領域としたが、フレアー成分が高輝度画素に対してどの位置に発生するかは、分光光学素子12の分光特性に応じて設定される。   As described above, in the present embodiment, the flare mask FM is generated, and the region where the influence of the flare component is large is excluded from the person detection region. As a result, even when there is a high-luminance subject such as illumination and the influence of the flare component is significant, the erroneous detection of a person due to the flare component is reduced. In the above-described embodiment, the right three pixels of the high luminance pixel are masked. However, the position where the flare component is generated with respect to the high luminance pixel depends on the spectral characteristics of the spectroscopic optical element 12. Is set.

また、図9のフレアーマスク生成処理においては、画素領域を左側から右側へとスキャンしてマスク演算を行ったが、高輝度画素に対してフレアー成分がどの方向に発生するかに依存している。例えば、高輝度画素に対して下側にフレアー成分が発生する場合には、上側から下側へとスキャンしながらマスク演算を行うことで、効率的に演算を行うことができる。   Further, in the flare mask generation processing of FIG. 9, the pixel region is scanned from the left side to the right side, and the mask calculation is performed. However, depending on the direction in which the flare component is generated with respect to the high luminance pixel. . For example, when a flare component is generated on the lower side of a high-luminance pixel, the calculation can be performed efficiently by performing a mask operation while scanning from the upper side to the lower side.

さらにまた、本実施の形態では人物検出を行うようにしているため、人物と類似色相であるフレアー成分の内のR成分についてフレアーマスクを生成したが、他の物体検出を行う場合には、誤検出を引き起こしやすい色成分に関してフレーマスクを形成する。例えば、緑色の物体を検出する場合には、フレアー成分の内のG成分に基づいてフレアーマスクを生成すれば良い。なお、以上の説明はあくまでも一例であり、本発明の特徴を損なわない限り、本発明は上記実施の形態に何ら限定されるものではない。   Furthermore, since the person detection is performed in the present embodiment, the flare mask is generated for the R component of the flare component having a hue similar to that of the person. However, if another object is detected, an error occurs. A frame mask is formed for color components that are likely to cause detection. For example, when detecting a green object, a flare mask may be generated based on the G component of the flare components. In addition, the above description is an example to the last, and this invention is not limited to the said embodiment at all unless the characteristic of this invention is impaired.

本発明による撮像装置の一実施の形態を示す図であり、デジタルスチルカメラの概略構成を示す図である。1 is a diagram illustrating an embodiment of an imaging apparatus according to the present invention, and is a diagram illustrating a schematic configuration of a digital still camera. 測光センサ10の出力に基づく制御を説明する制御ブロック図である。2 is a control block diagram illustrating control based on the output of the photometric sensor 10. FIG. レベル設定を説明するための模式図であり、(a)は測光時を示し、(b)はシーン解析時を示す。It is a schematic diagram for demonstrating level setting, (a) shows the time of photometry, (b) shows the time of scene analysis. 分光光学素子12による分光を説明する図であり、(a)は測光センサ10に入射する1次光を示す図であり、(b)は1次光に対する0次光および2次光の位置を説明する図である。It is a figure explaining the spectroscopy by the spectroscopic optical element 12, (a) is a figure which shows the primary light which injects into the photometry sensor 10, (b) is the position of the 0th order light and secondary light with respect to primary light. It is a figure explaining. 照明201によるフレアー成分の発生する画素領域202を示す図である。It is a figure which shows the pixel area | region 202 where the flare component by illumination 201 generate | occur | produces. 撮像処理を説明するフローチャートである。It is a flowchart explaining an imaging process. 測光処理の詳細を示すフローチャートである。It is a flowchart which shows the detail of a photometry process. 人物検出処理の詳細を示すフローチャートである。It is a flowchart which shows the detail of a person detection process. フレアーマスク生成処理の詳細を示すフローチャートである。It is a flowchart which shows the detail of a flare mask production | generation process. フレアーマスク生成処理を説明する図であり、(a)は高輝度被写体301〜304を示す図、(b)はフレアー成分の影響を受ける画素領域310を示す図、(c)はフレアーマスクFMを示す図である。It is a figure explaining a flare mask production | generation process, (a) is a figure which shows the high-intensity subjects 301-304, (b) is a figure which shows the pixel area 310 influenced by a flare component, (c) is flare mask FM. FIG.

符号の説明Explanation of symbols

1:レンズ光学系、2:絞り、3:クイッククリターンミラー、5:測距素子、12:分光光学素子、10:測光センサ、15:撮像素子、100:測光光学系、102:CPU、1021:測光センサ制御部、1022:測光演算処理部、1023:人物検出処理部、1024:露出処理部、1025:AF制御部、202:フレアー成分が入射する画素領域、FM:フレアーマスク   1: Lens optical system, 2: Aperture, 3: Quick quick mirror, 5: Distance measuring element, 12: Spectral optical element, 10: Photometric sensor, 15: Image sensor, 100: Photometric optical system, 102: CPU, 1021 : Photometric sensor control unit, 1022: photometry calculation processing unit, 1023: person detection processing unit, 1024: exposure processing unit, 1025: AF control unit, 202: pixel area where flare component is incident, FM: flare mask

Claims (8)

複数色の色フィルタを有する光電変換素子と、
被写体光を分光し、前記色フィルタに対応する光成分を前記光電変換素子の画素単位で結像させて偽色を補正する分光光学系と、
前記光電変換素子の出力が飽和している画素の位置および前記分光光学系の光学特性に基づいて、前記光電変換素子の出力による画像データをデジタルフィルタ処理することにより、前記分光光学系で分光された光に含まれる不要光成分の影響を除去する補正手段と、
前記補正手段により補正された画像データの少なくとも色情報に基づいて、被写界の所定対象物の位置を検出する対象検出手段とを備えたことを特徴とする撮像装置。
A photoelectric conversion element having a plurality of color filters;
A spectroscopic optical system that divides subject light and corrects a false color by forming a light component corresponding to the color filter in a pixel unit of the photoelectric conversion element;
Based on the position of the pixel where the output of the photoelectric conversion element is saturated and the optical characteristics of the spectral optical system, the image data by the output of the photoelectric conversion element is subjected to digital filter processing, thereby being spectrally separated by the spectral optical system. Correction means for removing the influence of unnecessary light components contained in the light,
An image pickup apparatus comprising: object detection means for detecting a position of a predetermined object in the object scene based on at least color information of the image data corrected by the correction means.
請求項1に記載の撮像装置において、
前記補正手段は、前記分光光学系の光学特性の影響の度合いに応じた重み付けを前記光電変換素子の画素単位で行うことで、前記不要光成分の影響を除去することを特徴とする撮像装置。
The imaging device according to claim 1,
The image pickup apparatus according to claim 1, wherein the correction unit removes the influence of the unnecessary light component by performing weighting according to the degree of influence of the optical characteristic of the spectroscopic optical system for each pixel of the photoelectric conversion element.
請求項1に記載の撮像装置において、
前記補正手段は、前記出力が飽和している画素の位置および前記分光光学系の光学特性に基づいて不要光成分入射画素領域を算出し、該不要光成分入射画素領域を前記対象検出手段の検出領域から除外することを特徴とする撮像装置。
The imaging device according to claim 1,
The correction unit calculates an unnecessary light component incident pixel region based on a pixel position where the output is saturated and an optical characteristic of the spectroscopic optical system, and detects the unnecessary light component incident pixel region by the target detection unit. An imaging device, characterized by being excluded from the region.
請求項1に記載の撮像装置において、
前記分光光学系に回折光学素子を設けて1次回折光を撮像光として使用し、
前記補正手段は、前記1次回折光に対する0次光成分の方向に隣り合う2つの画素の出力差を算出し、その出力差が所定値以上の場合に、前記0次光成分方向に位置する所定数の画素位置を前記対象検出手段の検出領域から除外することを特徴とする撮像装置。
The imaging device according to claim 1,
A diffractive optical element is provided in the spectroscopic optical system, and first-order diffracted light is used as imaging light.
The correction means calculates an output difference between two pixels adjacent to the first-order diffracted light in the direction of the zero-order light component, and when the output difference is equal to or greater than a predetermined value, the correction means is located in the predetermined direction of the zero-order light component. An image pickup apparatus that excludes a number of pixel positions from a detection region of the target detection means.
請求項1〜4のいずれか一項に記載の撮像装置において、
前記光電変換素子の出力に基づいて被写界の輝度を検出する測光手段をさらに備えたことを特徴とする撮像装置。
In the imaging device according to any one of claims 1 to 4,
An imaging apparatus, further comprising photometric means for detecting the luminance of the object scene based on the output of the photoelectric conversion element.
請求項1〜5のいずれか一項に記載の撮像装置において、
前記対象検出手段は被写界の人物または顔の位置を検出し、
前記対象検出手段によって検出された人物または顔の位置に基づいて、焦点検出制御を行う焦点検出手段を備えたことを特徴とする撮像装置。
In the imaging device according to any one of claims 1 to 5,
The object detection means detects the position of a person or face in the scene,
An imaging apparatus comprising: a focus detection unit that performs focus detection control based on a position of a person or a face detected by the target detection unit.
請求項6に記載の撮像装置において、
前記光電変換素子はRGBフィルタを有し、
前記補正手段は、Rフィルタを通過するR光成分に関する不要光成分の影響を除去することを特徴とする撮像装置。
The imaging device according to claim 6,
The photoelectric conversion element has an RGB filter,
The image pickup apparatus, wherein the correction unit removes an influence of an unnecessary light component related to an R light component passing through an R filter.
複数色の色フィルタを有する光電変換素子と、
被写体光を分光し、前記色フィルタに対応する光成分を前記光電変換素子の画素単位で結像させて偽色を補正する分光光学系と、
前記光電変換素子の出力が飽和している画素の位置および前記分光光学系の光学特性に基づいて不要光成分入射画素領域を算出し、該不要光成分入射画素領域を除外することで不要光成分の影響が除去された画像データを生成する生成手段とを備えたことを特徴とする撮像装置。
A photoelectric conversion element having a plurality of color filters;
A spectroscopic optical system that divides subject light and corrects a false color by forming a light component corresponding to the color filter in a pixel unit of the photoelectric conversion element;
The unnecessary light component incident pixel region is calculated based on the position of the pixel where the output of the photoelectric conversion element is saturated and the optical characteristics of the spectroscopic optical system, and the unnecessary light component incident pixel region is excluded to eliminate the unnecessary light component An image pickup apparatus comprising: a generation unit that generates image data from which the influence of the above is removed.
JP2007198983A 2007-07-31 2007-07-31 Imaging device Expired - Fee Related JP5104104B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007198983A JP5104104B2 (en) 2007-07-31 2007-07-31 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007198983A JP5104104B2 (en) 2007-07-31 2007-07-31 Imaging device

Publications (2)

Publication Number Publication Date
JP2009038458A true JP2009038458A (en) 2009-02-19
JP5104104B2 JP5104104B2 (en) 2012-12-19

Family

ID=40440029

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007198983A Expired - Fee Related JP5104104B2 (en) 2007-07-31 2007-07-31 Imaging device

Country Status (1)

Country Link
JP (1) JP5104104B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012141549A (en) * 2011-01-06 2012-07-26 Nikon Corp Imaging device
JP2015126254A (en) * 2013-12-25 2015-07-06 株式会社ニコン Image reproduction apparatus and imaging apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02224456A (en) * 1989-02-25 1990-09-06 Canon Inc Color picture reader
JP2005136917A (en) * 2003-10-31 2005-05-26 Canon Inc Image processing method, image processing apparatus, image processing program and image-taking system
JP2006054679A (en) * 2004-08-11 2006-02-23 Casio Comput Co Ltd White balance device and program thereof
JP2007065290A (en) * 2005-08-31 2007-03-15 Nikon Corp Automatic focusing device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02224456A (en) * 1989-02-25 1990-09-06 Canon Inc Color picture reader
JP2005136917A (en) * 2003-10-31 2005-05-26 Canon Inc Image processing method, image processing apparatus, image processing program and image-taking system
JP2006054679A (en) * 2004-08-11 2006-02-23 Casio Comput Co Ltd White balance device and program thereof
JP2007065290A (en) * 2005-08-31 2007-03-15 Nikon Corp Automatic focusing device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012141549A (en) * 2011-01-06 2012-07-26 Nikon Corp Imaging device
JP2015126254A (en) * 2013-12-25 2015-07-06 株式会社ニコン Image reproduction apparatus and imaging apparatus

Also Published As

Publication number Publication date
JP5104104B2 (en) 2012-12-19

Similar Documents

Publication Publication Date Title
TWI462055B (en) Cfa image with synthetic panchromatic image
US9615030B2 (en) Luminance source selection in a multi-lens camera
US9635275B2 (en) Flash system for multi-aperture imaging
US8289441B2 (en) Imaging apparatus and imaging control method
RU2585235C2 (en) Image capture devices
JP4574022B2 (en) Imaging apparatus and shading correction method
US9137450B2 (en) Image sensing apparatus, exposure control method and recording medium
EP2605511B1 (en) Image capturing apparatus and focus detection method
JP4992481B2 (en) Focus detection apparatus and imaging apparatus
JP2009059326A (en) Imaging apparatus
WO2012093551A1 (en) Image capture apparatus
JP5475393B2 (en) Imaging system and correction method
JP2012120132A (en) Imaging apparatus and program
JP6478670B2 (en) Image processing apparatus and control method thereof
CN109729244B (en) Image pickup apparatus, focus detection method, and storage medium
US20110018993A1 (en) Ranging apparatus using split complementary color filters
JP6336337B2 (en) Imaging apparatus, control method therefor, program, and storage medium
US11275289B2 (en) Image pickup apparatus that controls flash emission amount at photographing and control method therefor
JP5104104B2 (en) Imaging device
JP2006071741A (en) Focus detecting device
US10250827B2 (en) Imaging apparatus and control method thereof
JP5515295B2 (en) Photometric device and imaging device
JP7387265B2 (en) Imaging element, imaging device, control method, and program
JP6529214B2 (en) Imaging device
JP6442824B2 (en) Focus detection device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100721

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120501

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20120501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120904

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120917

R150 Certificate of patent or registration of utility model

Ref document number: 5104104

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151012

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151012

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees