JP2009038458A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2009038458A JP2009038458A JP2007198983A JP2007198983A JP2009038458A JP 2009038458 A JP2009038458 A JP 2009038458A JP 2007198983 A JP2007198983 A JP 2007198983A JP 2007198983 A JP2007198983 A JP 2007198983A JP 2009038458 A JP2009038458 A JP 2009038458A
- Authority
- JP
- Japan
- Prior art keywords
- photoelectric conversion
- pixel
- conversion element
- light
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、回折光学素子の分光光を光電変換素子で受光する撮像装置に関する。 The present invention relates to an imaging apparatus that receives spectral light of a diffractive optical element with a photoelectric conversion element.
従来より、複数の色フィルタが設けられた2次元イメージセンサを用いて被写体光を受光し、複数の色成分毎に測光および測色を行う測光装置が知られている(例えば、特許文献1参照)。2次元イメージセンサの各画素にはそれぞれ対応する色フィルタが設けられており、フィルタを透過する色成分のみが光電変換素子によって検出される。測光装置に用いられるイメージセンサは、感度を重視するために画素の大きさが大きめに設定され、偽色の発生が問題となる。 2. Description of the Related Art Conventionally, a photometric device that receives subject light using a two-dimensional image sensor provided with a plurality of color filters and performs photometry and colorimetry for each of a plurality of color components is known (see, for example, Patent Document 1). ). Each pixel of the two-dimensional image sensor is provided with a corresponding color filter, and only a color component that passes through the filter is detected by the photoelectric conversion element. In an image sensor used in a photometric device, the size of a pixel is set to be large in order to place importance on sensitivity, and generation of false colors becomes a problem.
このような偽色の発生に対しては、被写体光を回折格子で分光して、それらの色成分を各色フィルタに入射させることで低減することが可能である。ところで、測光センサの色情報を利用して撮影シーンの解析を行う場合には、結像に使用しない次数の不要回折光がフレアー成分となり、それがシーン解析の際の誤検出要因となる。そして、そのような不要回折光を除去する方法として、被写体像からフレアー成分を算出し、画像信号からフレアー成分を減算して補正する方法が提案されている(例えば、特許文献2参照)。 The generation of such false colors can be reduced by spectrally dividing the subject light with a diffraction grating and making those color components enter each color filter. By the way, when analyzing a photographic scene using the color information of a photometric sensor, unnecessary diffracted light of an order not used for image formation becomes a flare component, which becomes a false detection factor in scene analysis. As a method of removing such unnecessary diffracted light, a method of correcting a flare component from a subject image and subtracting the flare component from an image signal has been proposed (for example, see Patent Document 2).
しかしながら、光源のように被写体輝度が高い領域では、シーン解析の際の出力が飽和してフレアー成分の算出が困難になる場合がある。その場合、補正できないフレアー成分が残り、フレアー成分による誤検出が避けられなかった。 However, in a region where the subject brightness is high, such as a light source, the output at the time of scene analysis is saturated, and it may be difficult to calculate the flare component. In this case, a flare component that cannot be corrected remains, and erroneous detection due to the flare component cannot be avoided.
請求項1の発明による撮像装置は、複数色の色フィルタを有する光電変換素子と、被写体光を分光し、色フィルタに対応する光成分を光電変換素子の画素単位で結像させて偽色を補正する分光光学系と、光電変換素子の出力が飽和している画素の位置および分光光学系の光学特性に基づいて、光電変換素子の出力による画像データをデジタルフィルタ処理することにより、分光光学系で分光された光に含まれる不要光成分の影響を除去する補正手段と、補正手段により補正された画像データの少なくとも色情報に基づいて、被写界の所定対象物の位置を検出する対象検出手段とを備えたことを特徴とする。
請求項2の発明は、請求項1に記載の撮像装置において、分光光学系の光学特性の影響の度合いに応じた重み付けを光電変換素子の画素単位で行うことで、不要光成分の影響を除去するようにしたものである。
請求項3の発明は、請求項1に記載の撮像装置において、出力が飽和している画素の位置および分光光学系の光学特性に基づいて不要光成分入射画素領域を算出し、該不要光成分入射画素領域を対象検出手段の検出領域から除外するようにしたものである。
請求項4の発明は、請求項1に記載の撮像装置において、分光光学系に回折光学素子を設けて1次回折光を撮像光として使用し、1次回折光に対する0次光成分の方向に隣り合う2つの画素の出力差を算出し、その出力差が所定値以上の場合に、0次光成分方向に位置する所定数の画素位置を対象検出手段の検出領域から除外するようにしたものである。
請求項5の発明は、請求項1〜4のいずれか一項に記載の撮像装置において、光電変換素子の出力に基づいて被写界の輝度を検出する測光手段をさらに備えたものである。
請求項6の発明は、請求項1〜5のいずれか一項に記載の撮像装置において、対象検出手段は被写界の人物または顔の位置を検出し、対象検出手段によって検出された人物または顔の位置に基づいて、焦点検出制御を行う焦点検出手段を備えたものである。
請求項7の発明は、請求項6に記載の撮像装置において、光電変換素子はRGBフィルタを有し、Rフィルタを通過するR光成分に関する不要光成分の影響を除去するようにしたものである。
請求項8の発明による撮像装置は、複数色の色フィルタを有する光電変換素子と、被写体光を分光し、色フィルタに対応する光成分を光電変換素子の画素単位で結像させて偽色を補正する分光光学系と、光電変換素子の出力が飽和している画素の位置および分光光学系の光学特性に基づいて不要光成分入射画素領域を算出し、該不要光成分入射画素領域を除外することで不要光成分の影響が除去された画像データを生成する生成手段とを備えたことを特徴とする。
An image pickup apparatus according to a first aspect of the present invention includes a photoelectric conversion element having color filters of a plurality of colors, and subject light is dispersed, and a light component corresponding to the color filter is imaged in units of pixels of the photoelectric conversion element to generate a false color. Spectral optical system by performing digital filter processing on image data based on output of photoelectric conversion element based on spectral optical system to be corrected, position of pixel where output of photoelectric conversion element is saturated and optical characteristic of spectral optical system Correction means for removing the influence of unnecessary light components contained in the light separated in step, and object detection for detecting the position of a predetermined object in the scene based on at least color information of the image data corrected by the correction means Means.
According to a second aspect of the present invention, in the imaging device according to the first aspect, weighting according to the degree of influence of the optical characteristics of the spectroscopic optical system is performed for each pixel of the photoelectric conversion element, thereby removing the influence of unnecessary light components. It is what you do.
According to a third aspect of the present invention, in the imaging device according to the first aspect, the unnecessary light component incident pixel region is calculated based on the position of the pixel whose output is saturated and the optical characteristics of the spectroscopic optical system, and the unnecessary light component is calculated. The incident pixel area is excluded from the detection area of the object detection means.
According to a fourth aspect of the present invention, in the imaging device according to the first aspect, a diffractive optical element is provided in the spectroscopic optical system and the first-order diffracted light is used as imaging light, and is adjacent in the direction of the zero-order light component with respect to the first-order diffracted light. An output difference between two pixels is calculated, and when the output difference is equal to or greater than a predetermined value, a predetermined number of pixel positions located in the 0th-order light component direction are excluded from the detection area of the target detection means. .
A fifth aspect of the present invention is the imaging apparatus according to any one of the first to fourth aspects, further comprising a photometric means for detecting the luminance of the object field based on the output of the photoelectric conversion element.
According to a sixth aspect of the present invention, in the imaging apparatus according to any one of the first to fifth aspects, the object detection unit detects a position of a person or a face in the object scene, and the person detected by the target detection unit or Focus detection means for performing focus detection control based on the position of the face is provided.
According to a seventh aspect of the present invention, in the imaging device according to the sixth aspect, the photoelectric conversion element has an RGB filter, and the influence of an unnecessary light component on the R light component passing through the R filter is removed. .
According to an eighth aspect of the present invention, there is provided an image pickup apparatus including a photoelectric conversion element having color filters of a plurality of colors and a subject light, and forming a light component corresponding to the color filter in a pixel unit of the photoelectric conversion element to generate a false color. The unnecessary light component incident pixel region is calculated based on the spectroscopic optical system to be corrected, the pixel position where the output of the photoelectric conversion element is saturated, and the optical characteristics of the spectroscopic optical system, and the unnecessary light component incident pixel region is excluded. And generating means for generating image data from which the influence of unnecessary light components has been removed.
本発明によれば、不要光成分の影響が除去された画像データに基づくことにより、被写界の所定対象物を検出する際の誤検出の発生を低減することができる。 According to the present invention, it is possible to reduce the occurrence of erroneous detection when detecting a predetermined object in the scene by using image data from which the influence of unnecessary light components has been removed.
以下、図を参照して本発明を実施するための最良の形態について説明する。図1は、本発明による撮像装置の一実施の形態を示す図であり、デジタルスチルカメラの概略構成を示す図である。本実施の形態の撮像装置では、測光素子の出力を利用して撮影シーンの認識、例えば顔位置の検出を行うようにしている。 Hereinafter, the best mode for carrying out the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing an embodiment of an imaging apparatus according to the present invention, and is a diagram showing a schematic configuration of a digital still camera. In the imaging apparatus according to the present embodiment, the photographic scene is recognized, for example, the face position is detected, using the output of the photometric element.
レンズ光学系1および絞り2を通った光は、クイッククリターンミラー3に導かれる。クイッククリターンミラー3を透過した光はサブミラー4により測距素子5に導かれ、測距素子5においてレンズ光学系1の焦点調節状態が算出される。カメラがレリーズされると、クイックリターンミラー3は実線で示すミラーアップ位置に跳ね上がりシャッタ14を介して撮像素子15に被写体光が導かれる。非露光時には、クイッククリターンミラー3およびサブミラー4は破線で示すミラーダウン位置に配置される。クイッククリターンミラー3で反射された光は拡散スクリーン6に投影され、コンデンサレンズ7を通りペンタプリズム8に導かれファインダーである接眼レンズ9に向かう。
The light that has passed through the lens
また、拡散スクリーン6を出射した光の一部は測光光学系を介して測光センサ10に結像される。測光光学系はプリズム11,分光光学素子12,測光レンズ13を備えており、ペンタプリズム8からの光はプリズム11により進行方向を図示上方に変更されて分光光学素子12に入射する。拡散スクリーン6と測光センサ10とは光学的に共役関係にあり、測光センサ10上には後述するように分光光学素子12で分光された光が結像される。
A part of the light emitted from the diffusing
図2は、測光センサ10の出力に基づく制御を説明する制御ブロック図である。測光光学系100により被写体像が測光センサ10上に結像されると、測光センサ10は、結像された像に応じたセンサ出力をA/D変換器101に出力する。A/D変換器101は、アナログ信号のセンサ出力をデジタル信号に変換する。A/D変換器101によりデジタル値に変換されたセンサ出力は、適切な出力が得られているか測光センサ制御部1021により制御される。
FIG. 2 is a control block diagram illustrating control based on the output of the
測光センサ制御部1021は、A/D変換器101から入力されたセンサ出力が、そのセンサ出力に基づいて行われる制御に適切な出力となっているか否かを判断し、適切な値となるように測光センサをフィードバック制御する。ここでは、センサ出力に基づいて行われる制御として露出制御およびAF(オートフォーカス)制御があり、露出制御時には測光演算処理に適切なセンサ出力となるようにフィードバック制御され、そのような制御により得られたセンサ出力は測光演算処理部1022に入力される。一方、AF制御時には、シーン解析(例えば、人物検出)に適切なセンサ出力となるようにフィードバック制御され、そのような制御により得られたセンサ出力は人物検出処理部1023に入力される。
The photometric
例えば、測光演算処理部1022で測光演算を行う場合には、被写界の最大輝度が目標レベルの出力となるように蓄積時間とアンプゲインを設定し、測光センサ10をフィードバック制御する。そして、最大輝度が目標レベルとなったならば、センサ出力は測光演算処理部1022へ送られ、そこで測光演算が行われて適切な露出が算出される。その露出演算結果は露出制御部1024へ送られ、露出制御部1024により適正な絞り値やシャッタ速度が設定される。
For example, when the photometry
図3はレベル設定を説明するための模式図であり、(a)は測光時を、(b)はシーン解析時を示している。いずれの場合も、左側は調整前、右側は調整後を示す。図3において、横軸は画素位置、縦軸は各画素の出力(輝度値)をそれぞれ表しており、3つの出力P1,P2,P3が図示されている。出力P1は最大輝度を与えるものであり、測光時には、調整後の出力P1のレベルが殆ど飽和に近い目標レベルS1となるように、蓄積時間およびアンプゲインを設定する。 FIGS. 3A and 3B are schematic diagrams for explaining level setting. FIG. 3A shows the time of photometry, and FIG. 3B shows the time of scene analysis. In either case, the left side shows before adjustment and the right side shows after adjustment. In FIG. 3, the horizontal axis represents the pixel position, the vertical axis represents the output (luminance value) of each pixel, and three outputs P1, P2, and P3 are shown. The output P1 gives the maximum luminance, and at the time of photometry, the accumulation time and the amplifier gain are set so that the level of the adjusted output P1 becomes a target level S1 that is almost saturated.
一方、AF制御時において人物検出処理部1023でシーン解析を行う場合には、逆光や輝度差が大きいシーンにおいて被写体の色情報が黒つぶれするのを防ぐために、図3(b)に示すように、破線で示す被写界の平均的輝度が目標レベルS2の出力となるように蓄積時間とアンプゲインを設定し、測光センサ10をフィードバック制御する。このような制御を行うことで、図3(b)のように出力レベルが低い出力P2,P3も調整後には十分大きな出力レベルとなり、色情報を取得することができる。
On the other hand, when scene analysis is performed by the human
図2に戻って、人物検出処理部1023では、センサ出力に基づいて、人物または顔に特有な色相を有する画素を抽出しその画素の連結状態等から人物または顔がある位置を検出する。例えば、人の色相は色相環の0度〜30度に相当するので、そのような色相の画素を検出するようにする。AF制御部1025では、人物検出処理部1023で得られた人物または顔の位置を参考にしてオートフォーカス処理が行われる。
Returning to FIG. 2, the person
図4は、分光光学素子12による分光を説明する図である。図4(a)に示すように、測光センサ10には、光電変換素子がマトリックス状に配列された2次元イメージセンサが用いられる。各光電変換素子には、赤(R)、緑(G)、青(B)の色フィルタがオンチップフィルタとして形成されている。本実施の形態の測光センサでは、R、G、BフィルタがR,B,G,R,B,G,R,…のように周期的に配置された、ストライプタイプの色フィルタが設けられている。Rフィルタが設けられた光電変換素子、Gフィルタが設けられた光電変換素子およびBフィルタが設けられた光電変換素子の三つ一組で、一つの画素が構成されている。
FIG. 4 is a diagram for explaining the spectrum by the spectroscopic
分光光学素子12には、ブレーズド回折格子が用いられている。本実施の形態では1次の回折光を結像光として利用するため、分光光学素子12は1次光の強度が大きくなるように設定されている。分光光学素子12に白色光Wが入射すると、白色光Wは赤(R)成分光L1R,緑(G)成分光L1G,青(B)成分光L1Bに分光される。なお、R成分光L1R,G成分光L1G,B成分光L1Bは、いずれも1次の回折光である。そして、Rフィルタが設けられた光電変換素子にR成分光L1Rが入射するときには、G成分光L1Gは同一画素のGフィルタが設けられた光電変換素子に入射し、B成分光L1Bは同一画素のBフィルタが設けられた光電変換素子にそれぞれ入射するように設定されている。
For the spectroscopic
分光光学素子12は1次の回折光が効率よく生じるように設計されているが、1次光以外の次数の回折光の発生を全くゼロにするのは難しく、図4(b)に示すように0次光や2次光も発生する。図4(b)に示す例では、1次光L1R,L1G,L1Bが入射する画素を0番目の画素とすると、右側の2番目の画素に0次光L0R,L0Bが入射しており、左側の2番目の画素(−2と表記する)には2次光L2Bが入射している。R成分の0次光L0Rの強度は、B成分の0次光L0Bに比べて数倍の大きさになっている。このような回折光の分離状態は分光光学素子12の分光特性によってそれぞれ異なる。
Although the spectroscopic
図4(b)に示す0次光および2次光は、フレアー成分となる不要光である。フレアー成分となるR,G,B成分は、分光光学系や測光センサの分光感度特性により、差を持って出力されることとなる。また、これらのフレアー成分は、1次光の出力レベルに比例して大きくなる。結像光である1次光に対する不要光(0次光および2次光)の発生する位置や、1次光に対する0次光および2次光の相対強度は分光光学系の設計によって決まるので、分光光学素子12の分光特性と測光センサ10の出力とに基づいて従来と同様のデジタルフィルタ処理を行うことにより、0次光成分、2次光成分の影響を低減するように補正することが可能である。
The 0th-order light and the secondary light shown in FIG. 4B are unnecessary lights that become flare components. The R, G, and B components that are flare components are output with a difference depending on the spectral sensitivity characteristics of the spectroscopic optical system and the photometric sensor. These flare components increase in proportion to the output level of the primary light. Since the position where unnecessary light (0th order light and secondary light) is generated with respect to the primary light that is the imaging light, and the relative intensity of the 0th order light and secondary light with respect to the primary light are determined by the design of the spectroscopic optical system By performing digital filter processing similar to the conventional one based on the spectral characteristics of the spectroscopic
測光を行う場合には、図3(a)に示したように最大輝度が所定目標レベルとなるように測光センサ10の蓄積時間およびアンプゲインを制御するため、最大輝度となる出力が飽和するようなことはない。そのため、この場合には、従来のデジタルフィルタ処理による補正を有効に行うことができる。
When performing photometry, the accumulation time and the amplifier gain of the
しかし、シーン解析を行う場合には、色情報を取得するために図3(b)で示すような蓄積時間およびアンプゲインの設定が行われる。そのため、輝度値の大きな画素に関しては出力P1のように画素の出力値が飽和することになり、その画素に入射している1次光の値を推定することができず、その一次光に対する0次光および2次光も算出できないことになる。 However, when scene analysis is performed, accumulation time and amplifier gain are set as shown in FIG. 3B in order to acquire color information. Therefore, for a pixel with a large luminance value, the output value of the pixel is saturated like the output P1, the value of the primary light incident on the pixel cannot be estimated, and 0 for the primary light. The secondary light and the secondary light cannot be calculated.
例えば、被写界に図3(b)の出力P1で示すような高輝度な被写体があると、出力P1が1次光であるならば、調整後の出力P1の場合と同様に、その出力P1に関するフレアー成分(0次光、2次光)も調整後には大きくなる。特に、フレアー成分が入射する画素の輝度が比較的低い場合には、その画素における結像光(1次光)の強度に対してフレアー成分の強度が無視できなくなり、その画素の色相に大きく影響するようになる。 For example, if there is a subject with high brightness as shown by the output P1 in FIG. 3B in the field, if the output P1 is primary light, the output is the same as in the case of the adjusted output P1. The flare component related to P1 (0th order light, second order light) also increases after adjustment. In particular, when the luminance of a pixel on which a flare component is incident is relatively low, the intensity of the flare component cannot be ignored with respect to the intensity of the imaging light (primary light) at that pixel, which greatly affects the hue of the pixel. Will come to do.
図5は、そのような場合の一例を示したものである。測光センサ10の検出領域には、人物200と高輝度被写体である照明201とが共存している。人物200の顔が含まれる9(=3×3)つの画素から成る画素領域203では、色相環の0〜30度内の色相が色情報として取得される。照明201が撮像されている画素の右側の画素領域202において、R成分のフレアー成分(0次光)が検出されている。
FIG. 5 shows an example of such a case. In the detection area of the
そして、画素領域202と照明201の領域との輝度差が大きいと、画素領域202で検出される光はR成分の割合が大きくなり、画素領域202を顔領域として誤検出するおそれがある。そのため、後述するように、本実施の形態では、マスク処理によって図5の画素領域202を除き、画素領域202を除いた残りの領域において顔検出を行うようにした。
If the luminance difference between the
図6は撮像処理の流れを説明するフローチャートである。CPU102は、レリーズボタンが半押しされると図6のフローチャートで示すプログラムを起動する。ステップS11ではレリーズボタンが半押し状態か否かを判定し、YESと判定されるとステップS12へ進み、NOと判定されるとステップS24へ進む。ステップS11でNOと判定されてステップS24へ進んだ場合には、ステップS24において、レリーズボタンの半押し操作で計時スタートした半押しタイマがタイムアップしたか否かを判定する。タイムアップしたと判定されると撮像動作を終了し、そうでない場合にはステップS11へ戻る。
FIG. 6 is a flowchart for explaining the flow of the imaging process. When the release button is half-pressed, the
一方、ステップS11でYESと判定されてステップS12に進んだ場合には、図7に示すような測光処理を行う。図7は測光処理の詳細を示すフローチャートであり、ステップS101では測光センサ10の蓄積と読み出しの制御を行う。ステップS102では、測光センサ10の最大値出力が、すなわち図3(a)の出力P1が所定目標レベルS1に達しているか否かを判定する。
On the other hand, if it is determined as YES in step S11 and the process proceeds to step S12, photometric processing as shown in FIG. 7 is performed. FIG. 7 is a flowchart showing the details of the photometric process. In step S101, the storage and readout of the
ステップS102で所定目標レベルS1に達していないと判定されるとステップS101へ戻り、センサ出力が増加するように蓄積時間とアンプゲインを再設定し、再び蓄積と読み出しを行う。このような制御を繰り返すことで、最大値出力P1が図3(a)の調整後のように所定目標レベルS1に達したならば、ステップS102でYESと判定されてステップS103へと進む。ステップS103では測光演算処理を行い、測光センサ10の出力に基づいて算出される被写界の輝度から、露出が適正となる測光値を算出する。ステップS103の処理が終了したならば、図6のステップS13に進む。
If it is determined in step S102 that the predetermined target level S1 has not been reached, the process returns to step S101, the accumulation time and the amplifier gain are reset so that the sensor output increases, and accumulation and readout are performed again. By repeating such control, if the maximum value output P1 reaches the predetermined target level S1 after the adjustment in FIG. 3A, YES is determined in step S102 and the process proceeds to step S103. In step S103, photometric calculation processing is performed, and a photometric value at which exposure is appropriate is calculated from the luminance of the object scene calculated based on the output of the
ステップS13では、AF処理の際に人物をAFエリアとして自動選択するモードか否かを判定する。カメラは人物自動選択モードの他にも複数種類のAFモードを有しており、予め人物自動選択モードに設定されていると、ステップS13でYESと判定されてステップS14へと進む。他のモードに設定されている場合には、ステップS16へと進む。 In step S13, it is determined whether or not the mode is a mode for automatically selecting a person as an AF area during AF processing. The camera has a plurality of types of AF modes in addition to the automatic person selection mode. If the automatic person selection mode is set in advance, the camera determines YES in step S13 and proceeds to step S14. If another mode is set, the process proceeds to step S16.
人物自動選択モードに設定されていてステップS14に進んだ場合には、図8に示す人物検出処理が実行される。図8は人物検出処理の一例を示すフローチャートであり、ステップS201ではシーン認識のための蓄積と読出しを行う。すなわち、図3(b)に示すように出力平均値が飽和レベルの60〜70%程度となるように、蓄積時間およびアンプゲインを設定する。この蓄積時間およびアンプゲインは、ステップS12の測光処理時の蓄積時間とセンサ出力の線形性に基づいて設定される。 If the automatic human selection mode is set and the process proceeds to step S14, the human detection process shown in FIG. 8 is executed. FIG. 8 is a flowchart showing an example of person detection processing. In step S201, accumulation and readout for scene recognition are performed. That is, as shown in FIG. 3B, the accumulation time and the amplifier gain are set so that the output average value is about 60 to 70% of the saturation level. The accumulation time and the amplifier gain are set based on the accumulation time and the sensor output linearity during the photometric processing in step S12.
ステップS202では、フレアー領域を除去するためのフレアーマスクを生成する。図9は、フレアーマスク生成処理の一例を示すフローチャートである。上述したように、ステップS201の蓄積・読み出し処理においては、図3(b)に示すように蓄積時間及びアンプゲインが設定されるため、高輝度領域に関するフレアー成分が顕著になって人物検出における誤検出の要因となる。 In step S202, a flare mask for removing the flare area is generated. FIG. 9 is a flowchart illustrating an example of the flare mask generation process. As described above, in the accumulation / read-out process in step S201, the accumulation time and the amplifier gain are set as shown in FIG. It becomes a factor of detection.
図10はフレアーマスク生成処理を説明する図であり、図10(a)に示すような高輝度被写体(例えば、蛍光灯照明)301〜304が被写界にある場合を示す。図10(b)のハッチングを施した領域310は、高輝度被写体301〜304に対応して発生したフレアー成分の影響を受ける画素領域を表している。フレアー成分の影響は、高輝度領域301〜304とフレアー成分が入射する領域との間の輝度差が大きいほど大きくなる。領域310は、高輝度領域301〜304との輝度差が大きく、フレアー成分の影響が顕著となる領域である。
FIG. 10 is a diagram for explaining the flare mask generation processing, and shows a case where high-luminance subjects (for example, fluorescent lamp illumination) 301 to 304 as shown in FIG. A hatched
図9に示すフレアーマスク生成処理では、この領域310を除去するマスクを生成する。フレアー成分の発生の仕方は分光光学素子12の分光特性により異なるが、ここでは、図4(b)に示すような分光特性を仮定し、図10(b)に示すように高輝度領域301〜304の右側にR成分のフレアーが発生する場合を例に説明する。
In the flare mask generation process shown in FIG. 9, a mask for removing this
なお、図10の矩形枠は測光センサ10の撮像領域を示しており、測光領域には画素がマトリックス状に配列されている。矩形枠の左上端から右方向に1,2,3,…と列番号iを設定し、左上端から下方向に1,2,3,…と行番号jを設定する。各画素の位置は[i、j]のように表すことができる。
Note that the rectangular frame in FIG. 10 indicates the imaging area of the
図9のステップS301では、行番号jを1に設定し、続くステップS302において列番号iを1に設定する。ステップS303では、左側の画素[i−1、j]と注目している画素[i、j]との出力差を算出し、その値が所定値STrよりも大きいか否かを判定する。所定値としては、誤検出が問題となる場合の輝度差(=Y(i-1,j)−Y(i,j))を用いれば良い。ここでは、出力差として輝度値の差(輝度差)を用いるが、本実施の形態のようにR成分の影響を取り除く場合には輝度差の代わりにR成分(R画素の出力)の差を用いても良い。 In step S301 in FIG. 9, the row number j is set to 1, and in the subsequent step S302, the column number i is set to 1. In step S303, an output difference between the left pixel [i-1, j] and the focused pixel [i, j] is calculated, and it is determined whether the value is larger than a predetermined value STr. As the predetermined value, a luminance difference (= Y (i−1, j) −Y (i, j)) when erroneous detection is a problem may be used. Here, the difference in luminance value (luminance difference) is used as the output difference. However, when the influence of the R component is removed as in this embodiment, the difference between the R component (output of the R pixel) is used instead of the luminance difference. It may be used.
ステップ303において「輝度差>STr」と判定されるとステップS304に進み、ステップS304において、注目している画素[i,j]のマスク[i,j]を1とするとともに、その右側に位置する画素[i+1,j]のマスク[i+1,j]および画素[i+2,j]のマスク[i+2,j]も1に設定する。ここでは、高輝度画素の右側3画素までフレアー成分の影響が出るものとして、3画素分のマスクを1に設定するようにしている。
If it is determined in
一方、ステップ303において「輝度差≦STr」と判定されてステップS305に進んだ場合には、ステップS305において注目している画素[i,j]のマスク[i,j]が「≠1」か「=1」かを判定する。ステップS305で「マスク[i,j]=1」と判定されるとステップS307へ進み、「マスク[i,j]≠1」と判定されるとステップS306に進んで「マスク[i,j]=0」と設定する。ステップS306の処理が終了したら、ステップS307へ進む。
On the other hand, if it is determined in
ステップS307では、列番号iが右端の列番号Hであるか否かを判定する。ステップS307でYESと判定されるとステップS309へ進み、NOと判定された場合にはステップS308へ進んで列番号iをインクリメントした後にステップS303へ戻る。ステップS309では、行番号jが下端の行番号であるか否かを判定する。ステップS309でNOと判定された場合には、ステップS310へ進んで行番号jをインクリメントした後にステップS302へ戻る。一方、ステップS309でYESと判定された場合には、全ての画素領域に関してマスク生成が終了したことになり、図8のステップS203へ進む。図10(c)は生成されたフレアーマスクFMを示す図である。 In step S307, it is determined whether the column number i is the rightmost column number H or not. If YES is determined in the step S307, the process proceeds to a step S309. If NO is determined, the process proceeds to the step S308, the column number i is incremented, and the process returns to the step S303. In step S309, it is determined whether or not the line number j is the lowermost line number. If NO is determined in step S309, the process proceeds to step S310 to increment the line number j and then returns to step S302. On the other hand, if “YES” is determined in the step S309, the mask generation is completed for all the pixel regions, and the process proceeds to the step S203 in FIG. FIG. 10C shows the generated flare mask FM.
高輝度被写体ではなくて1次光が飽和していない場合には、その出力値を利用してフレアー成分である0次光および2次光を除去できる。そこで、図8のステップS203では、飽和していない1次光に関するフレアー成分の除去を、従来と同様のデジタルフィルタ処理にて行う。図10(a)に示す画像の場合、高輝度領域301〜304では、図3(b)の右側の出力P1のように出力が飽和しているので、全てのフレアー成分をデジタルフィルタ処理で除去することができず、フレアー成分が残った画像となる。
If the primary light is not saturated because it is not a high-luminance subject, the 0th-order light and the secondary light, which are flare components, can be removed using the output value. Therefore, in step S203 of FIG. 8, the flare component relating to the unsaturated primary light is removed by the digital filter processing similar to the conventional one. In the case of the image shown in FIG. 10A, in the
次いで、ステップS204でフレアー補正した画像に基づいて測光センサ出力に対するオートホワイトバランス処理を行い、ステップS205でRGB画像から色相に変換を行う。その結果、画素毎に色情報(色相)を取得することができる。しかし、図10(b)の斜線を施した画素領域310では、フレアー成分(R成分)の影響を受けて人物の顔と同じような色相となっている。
Next, an auto white balance process is performed on the photometric sensor output based on the image subjected to flare correction in step S204, and an RGB image is converted to a hue in step S205. As a result, color information (hue) can be acquired for each pixel. However, the shaded
そのため、ステップS206における色情報に基づく人物抽出処理では、ステップS202で生成したフレアーマスクFMに基づき、図10(c)のマスク=1の領域を除外したマスク=0の画素領域内で人物グループの抽出を行う。具体的には、色相が人物と思われる約0〜30度の範囲の領域の抽出を行い、さらに、抽出された領域を人物と思われる色相の形状や連結成分ごとに分類しグループ化する。 Therefore, in the person extraction process based on the color information in step S206, based on the flare mask FM generated in step S202, the person group in the pixel area of mask = 0 excluding the area of mask = 1 in FIG. Perform extraction. Specifically, an area in the range of about 0 to 30 degrees in which the hue is considered to be a person is extracted, and the extracted area is further classified and grouped for each hue shape and connected component that seems to be a person.
ステップS207では、グループ化された領域について人物と思われる領域の判定を行う。例えば、レンズ光学系1の焦点距離に基づいて撮像素子15上に結像される人物の顔の大きさを推定し、その大きさとグループ化された領域の大きさとを比較することで人物か否かの判定を行う。ステップS208では、類似色相の出現頻度やレンズの周辺光量落ちによる影響などを加味し、人物検出結果の信頼性評価を行う。AF処理の際のAFエリア決定に人物検出結果を利用する際には、この信頼性評価値を加味してAFエリア選択を行う。
In step S207, an area that seems to be a person is determined for the grouped area. For example, the size of a person's face imaged on the
ステップS208の処理が終了したならば、図6のステップS15へ進む。ステップS15では、ステップS14で抽出された人物位置をAFエリアの候補位置とするAFエリア情報をAF制御部1025へ送信する。そして、ステップS16へ進んで、AF制御部1025おいて、AFエリア情報に基づくオートフォーカス処理が行われる。その結果、人物に顔にピントが合うようなAF処理が行われる。一方、ステップS13でNOと判定されてステップS16に進んだ場合には、ユーザによって選択されたAFモードに基づいてAF処理が行われる。
If the process of step S208 is completed, the process proceeds to step S15 of FIG. In step S15, AF area information with the person position extracted in step S14 as the AF area candidate position is transmitted to the
ステップS17では、レリーズボタンの全押し操作が行われたか否かを判定する。ステップS17でYESと判定されるとステップS18へ進み、一方、NOと判定されるとステップS11へ戻る。ステップS18からステップS23までの一連の処理は、デジタルカメラにおける通常の露光動作である。すなわち、ステップS18で、クイッククリターンミラー3およびサブミラー4を図1の実線で示す位置まで移動するミラーアップ動作を行い、ステップS19において撮像素子15の初期化(電荷排出等)を行う。ステップS20では撮像素子15に撮影用の電荷蓄積および蓄積電荷の掃き出しを行わせ、ステップS21ではクイッククリターンミラー3およびサブミラー4を図1の破線の位置へ戻すミラーダウン動作を行う。ステップS22では、撮像素子15の出力信号に所定の画像処理を行う。そして、ステップS23において画像データを不図示の記憶媒体に記録し、一連の撮像処理を終了する。
In step S17, it is determined whether or not the release button has been fully pressed. If YES is determined in the step S17, the process proceeds to a step S18. If NO is determined, the process returns to the step S11. A series of processing from step S18 to step S23 is a normal exposure operation in the digital camera. That is, in step S18, a mirror up operation for moving the
上述したように、本実施の形態では、フレアーマスクFMを生成してフレアー成分の影響が大きい領域を人物検出領域から除外することにようにした。その結果、照明のような高輝度被写体があってフレアー成分の影響が顕著な場合でも、フレアー成分による人物誤検出が低減される。なお、上述した実施の形態では、高輝度画素の右側3画素をマスクする領域としたが、フレアー成分が高輝度画素に対してどの位置に発生するかは、分光光学素子12の分光特性に応じて設定される。
As described above, in the present embodiment, the flare mask FM is generated, and the region where the influence of the flare component is large is excluded from the person detection region. As a result, even when there is a high-luminance subject such as illumination and the influence of the flare component is significant, the erroneous detection of a person due to the flare component is reduced. In the above-described embodiment, the right three pixels of the high luminance pixel are masked. However, the position where the flare component is generated with respect to the high luminance pixel depends on the spectral characteristics of the spectroscopic
また、図9のフレアーマスク生成処理においては、画素領域を左側から右側へとスキャンしてマスク演算を行ったが、高輝度画素に対してフレアー成分がどの方向に発生するかに依存している。例えば、高輝度画素に対して下側にフレアー成分が発生する場合には、上側から下側へとスキャンしながらマスク演算を行うことで、効率的に演算を行うことができる。 Further, in the flare mask generation processing of FIG. 9, the pixel region is scanned from the left side to the right side, and the mask calculation is performed. However, depending on the direction in which the flare component is generated with respect to the high luminance pixel. . For example, when a flare component is generated on the lower side of a high-luminance pixel, the calculation can be performed efficiently by performing a mask operation while scanning from the upper side to the lower side.
さらにまた、本実施の形態では人物検出を行うようにしているため、人物と類似色相であるフレアー成分の内のR成分についてフレアーマスクを生成したが、他の物体検出を行う場合には、誤検出を引き起こしやすい色成分に関してフレーマスクを形成する。例えば、緑色の物体を検出する場合には、フレアー成分の内のG成分に基づいてフレアーマスクを生成すれば良い。なお、以上の説明はあくまでも一例であり、本発明の特徴を損なわない限り、本発明は上記実施の形態に何ら限定されるものではない。 Furthermore, since the person detection is performed in the present embodiment, the flare mask is generated for the R component of the flare component having a hue similar to that of the person. However, if another object is detected, an error occurs. A frame mask is formed for color components that are likely to cause detection. For example, when detecting a green object, a flare mask may be generated based on the G component of the flare components. In addition, the above description is an example to the last, and this invention is not limited to the said embodiment at all unless the characteristic of this invention is impaired.
1:レンズ光学系、2:絞り、3:クイッククリターンミラー、5:測距素子、12:分光光学素子、10:測光センサ、15:撮像素子、100:測光光学系、102:CPU、1021:測光センサ制御部、1022:測光演算処理部、1023:人物検出処理部、1024:露出処理部、1025:AF制御部、202:フレアー成分が入射する画素領域、FM:フレアーマスク 1: Lens optical system, 2: Aperture, 3: Quick quick mirror, 5: Distance measuring element, 12: Spectral optical element, 10: Photometric sensor, 15: Image sensor, 100: Photometric optical system, 102: CPU, 1021 : Photometric sensor control unit, 1022: photometry calculation processing unit, 1023: person detection processing unit, 1024: exposure processing unit, 1025: AF control unit, 202: pixel area where flare component is incident, FM: flare mask
Claims (8)
被写体光を分光し、前記色フィルタに対応する光成分を前記光電変換素子の画素単位で結像させて偽色を補正する分光光学系と、
前記光電変換素子の出力が飽和している画素の位置および前記分光光学系の光学特性に基づいて、前記光電変換素子の出力による画像データをデジタルフィルタ処理することにより、前記分光光学系で分光された光に含まれる不要光成分の影響を除去する補正手段と、
前記補正手段により補正された画像データの少なくとも色情報に基づいて、被写界の所定対象物の位置を検出する対象検出手段とを備えたことを特徴とする撮像装置。 A photoelectric conversion element having a plurality of color filters;
A spectroscopic optical system that divides subject light and corrects a false color by forming a light component corresponding to the color filter in a pixel unit of the photoelectric conversion element;
Based on the position of the pixel where the output of the photoelectric conversion element is saturated and the optical characteristics of the spectral optical system, the image data by the output of the photoelectric conversion element is subjected to digital filter processing, thereby being spectrally separated by the spectral optical system. Correction means for removing the influence of unnecessary light components contained in the light,
An image pickup apparatus comprising: object detection means for detecting a position of a predetermined object in the object scene based on at least color information of the image data corrected by the correction means.
前記補正手段は、前記分光光学系の光学特性の影響の度合いに応じた重み付けを前記光電変換素子の画素単位で行うことで、前記不要光成分の影響を除去することを特徴とする撮像装置。 The imaging device according to claim 1,
The image pickup apparatus according to claim 1, wherein the correction unit removes the influence of the unnecessary light component by performing weighting according to the degree of influence of the optical characteristic of the spectroscopic optical system for each pixel of the photoelectric conversion element.
前記補正手段は、前記出力が飽和している画素の位置および前記分光光学系の光学特性に基づいて不要光成分入射画素領域を算出し、該不要光成分入射画素領域を前記対象検出手段の検出領域から除外することを特徴とする撮像装置。 The imaging device according to claim 1,
The correction unit calculates an unnecessary light component incident pixel region based on a pixel position where the output is saturated and an optical characteristic of the spectroscopic optical system, and detects the unnecessary light component incident pixel region by the target detection unit. An imaging device, characterized by being excluded from the region.
前記分光光学系に回折光学素子を設けて1次回折光を撮像光として使用し、
前記補正手段は、前記1次回折光に対する0次光成分の方向に隣り合う2つの画素の出力差を算出し、その出力差が所定値以上の場合に、前記0次光成分方向に位置する所定数の画素位置を前記対象検出手段の検出領域から除外することを特徴とする撮像装置。 The imaging device according to claim 1,
A diffractive optical element is provided in the spectroscopic optical system, and first-order diffracted light is used as imaging light.
The correction means calculates an output difference between two pixels adjacent to the first-order diffracted light in the direction of the zero-order light component, and when the output difference is equal to or greater than a predetermined value, the correction means is located in the predetermined direction of the zero-order light component. An image pickup apparatus that excludes a number of pixel positions from a detection region of the target detection means.
前記光電変換素子の出力に基づいて被写界の輝度を検出する測光手段をさらに備えたことを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 4,
An imaging apparatus, further comprising photometric means for detecting the luminance of the object scene based on the output of the photoelectric conversion element.
前記対象検出手段は被写界の人物または顔の位置を検出し、
前記対象検出手段によって検出された人物または顔の位置に基づいて、焦点検出制御を行う焦点検出手段を備えたことを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 5,
The object detection means detects the position of a person or face in the scene,
An imaging apparatus comprising: a focus detection unit that performs focus detection control based on a position of a person or a face detected by the target detection unit.
前記光電変換素子はRGBフィルタを有し、
前記補正手段は、Rフィルタを通過するR光成分に関する不要光成分の影響を除去することを特徴とする撮像装置。 The imaging device according to claim 6,
The photoelectric conversion element has an RGB filter,
The image pickup apparatus, wherein the correction unit removes an influence of an unnecessary light component related to an R light component passing through an R filter.
被写体光を分光し、前記色フィルタに対応する光成分を前記光電変換素子の画素単位で結像させて偽色を補正する分光光学系と、
前記光電変換素子の出力が飽和している画素の位置および前記分光光学系の光学特性に基づいて不要光成分入射画素領域を算出し、該不要光成分入射画素領域を除外することで不要光成分の影響が除去された画像データを生成する生成手段とを備えたことを特徴とする撮像装置。 A photoelectric conversion element having a plurality of color filters;
A spectroscopic optical system that divides subject light and corrects a false color by forming a light component corresponding to the color filter in a pixel unit of the photoelectric conversion element;
The unnecessary light component incident pixel region is calculated based on the position of the pixel where the output of the photoelectric conversion element is saturated and the optical characteristics of the spectroscopic optical system, and the unnecessary light component incident pixel region is excluded to eliminate the unnecessary light component An image pickup apparatus comprising: a generation unit that generates image data from which the influence of the above is removed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007198983A JP5104104B2 (en) | 2007-07-31 | 2007-07-31 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007198983A JP5104104B2 (en) | 2007-07-31 | 2007-07-31 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009038458A true JP2009038458A (en) | 2009-02-19 |
JP5104104B2 JP5104104B2 (en) | 2012-12-19 |
Family
ID=40440029
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007198983A Expired - Fee Related JP5104104B2 (en) | 2007-07-31 | 2007-07-31 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5104104B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012141549A (en) * | 2011-01-06 | 2012-07-26 | Nikon Corp | Imaging device |
JP2015126254A (en) * | 2013-12-25 | 2015-07-06 | 株式会社ニコン | Image reproduction apparatus and imaging apparatus |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02224456A (en) * | 1989-02-25 | 1990-09-06 | Canon Inc | Color picture reader |
JP2005136917A (en) * | 2003-10-31 | 2005-05-26 | Canon Inc | Image processing method, image processing apparatus, image processing program and image-taking system |
JP2006054679A (en) * | 2004-08-11 | 2006-02-23 | Casio Comput Co Ltd | White balance device and program thereof |
JP2007065290A (en) * | 2005-08-31 | 2007-03-15 | Nikon Corp | Automatic focusing device |
-
2007
- 2007-07-31 JP JP2007198983A patent/JP5104104B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02224456A (en) * | 1989-02-25 | 1990-09-06 | Canon Inc | Color picture reader |
JP2005136917A (en) * | 2003-10-31 | 2005-05-26 | Canon Inc | Image processing method, image processing apparatus, image processing program and image-taking system |
JP2006054679A (en) * | 2004-08-11 | 2006-02-23 | Casio Comput Co Ltd | White balance device and program thereof |
JP2007065290A (en) * | 2005-08-31 | 2007-03-15 | Nikon Corp | Automatic focusing device |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012141549A (en) * | 2011-01-06 | 2012-07-26 | Nikon Corp | Imaging device |
JP2015126254A (en) * | 2013-12-25 | 2015-07-06 | 株式会社ニコン | Image reproduction apparatus and imaging apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP5104104B2 (en) | 2012-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI462055B (en) | Cfa image with synthetic panchromatic image | |
US9615030B2 (en) | Luminance source selection in a multi-lens camera | |
US9635275B2 (en) | Flash system for multi-aperture imaging | |
US8289441B2 (en) | Imaging apparatus and imaging control method | |
RU2585235C2 (en) | Image capture devices | |
JP4574022B2 (en) | Imaging apparatus and shading correction method | |
US9137450B2 (en) | Image sensing apparatus, exposure control method and recording medium | |
EP2605511B1 (en) | Image capturing apparatus and focus detection method | |
JP4992481B2 (en) | Focus detection apparatus and imaging apparatus | |
JP2009059326A (en) | Imaging apparatus | |
WO2012093551A1 (en) | Image capture apparatus | |
JP5475393B2 (en) | Imaging system and correction method | |
JP2012120132A (en) | Imaging apparatus and program | |
JP6478670B2 (en) | Image processing apparatus and control method thereof | |
CN109729244B (en) | Image pickup apparatus, focus detection method, and storage medium | |
US20110018993A1 (en) | Ranging apparatus using split complementary color filters | |
JP6336337B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
US11275289B2 (en) | Image pickup apparatus that controls flash emission amount at photographing and control method therefor | |
JP5104104B2 (en) | Imaging device | |
JP2006071741A (en) | Focus detecting device | |
US10250827B2 (en) | Imaging apparatus and control method thereof | |
JP5515295B2 (en) | Photometric device and imaging device | |
JP7387265B2 (en) | Imaging element, imaging device, control method, and program | |
JP6529214B2 (en) | Imaging device | |
JP6442824B2 (en) | Focus detection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100721 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120501 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120501 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120904 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120917 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5104104 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151012 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151012 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |