JP2003087646A - Imaging apparatus - Google Patents

Imaging apparatus

Info

Publication number
JP2003087646A
JP2003087646A JP2001273163A JP2001273163A JP2003087646A JP 2003087646 A JP2003087646 A JP 2003087646A JP 2001273163 A JP2001273163 A JP 2001273163A JP 2001273163 A JP2001273163 A JP 2001273163A JP 2003087646 A JP2003087646 A JP 2003087646A
Authority
JP
Japan
Prior art keywords
value
result
image pickup
brightness
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001273163A
Other languages
Japanese (ja)
Other versions
JP4622196B2 (en
Inventor
Nobutaka Toyoshima
信隆 豊島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001273163A priority Critical patent/JP4622196B2/en
Publication of JP2003087646A publication Critical patent/JP2003087646A/en
Application granted granted Critical
Publication of JP4622196B2 publication Critical patent/JP4622196B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Exposure Control For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To detect a backlight state with higher precision than before by applying this invention to an image pickup device to, for example, an electronic still camera. SOLUTION: The maximum value, mean value, and minimum value of luminance level are detected from an image pickup result, thresholds LH and LL are set according to them, and the luminance level DK is classified on the basis of those thresholds LH and LL to perform exposure control.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、撮像装置に関し、
例えば電子スチルカメラに適用することができる。本発
明は、撮像結果より輝度レベルの最大値、平均値、最小
値を検出し、これらよりしきい値を設定すると共に、こ
のしきい値により輝度レベルを分類して露光制御するこ
とにより、従来に比して高い精度で逆光の状態を検出す
ることができるようにする。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image pickup device,
For example, it can be applied to an electronic still camera. The present invention detects a maximum value, an average value, and a minimum value of a brightness level from an image pickup result, sets a threshold value from these values, classifies the brightness level by the threshold value, and controls exposure. Therefore, it is possible to detect a backlit state with higher accuracy than the above.

【0002】[0002]

【従来の技術】従来、ビデオカメラ、電子スチルカメラ
等の撮像装置においては、撮像結果の輝度レベルによる
積分値、平均値、重み付け加算値等を判定基準値に設定
し、この判定基準値が所定の値となるように絞り等を制
御して自動露光制御するようになされている。
2. Description of the Related Art Conventionally, in an image pickup apparatus such as a video camera or an electronic still camera, an integral value, an average value, a weighted addition value, etc. according to a brightness level of an image pickup result are set as a judgment reference value, and the judgment reference value is set to a predetermined value. The automatic exposure control is performed by controlling the diaphragm or the like so that the value becomes.

【0003】このような自動露光制御方法においては、
逆光の状態を検出して制御量を補正することにより、画
面全体を明るくして、逆光時の被写体を適切な明るさに
より露光制御する方法が提案されるようになされている
(例えば特開2000−4393号公報、特開平9−2
66549号公報、特開平6−311423号公報、特
開平6−189186号公報)。
In such an automatic exposure control method,
A method has been proposed in which the entire screen is brightened by detecting the state of backlight and the control amount is corrected, and the exposure of the subject at backlight is controlled with appropriate brightness (for example, Japanese Patent Laid-Open No. 2000-2000). -4393, JP-A-9-2
66549, JP-A-6-311423 and JP-A-6-189186).

【0004】これらの方法の多くは、水平方向及び垂直
方向に所定分割数だけ1つの画面を分割して複数の領域
を設定し、これら各領域の輝度レベルを判定し、この判
定結果を処理することにより、逆光の状態を検出し、又
は逆光の状態に適した判定基準値を得るようになされて
いる。
In many of these methods, one screen is divided horizontally and vertically by a predetermined number of divisions to set a plurality of areas, the brightness level of each area is judged, and the judgment result is processed. Thus, the state of backlight is detected, or a determination reference value suitable for the state of backlight is obtained.

【0005】すなわちこのようにして得られる判定結果
の処理により逆光の状態を検出する方法においては、こ
のようにして得られる判定結果より、所定のしきい値以
上の明るい領域と、所定のしきい値以下の暗い領域の輝
度の比率を求めることにより、逆光シーンであるか否か
を自動判定するようになされている。
That is, in the method of detecting the backlit state by processing the determination result obtained in this way, a bright region having a predetermined threshold value or more and a predetermined threshold are determined from the determination result thus obtained. By determining the ratio of the brightness of the dark area equal to or less than the value, it is automatically determined whether or not the scene is a backlight scene.

【0006】これに対して逆光の状態に適した判定基準
値を得ることにより逆光に対応する方法では、目的の被
写体は画面の中央部に存在する可能性が高いという傾向
を利用して画面を中央部の領域に重点をおいて判定基準
値を生成することにより、逆光の被写体について、適切
な明るさを確保するようになされている。
On the other hand, in the method of dealing with the backlight by obtaining the judgment reference value suitable for the backlight condition, the target object is likely to be present in the center of the screen, and the screen is By generating the determination reference value with emphasis on the central region, it is possible to ensure appropriate brightness for the backlit subject.

【0007】[0007]

【発明が解決しようとする課題】ところがこのような逆
光の対応方法においては、実用上未だ不十分な問題があ
る。
However, in such a method for dealing with backlight, there is still a problem in practical use.

【0008】すなわち前者である判定結果の処理により
逆光の状態を検出する方法においては、被写体以外の輝
度レベルの小さな領域についても、逆光により撮像され
ていると誤判定する場合があり、これによりこの場合に
は正しく露光制御することが困難になる。また後者であ
る逆光の状態に適した判定基準値を得る方法において
は、例えば逆光状態にある被写体が画面の中央部に存在
しない場合には、背景等が適正な明るさとなるように露
光制御することになり、この結果本来の被写体について
は、輝度が暗く潰れた状態により撮像されるようにな
る。
That is, in the former method of detecting the backlight state by processing the determination result, there is a case where it is erroneously determined that the area other than the subject having a small brightness level is also imaged by the backlight, which causes In this case, it becomes difficult to control the exposure properly. In the latter method of obtaining a judgment reference value suitable for a backlight condition, for example, when a subject in a backlight condition does not exist in the center of the screen, exposure control is performed so that the background and the like have appropriate brightness. As a result, the original subject is imaged in a state in which the brightness is dark and crushed.

【0009】本発明は以上の点を考慮してなされたもの
で、従来に比して高い精度で逆光の状態を検出すること
ができる撮像装置を提案しようとするものである。
The present invention has been made in consideration of the above points, and it is an object of the present invention to propose an image pickup apparatus capable of detecting a backlit state with higher accuracy than ever before.

【0010】[0010]

【課題を解決するための手段】かかる課題を解決するた
め請求項1の発明においては、撮像結果の輝度レベルの
最大値、最小値、平均値を検出するレベル検出手段と、
最大値、最小値、平均値を基準にして、所定のしきい値
を設定するしきい値設定手段と、撮像結果の輝度レベル
を、しきい値を基準にした複数の区分に分類する分類手
段と、この分類手段の分類に基づいて、各区分に属する
撮像結果の面積を検出する面積検出手段と、この面積検
出手段により検出結果を判定して、撮像結果の逆光を判
定する判定手段とを備えるようにする。
In order to solve such a problem, in the invention of claim 1, level detecting means for detecting the maximum value, the minimum value and the average value of the brightness level of the imaging result,
Threshold setting means for setting a predetermined threshold value based on the maximum value, the minimum value, and the average value, and a classifying means for classifying the brightness level of the imaging result into a plurality of sections based on the threshold value. And area detecting means for detecting the area of the imaging result belonging to each section based on the classification of this classification means, and determination means for judging the detection result by the area detecting means and judging the backlight of the imaging result. Be prepared.

【0011】請求項1の構成よれば、撮像結果の輝度レ
ベルの最大値、最小値、平均値を検出するレベル検出手
段と、この最大値、最小値、平均値を基準にして、所定
のしきい値を設定するしきい値設定手段と、このしきい
値を基準にして、撮像結果の輝度レベルを、しきい値を
基準にした複数の区分に分類する分類手段と、この分類
手段の分類に基づいて、各区分に属する撮像結果の面積
を検出する面積検出手段と、この面積検出手段により検
出結果を判定して、撮像結果の逆光を判定する判定手段
とを備えることにより、撮像結果における輝度レベルの
分布に応じてしきい値を適切に設定し、このしきい値を
基準にして輝度分布を調べて逆光か否か判断することが
できる。これにより例えば、画面中に極めて輝度レベル
の高い光源等が撮像されている場合等でも、逆光か否か
正しく判断することができる。これにより従来に比して
高い精度で逆光の状態を検出することができる。
According to the structure of claim 1, the level detecting means for detecting the maximum value, the minimum value and the average value of the brightness level of the image pickup result, and the predetermined value based on the maximum value, the minimum value and the average value. A threshold setting means for setting a threshold value, a classifying means for classifying the brightness level of the imaging result into a plurality of sections based on the threshold value based on the threshold value, and a classifying means for the classifying means. Based on the above, the area detection means for detecting the area of the image pickup result belonging to each section, and the judgment means for judging the detection result by this area detection means and judging the backlight of the image pickup result are included. It is possible to appropriately set the threshold value according to the distribution of the brightness level, and check the brightness distribution with reference to this threshold value to determine whether the backlight is present or not. Thereby, for example, even when a light source or the like having an extremely high brightness level is imaged on the screen, it is possible to correctly determine whether or not there is backlight. As a result, it is possible to detect the backlit state with higher accuracy than before.

【0012】[0012]

【発明の実施の形態】以下、適宜図面を参照しながら本
発明の実施の形態を詳述する。
BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below in detail with reference to the drawings as appropriate.

【0013】(1)第1の実施の形態 (1−1)第1の実施の形態の構成 図1は、本発明の実施の形態に係る電子スチルカメラを
示すブロック図である。この電子スチルカメラ1におい
て、CCD(Charge Coupled Device )2は、単板式の
カラー画像用固体撮像素子であり、タイミングジェネレ
ータ(TG)3より出力される各種駆動信号により動作
して、図示しない光学系により撮像面に形成される被写
体の画像を光電変換し、撮像結果である撮像信号を出力
する。
(1) First Embodiment (1-1) Configuration of First Embodiment FIG. 1 is a block diagram showing an electronic still camera according to an embodiment of the present invention. In this electronic still camera 1, a CCD (Charge Coupled Device) 2 is a single-plate type solid-state image pickup device for color image, and operates by various drive signals output from a timing generator (TG) 3 to generate an optical system (not shown). The photoelectric conversion is performed on the image of the subject formed on the image pickup surface and the image pickup signal which is the image pickup result is output.

【0014】タイミングジェネレータ3は、CCD2の
各種駆動信号を生成して出力する。この処理において、
タイミングジェネレータ3は、自動露光制御部4の制御
により、CCD2の電荷蓄積時間を可変するように駆動
信号のタイミングを可変する。これによりこの電子スチ
ルカメラ1では、自動露光制御部4の制御により電子シ
ャッターのシャッター速度を種々に可変できるようにな
されている。
The timing generator 3 generates and outputs various drive signals for the CCD 2. In this process,
The timing generator 3, under the control of the automatic exposure controller 4, changes the timing of the drive signal so as to change the charge storage time of the CCD 2. As a result, in the electronic still camera 1, the shutter speed of the electronic shutter can be variously changed under the control of the automatic exposure control unit 4.

【0015】AGC回路5は、図示しない相関二重サン
プリング回路を介して、CCD2より出力される撮像信
号を受け、この撮像信号を所定の利得により増幅して出
力する。AGC回路5は、この処理において、ディジタ
ルアナログ変換回路(D/A)6から出力される制御信
号により利得を可変し、ディジタルアナログ変換回路6
は、自動露光制御部4より出力される制御データをディ
ジタルアナログ変換処理してこの制御信号を出力する。
これによりAGC回路5、ディジタルアナログ変換回路
6は、自動露光制御部4、DSP(Digital Signal pro
cessor)7と共にAGCによる自動露光制御の処理を実
行するようになされている。
The AGC circuit 5 receives an image pickup signal output from the CCD 2 via a correlated double sampling circuit (not shown), amplifies the image pickup signal with a predetermined gain, and outputs the amplified image pickup signal. In this processing, the AGC circuit 5 changes the gain by the control signal output from the digital-analog conversion circuit (D / A) 6, and the digital-analog conversion circuit 6
Outputs the control signal by subjecting the control data output from the automatic exposure control unit 4 to digital-analog conversion processing.
As a result, the AGC circuit 5 and the digital-analog conversion circuit 6 are connected to the automatic exposure controller 4 and the DSP (Digital Signal pro
cessor) 7 together with the automatic exposure control process by AGC.

【0016】アナログディジタル変換回路(A/D)8
は、このAGC回路5の出力信号をアナログディジタル
変換処理して出力する。
Analog-to-digital conversion circuit (A / D) 8
Outputs the output signal of the AGC circuit 5 after analog-digital conversion processing.

【0017】DSP7は、アナログディジタル変換回路
8の出力信号をニー処理、ガンマ補正処理等し、その結
果得られる画像データDVを必要に応じてデータ圧縮し
て出力する。なおDSP7は、CCD2が補色系のカラ
ーフィルタを配置してなる撮像素子の場合、アナログデ
ィジタル変換回路8の出力データを演算処理して色信号
による画像データを生成した後、これらの色信号による
画像データによりニー処理等を実行する。
The DSP 7 performs knee processing, gamma correction processing, and the like on the output signal of the analog-digital conversion circuit 8, and compresses the image data DV obtained as a result, and outputs it. When the CCD 2 is an image sensor in which a color filter of a complementary color system is arranged, the DSP 7 performs arithmetic processing on the output data of the analog-digital conversion circuit 8 to generate image data by color signals, and then images by these color signals. Knee processing etc. are executed by the data.

【0018】DSP7は、これらの処理において輝度信
号に対応する画像データ(以下輝度データと呼ぶ)DY
を生成して出力する。
The DSP 7 performs image data (hereinafter referred to as luminance data) DY corresponding to the luminance signal in these processes.
Is generated and output.

【0019】自動露光制御部4は、例えばこの電子スチ
ルカメラ1の動作を制御するコントローラの一部機能に
より構成される。なおこのコントローラにおいては、ユ
ーザーによる各種の操作に応動したDSP7の動作の制
御等により、図示しない表示装置に画像データDVを出
力して撮像結果を表示し、さらにはデータ圧縮してなる
画像データDVを所定の記録媒体に記録するようになさ
れている。
The automatic exposure control section 4 is constituted by, for example, a partial function of a controller that controls the operation of the electronic still camera 1. In this controller, by controlling the operation of the DSP 7 in response to various operations by the user, the image data DV is output to a display device (not shown) to display the image pickup result, and further the image data DV obtained by data compression is output. Is recorded on a predetermined recording medium.

【0020】自動露光制御部4において、検波回路11
は、撮像結果に設定された領域毎に、輝度データを平均
値検波して検波データDKを出力する。ここでこの実施
の形態においては、所定の分割数によりそれぞれ1つの
画面を水平方向及び垂直方向に分割して複数の領域が設
定される。なおここでこの分割数は、細かければ細かい
程、逆光の検出精度が増大することになり、実用上十分
な範囲で多くの分割数に設定される。検波回路11にお
いては、この各領域毎に、輝度レベルの平均値を計算し
て、各領域の輝度レベルを計算して検波データDKを生
成する。さらに検波回路11は、このようにして計算さ
れる各領域の輝度レベルを合計して、検波データDKと
共に出力する。
In the automatic exposure controller 4, the detection circuit 11
Outputs the detection data DK by detecting the average value of the brightness data for each area set in the imaging result. Here, in this embodiment, one screen is divided in the horizontal direction and the vertical direction by a predetermined number of divisions to set a plurality of regions. Here, the finer the division number, the higher the detection accuracy of the backlight and the more division numbers are set within a practically sufficient range. In the detection circuit 11, the average value of the brightness levels is calculated for each area, the brightness level of each area is calculated, and the detection data DK is generated. Further, the detection circuit 11 sums the brightness levels of the respective areas calculated in this way and outputs the summed detection data together with the detection data DK.

【0021】参照値算出回路12は、このようにして得
られる検波データDKによる各領域の輝度レベル、各領
域の輝度レベルの合計値より、各領域を高輝度領域、中
輝度領域、低輝度領域の3つの区分に分類するためのし
きい値を計算する。すなわち撮像結果を複数の領域に分
割して各領域の輝度レベルの分布を検出すると、一般的
な撮像結果においては、図2に示すように、輝度レベル
がほぼ一様に広く分布してなる分布結果を得ることがで
きる。これによりこのような輝度レベルが広く一様に分
布してなる分布結果においては、いわゆる順光の状態で
あると判断することができる。
The reference value calculation circuit 12 determines each region as a high-luminance region, a medium-luminance region, or a low-luminance region based on the sum of the luminance level of each region and the luminance level of each region based on the detection data DK thus obtained. Compute thresholds for classification into three categories. That is, when the image pickup result is divided into a plurality of areas and the distribution of the luminance level of each area is detected, in the general image pickup result, as shown in FIG. The result can be obtained. As a result, in a distribution result in which such a brightness level is widely and uniformly distributed, it can be determined that a so-called normal light state is present.

【0022】これに対して逆光の場合、図3に示すよう
に、高輝度側と低輝度側とにピークが形成されるような
分布が検出される。これによりこのように高輝度側と低
輝度側とに偏った分布が検出された場合、逆光の状態で
あると判断することができる。
On the other hand, in the case of backlight, a distribution in which peaks are formed on the high luminance side and the low luminance side is detected as shown in FIG. As a result, when a distribution that is biased toward the high-luminance side and the low-luminance side is detected in this way, it can be determined that the backlight condition is present.

【0023】自動露光制御部4は、この検出原理により
各領域を高輝度領域、中輝度領域、低輝度領域の3つの
区分に分類して輝度レベルの分布を検出するようになさ
れ、参照値算出回路12は、この分類に供するしきい値
を計算する。
Based on this detection principle, the automatic exposure control section 4 classifies each area into three sections of a high brightness area, a middle brightness area, and a low brightness area to detect the distribution of brightness levels, and calculates a reference value. The circuit 12 calculates the threshold value for this classification.

【0024】すなわち参照値算出回路12は、検波回路
11より得られる各領域の輝度レベルより最大値Yma
x及び最小値Yminを検出する。さらに参照値算出回
路12は、同様に検波回路11より得られる各領域の輝
度レベルの合計値を領域の数により割り算して、平均輝
度レベルYaveを計算する。参照値算出回路12は、
これら最大値Ymax、最小値Ymin及び平均輝度レ
ベルYaveにより、撮像結果の輝度レベル分布に応じ
てしきい値を設定して、各領域の輝度レベルを分類す
る。
That is, the reference value calculation circuit 12 determines the maximum value Yma from the brightness level of each area obtained from the detection circuit 11.
x and the minimum value Ymin are detected. Further, the reference value calculation circuit 12 similarly calculates the average brightness level Yave by dividing the total value of the brightness levels of the respective areas obtained from the detection circuit 11 by the number of areas. The reference value calculation circuit 12
With the maximum value Ymax, the minimum value Ymin, and the average brightness level Yave, a threshold value is set according to the brightness level distribution of the imaging result, and the brightness level of each area is classified.

【0025】具体的に、参照値算出回路12は、最大値
Ymaxと平均輝度レベルYaveの差分値Δup(=
Ymax−Yave)を計算し、この差分値Δupの1
/3の値Δup/3を平均輝度レベルYaveに加算し
た値Yave+Δup/3を高輝度側のしきい値LHに
設定する。また同様にして、最小値Yminと平均輝度
レベルYaveの差分値Δdown(=Yave−Ym
ax)を計算し、この差分値Δdownの1/3の値Δ
down/3を平均輝度レベルYaveから減算した値
Yave−Δdown/3を低輝度側のしきい値LLに
設定する。
Specifically, the reference value calculation circuit 12 has a difference value Δup (= difference between the maximum value Ymax and the average luminance level Yave).
Ymax-Yave) is calculated, and the difference value Δup is 1
A value Yave + Δup / 3 obtained by adding the value Δup / 3 of / 3 to the average brightness level Yave is set as the threshold value LH on the high brightness side. Similarly, the difference value Δdown (= Yave-Ym) between the minimum value Ymin and the average luminance level Yave.
ax), and the value Δ 1/3 of this difference value Δdown
The value Yave-Δdown / 3 obtained by subtracting down / 3 from the average brightness level Yave is set to the low brightness threshold value LL.

【0026】これらにより参照値算出回路12は、それ
ぞれ最大値Ymax及び平均輝度レベルYave、最小
値Ymin及び平均輝度レベルYaveを、所定の比率
により内分する値を高輝度側及び低輝度側のしきい値L
H及びLLに設定する。参照値算出回路12は、このよ
うにして計算したしきい値LH及びLLを検波データD
Kと共に出力する。
With this, the reference value calculation circuit 12 divides the maximum value Ymax and the average luminance level Yave, the minimum value Ymin and the average luminance level Yave into a predetermined ratio on the high luminance side and the low luminance side. Threshold L
Set to H and LL. The reference value calculation circuit 12 detects the threshold values LH and LL calculated in this manner as detection data D.
Output with K.

【0027】続く輝度別積分回路13は、しきい値LH
及びLLを基準にして順次検波データDKの信号レベル
を判定することにより、各領域の輝度レベルを高輝度、
中輝度、低輝度に分類する。すなわち輝度別積分回路1
3は、検波データDKの信号レベルが高輝度のしきい値
LHより大きい場合、この検波データDKに対応する領
域を高輝度の領域に分類する。また検波データDKの信
号レベルが高輝度のしきい値LHから低輝度のしきい値
LLの範囲の場合、この検波データDKに対応する領域
を中輝度の領域に分類する。また検波データDKの信号
レベルが低輝度のしきい値LLより小さい場合、この検
波データDKに対応する領域を低輝度の領域に分類す
る。
Subsequently, the luminance-by-luminance integrating circuit 13 sets the threshold value LH.
And LL are used as a reference to sequentially determine the signal level of the detection data DK, so that the brightness level of each region is set to high brightness,
Classify into medium brightness and low brightness. That is, the brightness-specific integration circuit 1
When the signal level of the detection data DK is higher than the high-luminance threshold value LH, 3 classifies the region corresponding to the detection data DK into the high-luminance region. When the signal level of the detection data DK is in the range of the high luminance threshold LH to the low luminance threshold LL, the region corresponding to this detection data DK is classified into the medium luminance region. When the signal level of the detection data DK is smaller than the low-luminance threshold value LL, the area corresponding to the detection data DK is classified into the low-luminance area.

【0028】さらに輝度別積分回路13は、このように
分類した領域の数を、各分類毎にカウントする。これに
より輝度別積分回路13は、図4及び図5に示すよう
に、撮像結果より検出される輝度レベルの最大値Yma
x、最小値Ymin、平均値Yaveを元に設定される
しきい値LH、LLにより、各領域の輝度レベルを高輝
度、中輝度、低輝度に分類し、撮像結果に設定された領
域を基準にして撮像結果に占める各分類の面積をそれぞ
れ検出するようになされている。輝度別積分回路13
は、このようにして検出した高輝度、中輝度、低輝度に
それぞれ属する領域のカウント値S1、S2、S3を続
く逆光判定回路14に出力する。
Further, the luminance-specific integration circuit 13 counts the number of areas classified in this way for each classification. As a result, as shown in FIGS. 4 and 5, the brightness-specific integration circuit 13 causes the maximum value Yma of the brightness levels detected from the imaging result to be obtained.
The brightness level of each area is classified into high brightness, medium brightness, and low brightness by threshold values LH and LL set based on x, the minimum value Ymin, and the average value Yave, and the area set in the imaging result is used as a reference. Then, the area of each classification occupying the image pickup result is detected. Brightness-specific integration circuit 13
Outputs the count values S1, S2, S3 of the regions respectively belonging to the high brightness, the middle brightness, and the low brightness detected in this way to the subsequent backlight judgment circuit 14.

【0029】逆光判定回路14は、このようにして検出
される高輝度、中輝度、低輝度にそれぞれ属する領域の
カウント値S1、S2、S3を基準にして、逆光か否か
判断する。すなわち図2との対比により図4に示すよう
に、順光の場合、撮像結果において、輝度レベルがほぼ
一様に広く分布する特徴があるのに対し、図3との対比
により図5に示すように、逆光の場合には、高輝度側及
び低輝度側に輝度レベルが偏って分布することになる。
The backlight judgment circuit 14 judges whether or not there is backlight on the basis of the count values S1, S2, S3 of the areas respectively belonging to high brightness, medium brightness and low brightness thus detected. That is, as shown in FIG. 4 in comparison with FIG. 2, in the case of forward light, there is a characteristic that the luminance level is substantially uniformly and widely distributed in the imaging result, whereas in contrast to FIG. 3, it is shown in FIG. As described above, in the case of backlight, the brightness levels are unevenly distributed on the high brightness side and the low brightness side.

【0030】これにより逆光判定回路14は、高輝度及
び中輝度にそれぞれ属する領域のカウント値S1及びS
2の間で、S1>k・S2の関係が成立し、かつ中輝度
及び低輝度にそれぞれ属する領域のカウント値S2及び
S3の間で、S3>k・S2の関係が成立するか否か判
断し、これらの関係が共に成立する場合には、逆光との
判定結果を出力する。なおここでkは所定の定数であ
る。
As a result, the backlight judgment circuit 14 causes the count values S1 and S of the areas belonging to high brightness and medium brightness, respectively.
2, it is determined whether the relationship of S1> k · S2 is established, and the relationship of S3> k · S2 is established between the count values S2 and S3 of the regions belonging to the middle luminance and the low luminance, respectively. However, when these relationships are established together, the determination result of backlight is output. Here, k is a predetermined constant.

【0031】すなわち図4に示すような順光による場合
には、輝度レベルが広く分布し、かつこの分布より得ら
れる輝度レベルの最大値、最小値、平均値によりしきい
値を設定してなることにより、この場合、ほぼS1≒S
2≒S3の関係を得ることができる。これにより上述し
た逆光の判断基準である2つの関係式の何れもが成立す
ることなく、逆光では無いと判断することができる。
That is, in the case of forward light as shown in FIG. 4, the brightness level is widely distributed, and the threshold is set by the maximum value, the minimum value and the average value of the brightness level obtained from this distribution. Therefore, in this case, S1≈S
The relationship of 2≈S3 can be obtained. As a result, it is possible to determine that the backlight is not present without satisfying any of the two relational expressions that are the criteria for determining the backlight.

【0032】これに対して図5に示すような分布の場合
には、高輝度側及び低輝度側に輝度レベルが偏って分布
することにより、この輝度レベルの最大値、最小値、平
均値によりしきい値を設定して得られるカウント値S
1、S2、S3においては、S1>k・S2及びS3>
k・S2の関係が共に成立し、これにより逆光の状態と
判断することができる。
On the other hand, in the case of the distribution as shown in FIG. 5, the brightness levels are unevenly distributed on the high brightness side and the low brightness side, so that the maximum value, the minimum value, and the average value of the brightness levels are used. Count value S obtained by setting the threshold value
1, S2, S3, S1> k · S2 and S3>
The relationship of k · S2 is established, and it can be determined that the backlight condition is present.

【0033】しかしながら例えば紅白の旗をズームして
撮像する場合のように、明るさの異なる被写体を画角い
っぱいにより撮像する場合には、図6に示すように、輝
度レベルの分布にこれら紅白に対応する2つの輝度レベ
ルのピークが発生することになる。この場合、輝度レベ
ルの最大値、最小値、平均値によりしきい値を設定して
輝度レベルを分類して面積を比較する場合にあっては、
これら2色に対応する領域がそれぞれ高輝度、低輝度に
分類されてカウントされることにより、S1>k・S2
及びS3>k・S2の関係が共に成立し、これにより逆
光の状態と誤判断することになる。
However, when a subject with different brightness is imaged with a full angle of view, for example, when a red and white flag is zoomed and imaged, the distribution of the brightness levels is changed to red and white as shown in FIG. There will be two corresponding brightness level peaks. In this case, in the case of setting the threshold value by the maximum value, the minimum value, and the average value of the brightness levels to classify the brightness levels and compare the areas,
The areas corresponding to these two colors are classified into high brightness and low brightness, respectively, and counted, so that S1> k · S2
, And S3> k · S2, both of which are satisfied, which results in an erroneous determination as a backlit state.

【0034】しかしながらこのような場合には、これら
高輝度、低輝度に分類される領域間においては、輝度レ
ベルの差が小さい特徴がある。これにより逆光判定回路
14は、輝度レベルの最大値Ymax、最小値Ymin
との比Ymax/Yminを計算し、この比が所定値以
下の場合、上述したS1>k・S2及びS3>k・S2
の関係が共に成立する場合でも、逆光の状態ではないと
判断する。
However, in such a case, there is a feature that the difference in the brightness level is small between the areas classified into the high brightness and the low brightness. As a result, the backlight determination circuit 14 determines the maximum value Ymax and the minimum value Ymin of the brightness level.
And the ratio Ymax / Ymin is calculated, and when this ratio is less than or equal to a predetermined value, S1> k · S2 and S3> k · S2 described above.
Even when the relationship of is established together, it is determined that the backlight is not in a backlit state.

【0035】かくするにつき、この実施の形態におい
て、逆光判定回路14は、係数k1を用いて、Ymax
/Ymin>k1、S1>k・S2、S3>k・S2の
関係が共に成立する場合に限り、逆光の状態と判断し、
これにより逆光の誤検出を有効に回避するようになされ
ている。
Therefore, in this embodiment, the backlight judgment circuit 14 uses the coefficient k1 to calculate Ymax.
Only when the relations of / Ymin> k1, S1> k · S2, S3> k · S2 are both satisfied, it is judged that the backlight condition exists.
As a result, false detection of backlight is effectively avoided.

【0036】コントロール回路15は、このようにして
得られる判定結果DJを基準にした、検波データDKの
処理により撮像結果の明るさを示す所定の判定基準値を
生成し、この判定基準値が所定値となるように、タイミ
ングジェネレータ3、ディジタルアナログ変換回路6の
動作を制御し、これにより自動露光制御する。すなわち
コントロール回路15は、図7に示すように、順光の場
合と判断された場合には、検波データDKの処理により
得られる輝度レベルの平均値Yaveを判定基準値に設
定し、これによりこの平均値Yaveが所定値となるよ
うに、電子シャッター速度、AGC回路5の利得を制御
する。
The control circuit 15 generates a predetermined determination reference value indicating the brightness of the image pickup result by processing the detection data DK based on the determination result DJ thus obtained, and this determination reference value is predetermined. The operations of the timing generator 3 and the digital-analog conversion circuit 6 are controlled so that the value becomes a value, and the automatic exposure control is thereby performed. That is, as shown in FIG. 7, the control circuit 15 sets the average value Yave of the brightness levels obtained by the processing of the detection data DK to the determination reference value when it is determined that the light is in the forward light state. The electronic shutter speed and the gain of the AGC circuit 5 are controlled so that the average value Yave becomes a predetermined value.

【0037】これに対して逆光との判定結果が得られた
場合、図8に示すように、低輝度側のしきい値LLを基
準にした検波データDKの選択的な加算処理により、低
輝度に分類される領域で輝度レベルの平均値Ydave
を計算し、この平均値Ydaveを判定基準値に設定す
る。これによりコントロール回路15は、この場合、図
9に示すように、この平均値Ydaveが所定値となる
ように、電子シャッター速度、AGC回路5の利得を制
御する。
On the other hand, when the result of judgment that the light is backlit is obtained, as shown in FIG. 8, the low brightness is obtained by the selective addition process of the detection data DK based on the threshold LL on the low brightness side. The average value Ydave of the brightness level in the area classified into
Is calculated, and this average value Ydave is set as the determination reference value. Thus, in this case, the control circuit 15 controls the electronic shutter speed and the gain of the AGC circuit 5 so that the average value Ydave becomes a predetermined value as shown in FIG.

【0038】これらによりこの実施の形態において、C
CD2は、撮像結果を出力する撮像手段を構成するのに
対し、検波回路11、参照値算出回路12は、撮像結果
の輝度レベルの最大値、最小値、平均値を検出するレベ
ル検出手段を構成する。また参照値算出回路12は、こ
の最大値、最小値、平均値を基準にして、所定のしきい
値を設定するしきい値設定手段をも構成するのに対し、
輝度別積分回路13は、このしきい値を基準にして、撮
像結果の輝度レベルを、しきい値を基準にした複数の区
分に分類する分類手段を構成し、またこの分類手段によ
る分類に基づいて、各区分に属する撮像結果の面積を検
出する面積検出手段を構成するようになされている。ま
た逆光判定回路14は、面積検出手段により検出結果を
判定して、撮像結果の逆光を判定する判定手段を構成
し、コントロール回路15は、この判定手段の判定結果
を基準にして、露光制御する制御手段を構成するように
なされている。
Accordingly, in this embodiment, C
The CD 2 constitutes the image pickup means for outputting the image pickup result, while the detection circuit 11 and the reference value calculation circuit 12 constitute the level detection means for detecting the maximum value, the minimum value and the average value of the brightness level of the image pickup result. To do. Further, the reference value calculation circuit 12 also constitutes threshold value setting means for setting a predetermined threshold value on the basis of the maximum value, the minimum value and the average value.
The luminance-by-luminance integrating circuit 13 constitutes a classifying unit that classifies the brightness level of the imaging result into a plurality of sections based on the threshold value based on the threshold value, and based on the classification by the classifying unit. Then, the area detection means for detecting the area of the imaging result belonging to each section is configured. Further, the backlight judgment circuit 14 constitutes a judgment means for judging the detection result by the area detection means to judge the backlight of the imaging result, and the control circuit 15 controls the exposure based on the judgment result of this judgment means. The control means is configured.

【0039】(1−2)第2の実施の形態の動作 以上の構成において、この電子スチルカメラ1では、C
CD2より得られる撮像結果がAGC回路5により所定
利得で増幅され、アナログディジタル変換回路8により
画像データに変換され、この画像データがDSP7によ
りニー処理、ガンマ処理等される。電子スチルカメラ1
では、このように処理されてなる画像データDVが表示
装置に表示され、またデータ圧縮されて所定の記録媒体
に記録される。
(1-2) Operation of the Second Embodiment With the above configuration, in the electronic still camera 1, C
The image pickup result obtained from the CD 2 is amplified by the AGC circuit 5 with a predetermined gain, converted into image data by the analog-digital conversion circuit 8, and this image data is subjected to knee processing, gamma processing and the like by the DSP 7. Electronic still camera 1
Then, the image data DV processed in this way is displayed on the display device, and is compressed and recorded on a predetermined recording medium.

【0040】電子スチルカメラ1では、これらの処理に
おいて、撮像結果の1画面を分割して生成されてなる領
域を単位にして、DSP7で生成される輝度データDY
が平均値検波され、これにより各領域の輝度レベルが検
出される。さらにコントロール回路15において、この
検波データDKの平均値が計算され、この平均値が露光
制御用の判定基準値に設定されて、この判定基準値が所
定値となるように、電子シャッター、AGCにより自動
露光制御の処理が実行される。
In the electronic still camera 1, in these processes, the luminance data DY generated by the DSP 7 is set in units of areas generated by dividing one screen of the image pickup result.
Is detected as an average value, and the brightness level of each area is detected. Further, the control circuit 15 calculates an average value of the detection data DK, sets this average value as a judgment reference value for exposure control, and sets the judgment reference value to a predetermined value by an electronic shutter and an AGC. The process of automatic exposure control is executed.

【0041】すなわち電子スチルカメラ1では、このよ
うにして検出される評価基準値により、撮像結果が明る
過ぎる場合には、コントロール回路15によるタイミン
グジェネレータ3の制御により、CCD2における電荷
蓄積時間が短い時間に切り換えられる。またこれとは逆
に、撮像結果が暗過ぎる場合には、同様のコントロール
回路15によるタイミングジェネレータ3の制御によ
り、CCD2における電荷蓄積時間が長い時間に切り換
えられ、さらにこのようにしても明るさが不足する場合
には、AGC回路5の利得が増大され、これらにより画
面中に設定された領域を単位とした1画面の平均輝度レ
ベルが所定値となるように撮像結果が自動露光調整され
る(図7)。
That is, in the electronic still camera 1, when the image pickup result is too bright due to the evaluation reference value thus detected, the control circuit 15 controls the timing generator 3 so that the charge storage time in the CCD 2 is short. Is switched to. On the contrary, when the image pickup result is too dark, the charge generation time in the CCD 2 is switched to a long time by the same control of the timing generator 3 by the control circuit 15, and the brightness is also increased in this way. If it is insufficient, the gain of the AGC circuit 5 is increased, and the exposure result of the imaging is automatically adjusted so that the average brightness level of one screen in a unit of the area set in the screen becomes a predetermined value. (Fig. 7).

【0042】電子スチルカメラ1では、このような処理
と同時並列的に、参照値算出回路12において、各領域
の輝度レベルを示す検波データDKが処理されて、この
領域を単位にした輝度レベルの最大値、最小値、平均値
が検出される。またこのようにして検出した最大値、最
小値、平均値を基準にして、輝度レベルを高輝度、中輝
度、低輝度に分類するしきい値LL、LHが設定される
(図4及び図5)。電子スチルカメラ1では、このしき
い値LL、LHを基準にして、続く輝度別積分回路13
により各領域の輝度レベルが分類され、高輝度、中輝
度、低輝度にそれぞれ分類された領域の数がカウントさ
れる。これにより電子スチルカメラ1では、撮像結果に
おける輝度レベルの最大値、最小値、平均値を基準にし
たしきい値LL、LHにより撮像結果の輝度レベルを高
輝度、中輝度、低輝度に分類して、各分類の面積が領域
の数により検出される。
In the electronic still camera 1, the reference value calculation circuit 12 processes the detection data DK indicating the brightness level of each area in parallel with the above processing, and the brightness level of this area as a unit is detected. Maximum, minimum and average values are detected. Further, thresholds LL and LH that classify the brightness level into high brightness, medium brightness, and low brightness are set on the basis of the maximum value, the minimum value, and the average value thus detected (FIGS. 4 and 5). ). In the electronic still camera 1, the brightness-based integration circuit 13 that follows is based on the thresholds LL and LH.
The brightness level of each area is classified by, and the number of areas classified into high brightness, medium brightness, and low brightness is counted. As a result, the electronic still camera 1 classifies the brightness level of the imaging result into high brightness, medium brightness, and low brightness by the threshold values LL and LH based on the maximum value, the minimum value, and the average value of the brightness level in the imaging result. Then, the area of each classification is detected by the number of regions.

【0043】電子スチルカメラ1では、このようにして
検出される各分類の面積が逆光判定回路14により判定
されて、逆光か否か判断される。すなわち順光による撮
像結果においては、輝度レベルがほぼ一様に分布するの
に対し(図2及び図4)、逆光の場合には、高輝度及び
低輝度に偏った分布が得られる(図3及び図5)。これ
により電子スチルカメラ1では、所定の関係式を満足す
るか否かの判定により、高い輝度レベルの区分に属する
面積と、低い輝度レベルの区分に属する面積とが、それ
ぞれ他の区分に属する面積より所定値以上大きい場合
に、逆光との判定結果を出力する。すなわちこの実施の
形態では、高輝度の面積が中輝度の面積の所定倍上の場
合、低輝度の面積が中輝度の面積の所定倍上の場合、逆
光との判定結果を出力する。
In the electronic still camera 1, the area of each classification thus detected is judged by the backlight judgment circuit 14 to judge whether it is backlight. That is, in the result of image capturing with forward light, the brightness levels are distributed almost uniformly (FIGS. 2 and 4), whereas in the case of backlight, a distribution biased to high brightness and low brightness is obtained (FIG. 3). And FIG. 5). As a result, in the electronic still camera 1, the area belonging to the high brightness level section and the area belonging to the low brightness level section respectively belong to other sections by determining whether or not a predetermined relational expression is satisfied. When it is larger than a predetermined value, the result of the judgment that the backlight is output is output. That is, in this embodiment, when the high-luminance area is a predetermined multiple of the medium-luminance area and the low-luminance area is a predetermined multiple of the medium-luminance area, the determination result of backlight is output.

【0044】これによりこの実施の形態においては、逆
光の誤り判定を有効に回避して、逆光を検出することが
できる。
As a result, in this embodiment, it is possible to effectively avoid the error determination of the backlight and detect the backlight.

【0045】すなわち単に所定のしきい値により輝度レ
ベルを判定して逆光を検出する場合、撮像結果における
輝度レベルの分布とは無関係に輝度レベルを分類するこ
とにより、逆光を誤検出する場合があった。具体的に
は、例えば図10に示すように、画面中に極めて輝度レ
ベルが高く、かつ大きさが小さい光源等が撮像されてお
り、中程度の輝度レベルの面積が小さい場合、逆光とし
て誤検出される。
That is, when the backlight level is simply determined by the predetermined threshold value and the backlight is detected, the backlight may be erroneously detected by classifying the brightness levels regardless of the distribution of the brightness levels in the imaging result. It was Specifically, as shown in FIG. 10, for example, when a light source or the like having an extremely high brightness level and a small size is imaged on the screen and the area of the medium brightness level is small, it is erroneously detected as backlight. To be done.

【0046】しかしながらこの実施の形態においては、
輝度レベルの最大値、最小値、平均値によりしきい値L
L及びLHを設定していることにより、図10のような
場合には、その分、平均値が小さくなることにより低輝
度に分類される輝度レベルの範囲が小さくなり、またこ
れとは逆に、高輝度に分類される輝度レベルの範囲が広
くなり、これらにより高輝度、中輝度、低輝度の分類さ
れる面積S1、S2、S3が上述した逆光の判定基準を
満たさなくなる。これによりこの実施の形態において
は、このような順光の場合で、中輝度レベルの分布が偏
っている場合における逆光の誤検出を有効に回避して、
従来に比して格段的に逆光の検出精度を向上することが
できる。また被写体が画面上の何れの場所に配置されて
いる場合でも、正しく逆光の状態を検出することもでき
る。
However, in this embodiment,
Threshold value L based on maximum, minimum, and average brightness levels
By setting L and LH, in the case as shown in FIG. 10, the average value becomes smaller, and the range of the brightness level classified as low brightness becomes smaller accordingly. The range of brightness levels classified into high brightness becomes wider, and accordingly, the classified areas S1, S2, and S3 of high brightness, medium brightness, and low brightness do not satisfy the above-described backlight judgment criterion. With this, in this embodiment, in the case of such a forward light, the false detection of the backlight is effectively avoided when the distribution of the middle luminance level is biased,
It is possible to remarkably improve the backlight detection accuracy as compared with the related art. In addition, it is possible to correctly detect the backlit state regardless of where the subject is placed on the screen.

【0047】またこの実施の形態では、このような逆光
の判定において、輝度レベルの最大値及び最小値の比率
により、輝度レベルの最大値及び最小値のレベル差が大
きい場合には、上述した条件の満足により逆光と判断す
るのに対し、レベル差が小さい場合には、上述した条件
を満足する場合でも逆光と判断しないようになされ、こ
れにより逆光の誤検出を有効に回避することができる。
Further, in this embodiment, in the case of such backlight determination, if the level difference between the maximum value and the minimum value of the brightness level is large due to the ratio of the maximum value and the minimum value of the brightness level, the above-mentioned condition is satisfied. When the level difference is small, it is determined that the backlight is not satisfied even if the above-described conditions are satisfied, and thus the false detection of the backlight can be effectively avoided.

【0048】これらにより逆光と判断された場合、電子
スチルカメラ1では、低輝度に分類された部分の平均輝
度レベルにより評価基準値が生成され、撮像結果の1画
面による輝度レベルの平均値による判定基準値に代え
て、この低輝度による評価基準値が所定値となるよう
に、露光制御され(図8)、これにより逆光による被写
体が適切な明るさにより撮像されてなる撮像結果を得る
ことができる。これにより撮像結果においては、逆光を
判断された場合に明るくなるように撮像される、被写体
の黒つぶれを確実に抑制することができる。
When the backlight is judged by these, the electronic still camera 1 generates the evaluation reference value by the average brightness level of the part classified into the low brightness, and the judgment is made by the average value of the brightness levels of one screen of the image pickup result. Instead of the reference value, the exposure control is performed so that the evaluation reference value based on the low brightness becomes a predetermined value (FIG. 8), whereby an imaging result in which the subject is imaged by the backlight with appropriate brightness can be obtained. it can. As a result, in the image pickup result, it is possible to reliably suppress the blackout of the subject, which is picked up so as to be bright when the backlight is determined.

【0049】このようにして処理するにつき、電子スチ
ルカメラ1では、このような最大値、最小値、平均値の
検出、輝度レベルの分類、面積の計算、評価基準値の計
算等が、撮像結果を水平方向及び垂直方向にそれぞれ所
定分割数だけ分割してなる領域を単位にして実行される
ことにより、全画素によりこれらの処理を実行する場合
に比して少ない演算処理量により逆光を検出し、さらに
は自動露光制御することができる。
In the processing as described above, the electronic still camera 1 detects the maximum value, the minimum value and the average value, classifies the brightness level, calculates the area, calculates the evaluation reference value, etc. Backlight is detected with a smaller amount of calculation processing compared to the case where these processes are executed by all the pixels, by executing the process in units of a region divided by a predetermined number of divisions in the horizontal and vertical directions. Moreover, automatic exposure control can be performed.

【0050】(1−3)第1の実施の形態の効果 以上の構成によれば、撮像結果より輝度レベルの最大
値、平均値、最小値を検出し、これらよりしきい値を設
定すると共に、このしきい値により輝度レベルを分類し
て露光制御することにより、従来に比して高い精度で逆
光の状態を検出することができる。
(1-3) Effects of the First Embodiment According to the above configuration, the maximum value, the average value, and the minimum value of the brightness level are detected from the image pickup result, and the threshold value is set from these values. By classifying the brightness level by this threshold value and controlling the exposure, it is possible to detect the backlit state with higher accuracy than before.

【0051】またこのとき撮像結果を水平方向及び垂直
方向にそれぞれ分割して形成された複数の領域を単位に
して、最大値、最小値、平均値を検出することにより、
簡易な処理により従来に比して高い精度により逆光の状
態を検出することができる。
Further, at this time, the maximum value, the minimum value, and the average value are detected in units of a plurality of regions formed by dividing the image pickup result in the horizontal direction and the vertical direction, respectively.
With simple processing, it is possible to detect the backlit state with higher accuracy than before.

【0052】また撮像結果を水平方向及び垂直方向にそ
れぞれ分割して形成された複数の領域を単位にして、撮
像結果の輝度レベルを分類することによっても、簡易な
処理により従来に比して高い精度により逆光の状態を検
出することができる。
Further, by classifying the brightness level of the image pickup result in units of a plurality of areas formed by dividing the image pickup result in the horizontal direction and the vertical direction, respectively, the brightness level of the image pickup result is higher than that of the conventional one. It is possible to detect the state of backlighting with accuracy.

【0053】さらに撮像結果を水平方向及び垂直方向に
それぞれ分割して形成された複数の領域を単位にして、
各輝度の分類した部分の面積を検出することによって
も、簡易な処理により従来に比して高い精度により逆光
の状態を検出することができる。
Further, with a plurality of regions formed by dividing the image pickup result in the horizontal direction and the vertical direction, respectively, as a unit,
Also by detecting the area of the classified portion of each luminance, it is possible to detect the backlit state with higher accuracy by a simple process than before.

【0054】また高輝度、中輝度、低輝度の区分により
輝度レベルを分類することにより、この種の処理に必要
最小限度の区分により輝度レベルを分類して精度の高い
検出結果を得ることができ、これによっても簡易な処理
により従来に比して高い精度により逆光の状態を検出す
ることができる。
Further, by classifying the brightness levels according to the categories of high brightness, medium brightness, and low brightness, it is possible to classify the brightness levels according to the minimum level of classification necessary for this type of processing and obtain highly accurate detection results. Even in this case, it is possible to detect the backlit state with higher accuracy than in the past by a simple process.

【0055】また高い輝度レベルの区分に属する面積
と、低い輝度レベルの区分に属する面積とが、それぞれ
他の区分に属する面積より所定値以上大きい場合に、逆
光との判定結果を出力することにより、このように輝度
レベルを分類して正しい逆光の判定結果を得ることがで
きる。
When the area belonging to the high brightness level section and the area belonging to the low brightness level section are larger than the areas belonging to the other sections by a predetermined value or more, by outputting the judgment result of backlighting, By classifying the brightness levels in this way, it is possible to obtain a correct backlight determination result.

【0056】さらに高い輝度レベルの区分に属する面積
と、低い輝度レベルの区分に属する面積とが、それぞれ
他の区分に属する面積より所定値以上大きい場合であっ
て、かつ、最大値及び最小値の輝度レベルが大きい場合
に、逆光との判定結果を出力することにより、逆光の誤
検出を有効に回避することができる。
When the area belonging to the section having a higher brightness level and the area belonging to the section having a lower brightness level are larger than the areas belonging to the other sections by a predetermined value or more, and the maximum value and the minimum value are When the brightness level is high, the erroneous detection of backlight can be effectively avoided by outputting the determination result of backlight.

【0057】(2)第2の実施の形態 ところでこのように輝度レベルの最大値、最小値、平均
値によりしきい値を設定する場合においては、図8との
対比により図9に示すように、逆光を補正するように露
光制御した場合でも、各区分の分類においては、何ら逆
光を補正しない場合と同一の分類結果を得ることができ
る。
(2) Second Embodiment By the way, in the case where the threshold value is set by the maximum value, the minimum value and the average value of the brightness levels as described above, as shown in FIG. 9 by comparison with FIG. Even when the exposure control is performed so as to correct the backlight, the same classification result as in the case where the backlight is not corrected can be obtained in the classification of each section.

【0058】このことは、逆光を補正するように絞り等
を補正しても、逆光の状態が検出されることを意味し、
これにより低輝度の平均値を判定基準値に設定した露光
制御により安定に露光制御することができる。
This means that even if the diaphragm or the like is corrected to correct the backlight, the state of the backlight is detected,
As a result, the exposure control can be stably performed by the exposure control in which the average value of low brightness is set as the determination reference value.

【0059】しかしながら逆光を補正するように絞り等
を補正して、多くの領域で輝度レベルが飽和した場合に
は、輝度レベルの区分が異なるようになり、これにより
安定に露光制御することが困難になる恐れがある。
However, when the diaphragm or the like is corrected so as to correct the backlight and the brightness level is saturated in many areas, the brightness level division becomes different, which makes stable exposure control difficult. May become.

【0060】このためこの実施の形態では、このような
逆光の補正による高輝度レベルの飽和によっても、輝度
レベルの区分が異ならないように、処理対象の輝度レベ
ルが所定の上限値により切り捨てられ、この切り捨てら
れるレベルが自動光量制御による制御値に応じて可変さ
れるようになされている。
Therefore, in this embodiment, the luminance level to be processed is rounded down by a predetermined upper limit value so that the division of the luminance level does not differ even when the high luminance level is saturated by such backlight correction. The level to be cut off is variable according to the control value by the automatic light amount control.

【0061】この実施の形態によれば、逆光の補正によ
る領域の飽和によっても、輝度レベルの区分が異ならな
いように維持されることにより、安定に露光制御するこ
とができる。
According to this embodiment, the exposure level can be stably controlled by maintaining the brightness level division so as not to be different even when the area is saturated by the backlight correction.

【0062】(3)他の実施の形態 なお上述の実施の形態においては、最大値と平均値のレ
ベル差の1/3の値だけ平均値より最大値側に高輝度側
のしきい値を設定し、最小値と平均値とのレベル差の1
/3の値だけ平均値より最小値側に低輝度側のしきい値
を設定する場合について述べたが、本発明はこれに限ら
ず、要は、このようなしきい値を最大値、最小値、平均
値を基準にして設定して、撮像結果における輝度レベル
の分布を輝度レベルの分類に反映させることができるこ
とにより、このような差分値の1/3の値を例えば1/
4に設定する等、種々の変更が可能であり、またユーザ
ーによる撮影モードの設定等によりこのようなしきい値
の設定を適宜切り換えるようにしてもよい。
(3) Other Embodiments In the above-described embodiment, the threshold value on the high luminance side is set to the maximum value side of the average value by 1/3 of the level difference between the maximum value and the average value. Set the level difference between the minimum value and the average value to 1
The case where the threshold value on the low luminance side is set to the minimum value side of the average value by the value of / 3 has been described, but the present invention is not limited to this, and the point is that such threshold value is set to the maximum value and the minimum value By setting the average value as a reference and reflecting the distribution of the brightness level in the imaging result in the classification of the brightness level, the value of 1/3 of such a difference value can be set to, for example, 1 /
It is possible to make various changes such as setting to 4, and it is also possible to appropriately switch the setting of such a threshold value by the setting of the photographing mode by the user.

【0063】また上述の第2の実施の形態においては、
輝度レベルの制限により逆光の補正による高輝度レベル
の飽和によっても、輝度レベルの区分が異ならないよう
に維持する場合について述べたが、本発明はこれに限ら
ず、飽和した分、高輝度側のしきい値を補正して区分が
異ならないようにする等、種々の方法を広く適用するこ
とができる。
Further, in the above-mentioned second embodiment,
Although the case where the division of the brightness level is maintained so as not to be different even by the saturation of the high brightness level due to the correction of the backlight due to the restriction of the brightness level has been described, the present invention is not limited to this, and the saturated amount is equivalent to Various methods can be widely applied, such as correcting the threshold value so that the sections do not differ.

【0064】また上述の実施の形態においては、輝度レ
ベルを3段階により区分する場合について述べたが、本
発明はこれに限らず、区分の数は必要に応じて種々に設
定することができる。
In the above embodiment, the case where the brightness level is divided into three levels has been described, but the present invention is not limited to this, and the number of sections can be set variously as necessary.

【0065】また上述の実施の形態においては、撮像結
果を水平方向及び垂直方向に分割した領域を単位として
最大値等を検出し、輝度レベルを分類し、面積を計算
し、さらには評価基準値を設定する場合について述べた
が、本発明はこれに限らず、これらの処理においては、
互いに異なる領域の設定により実行してもよく、さらに
は画素単位で実行するようにしてもよい。
Further, in the above-described embodiment, the maximum value and the like are detected with the region obtained by dividing the image pickup result in the horizontal direction and the vertical direction as a unit, the brightness level is classified, the area is calculated, and the evaluation reference value is calculated. However, the present invention is not limited to this, and in these processes,
It may be executed by setting areas different from each other, or may be executed in pixel units.

【0066】また上述の実施の形態においては、輝度レ
ベルの平均値により評価基準値を設定する場合について
述べたが、本発明はこれに限らず、例えば撮像結果を水
平方向及び垂直方向に分割した領域を単位とした輝度レ
ベルの重み付け加算等により評価基準値を設定する場合
にも広く適用することができる。
Further, in the above-described embodiment, the case where the evaluation reference value is set by the average value of the brightness levels has been described, but the present invention is not limited to this, and the image pickup result is divided in the horizontal direction and the vertical direction, for example. The present invention can be widely applied to the case where the evaluation reference value is set by weighted addition of brightness levels in units of area.

【0067】また上述の実施の形態においては、低輝度
レベルの平均値が所定値となるように逆光補正する場合
について述べたが、本発明はこれに限らず、例えば評価
基準値との比較基準値の設定を更新して逆光補正する場
合、撮像結果を水平方向及び垂直方向に分割した領域を
単位とした輝度レベルの重み付け加算等により評価基準
値を設定する場合に、この重み付け係数の変更により逆
光補正する場合等に広く適用することができる。
Further, in the above-described embodiment, the case where the backlight correction is performed so that the average value of the low luminance level becomes the predetermined value has been described. However, the present invention is not limited to this, and the comparison reference with the evaluation reference value is used. When the value setting is updated and backlight compensation is performed, when setting the evaluation reference value by weighting addition of the brightness level in units of the area obtained by dividing the imaged result in the horizontal and vertical directions, change the weighting coefficient. It can be widely applied to cases such as backlight correction.

【0068】また上述の実施の形態においては、単板式
による撮像装置に本発明を適用する場合について述べた
が、本発明はこれに限らず、3板式による撮像装置にも
広く適用することができる。
Further, in the above-mentioned embodiments, the case where the present invention is applied to the image pickup device of the single plate type has been described, but the present invention is not limited to this and can be widely applied to the image pickup device of the three plate type. .

【0069】また上述の実施の形態においては、本発明
を電子スチルカメラに適用する場合について述べたが、
本発明はこれに限らず、カメラ一体型ビデオテープレコ
ーダ等の記録機能を有してなる撮像装置、携帯電話等の
通信機能を有してなる撮像装置、パーソナルコンピュー
タと一体型のものとして備えられる撮像装置等にも広く
適用することができる。
In the above embodiment, the case where the present invention is applied to an electronic still camera has been described.
The present invention is not limited to this, and is provided as an integrated type with an image pickup apparatus having a recording function such as a camera-integrated video tape recorder, an image pickup apparatus having a communication function such as a mobile phone, and a personal computer. It can also be widely applied to imaging devices and the like.

【0070】[0070]

【発明の効果】上述のように本発明によれば、撮像結果
より輝度レベルの最大値、平均値、最小値を検出し、こ
れらよりしきい値を設定すると共に、このしきい値によ
り輝度レベルを分類して露光制御することにより、従来
に比して高い精度で逆光の状態を検出することができ
る。
As described above, according to the present invention, the maximum value, the average value, and the minimum value of the brightness level are detected from the image pickup result, the threshold value is set from these values, and the brightness level is determined by the threshold value. By classifying and controlling the exposure, it is possible to detect the backlit state with higher accuracy than before.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の第1の実施の形態に係る電子スチルカ
メラを示すブロック図である。
FIG. 1 is a block diagram showing an electronic still camera according to a first embodiment of the present invention.

【図2】通常の撮像結果における輝度レベルの分布を示
す特性曲線図である。
FIG. 2 is a characteristic curve diagram showing a distribution of brightness levels in a normal imaging result.

【図3】逆光時の撮像結果における輝度レベルの分布を
示す特性曲線図である。
FIG. 3 is a characteristic curve diagram showing a distribution of brightness levels in an image pickup result under backlight.

【図4】図2との対比によりしきい値の設定の説明に供
する特性曲線図である。
FIG. 4 is a characteristic curve diagram for explaining setting of a threshold value in comparison with FIG.

【図5】図3との対比によりしきい値の設定の説明に供
する特性曲線図である。
5 is a characteristic curve diagram for explaining setting of a threshold value in comparison with FIG.

【図6】逆光検出の条件の説明に供する特性曲線図であ
る。
FIG. 6 is a characteristic curve diagram used to explain conditions for backlight detection.

【図7】順光における露光制御の説明に供する特性曲線
図である。
FIG. 7 is a characteristic curve diagram for explaining exposure control in normal light.

【図8】逆光検出の説明に供する特性曲線図である。FIG. 8 is a characteristic curve diagram for explaining backlight detection.

【図9】逆光時における露光制御の説明に供する特性曲
線図である。
FIG. 9 is a characteristic curve diagram for explaining exposure control during backlighting.

【図10】逆光の誤検出の説明に供する特性曲線図であ
る。
FIG. 10 is a characteristic curve diagram for explaining erroneous detection of backlight.

【符号の説明】[Explanation of symbols]

1……電子スチルカメラ、2……CCD、3……タイミ
ングジェネレータ、4……自動露光製制御部、5……A
GC回路、7……DSP、11……検波回路、12……
参照値算出回路、13……輝度別積分回路、14……逆
光判定回路、15……コントロール回路
1 ... Electronic still camera, 2 ... CCD, 3 ... Timing generator, 4 ... Automatic exposure control unit, 5 ... A
GC circuit, 7 ... DSP, 11 ... Detection circuit, 12 ...
Reference value calculation circuit, 13 ... Luminance integration circuit, 14 ... Backlight determination circuit, 15 ... Control circuit

───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 2H002 DB27 DB29 DB31 HA04 JA07 5C022 AA13 AB03 AB06 AB12 AC69 CA00 5C024 AX01 BX01 CX00 CX06 CX54 GY01 HX18 HX23 HX28 HX30 HX31 HX51    ─────────────────────────────────────────────────── ─── Continued front page    F-term (reference) 2H002 DB27 DB29 DB31 HA04 JA07                 5C022 AA13 AB03 AB06 AB12 AC69                       CA00                 5C024 AX01 BX01 CX00 CX06 CX54                       GY01 HX18 HX23 HX28 HX30                       HX31 HX51

Claims (7)

【特許請求の範囲】[Claims] 【請求項1】撮像結果を出力する撮像手段と、 前記撮像結果の輝度レベルの最大値、最小値、平均値を
検出するレベル検出手段と、 前記最大値、最小値、平均値を基準にして、所定のしき
い値を設定するしきい値設定手段と、 前記撮像結果の輝度レベルを、前記しきい値を基準にし
た複数の区分に分類する分類手段と、 前記分類手段による分類に基づいて、前記各区分に属す
る前記撮像結果の面積を検出する面積検出手段と、 前記面積検出手段による検出結果を判定して、前記撮像
結果の逆光を判定する判定手段と、 前記判定手段の判定結果を基準にして、露光制御する制
御手段とを備えることを特徴とする撮像装置。
1. An image pickup means for outputting an image pickup result, a level detection means for detecting a maximum value, a minimum value, and an average value of a brightness level of the image pickup result, and a reference value based on the maximum value, the minimum value, and the average value. A threshold value setting means for setting a predetermined threshold value, a brightness level of the imaging result, a classification means for classifying the brightness level into a plurality of categories based on the threshold value, and a classification by the classification means. , An area detection unit that detects an area of the imaging result belonging to each of the sections, a determination unit that determines a detection result by the area detection unit, and determines backlight of the imaging result, and a determination result of the determination unit. An image pickup apparatus comprising: a control unit that controls exposure as a reference.
【請求項2】前記レベル検出手段は、 前記撮像結果を水平方向及び垂直方向にそれぞれ分割し
て形成された複数の領域を単位にして、前記最大値、最
小値、平均値を検出することを特徴とする請求項1に記
載の撮像装置。
2. The level detecting means detects the maximum value, the minimum value, and the average value in units of a plurality of regions formed by dividing the imaging result in the horizontal direction and the vertical direction, respectively. The image pickup apparatus according to claim 1, wherein the image pickup apparatus is provided.
【請求項3】前記分類手段は、 前記撮像結果を水平方向及び垂直方向にそれぞれ分割し
て形成された複数の領域を単位にして、前記撮像結果の
輝度レベルを分類することを特徴とする請求項1に記載
の撮像装置。
3. The classifying means classifies the brightness level of the image pickup result in units of a plurality of regions formed by dividing the image pickup result in the horizontal direction and the vertical direction, respectively. Item 1. The image pickup device according to item 1.
【請求項4】前記面積検出手段は、 前記撮像結果を水平方向及び垂直方向にそれぞれ分割し
て形成された複数の領域を単位にして、前記面積を検出
することを特徴とする請求項1に記載の撮像装置。
4. The area detecting means detects the area in units of a plurality of regions formed by dividing the image pickup result in the horizontal direction and the vertical direction, respectively. The imaging device described.
【請求項5】前記分類手段による区分が、 高輝度、中輝度、低輝度の区分であることを特徴とする
請求項1に記載の撮像装置。
5. The image pickup apparatus according to claim 1, wherein the classification by the classification means is a high-luminance, medium-luminance, or low-luminance classification.
【請求項6】前記判定手段は、 高い輝度レベルの区分に属する面積と、低い輝度レベル
の区分に属する面積とが、それぞれ他の区分に属する面
積より所定値以上大きい場合に、逆光との判定結果を出
力することを特徴とする請求項1に記載の撮像装置。
6. The back light is determined when the area belonging to the high brightness level section and the area belonging to the low brightness level section are larger than the areas belonging to the other sections by a predetermined value or more. The imaging device according to claim 1, wherein a result is output.
【請求項7】前記判定手段は、 高い輝度レベルの区分に属する面積と、低い輝度レベル
の区分に属する面積とが、それぞれ他の区分に属する面
積より所定値以上大きい場合であって、 かつ、前記最大値及び最小値の輝度レベルの差が大きい
場合に、 逆光との判定結果を出力することを特徴とする請求項1
に記載の撮像装置。
7. The determining means is for a case where an area belonging to a section having a high luminance level and an area belonging to a section having a low luminance level are larger than respective areas belonging to other sections by a predetermined value or more, and The back light determination result is output when the difference in brightness level between the maximum value and the minimum value is large.
The imaging device according to.
JP2001273163A 2001-09-10 2001-09-10 Imaging device Expired - Fee Related JP4622196B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001273163A JP4622196B2 (en) 2001-09-10 2001-09-10 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001273163A JP4622196B2 (en) 2001-09-10 2001-09-10 Imaging device

Publications (2)

Publication Number Publication Date
JP2003087646A true JP2003087646A (en) 2003-03-20
JP4622196B2 JP4622196B2 (en) 2011-02-02

Family

ID=19098416

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001273163A Expired - Fee Related JP4622196B2 (en) 2001-09-10 2001-09-10 Imaging device

Country Status (1)

Country Link
JP (1) JP4622196B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100442948B1 (en) * 2002-03-08 2004-08-04 엘지전자 주식회사 A back lighting apparatus of Liquid Crystal Display in a mobile phone and back lighting method
JP2010056853A (en) * 2008-08-28 2010-03-11 Aof Imaging Technology Ltd Backlight determination device, image data processor, and camera
JP2011007877A (en) * 2009-06-23 2011-01-13 Hoya Corp Exposure control unit and imaging apparatus
JP2011128212A (en) * 2009-12-15 2011-06-30 Canon Inc Image processor, method and program
KR101424717B1 (en) * 2007-09-13 2014-08-01 삼성전자주식회사 Apparatus and method for exposure time setting
KR101459779B1 (en) 2008-08-13 2014-11-12 엘지이노텍 주식회사 Method for compensating back light
US8890967B2 (en) 2010-11-26 2014-11-18 Fujitsu Semiconductor Limited Method apparatus for controlling exposure amount of an imaging device
JP2014534659A (en) * 2011-09-23 2014-12-18 クリエイツ インコーポレイテッドCreatz Inc. A virtual sports system to obtain a good ball image by controlling the camera according to the surrounding brightness
JP2015082012A (en) * 2013-10-22 2015-04-27 株式会社ニコン Focus detection device and imaging device
KR20150101423A (en) * 2014-02-26 2015-09-03 엑시스 에이비 Method and control unit for controlling exposure of a camera

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01235928A (en) * 1988-03-16 1989-09-20 Nikon Corp Exposure control device for camera
JPH05264887A (en) * 1992-03-23 1993-10-15 Nikon Corp Focus detecting device
JPH08191413A (en) * 1995-01-06 1996-07-23 Sony Corp Back light correction device
JPH09171220A (en) * 1995-12-20 1997-06-30 Fuji Photo Film Co Ltd Exposure deciding method
JP2000148980A (en) * 1998-11-12 2000-05-30 Fuji Photo Film Co Ltd Image processing method, image processor and recording medium
JP2001100087A (en) * 1999-09-29 2001-04-13 Olympus Optical Co Ltd Multispot range finder
JP2001242504A (en) * 2000-02-29 2001-09-07 Sony Corp Camera apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01235928A (en) * 1988-03-16 1989-09-20 Nikon Corp Exposure control device for camera
JPH05264887A (en) * 1992-03-23 1993-10-15 Nikon Corp Focus detecting device
JPH08191413A (en) * 1995-01-06 1996-07-23 Sony Corp Back light correction device
JPH09171220A (en) * 1995-12-20 1997-06-30 Fuji Photo Film Co Ltd Exposure deciding method
JP2000148980A (en) * 1998-11-12 2000-05-30 Fuji Photo Film Co Ltd Image processing method, image processor and recording medium
JP2001100087A (en) * 1999-09-29 2001-04-13 Olympus Optical Co Ltd Multispot range finder
JP2001242504A (en) * 2000-02-29 2001-09-07 Sony Corp Camera apparatus

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100442948B1 (en) * 2002-03-08 2004-08-04 엘지전자 주식회사 A back lighting apparatus of Liquid Crystal Display in a mobile phone and back lighting method
KR101424717B1 (en) * 2007-09-13 2014-08-01 삼성전자주식회사 Apparatus and method for exposure time setting
KR101459779B1 (en) 2008-08-13 2014-11-12 엘지이노텍 주식회사 Method for compensating back light
JP2010056853A (en) * 2008-08-28 2010-03-11 Aof Imaging Technology Ltd Backlight determination device, image data processor, and camera
JP2011007877A (en) * 2009-06-23 2011-01-13 Hoya Corp Exposure control unit and imaging apparatus
JP2011128212A (en) * 2009-12-15 2011-06-30 Canon Inc Image processor, method and program
US8890967B2 (en) 2010-11-26 2014-11-18 Fujitsu Semiconductor Limited Method apparatus for controlling exposure amount of an imaging device
US9113085B2 (en) 2010-11-26 2015-08-18 Socionext Inc. Apparatus for controlling exposure amount of an imaging device
JP2014534659A (en) * 2011-09-23 2014-12-18 クリエイツ インコーポレイテッドCreatz Inc. A virtual sports system to obtain a good ball image by controlling the camera according to the surrounding brightness
JP2015082012A (en) * 2013-10-22 2015-04-27 株式会社ニコン Focus detection device and imaging device
KR20150101423A (en) * 2014-02-26 2015-09-03 엑시스 에이비 Method and control unit for controlling exposure of a camera
KR101633445B1 (en) 2014-02-26 2016-06-24 엑시스 에이비 Method and control unit for controlling exposure of a camera
US9432588B2 (en) 2014-02-26 2016-08-30 Axis Ab Method and control unit for controlling exposure of a camera

Also Published As

Publication number Publication date
JP4622196B2 (en) 2011-02-02

Similar Documents

Publication Publication Date Title
US8780262B2 (en) Image pickup apparatus that performs exposure control, method of controlling the image pickup apparatus, and storage medium
US20110080494A1 (en) Imaging apparatus detecting foreign object adhering to lens
US9426437B2 (en) Image processor performing noise reduction processing, imaging apparatus equipped with the same, and image processing method for performing noise reduction processing
US20080112644A1 (en) Imaging device
US7443442B2 (en) Image apparatus and method for compensating for high and low luminance image portions via exposure control and gamma correction
US20060056684A1 (en) Image processing apparatus, image processing program, image processing method, and imaging apparatus
WO2005125185A1 (en) Imaging device
JP2002354498A (en) Electronic camera
CN110766621A (en) Image processing method, image processing device, storage medium and electronic equipment
JP4539432B2 (en) Image processing apparatus and imaging apparatus
WO2003105467A1 (en) Digital still camera apparatus, video camera apparatus, and information terminal apparatus
JP5166860B2 (en) Image processing apparatus and method, and imaging apparatus
US20070286588A1 (en) High frequency information detecting device and imaging device
US20110001849A1 (en) Imaging apparatus, flash determination method, and recording medium
CN110740266B (en) Image frame selection method and device, storage medium and electronic equipment
JP4622196B2 (en) Imaging device
US20070211165A1 (en) Imaging device, method for controlling imaging device, program of method for controlling imaging device, recording medium in which program of method for controlling imaging device is recorded
JP2004297650A (en) Control method of white balance and digital camera
JP2007166028A (en) Exposure control apparatus and exposure control method
JP2003189189A (en) Video camera
JP2006060744A (en) Noise reduction apparatus
JPH0974516A (en) Image input device
JP2003304417A (en) Imaging system
US20130266220A1 (en) Color signal processing circuit, color signal processing method, color reproduction evaluating method, imaging apparatus, electronic apparatus and testing device
JPH09149317A (en) Image pickup device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080812

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090330

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101005

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101018

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131112

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees