JP2012165222A - Light irradiation state determination device, light irradiation state determination method - Google Patents

Light irradiation state determination device, light irradiation state determination method Download PDF

Info

Publication number
JP2012165222A
JP2012165222A JP2011024594A JP2011024594A JP2012165222A JP 2012165222 A JP2012165222 A JP 2012165222A JP 2011024594 A JP2011024594 A JP 2011024594A JP 2011024594 A JP2011024594 A JP 2011024594A JP 2012165222 A JP2012165222 A JP 2012165222A
Authority
JP
Japan
Prior art keywords
determination
light irradiation
irradiation state
determined
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011024594A
Other languages
Japanese (ja)
Other versions
JP5590407B2 (en
Inventor
Shunichi Shichijo
俊一 七條
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2011024594A priority Critical patent/JP5590407B2/en
Publication of JP2012165222A publication Critical patent/JP2012165222A/en
Application granted granted Critical
Publication of JP5590407B2 publication Critical patent/JP5590407B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a light irradiation state determination device which can ensure stabilized determination results.SOLUTION: A light irradiation state determination device comprises a comparison determination unit which determines whether or not an image being determined is in a predetermined light irradiation state according to a predetermined criterion, and a determination result storage unit which stores the determination results of a previous image being determined. When a determination is made that the previous image being determined is in the predetermined light irradiation state, the comparison determination unit determines the image being determined by using a second criterion with which a determination is made easily that the image being determined is in the predetermined light irradiation state when compared with a first criterion used when a determination is made that the previous image being determined is not in the predetermined light irradiation state.

Description

本発明は、逆光等の光照射状態を判定する光照射状態判定装置に関し、特に安定した判定結果を得ることができる光照射状態判定装置に関する。   The present invention relates to a light irradiation state determination device that determines a light irradiation state such as backlight, and more particularly to a light irradiation state determination device that can obtain a stable determination result.

従来から、CCD(Charge Coupled Devise)などの撮像素子から得られる被写体画像をリアルタイムに表示したり、メモリカード、磁気テープあるいは磁気ディスクなどの記録媒体に記録された被写体画像を再生表示できるディスプレイ部を備えたデジタルスチルカメラやムービーカメラなどの撮像装置が知られている。特に撮像時には、撮影者はこのディスプレイ部に表示される被写体画像を見て構図や露出の適否などの撮影条件を確認している。   Conventionally, a display unit that can display a subject image obtained from an image sensor such as a CCD (Charge Coupled Devise) in real time, or reproduce and display a subject image recorded on a recording medium such as a memory card, a magnetic tape, or a magnetic disk. Imaging devices such as digital still cameras and movie cameras provided are known. In particular, at the time of imaging, the photographer checks the photographing conditions such as composition and appropriateness of exposure by looking at the subject image displayed on the display unit.

一般に、こうした撮像装置では、露出補正、ガンマやニーなどの階調補正は自動設定で行なわれることが多いが、さらに、白とびや黒つぶれ、逆光等の高コントラスト状態による被写体が暗く落ち込む現象や、周囲が暗く被写体にだけスポットライトが当たっている等の高コントラスト状態による被写体が明るく写りすぎる現象を、自動判定し補正することが可能な撮像装置も多く存在している。また、ユーザが意図的に補正するための判断材料として、逆光等の光照射状態を判定して判定結果を表示するものもある。   In general, in such an imaging device, exposure correction, gradation correction such as gamma and knee are often performed automatically, but in addition, there is a phenomenon that the subject due to high contrast conditions such as overexposure, overexposure, backlighting, etc. There are many imaging devices that can automatically determine and correct a phenomenon in which a subject is too bright due to a high contrast state, such as a dark spot and a spotlight only on the subject. Further, as a determination material for intentionally correcting by a user, there is a method for determining a light irradiation state such as backlight and displaying a determination result.

このような撮像装置を用いて、動画等の画像を連続的に撮像する場合には、被写体の微妙な位置の変化や光源の変化によって、補正画像や判定結果が頻繁に変化してしまい、画像や判定結果が安定しない場合がある。   When images such as moving images are continuously captured using such an imaging device, the corrected image and the determination result frequently change due to a subtle change in the position of the subject or a change in the light source. The judgment result may not be stable.

この問題に関し、特許文献1には、動画像から輝度ヒストグラムを検出し、その結果によって階調補正特性を変更する際の制限幅を設け、制限幅を動的に変更することで安定した動画像を得ることが記載されている。   With regard to this problem, Patent Document 1 discloses a stable moving image by detecting a luminance histogram from a moving image, providing a limit width when changing the gradation correction characteristics based on the result, and dynamically changing the limit width. Is described.

特開2008−17321号公報JP 2008-17321 A

しかしながら、光照射状態に対応して階調補正に制限幅を設ける方法では、自動補正によって安定した動画像を得ることはできても、安定した光照射状態の判定結果を得ることができず、主要被写体の微妙な位置の変化や照明光の変化によって、逆光等の判定結果が頻繁に切り替わってしまうことになる。   However, in the method of providing a limit range for gradation correction corresponding to the light irradiation state, a stable moving image can be obtained by automatic correction, but a determination result of the stable light irradiation state cannot be obtained. Due to a subtle change in the position of the main subject or a change in illumination light, the determination result of backlight or the like is frequently switched.

このため、ユーザが、光照射状態に対応して意図的に露出や階調補正を行ないたい場合等に、光照射状態の安定した判定結果を提供することができなかった。また、まず光照射状態を判定し、逆光と判定されれば逆光に対応した自動露出補正や自動階調補正を動作させる制御を行なっている場合に、安定した補正動作を行なわせることができなかった。   For this reason, when the user wants to intentionally perform exposure and gradation correction corresponding to the light irradiation state, it is impossible to provide a stable determination result of the light irradiation state. In addition, when the light irradiation state is first determined and control is performed to operate automatic exposure correction or automatic gradation correction corresponding to backlight if it is determined to be backlight, stable correction operation cannot be performed. It was.

そこで、本発明は、安定した判定結果を得ることができる光照射状態判定装置を提供することを目的とする。   Then, an object of this invention is to provide the light irradiation state determination apparatus which can obtain the stable determination result.

上記課題を解決するため、本発明の第1の態様である光照射状態判定装置は、判定対象画像のヒストグラムに基づいて、前記判定対象画像が所定の光照射状態であるかどうかを、所定の判定基準にしたがって判定する比較判定部と、直前の判定対象画像の判定結果を記憶する判定結果記憶部と、を備え、前記比較判定部は、直前の判定対象画像が所定の光照射状態であると判定された場合は、直前の判定対象画像が所定の光照射状態でないと判定された場合に用いる第1判定基準よりも所定の光照射状態と判定されやすい第2判定基準を用いて判定対象画像の判定を行なうことを特徴とする。   In order to solve the above problem, the light irradiation state determination device according to the first aspect of the present invention determines whether the determination target image is in a predetermined light irradiation state based on a histogram of the determination target image. A comparison determination unit that determines according to the determination criterion; and a determination result storage unit that stores a determination result of the immediately preceding determination target image, wherein the comparison determination unit is in a predetermined light irradiation state. Is determined using the second determination criterion that is more easily determined as the predetermined light irradiation state than the first determination criterion used when it is determined that the immediately preceding determination target image is not in the predetermined light irradiation state. An image is determined.

ここで、前記判定基準は、判定対象画像のヒストグラムにおいて、平均輝度レベルで定められる所定範囲内の輝度レベルのうち、所定の閾値以上の画素数を含む輝度レベルの画素数を算出するものであり、前記第2判定基準は、前記所定の閾値が、前記第1判定基準より小さく設定されているものを用いることができる。   Here, the determination criterion is to calculate the number of pixels having a luminance level including a number of pixels equal to or greater than a predetermined threshold among luminance levels within a predetermined range determined by the average luminance level in the histogram of the determination target image. The second determination criterion may be one in which the predetermined threshold is set smaller than the first determination criterion.

あるいは、前記判定基準は、ヒストグラムの各輝度レベルについて上限と下限とを定めたものであり、前記第2判定基準は、前記第1判定基準に対して前記上限を大きくし、前記下限を小さくしたものを用いるようにしてもよい。   Alternatively, the determination criterion defines an upper limit and a lower limit for each luminance level of the histogram, and the second determination criterion increases the upper limit with respect to the first determination criterion and decreases the lower limit. You may make it use a thing.

ここで、前記第2判定基準は、前記第1判定基準に対して前記上限を所定の割合で一律に大きくし、前記下限を所定の割合で一律に小さくしたものとすることができる。   Here, the second determination criterion may be such that the upper limit is uniformly increased at a predetermined rate with respect to the first determination criterion, and the lower limit is uniformly decreased at a predetermined rate.

あるいは、前記第2判定基準は、前記第1判定基準の形状に基づく分類に対応して定められた拡大幅にしたがって、前記第1判定基準の前記上限を大きくし、前記下限を小さくしたものとしてもよい。   Alternatively, the second determination criterion is that the upper limit of the first determination criterion is increased and the lower limit is decreased in accordance with an enlargement range corresponding to the classification based on the shape of the first determination criterion. Also good.

あるいは、前記第2判定基準は、前記第1判定基準の前記上限を大きくし、前記下限を小さくするようにあらかじめ定められたものとしてもよい。   Alternatively, the second determination criterion may be determined in advance so as to increase the upper limit of the first determination criterion and decrease the lower limit.

上記課題を解決するため、本発明の第2の態様である光照射状態判定方法は、判定対象画像のヒストグラムに基づいて、前記判定対象画像が所定の光照射状態であるかどうかを、所定の判定基準にしたがって判定する光照射状態判定方法であって、直前の判定対象画像が所定の光照射状態であると判定された場合は、直前の判定対象画像が所定の光照射状態でないと判定された場合に用いる第1判定基準よりも所定の光照射状態と判定されやすい第2判定基準を用いて判定対象画像の判定を行なうことを特徴とする。   In order to solve the above-described problem, the light irradiation state determination method according to the second aspect of the present invention determines whether the determination target image is in a predetermined light irradiation state based on a histogram of the determination target image. In the light irradiation state determination method for determining according to the determination criterion, when it is determined that the immediately preceding determination target image is in the predetermined light irradiation state, it is determined that the immediately preceding determination target image is not in the predetermined light irradiation state. In this case, the determination target image is determined using a second determination criterion that is more easily determined as a predetermined light irradiation state than the first determination criterion used in this case.

本発明によれば、安定した判定結果を得ることができる光照射状態判定装置が提供される。   ADVANTAGE OF THE INVENTION According to this invention, the light irradiation state determination apparatus which can obtain the stable determination result is provided.

本発明の光照射状態判定装置の一実施形態である撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of the imaging device which is one Embodiment of the light irradiation state determination apparatus of this invention. 光照射状態判定部の構成を示すブロック図である。It is a block diagram which shows the structure of a light irradiation state determination part. 光照射状態判定部の動作の第1実施例を説明するフローチャートである。It is a flowchart explaining the 1st Example of operation | movement of a light irradiation state determination part. 第1判定基準データ、第2判定基準データによる判定対象画像の特徴量の算出および光照射状態の判定について説明する図である。It is a figure explaining calculation of the feature-value of the determination target image by 1st determination reference data and 2nd determination reference data, and determination of a light irradiation state. 判定対象画像の特徴量の算出の別例を説明する図である。It is a figure explaining another example of calculation of the feature-value of a judgment object picture. ヒストグラムパターンを説明する図である。It is a figure explaining a histogram pattern. 逆光に対応した複数のヒストグラムパターンを示す図である。It is a figure which shows the several histogram pattern corresponding to backlight. 光照射状態判定部の動作の第2実施例を説明するフローチャートである。It is a flowchart explaining the 2nd Example of operation | movement of a light irradiation state determination part. 第2実施例の第1判定基準データと第2判定基準データとを説明する図である。It is a figure explaining the 1st criteria data and the 2nd criteria data of the 2nd example. ヒストグラムパターンの分類および拡大幅を説明する図である。It is a figure explaining the classification | category of a histogram pattern, and the expansion width. 第4実施例の第2判定基準について説明する図である。It is a figure explaining the 2nd criteria of the 4th example.

本発明の実施の形態について図面を参照して詳細に説明する。図1は、本発明の光照射状態判定装置の一実施形態である撮像装置の構成を示すブロック図である。本実施形態の撮像装置は、映像を構成する連続画像について、被写体の光照射状態を判定する。判定する光照射状態は、例えば、逆光状態とすることができるが、他の状態であってもよい。光照射状態の判定は、毎フィールド、あるいは数フィールド単位に行ない、判定対象となった画像を判定対象画像と称するものとする。   Embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus which is an embodiment of a light irradiation state determination apparatus of the present invention. The imaging apparatus according to the present embodiment determines the light irradiation state of the subject for the continuous images constituting the video. The light irradiation state to be determined can be, for example, a backlight state, but may be another state. The light irradiation state is determined for each field or several fields, and an image that is a determination target is referred to as a determination target image.

撮像装置は、判定結果に基づいて画像処理を行なったり、判定結果を表示することによりユーザに注意を喚起することができる。本実施形態の撮像装置では、被写体の光照射状態の微妙な変化によって判定結果が頻繁に切り替わることを防ぐ処理が行なわれる。   The imaging apparatus can alert the user by performing image processing based on the determination result or displaying the determination result. In the imaging apparatus according to the present embodiment, a process for preventing the determination result from frequently switching due to a subtle change in the light irradiation state of the subject is performed.

本図に示すように、撮像装置100は、被写体からの入射光を集光するレンズ11、絞りを備えた露出機構12、CCD・CMOS等の撮像素子13、CDS(相関二重サンプリング)回路14、AGC(自動利得制御)回路15、AD変換器(ADC)16、ディジタル信号処理(DSP)回路17、ダイナミック・ランダム・アクセス・メモリ(DRAM)19、JPEG(Joint Photographic Experts Group)エンコーダ20、メディアI/F(インタフェース)21、スタチック・ランダム・アクセス・メモリ(SRAM)22、フラッシュメモリ(リード・オンリ・メモリ)23、NTSC/PALエンコーダ24、DA変換器(DAC)25、中央処理装置(CPU)26、露出制御部27、および操作部28を備えている。   As shown in the figure, an imaging apparatus 100 includes a lens 11 that collects incident light from a subject, an exposure mechanism 12 having a diaphragm, an imaging element 13 such as a CCD / CMOS, and a CDS (correlated double sampling) circuit 14. AGC (automatic gain control) circuit 15, AD converter (ADC) 16, digital signal processing (DSP) circuit 17, dynamic random access memory (DRAM) 19, JPEG (Joint Photographic Experts Group) encoder 20, media I / F (interface) 21, static random access memory (SRAM) 22, flash memory (read-only memory) 23, NTSC / PAL encoder 24, DA converter (DAC) 25, central processing unit (CPU) ) 26, an exposure control unit 27, and an operation unit 28.

DSP回路17は所定の信号処理を行なうと共に、内部に階調補正を行なう階調補正部18を有している。CPU26はバス29を介して、DSP回路17、JPEGエンコーダ20、メディアI/F21、SRAM22、フラッシュROM23に接続されている。また、CPU26は、ヒストグラム算出部31、光照射状態判定部32、階調補正値算出部33、露出補正値算出部34を備えている。   The DSP circuit 17 includes a gradation correction unit 18 that performs predetermined signal processing and performs gradation correction therein. The CPU 26 is connected to the DSP circuit 17, JPEG encoder 20, media I / F 21, SRAM 22, and flash ROM 23 via the bus 29. The CPU 26 also includes a histogram calculation unit 31, a light irradiation state determination unit 32, a gradation correction value calculation unit 33, and an exposure correction value calculation unit 34.

露出制御部27は、露出機構12、撮像素子13、AGC回路15の動作を制御する。また、操作部28は、ユーザから操作を受け付け、CPU26に対して操作に基づく動作を行なわせる。この撮像装置100には、メモリカード等の記録媒体35およびテレビ・液晶ディスプレイ等の表示装置36が接続される。表示装置36は、撮像装置100に内蔵するようにしてもよい。   The exposure control unit 27 controls operations of the exposure mechanism 12, the image sensor 13, and the AGC circuit 15. The operation unit 28 receives an operation from the user and causes the CPU 26 to perform an operation based on the operation. The imaging device 100 is connected to a recording medium 35 such as a memory card and a display device 36 such as a television / liquid crystal display. The display device 36 may be built in the imaging device 100.

図1において、レンズ11、露出機構12をそれぞれ透過して撮像素子13の受光面に結像した被写体からの入射光は、撮像素子13で光電変換されて電気信号である撮像信号とされる。この撮像信号は、CDS回路14で公知の相関二重サンプリング法に基づいてノイズが除去され、続いてAGC回路15で信号レベルが増幅され、さらにADC16でディジタル信号に変換される。   In FIG. 1, incident light from a subject that has passed through a lens 11 and an exposure mechanism 12 and formed an image on a light receiving surface of an image sensor 13 is photoelectrically converted by the image sensor 13 into an image signal that is an electrical signal. The image signal is denoised by the CDS circuit 14 based on a known correlated double sampling method, the signal level is subsequently amplified by the AGC circuit 15, and further converted to a digital signal by the ADC 16.

ADC16から出力されたディジタル撮像信号は、DSP回路17内の階調補正部18で階調補正される。階調補正されたディジタル撮像信号は、DSP回路17内で輝度信号Y、色信号Cbおよび色信号Cr(以下、これらをまとめて「YCbCr信号」という)に変換された後、JPEGエンコーダ20で公知のJPEG方式で圧縮される。JPEGエンコーダ20から出力されたJPEG圧縮された画像ファイルは、フラッシュROM23に格納されると共に、メディアI/F21を通って記録媒体35に記録されると同時に、SRAM22に格納される。   The digital image pickup signal output from the ADC 16 is subjected to gradation correction by a gradation correction unit 18 in the DSP circuit 17. The gradation-corrected digital imaging signal is converted into a luminance signal Y, a color signal Cb, and a color signal Cr (hereinafter collectively referred to as “YCbCr signal”) in the DSP circuit 17 and then known by the JPEG encoder 20. It is compressed with the JPEG method. The JPEG-compressed image file output from the JPEG encoder 20 is stored in the flash ROM 23 and simultaneously recorded on the recording medium 35 through the media I / F 21 and simultaneously stored in the SRAM 22.

また、DRAM19を用いてDSP回路17内での信号処理で得られたYCbCr信号は、NTSC/PALエンコーダ24にて、NTSC方式カラー映像信号もしくはPAL方式カラー映像信号に変換され、続いてDAC25にてアナログのカラー映像信号に変換された後、表示装置36に供給されてカラー画像として表示される。   The YCbCr signal obtained by the signal processing in the DSP circuit 17 using the DRAM 19 is converted into an NTSC color video signal or a PAL color video signal by the NTSC / PAL encoder 24, and then in the DAC 25. After being converted into an analog color video signal, it is supplied to the display device 36 and displayed as a color image.

一方、バス29上のCPU26では、ヒストグラム算出部31にてSRAM22に格納されたY信号から毎フィールド、あるいは数フィールド単位にヒストグラムを作成する。このヒストグラムは、判定対象画像の輝度レベルの分布状況を表わすものであり、毎フィールド、あるいは数フィールド期間における画像の輝度レベル毎の画素数を示すグラフである。例えば、輝度信号が8ビットであれば、輝度レベルは256段階で表わされるが、本実施形態では、256段階を、例えば16段階あるいは5段階にまとめて、16個または5個の輝度レベル範囲のそれぞれについて画素がいくつあるかを示すヒストグラムを作成する。   On the other hand, the CPU 26 on the bus 29 creates a histogram for each field or several fields from the Y signal stored in the SRAM 22 by the histogram calculation unit 31. This histogram represents the distribution state of the luminance level of the determination target image, and is a graph showing the number of pixels for each luminance level of the image in each field or several field periods. For example, if the luminance signal is 8 bits, the luminance level is represented by 256 levels, but in this embodiment, 256 levels are grouped into, for example, 16 levels or 5 levels, and 16 or 5 luminance level ranges. Create a histogram showing how many pixels there are for each.

光照射状態判定部32は、作成されたヒストグラムに基づいて、判定対象画像の光照射状態を判定する。判定する光照射状態は、本実施形態では逆光状態とするが、逆光状態に限られず、例えば、周囲が暗く、一部にスポットライトが当たっている高コントラスト状態等を判定するようにしてもよい。   The light irradiation state determination unit 32 determines the light irradiation state of the determination target image based on the created histogram. The light irradiation state to be determined is a back light state in the present embodiment, but is not limited to the back light state. For example, a high contrast state in which the surrounding is dark and a part of the light is spotted may be determined. .

階調補正値算出部33は、ガンマやニーなどの階調補正値を算出し、階調補正部18を駆動制御する。露出補正値算出部34は、露出補正値を算出し、露出制御部27を駆動制御する。階調補正値算出部33および露出補正値算出部34は、光照射状態判定部32の判定結果に応じて、制御内容を変更することができる。例えば、光照射状態判定部32により被写体の光照射状態が逆光であると判定されると、主要被写体の人物等が暗くならないように階調補正値、露出補正値を算出する。また、周囲が暗く、一部にスポットライトが当たっている等の高コントラスト状態と判定されると、主要被写体の人物等が明るくなりすぎないように階調補正値、露出補正値を算出する。   The gradation correction value calculation unit 33 calculates gradation correction values such as gamma and knee, and drives and controls the gradation correction unit 18. The exposure correction value calculation unit 34 calculates an exposure correction value and controls the exposure control unit 27. The gradation correction value calculation unit 33 and the exposure correction value calculation unit 34 can change the control content according to the determination result of the light irradiation state determination unit 32. For example, when the light irradiation state determination unit 32 determines that the light irradiation state of the subject is backlit, the gradation correction value and the exposure correction value are calculated so that the main subject person does not become dark. Also, if it is determined that the surroundings are dark and a high contrast state such as a part of which is spotlighted, gradation correction values and exposure correction values are calculated so that the main subject person does not become too bright.

露出制御部27は、露出補正値算出部34により得られた露出補正値に基づいて、時定数を持たせて線形的に露出機構12の絞り値の調整と、撮像素子13のシャッター速度の調整と、AGC回路15のゲインの調整とにより露出を適正値に調整する。   The exposure control unit 27 linearly adjusts the aperture value of the exposure mechanism 12 and adjusts the shutter speed of the image sensor 13 with a time constant based on the exposure correction value obtained by the exposure correction value calculation unit 34. Then, the exposure is adjusted to an appropriate value by adjusting the gain of the AGC circuit 15.

光照射状態判定部32は図2に示すように、判定比較部321と、判定基準データ322と、判定結果記憶部323とを備えている。判定結果記憶部323には、直前の判定対象画像に対する判定結果が格納されている。   As shown in FIG. 2, the light irradiation state determination unit 32 includes a determination comparison unit 321, determination reference data 322, and a determination result storage unit 323. The determination result storage unit 323 stores a determination result for the immediately previous determination target image.

判定比較部321は、ヒストグラム算出部31が算出したヒストグラムに基づいて、判定対象画像の光照射状態を判定する。具体的には、本実施形態では、逆光であるかどうかを判定する。この際に、判定比較部321は、判定基準データ322と判定結果記憶部323とを参照する。   The determination comparison unit 321 determines the light irradiation state of the determination target image based on the histogram calculated by the histogram calculation unit 31. Specifically, in this embodiment, it is determined whether it is backlight. At this time, the determination comparison unit 321 refers to the determination reference data 322 and the determination result storage unit 323.

判定比較部321は、直前の判定対象画像が逆光であると判定されていた場合は、直前の判定対象画像が逆光でないと判定されていた場合よりも、逆光と判定されやすくなる判定基準データ322を用いて、判定対象画像が逆光であるかどうかを判定する。これにより、一旦、逆光であると判定されると、連続して逆光であると判定されやすくなるため、頻繁に切り替わることのない安定した判定結果を得られるようになっている。
<第1実施例>
When it is determined that the immediately preceding determination target image is backlit, the determination comparison unit 321 makes it easier to determine that the determination target image is backlit than when the immediately preceding determination target image is determined not to be backlit. Is used to determine whether the determination target image is backlit. Thereby, once it is determined that the light is backlit, it is easily determined that the light is continuously backlit, so that a stable determination result that does not frequently switch can be obtained.
<First embodiment>

光照射状態判定部32の具体的な動作について、第1実施例〜第4実施例により、詳細に説明する。図3は、光照射状態判定部32の動作の第1実施例を説明するフローチャートである。   Specific operations of the light irradiation state determination unit 32 will be described in detail with reference to the first to fourth embodiments. FIG. 3 is a flowchart for explaining the first embodiment of the operation of the light irradiation state determination unit 32.

まず、光照射状態判定部32の判定比較部321は、ヒストグラム算出部31から判定対象画像のヒストグラムを入力する(S101)。第1実施例では、ヒストグラム算出部31は16段階のヒストグラムを算出する。   First, the determination comparison unit 321 of the light irradiation state determination unit 32 inputs the histogram of the determination target image from the histogram calculation unit 31 (S101). In the first embodiment, the histogram calculation unit 31 calculates a 16-level histogram.

次いで、判定比較部321は、判定結果記憶部323を参照して、直前の判定対象画像の判定結果が「真」、すなわち逆光と判定されたかどうかを判断する(S102)。その結果、直前の判定対象画像の判定結果が「偽」、すなわち逆光でないと判定された場合(S103:No)は、第1判定基準データで判定対象画像の特徴量を算出し(S104)、直前の判定対象画像の判定結果が「真」、すなわち逆光であると判定された場合(S103:Yes)は、第2判定基準データで判定対象画像の特徴を算出し(S105)、算出された特徴量に基づいて光照射状態を判定する(S106)。   Next, the determination comparison unit 321 refers to the determination result storage unit 323 to determine whether the determination result of the immediately previous determination target image is “true”, that is, whether it is determined to be backlight (S102). As a result, when it is determined that the determination result of the immediately preceding determination target image is “false”, that is, not backlight (S103: No), the feature amount of the determination target image is calculated using the first determination reference data (S104), When it is determined that the determination result of the immediately preceding determination target image is “true”, that is, backlight (S103: Yes), the characteristics of the determination target image are calculated using the second determination reference data (S105). The light irradiation state is determined based on the feature amount (S106).

ここで、第1判定基準データ、第2判定基準データは、判定基準データ322に含まれる判定基準ルールであり、第2判定基準データは、第1判定基準データよりも逆光と判定されやすい判定基準ルールである。   Here, the first determination reference data and the second determination reference data are determination reference rules included in the determination reference data 322, and the second determination reference data is a determination reference that is more easily determined as backlight than the first determination reference data. It is a rule.

第1判定基準データによる判定対象画像の特徴量の算出および光照射状態の判定について図4(a)を参照して説明する。図4(a)は、比較対象画像の16段階のヒストグラムを示している。判定比較部321は、ヒストグラムに基づいて、平均輝度レベルを算出し、平均輝度レベル(Ave)から高輝度レベル側に所定レベル移動したレベルを閾値#1として設定する。本図の例では、平均輝度レベル(Ave)から4レベル上の輝度レベルを閾値#1として設定するものとする。   Calculation of the feature amount of the determination target image based on the first determination reference data and determination of the light irradiation state will be described with reference to FIG. FIG. 4A shows a 16-stage histogram of the comparison target image. The determination comparison unit 321 calculates an average luminance level based on the histogram, and sets a level shifted from the average luminance level (Ave) to the high luminance level side by a predetermined level as the threshold value # 1. In the example of this figure, it is assumed that the luminance level four levels above the average luminance level (Ave) is set as the threshold value # 1.

そして、閾値#1以上の輝度レベル範囲において、所定の閾値#2以上の画素数を有する輝度レベルの画素数をカウントする。本図の例では、波線矩形内の画素数が該当する。このとき、その画素数のカウント値に重み付けを行なうようにしてもよい。重み付けは、例えば、高輝度レベルに行くほど重みが大きくなるような値とすることができる。   Then, the number of pixels having a luminance level having a number of pixels equal to or greater than a predetermined threshold # 2 is counted in a luminance level range equal to or greater than the threshold # 1. In the example of this figure, the number of pixels in the wavy rectangle corresponds. At this time, the count value of the number of pixels may be weighted. For example, the weight can be set to a value such that the weight increases as the brightness level increases.

そして、カウント値あるいはカウント値に重み付けを行なった値が、所定の閾値#3以上であれば、逆光状態であると判定する。閾値#1、閾値#2、閾値#3は、例えば、実験的に適切な値を定めることができる。   If the count value or the value obtained by weighting the count value is equal to or greater than the predetermined threshold # 3, it is determined that the backlight is in the backlight state. As the threshold value # 1, the threshold value # 2, and the threshold value # 3, for example, appropriate values can be determined experimentally.

第2判定基準データによる判定対象画像の特徴量の算出および光照射状態の判定においては、閾値#1、閾値#2、閾値#3のうち、少なくとも1つの閾値を第1判定基準データと異ならせて、第1判定基準データよりも逆光と判定されやすくする。例えば、図4(b)に示すように、閾値#2を第1判定基準データの閾値#2(図中の点線A)よりも小さな値として、カウント対象とする画素数(図中の波形矩形内の画素数)が多くなるようにすることができる。あるいは、閾値#1または閾値#3を第1判定基準データよりも小さな値としてとして、カウント値あるいはカウント値に重み付けを行なった値が、所定の閾値#3以上となりやすくするようにしてもよい。第2判定基準データにおける閾値をどの程度小さくするかは、例えば、逆光と見なせるサンプル画像のヒストグラムの統計を用いて定めることができる。   In calculating the feature amount of the determination target image based on the second determination reference data and determining the light irradiation state, at least one of the threshold # 1, threshold # 2, and threshold # 3 is made different from the first determination reference data. Thus, the backlight is more easily determined than the first determination reference data. For example, as shown in FIG. 4B, the threshold value # 2 is set to a value smaller than the threshold value # 2 (dotted line A in the figure) of the first determination reference data, and the number of pixels to be counted (the waveform rectangle in the figure) The number of pixels) can be increased. Alternatively, the threshold value # 1 or the threshold value # 3 may be set to a value smaller than the first determination reference data so that the count value or the value obtained by weighting the count value is likely to be equal to or greater than the predetermined threshold value # 3. How much the threshold value in the second determination reference data is reduced can be determined using, for example, statistics of the histogram of the sample image that can be regarded as backlight.

この結果、判定対象画像が逆光であると判定された場合には、階調補正値算出部33、露出補正値算出部34に、逆光を補正するような補正値を算出させる。また、表示装置36に逆光である旨を示す表示を行ない、ユーザに注意を喚起することが望ましい。このとき、一度逆光と判定された場合には、連続して逆光と判定されやすくなるため、逆光である旨を示す表示が、不安定に変動せず、安定して表示されることになる。   As a result, when it is determined that the determination target image is backlight, the gradation correction value calculation unit 33 and the exposure correction value calculation unit 34 are caused to calculate a correction value for correcting the backlight. In addition, it is desirable to display the display device 36 to indicate that it is backlit and to alert the user. At this time, once it is determined that the light is backlit, it is easily determined that the light is backlit continuously. Therefore, the display indicating that it is backlit does not fluctuate in an unstable manner and is displayed stably.

図3のフローチャートの説明に戻って、光照射状態を判定すると、判定結果を判定結果記憶部323に格納する(S107)。この評価結果は、次の評価対象画像の評価に用いられる。以上の処理を、ヒストグラムの入力が終了するまで繰り返す(S108)。   Returning to the description of the flowchart of FIG. 3, when the light irradiation state is determined, the determination result is stored in the determination result storage unit 323 (S107). This evaluation result is used for evaluation of the next evaluation target image. The above processing is repeated until the input of the histogram is completed (S108).

なお、光照射状態の判定として、周囲が暗く、一部にスポットライトが当たっている高コントラスト状態を判定する場合には、例えば、図5に示すような判定基準データを用いることができる。すなわち、平均輝度レベル(Ave)から低輝度レベル側に所定レベル移動したレベルを閾値#4として設定する。そして、閾値#4以下の輝度レベル範囲において、所定の閾値#5以上の画素数を有する輝度レベルの画素数をカウントする。このとき、その画素数のカウント値に重み付けを行なうようにしてもよい。重み付けは、例えば、低輝度レベルに行くほど重みが大きくなるような値とすることができる。   For determining the light irradiation state, when determining a high contrast state in which the surrounding is dark and a part of the light is spotlighted, for example, determination reference data as shown in FIG. 5 can be used. That is, a level shifted from the average luminance level (Ave) by a predetermined level toward the low luminance level is set as the threshold value # 4. Then, in the luminance level range below the threshold value # 4, the number of pixels having the luminance level having the pixel number above the predetermined threshold value # 5 is counted. At this time, the count value of the number of pixels may be weighted. For example, the weight can be set to a value such that the weight increases as the luminance level decreases.

そして、カウント値あるいはカウント値に重み付けを行なった値が、所定の閾値#6以上であれば、高コントラスト状態であると判定する。閾値#4、閾値#5、閾値#6は、例えば、実験的に適切な値を定めることができる。   If the count value or the value obtained by weighting the count value is equal to or greater than the predetermined threshold value # 6, it is determined that the state is in a high contrast state. As the threshold value # 4, the threshold value # 5, and the threshold value # 6, for example, appropriate values can be determined experimentally.

この場合も、第2判定基準データによる判定対象画像の特徴量の算出および光照射状態の判定においては、閾値#4、閾値#5、閾値#6のうち、少なくとも1つの閾値を第1判定基準データと異ならせて、第1判定基準データよりも高コントラスト状態と判定されやすくする。
<第2実施例>
Also in this case, in the calculation of the feature amount of the determination target image based on the second determination criterion data and the determination of the light irradiation state, at least one threshold among the threshold # 4, the threshold # 5, and the threshold # 6 is set as the first determination criterion. Different from the data, it is easier to determine a higher contrast state than the first determination reference data.
<Second embodiment>

次に、光照射状態判定部32の動作の第2実施例について説明する。第2実施例では、光照射状態の判定に用いる判定基準データ322として、図6(a)に示すようなヒストグラムパターンを用いる。本図に示すように、ヒストグラムパターンは、ヒストグラムを低輝度、中低輝度、中輝度、中高輝度、高輝度の5段階に区分し、それぞれについて上限と下限とを定めたものである。   Next, a second embodiment of the operation of the light irradiation state determination unit 32 will be described. In the second embodiment, a histogram pattern as shown in FIG. 6A is used as the determination reference data 322 used for determining the light irradiation state. As shown in the figure, the histogram pattern divides the histogram into five levels of low luminance, medium low luminance, medium luminance, medium high luminance, and high luminance, and defines an upper limit and a lower limit for each.

判定対象画像の5段階のヒストグラムが、図6(b)に示すように、すべての輝度段階においてヒストグラムパターンの上限と下限との間に収まっていれば、判定対象画像が、そのヒストグラムパターンに合致すると判定し、判定対象画像の5段階のヒストグラムが、図6(c)に示すように、いずれかの輝度段階においてヒストグラムパターンの上限と下限との間に収まっていなければ、そのヒストグラムパターンには合致しないと判定する。   As shown in FIG. 6B, if the determination target image is within the upper and lower limits of the histogram pattern at all luminance levels, the determination target image matches the histogram pattern. Then, if the five-stage histogram of the image to be judged does not fall between the upper and lower limits of the histogram pattern at any luminance stage as shown in FIG. It is determined that they do not match.

ヒストグラムパターンは、例えば、図7に示すように、逆光に対応して複数個用意しておき、判定基準データ322として格納しておく。そして、逆光に対応したいずれかのヒストグラムパターンに合致した場合には、その判定対象画像は逆光であると判定し、逆に、逆光に対応したヒストグラムのすべてに合致しない場合には、その判定対象画像は逆光でないと判定する。なお、ヒストグラムパターンは、多数のサンプル画像を用いて統計的に作成することができる。   For example, as shown in FIG. 7, a plurality of histogram patterns are prepared corresponding to backlight and stored as determination reference data 322. If any of the histogram patterns corresponding to backlight is matched, the determination target image is determined to be backlight. On the other hand, if it does not match all the histograms corresponding to backlight, the determination target image is determined. It is determined that the image is not backlit. The histogram pattern can be statistically created using a large number of sample images.

図8は、光照射状態判定部32の動作の第2実施例を説明するフローチャートである。まず、光照射状態判定部32の判定比較部321は、ヒストグラム算出部31から判定対象画像のヒストグラムを入力する(S201)。第2実施例では、ヒストグラム算出部31は5段階のヒストグラムを算出する。   FIG. 8 is a flowchart for explaining a second embodiment of the operation of the light irradiation state determination unit 32. First, the determination comparison unit 321 of the light irradiation state determination unit 32 inputs the histogram of the determination target image from the histogram calculation unit 31 (S201). In the second embodiment, the histogram calculation unit 31 calculates a five-stage histogram.

そして、判定に用いるヒストグラムパターンを設定する(S202)。ここでは、判定基準データ322として格納された、逆光に対応したヒストグラムパターンの中からいずれか1つを設定する。なお、第2実施例では、判定結果記憶部323は、設定されたヒストグラムパターン毎に記録するものとする。   Then, a histogram pattern used for determination is set (S202). Here, one of the histogram patterns corresponding to the backlight stored as the determination reference data 322 is set. In the second example, the determination result storage unit 323 records for each set histogram pattern.

次いで、判定比較部321は、判定結果記憶部323を参照して、設定されたヒストグラムパターンによる直前の判定対象画像の判定結果が「真」、すなわちそのヒストグラムパターンと合致したかどうかを判断する(S203)。   Next, the determination comparison unit 321 refers to the determination result storage unit 323 to determine whether or not the determination result of the immediately previous determination target image based on the set histogram pattern is “true”, that is, matches the histogram pattern (see FIG. S203).

その結果、直前の判定対象画像の判定結果が「偽」、すなわちそのヒストグラムパターンと合致しなかったと判定された場合(S204:No)は、第1判定基準データを用い(S205)、直前の判定対象画像の判定結果が「真」、すなわちそのヒストグラムパターンと合致したと判定された場合(S204:Yes)は、第2判定基準データを用いて(S206)、判定対象画像がヒストグラムパターンと合致するかどうかを判定する(S207)。   As a result, when it is determined that the determination result of the immediately preceding determination target image is “false”, that is, does not match the histogram pattern (S204: No), the first determination reference data is used (S205). If the determination result of the target image is “true”, that is, it is determined that it matches the histogram pattern (S204: Yes), the determination target image matches the histogram pattern using the second determination reference data (S206). Whether or not (S207).

ここで、第1判定基準データは、図9(a)に示すように、処理(S202)で設定したヒストグラムパターンをそのまま用いるものとする。また、第2判定基準データは、図9(b)に示すように、処理(S202)で設定したヒストグラムパターンを上限、下限とも一律に拡大したヒストグラムパターンとする。このため、第2判定基準データの方が、合致すると判定されやすくなる。なお、拡大の度合いは、本図では上限、下限とも2%としているが、この値に限られず、例えば、実験的に適切な値を求めるようにしてもよい。   Here, as the first determination reference data, as shown in FIG. 9A, the histogram pattern set in the process (S202) is used as it is. Further, as shown in FIG. 9B, the second determination reference data is a histogram pattern in which the upper and lower limits of the histogram pattern set in the process (S202) are uniformly expanded. For this reason, it becomes easier to determine that the second determination reference data match. In this figure, the degree of enlargement is 2% for both the upper limit and the lower limit. However, the degree of enlargement is not limited to this value. For example, an appropriate value may be obtained experimentally.

第1判定基準データあるいは第2判定基準データを用いてヒストグラムパターとの合致判定を行なうと、判定結果を判定結果記憶部323に格納する。上述のように判定結果はヒストグラムパターン毎に格納する。このため、あるヒストグラムパターンで合致すると判定された場合でも、すべてのヒストグラムパターンについて判定を行なう。   When the match determination with the histogram pattern is performed using the first determination reference data or the second determination reference data, the determination result is stored in the determination result storage unit 323. As described above, the determination result is stored for each histogram pattern. For this reason, even if it is determined that a certain histogram pattern matches, determination is performed for all histogram patterns.

あるヒストグラムパターンを用いて合致を判定し(S207)、判定結果を記録すると(S208)、他のヒストグラムパターンを用いて同様に判定を行ない、すべてのヒストグラムパターンについて判定を繰り返す(S209)。いずれのヒストグラムパターンについても、そのヒストグラムパターンの直前の判定結果が「真」であれば、そのヒストグラムパターンの上限と下限を一律に拡大した第2判定基準データを用いて判定を行ない、直前の判定結果が「偽」であれば、そのヒストグラムパターンそのままの第1判定基準データを用いて判定を行なう。   When a match is determined using a certain histogram pattern (S207) and the determination result is recorded (S208), the determination is performed similarly using another histogram pattern, and the determination is repeated for all histogram patterns (S209). For any histogram pattern, if the determination result immediately before the histogram pattern is “true”, the determination is performed using the second determination reference data in which the upper and lower limits of the histogram pattern are uniformly expanded, and the immediately preceding determination is performed. If the result is “false”, the determination is performed using the first determination reference data of the histogram pattern as it is.

そして、すべてのヒストグラムパターンについて合致判定を行なった結果、いずれかのヒストグラムパターンで「真」と判定された場合には、光照射状態が逆光であると判定し、すべてのヒストグラムパターンで「偽」と判定された場合には、光照射状態は逆光でないと判定する(S210)。以上の処理を、ヒストグラムの入力が終了するまで繰り返す(S211)。   As a result of the match determination for all the histogram patterns, if any of the histogram patterns is determined to be “true”, the light irradiation state is determined to be backlight and “false” is determined for all histogram patterns. If it is determined that the light irradiation state is not backlight (S210). The above processing is repeated until the input of the histogram is completed (S211).

第2実施例においても、判定対象画像が逆光であると決定された場合には、階調補正値算出部33、露出補正値算出部34に、逆光を補正するような補正値を算出させる。また、表示装置36に逆光である旨を示す表示を行ない、ユーザに注意を喚起することが望ましい。
<第3実施例>
Also in the second embodiment, when it is determined that the determination target image is backlight, the gradation correction value calculation unit 33 and the exposure correction value calculation unit 34 are caused to calculate a correction value for correcting the backlight. In addition, it is desirable to display the display device 36 to indicate that it is backlit and to alert the user.
<Third embodiment>

次に、光照射状態判定部32の動作の第3実施例について説明する。上述の第2実施例では、あるヒストグラムパターンの直前の判定結果が「真」であれば、そのヒストグラムパターンの上限と下限を一律に拡大した第2判定基準データを用いて判定を行なうようにしていたが、第3実施例では、ヒストグラムパターンをその形状によって分類し、分類に応じて上限と下限の拡大幅を変化させるようにする。具体的には、より逆光である可能性が高いヒストグラムパターンについては拡大幅が大きくなるように変化させる。これにより、直前の判定対象画像が逆光である可能性が高いヒストグラムパターンに合致していれば、次の判定対象画像がより逆光と判定されやすくなる。第3実施例のその他の処理については、第2実施例と同様である。   Next, a third example of the operation of the light irradiation state determination unit 32 will be described. In the second embodiment described above, if the determination result immediately before a certain histogram pattern is “true”, the determination is performed using the second determination reference data in which the upper and lower limits of the histogram pattern are uniformly expanded. However, in the third embodiment, the histogram pattern is classified according to its shape, and the upper and lower enlargement widths are changed according to the classification. Specifically, the histogram pattern that is more likely to be backlit is changed so that the enlargement width is increased. Thus, if the immediately preceding determination target image matches a histogram pattern that is highly likely to be backlit, the next determination target image is more easily determined to be backlit. Other processes in the third embodiment are the same as those in the second embodiment.

図10(a)は、ヒストグラムパターンの分類について説明する図である。本図における項目「パターン」は、ヒストグラムパターンの形状を5つの数値からなる数列で表わしたものであり、各数値は、低輝度、中低輝度、中輝度、中高輝度、高輝度の順で、画素数の多さの順位を示している。ここで、1が最も少なく、5が最も多いものとする。   FIG. 10A is a diagram for explaining the classification of the histogram pattern. The item “pattern” in this figure represents the shape of the histogram pattern as a sequence of five numerical values. Each numerical value is in the order of low luminance, medium low luminance, medium luminance, medium high luminance, and high luminance. The ranking of the number of pixels is shown. Here, 1 is the smallest and 5 is the largest.

例えば、「54321」に分類されるヒストグラムパターンは、低輝度が5で最も多く、高輝度が1で最も少なくなっており、低輝度から高輝度に単調減少する形状となる。また、図6(a)に示したヒストグラムパターンは、中輝度<中輝度<中高輝度<高輝度<低輝度であるから、「51234」に分類される。   For example, the histogram pattern classified as “54321” has a shape in which the low luminance is the highest at 5, the high luminance is the lowest at 1, and monotonously decreases from the low luminance to the high luminance. The histogram pattern shown in FIG. 6A is classified as “51234” because medium luminance <medium luminance <medium high luminance <high luminance <low luminance.

図10(a)の項目「サンプル数」は、多数のサンプル画像のヒストグラムのうち、それぞれの「パターン」に分類されるサンプル画像の数である。項目「逆光数」は、それぞれの「パターン」に分類されたサンプル画像のうち、逆光と認識されるサンプル画像の数である。そして、「サンプル数」と「逆光数」とに基づいて項目「逆光率」が算出される。このような表を作成することにより、ヒストグラムパターンの分類ごとに、逆光である可能性の高低傾向を取得することができる。   The item “number of samples” in FIG. 10A is the number of sample images classified into each “pattern” among the histograms of a large number of sample images. The item “number of backlights” is the number of sample images recognized as backlight among the sample images classified into the respective “patterns”. Then, the item “backlight rate” is calculated based on “number of samples” and “backlight number”. By creating such a table, it is possible to acquire a high or low tendency of the possibility of backlighting for each classification of the histogram pattern.

そして、逆光率が高いパターンに分類されるヒストグラムパターンについては、拡大幅を大きくする。拡大率の拡大幅は、例えば、図10(b)に示すような表にしたがって設定することができる。本図の例では、逆光率の範囲毎に拡大幅を定めたものであり、逆光率が高いほど、拡大幅が大きくなるように設定されている。   For the histogram pattern classified as a pattern with a high backlight rate, the enlargement width is increased. The enlargement width of the enlargement ratio can be set according to a table as shown in FIG. In the example of this figure, the enlargement width is determined for each range of the backlight ratio, and the enlargement width is set to be larger as the backlight ratio is higher.

例えば、パターン「54321」に分類されるヒストグラムパターンは、逆光率が5.6%であるから、第2判定基準データでは、上限、下限がそれぞれ1.0%拡大されることになる。また、パターン「53124」に分類されるヒストグラムパターンは、逆光率が32.0%であるから、第2判定基準データでは、上限、下限がそれぞれ3.0%拡大されることになる。
<第4実施例>
For example, the histogram pattern classified into the pattern “54321” has a backlight rate of 5.6%, and therefore the upper and lower limits are each enlarged by 1.0% in the second determination reference data. Further, the histogram pattern classified as the pattern “53124” has a backlight rate of 32.0%, and therefore, the upper limit and the lower limit are each enlarged by 3.0% in the second determination reference data.
<Fourth embodiment>

次に、光照射状態判定部32の動作の第4実施例について説明する。上述の第2実施例では、あるヒストグラムパターンの直前の判定結果が「真」であれば、そのヒストグラムパターンの上限と下限を一律に拡大した第2判定基準データを用いて判定を行なうようにしていたが、第4実施例では、ヒストグラムパターンごとにあらかじめ第2判定基準データ用のヒストグラムパターンを用意しておくようにする。   Next, a fourth embodiment of the operation of the light irradiation state determination unit 32 will be described. In the second embodiment described above, if the determination result immediately before a certain histogram pattern is “true”, the determination is performed using the second determination reference data in which the upper and lower limits of the histogram pattern are uniformly expanded. However, in the fourth embodiment, a histogram pattern for the second determination reference data is prepared in advance for each histogram pattern.

例えば、図11に示すように、パターン1、パターン2…のそれぞれについて、第1判定基準データとして用いるヒストグラムパターンと、第2判定基準データとして用いるヒストグラムパターンを用意しておく。この場合も、第2判定基準データは、第1判定基準データよりも逆光と判定されやすいヒストグラムパターン、すなわち、第1判定基準データよりも上限と下限とが拡大されたヒストグラムパターンとする。なお、第1判定基準データと第2判定基準データとは、同形状である必要はない。
<その他>
For example, as shown in FIG. 11, for each of pattern 1, pattern 2,..., A histogram pattern used as first determination reference data and a histogram pattern used as second determination reference data are prepared. Also in this case, the second determination reference data is a histogram pattern that is more easily determined as backlight than the first determination reference data, that is, a histogram pattern in which the upper limit and the lower limit are expanded as compared with the first determination reference data. Note that the first determination reference data and the second determination reference data need not have the same shape.
<Others>

なお、上述の第2実施例、第3実施例では、それぞれの輝度段階に対して、同じ比率で上限と下限とを拡大するようにしていたが、輝度段階毎に拡大幅を異ならせるようにしてもよい。この場合も、輝度段階毎の最適な拡大幅は多数のサンプル画像を用いて実験的に得ることができる。また、上述の実施例は、組み合わせたり、選択的に用いることができる。   In the second and third embodiments described above, the upper limit and the lower limit are enlarged at the same ratio for each luminance stage, but the enlargement width is made different for each luminance stage. May be. Also in this case, the optimum enlargement width for each luminance stage can be obtained experimentally using a large number of sample images. The above-described embodiments can be combined or selectively used.

以上説明したように、本実施形態では、直前の判定対象画像が逆光と判定された場合には、直前の判定対象画像が逆光でないと判定された場合よりも、逆光と判定されやすい基準を用いて逆光を判定するため、一度逆光と判定された場合は、連続して逆光と判定されやすくなる。これにより、被写体の光照射状態の微妙な変化によって逆光の判定結果が頻繁に切り替わることを防ぐことができる。   As described above, in the present embodiment, when the immediately preceding determination target image is determined to be backlit, a criterion that makes it easier to determine backlit is used than when the immediately preceding determination target image is determined not to be backlit. Therefore, once the backlight is determined, the backlight is easily determined continuously. Accordingly, it is possible to prevent the backlight determination result from being frequently switched due to a subtle change in the light irradiation state of the subject.

11…レンズ、12…露出機構、13…撮像素子、14…CDS回路、15…AGC回路、16…ADC、17…DSP回路、18…階調補正部、19…DRAM、20…JPEGエンコーダ、21…メディアI/F、22…SRAM、23…フラッシュROM、24…エンコーダ、25…DAC、26…CPU、27…露出制御部、28…操作部、29…バス、31…ヒストグラム算出部、32…光照射状態判定部、33…階調補正値算出部、34…露出補正値算出部、35…記録媒体、36…表示装置、100…撮像装置、321…判定比較部、322…判定基準データ、323…判定結果記憶部 DESCRIPTION OF SYMBOLS 11 ... Lens, 12 ... Exposure mechanism, 13 ... Imaging device, 14 ... CDS circuit, 15 ... AGC circuit, 16 ... ADC, 17 ... DSP circuit, 18 ... Tone correction part, 19 ... DRAM, 20 ... JPEG encoder, 21 ... Media I / F, 22 ... SRAM, 23 ... Flash ROM, 24 ... Encoder, 25 ... DAC, 26 ... CPU, 27 ... Exposure control unit, 28 ... Operation unit, 29 ... Bus, 31 ... Histogram calculation unit, 32 ... Light irradiation state determination unit, 33 ... gradation correction value calculation unit, 34 ... exposure correction value calculation unit, 35 ... recording medium, 36 ... display device, 100 ... imaging device, 321 ... determination comparison unit, 322 ... determination reference data, 323 ... Determination result storage unit

Claims (7)

判定対象画像のヒストグラムに基づいて、前記判定対象画像が所定の光照射状態であるかどうかを、所定の判定基準にしたがって判定する比較判定部と、
直前の判定対象画像の判定結果を記憶する判定結果記憶部と、を備え、
前記比較判定部は、
直前の判定対象画像が所定の光照射状態であると判定された場合は、直前の判定対象画像が所定の光照射状態でないと判定された場合に用いる第1判定基準よりも所定の光照射状態と判定されやすい第2判定基準を用いて判定対象画像の判定を行なうことを特徴とする光照射状態判定装置。
A comparison determination unit that determines whether the determination target image is in a predetermined light irradiation state based on a histogram of the determination target image according to a predetermined determination criterion;
A determination result storage unit that stores the determination result of the immediately preceding determination target image,
The comparison determination unit
When it is determined that the immediately preceding determination target image is in the predetermined light irradiation state, the predetermined light irradiation state is higher than the first determination criterion used when it is determined that the immediately preceding determination target image is not in the predetermined light irradiation state. A light irradiation state determination device, wherein the determination target image is determined using a second determination criterion that is easily determined.
前記判定基準は、判定対象画像のヒストグラムにおいて、平均輝度レベルで定められる所定範囲内の輝度レベルのうち、所定の閾値以上の画素数を含む輝度レベルの画素数を算出するものであり、前記第2判定基準は、前記所定の閾値が、前記第1判定基準より小さく設定されていることを特徴とする請求項1に記載の光照射状態判定装置。   The determination criterion is to calculate the number of pixels having a luminance level including a number of pixels equal to or greater than a predetermined threshold among luminance levels within a predetermined range determined by an average luminance level in the histogram of the determination target image. 2. The light irradiation state determination device according to claim 1, wherein the second determination criterion is such that the predetermined threshold is set smaller than the first determination criterion. 前記判定基準は、ヒストグラムの各輝度レベルについて上限と下限とを定めたものであり、前記第2判定基準は、前記第1判定基準に対して前記上限を大きくし、前記下限を小さくしたものであることを特徴とする請求項1に記載の光照射状態判定装置。   The determination criterion defines an upper limit and a lower limit for each luminance level of the histogram, and the second determination criterion is obtained by increasing the upper limit and decreasing the lower limit with respect to the first determination criterion. The light irradiation state determination apparatus according to claim 1, wherein the light irradiation state determination apparatus is provided. 前記第2判定基準は、前記第1判定基準に対して前記上限を所定の割合で一律に大きくし、前記下限を所定の割合で一律に小さくしたものであることを特徴とする請求項3に記載の光照射状態判定装置。   4. The second determination criterion is characterized in that the upper limit is uniformly increased at a predetermined rate and the lower limit is uniformly decreased at a predetermined rate with respect to the first determination criterion. The light irradiation state determination apparatus of description. 前記第2判定基準は、前記第1判定基準の形状に基づく分類に対応して定められた拡大幅にしたがって、前記第1判定基準の前記上限を大きくし、前記下限を小さくしたものであることを特徴とする請求項3に記載の光照射状態判定装置。   The second determination criterion is such that the upper limit of the first determination criterion is increased and the lower limit is decreased in accordance with an enlargement range determined corresponding to the classification based on the shape of the first determination criterion. The light irradiation state determination apparatus according to claim 3. 前記第2判定基準は、前記第1判定基準の前記上限を大きくし、前記下限を小さくするようにあらかじめ定められたものであることを特徴とする請求項3に記載の光照射状態判定装置。   The light irradiation state determination device according to claim 3, wherein the second determination criterion is determined in advance so as to increase the upper limit of the first determination criterion and decrease the lower limit. 判定対象画像のヒストグラムに基づいて、前記判定対象画像が所定の光照射状態であるかどうかを、所定の判定基準にしたがって判定する光照射状態判定方法であって、
直前の判定対象画像が所定の光照射状態であると判定された場合は、直前の判定対象画像が所定の光照射状態でないと判定された場合に用いる第1判定基準よりも所定の光照射状態と判定されやすい第2判定基準を用いて判定対象画像の判定を行なうことを特徴とする光照射状態判定方法。
A light irradiation state determination method for determining, based on a histogram of a determination target image, whether the determination target image is in a predetermined light irradiation state according to a predetermined determination criterion,
When it is determined that the immediately preceding determination target image is in the predetermined light irradiation state, the predetermined light irradiation state is higher than the first determination criterion used when it is determined that the immediately preceding determination target image is not in the predetermined light irradiation state. A method of determining a light irradiation state, wherein the determination target image is determined using a second determination criterion that is easily determined.
JP2011024594A 2011-02-08 2011-02-08 Light irradiation state determination device and light irradiation state determination method Active JP5590407B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011024594A JP5590407B2 (en) 2011-02-08 2011-02-08 Light irradiation state determination device and light irradiation state determination method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011024594A JP5590407B2 (en) 2011-02-08 2011-02-08 Light irradiation state determination device and light irradiation state determination method

Publications (2)

Publication Number Publication Date
JP2012165222A true JP2012165222A (en) 2012-08-30
JP5590407B2 JP5590407B2 (en) 2014-09-17

Family

ID=46844182

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011024594A Active JP5590407B2 (en) 2011-02-08 2011-02-08 Light irradiation state determination device and light irradiation state determination method

Country Status (1)

Country Link
JP (1) JP5590407B2 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06189186A (en) * 1992-12-22 1994-07-08 Fuji Photo Film Co Ltd Method and device for judging back light and method and device for correcting back light in video camera
JP2000137722A (en) * 1998-10-30 2000-05-16 Minolta Co Ltd Image processor
JP2005295285A (en) * 2004-03-31 2005-10-20 Japan Aviation Electronics Industry Ltd Video image data creation method
JP2007067907A (en) * 2005-08-31 2007-03-15 Sony Corp Image pickup apparatus, image pickup method, and image pickup program; and image processor, image processing method, and image processing program
JP2008129027A (en) * 2006-11-16 2008-06-05 Sony Corp Backlight determination device, image taking device, backlight determination method, and program
JP2009060400A (en) * 2007-08-31 2009-03-19 Victor Co Of Japan Ltd Imaging apparatus
JP2011139171A (en) * 2009-12-25 2011-07-14 Canon Inc Video processing apparatus, and video processing method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06189186A (en) * 1992-12-22 1994-07-08 Fuji Photo Film Co Ltd Method and device for judging back light and method and device for correcting back light in video camera
JP2000137722A (en) * 1998-10-30 2000-05-16 Minolta Co Ltd Image processor
JP2005295285A (en) * 2004-03-31 2005-10-20 Japan Aviation Electronics Industry Ltd Video image data creation method
JP2007067907A (en) * 2005-08-31 2007-03-15 Sony Corp Image pickup apparatus, image pickup method, and image pickup program; and image processor, image processing method, and image processing program
JP2008129027A (en) * 2006-11-16 2008-06-05 Sony Corp Backlight determination device, image taking device, backlight determination method, and program
JP2009060400A (en) * 2007-08-31 2009-03-19 Victor Co Of Japan Ltd Imaging apparatus
JP2011139171A (en) * 2009-12-25 2011-07-14 Canon Inc Video processing apparatus, and video processing method

Also Published As

Publication number Publication date
JP5590407B2 (en) 2014-09-17

Similar Documents

Publication Publication Date Title
US10021313B1 (en) Image adjustment techniques for multiple-frame images
AU2016200002B2 (en) High dynamic range transition
JP5520038B2 (en) Video processing apparatus and video processing method
US8537269B2 (en) Method, medium, and apparatus for setting exposure time
US8730353B2 (en) Method of controlling adaptive auto exposure based on adaptive region weight
JP5624809B2 (en) Image signal processing device
CN105122794A (en) Camera obstruction detection
US8059187B2 (en) Image capturing apparatus
CN103888661A (en) Image pickup apparatus, image pickup system and method of controlling image pickup apparatus
JP6720881B2 (en) Image processing apparatus and image processing method
CN110766621A (en) Image processing method, image processing device, storage medium and electronic equipment
JP4539432B2 (en) Image processing apparatus and imaging apparatus
KR20230131831A (en) Choosing a High Dynamic Range Technique for Image Processing
WO2015009848A1 (en) System and method for automatic exposure and dynamic range compression
JP2010268426A (en) Image processing apparatus, image processing method, and program
CN110740266B (en) Image frame selection method and device, storage medium and electronic equipment
EP3557862B1 (en) Image processing apparatus, information display apparatus, control method, and program
JP2008109305A (en) Image processing device, and control method of image processing device
US20070211165A1 (en) Imaging device, method for controlling imaging device, program of method for controlling imaging device, recording medium in which program of method for controlling imaging device is recorded
US9762805B2 (en) Image processing apparatus performing tone correction process and method, and image capturing apparatus performing tone correction process
JP2019176305A (en) Imaging apparatus, control method of the same, and program
JP5316923B2 (en) Imaging apparatus and program thereof
JP5590407B2 (en) Light irradiation state determination device and light irradiation state determination method
JP2017102393A (en) Imaging apparatus
JP5782546B2 (en) VIDEO PROCESSING DEVICE, VIDEO PROCESSING METHOD, IMAGING DEVICE, PROGRAM, AND STORAGE MEDIUM

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140716

R150 Certificate of patent or registration of utility model

Ref document number: 5590407

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150