JP4523629B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP4523629B2
JP4523629B2 JP2007269733A JP2007269733A JP4523629B2 JP 4523629 B2 JP4523629 B2 JP 4523629B2 JP 2007269733 A JP2007269733 A JP 2007269733A JP 2007269733 A JP2007269733 A JP 2007269733A JP 4523629 B2 JP4523629 B2 JP 4523629B2
Authority
JP
Japan
Prior art keywords
photometric
block
imaging
exposure
exposure control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007269733A
Other languages
Japanese (ja)
Other versions
JP2009100252A (en
Inventor
晃三 石田
俊 伊藤
充夫 橋本
淳子 牧田
善隆 豊田
雅仁 松下
一夫 羽島
岳洋 大橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2007269733A priority Critical patent/JP4523629B2/en
Publication of JP2009100252A publication Critical patent/JP2009100252A/en
Application granted granted Critical
Publication of JP4523629B2 publication Critical patent/JP4523629B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Studio Devices (AREA)

Description

本発明は、自動露出制御機能を有し、特徴領域の最適な露出レベルを維持する撮像装置に関するものであり、撮像画像から特徴領域を検出した結果を用いて、露出制御に有効な測光ブロックを選択して、露出制御を行う撮像装置に関する。   The present invention relates to an image pickup apparatus having an automatic exposure control function and maintaining an optimum exposure level of a feature region. A photometric block effective for exposure control is obtained using a result of detecting a feature region from a picked-up image. The present invention relates to an imaging apparatus that selects and performs exposure control.

カメラの露出制御は、撮像画面を複数の測光ブロックに分割し、被写体の状態、撮影者の意図に応じて、測光ブロックごとの輝度値を選択、解析することで最適な露出制御を行っている。例えば、中央重点測光の露出制御では、撮像画面の中央部の輝度積算値を用いて、露出制御量を決定している。   Camera exposure control is performed by dividing the imaging screen into a plurality of photometric blocks, and selecting and analyzing the luminance value for each photometric block according to the subject's condition and the photographer's intention. . For example, in exposure control for center-weighted metering, the exposure control amount is determined using the luminance integrated value at the center of the imaging screen.

また、従来の撮像装置において、例えば顔を検出したエリアを測光エリアとして用いることで、露出制御の露光量を最適化するものがある(例えば、特許文献1)。   Further, in a conventional imaging apparatus, there is an apparatus that optimizes an exposure amount for exposure control by using, for example, an area where a face is detected as a photometric area (for example, Patent Document 1).

特開2003−107555号公報(段落0062〜0089、第8図)Japanese Patent Laying-Open No. 2003-107555 (paragraphs 0062 to 0089, FIG. 8) 特許第3,478,201号明細書 なお特許文献2については後に言及する。Patent No. 3,478,201 The patent document 2 will be mentioned later.

一般的な露出制御では、測光ブロック内に撮像される被写体と背景を含む平均輝度値を露出量と用いるために、背景光の露出状態の影響を受けやすく、背景が暗い場合は被写体が明るく写り、背景が明るい場合には被写体が暗く写るなど、被写体の露出レベルが背景光の影響で変動するため、後段の認識処理等の高度な画像処理の精度が安定しにくい問題があった。   In general exposure control, the average brightness value including the subject imaged in the photometry block and the background is used as the exposure amount, so it is easily affected by the exposure status of the background light, and the subject appears bright when the background is dark. When the background is bright, the subject's exposure level fluctuates due to the influence of background light, such as when the subject appears dark, and there is a problem that the accuracy of advanced image processing such as recognition processing at the later stage is difficult to stabilize.

また、従来の重点測光などでは、被写体内の一点の輝度値の値で、露出制御がなされるため、被写体内の一点の輝度値のばらつきにより、露出値が変動する問題があった。   Further, in conventional weighted metering or the like, since exposure control is performed with the value of a luminance value at one point in the subject, there is a problem that the exposure value fluctuates due to variations in the luminance value at one point within the subject.

さらに、上記の特許文献1に記載された従来例のように顔検出を用いた露出制御方法においても、顔検出領域内に、メガネなどの反射光が入った場合、メガネの反射光の影響を受けて、露出値が変動する問題があった。   Further, in the exposure control method using face detection as in the conventional example described in Patent Document 1 described above, when reflected light such as glasses enters the face detection area, the influence of the reflected light from the glasses is affected. As a result, the exposure value fluctuated.

本発明は上述したような課題を解決するためになされたもので、被写体の露出値を安定的に検出することができ、認証などの高度な画像処理の処理結果を安定させることができる、露出制御を有する撮像装置を提供することを目的とする。   The present invention has been made to solve the above-described problems, and can stably detect an exposure value of a subject and can stabilize a processing result of advanced image processing such as authentication. An object is to provide an imaging apparatus having control.

本発明の撮像装置は、
撮像手段と、
前記撮像手段の撮像信号の、それぞれ撮像画面の一部をなす複数の所定の測光ブロックごとに積算値を求める積算手段と、
前記撮像手段の撮像信号から前記撮像画面内の特徴領域を構成する測光ブロックを検出する特徴領域検出手段と、
前記撮像手段の撮像信号から前記測光ブロック内の輝度分布のヒストグラムを生成し、前記ヒストグラムが高輝度または低輝度に偏った前記測光ブロック特異ブロックとして検出する特異領域検出手段と、
前記特徴領域検出手段により検出された特徴領域に含まれる測光ブロックであって、前記特異領域検出手段により検出された特異領域に含まれる測光ブロック以外のものの、前記積算値を用いて、前記露出評価値を算出し、前記露出評価値を用いて前記撮像手段を制御する露出制御手段と
を有する。
The imaging apparatus of the present invention
Imaging means;
Integration means for obtaining an integrated value for each of a plurality of predetermined photometric blocks each forming part of an imaging screen of the imaging signal of the imaging means;
Feature area detection means for detecting a photometric block constituting the feature area in the imaging screen from the imaging signal of the imaging means;
Generating a histogram of the luminance distribution in the photometric block from the imaging signal of the imaging means, and detecting the photometric block in which the histogram is biased to high luminance or low luminance as a specific block ;
The exposure evaluation using the integrated value of the photometric block included in the characteristic area detected by the characteristic area detection unit, other than the photometric block included in the specific area detected by the specific area detection unit Exposure control means for calculating a value and controlling the imaging means using the exposure evaluation value.

本発明によれば、人物の顔、指の指紋、紙面中の文字など特徴を有する特徴領域の検出結果から求めた測光ブロックを露出制御に用いるため、特徴領域の露出評価値が安定して得られる。   According to the present invention, since the photometric block obtained from the detection result of the feature region having features such as a human face, finger fingerprint, and characters on the paper is used for exposure control, the exposure evaluation value of the feature region can be stably obtained. It is done.

また、背景の明るさが変化する場合においても特徴領域の露出評価値が安定して得られる。   Even when the brightness of the background changes, the exposure evaluation value of the feature region can be obtained stably.

実施の形態1.
図1は本発明の実施の形態1の撮像装置の概略を示すブロック図である。図1に示されるように、実施の形態1の撮像装置は、撮像手段1と、積算手段3と、特徴領域検出手段4と、特異領域検出手段5と、露出制御手段2とを有する。
Embodiment 1 FIG.
FIG. 1 is a block diagram showing an outline of an imaging apparatus according to Embodiment 1 of the present invention. As shown in FIG. 1, the imaging apparatus according to the first embodiment includes an imaging unit 1, an integration unit 3, a feature region detection unit 4, a singular region detection unit 5, and an exposure control unit 2.

撮像手段1は、光電変換素子のアレイを備えた固体撮像素子を含み、被写体の画像信号に対応するデジタル信号を出力する。
積算手段3は、撮像手段1から出力されるデジタル信号を、それぞれ撮像画面の一部をなす、複数の所定の測光ブロック(測光窓)ごとに積算する。
特徴領域検出手段4は、撮像手段1から出力されるデジタル信号から撮像画面内の特徴領域、例えば被写体が人物である場合の顔の部分を検出する。
特異領域検出手段5は、撮像手段1のデジタル出力から、特徴領域検出手段4で検出された特徴領域を構成する測光ブロック(特徴領域に含まれる測光ブロック)の各々について輝度分布を検出し、検出結果に基づいて、測光ブロックのうち、輝度分布が特異なもの、例えば局所的に著しく輝度が高い部分を検出する。このような局所的に輝度が高い部分としては、例えばてかっている(光っている)鼻の部分、あるいは光を反射しているメガネの部分がある。例えば局所的に著しく輝度が低い部分、例えば、汚れた部分や、サングラスの部分を検出するようにしても良い。
The imaging means 1 includes a solid-state imaging device having an array of photoelectric conversion elements, and outputs a digital signal corresponding to the image signal of the subject.
The integrating unit 3 integrates the digital signal output from the imaging unit 1 for each of a plurality of predetermined photometric blocks (photometric windows) each forming a part of the imaging screen.
The feature area detection unit 4 detects a feature area in the imaging screen, for example, a face portion when the subject is a person, from the digital signal output from the imaging unit 1.
The singular area detecting means 5 detects the luminance distribution for each of the photometric blocks (photometric blocks included in the characteristic area) constituting the characteristic area detected by the characteristic area detecting means 4 from the digital output of the imaging means 1 and detects it. On the basis of the result, a photometric block having a specific luminance distribution, for example, a portion having extremely high luminance is detected locally. Examples of such a locally high brightness portion include a nose portion that is bright (shining) or a spectacle portion that reflects light. For example, a locally low-luminance portion such as a dirty portion or a sunglasses portion may be detected.

露出制御手段2は、特徴領域検出手段4の検出した特徴領域の検出結果、及び特異領域検出手段5の検出結果に応じて、露出制御に用いるべき測光ブロックを選択し、選択した測光ブロックの積算手段3の積算結果を用いて、露出制御を行う。   The exposure control means 2 selects a photometric block to be used for exposure control according to the detection result of the characteristic area detected by the characteristic area detection means 4 and the detection result of the specific area detection means 5, and integrates the selected photometric blocks Using the integration result of the means 3, exposure control is performed.

図2は図1の撮像装置のより具体的な構成を示す図である。図1において、本実施の形態1の撮像装置は、撮像手段1と、デジタル信号処理手段10と、タイミング生成手段11と、特徴領域検出手段4と、特異領域検出手段5と、露出制御手段2と、システム制御手段15と、表示手段12と、記録手段13と、データメモリ16と、プログラムメモリ17とを有する。データメモリ16は例えばSDRAMで構成され、プログラムメモリ17は例えばフラッシュメモリで構成される。   FIG. 2 is a diagram showing a more specific configuration of the imaging apparatus of FIG. In FIG. 1, the imaging apparatus according to the first embodiment includes an imaging unit 1, a digital signal processing unit 10, a timing generation unit 11, a feature region detection unit 4, a singular region detection unit 5, and an exposure control unit 2. A system control unit 15, a display unit 12, a recording unit 13, a data memory 16, and a program memory 17. The data memory 16 is composed of, for example, SDRAM, and the program memory 17 is composed of, for example, flash memory.

撮像手段1は、レンズ6と、固体撮像素子7と、アナログ信号処理手段8と、AD変換手段9とを有する。   The imaging unit 1 includes a lens 6, a solid-state imaging device 7, an analog signal processing unit 8, and an AD conversion unit 9.

デジタル信号処理手段10は、AD変換手段9のデジタル出力を信号処理するものであり、上記した積算手段3として機能する部分を含む。デジタル信号処理手段10はまた、撮像画像を表示手段12に表示する機能や、外付け外部記憶装置などの記憶手段13に撮像画像などのデータを書き込む機能をもつ。   The digital signal processing means 10 performs signal processing on the digital output of the AD conversion means 9 and includes a portion that functions as the integration means 3 described above. The digital signal processing unit 10 also has a function of displaying a captured image on the display unit 12 and a function of writing data such as a captured image in the storage unit 13 such as an external external storage device.

システム制御手段15は、図2に示される撮像装置の各部を制御するほか、撮像装置全体の電源起動時のイニシャル制御、電源立ち下げ時の終了制御、露出制御以外のシステム全体の制御をも行う。   The system control means 15 controls each part of the image pickup apparatus shown in FIG. 2, and also performs initial control at the time of power activation of the entire image pickup apparatus, end control at power-down, and control of the entire system other than exposure control. .

特徴領域検出手段4と、特異領域検出手段5と、露出制御手段2と、システム制御手段15とは、ソフトウエアにより、例えば、プログラムメモリ17に格納されたプログラムに従って動作するCPU18により実現される。   The feature region detection unit 4, the specific region detection unit 5, the exposure control unit 2, and the system control unit 15 are realized by software, for example, a CPU 18 that operates according to a program stored in the program memory 17.

撮像手段1のレンズ6は、被写体からの反射光を固体撮像素子7へ結像する。
固体撮像素子7は、被写体から各画素へ入射する光の強さ(光量)を光電変換し、撮像信号AAとして取り出す。
アナログ信号処理手段8は、固体撮像素子7から出力される撮像信号AAを相関二重サンプリング処理(CDS)し、増幅(AGC)したアナログ信号ABを出力する。
AD変換手段9は、アナログ信号処理手段8の出力信号ABをデジタル変換する。
The lens 6 of the imaging unit 1 forms an image of the reflected light from the subject on the solid-state imaging device 7.
The solid-state image sensor 7 photoelectrically converts the intensity (light quantity) of light incident on each pixel from the subject and takes it out as an imaging signal AA.
The analog signal processing unit 8 performs correlated double sampling processing (CDS) on the imaging signal AA output from the solid-state imaging device 7 and outputs an amplified (AGC) analog signal AB.
The AD conversion means 9 digitally converts the output signal AB of the analog signal processing means 8.

タイミング生成手段11は、固体撮像素子7、アナログ信号処理手段8、AD変換手段9、デジタル信号処理手段10の同期処理を行うためのタイミング信号BB、BC、BD、BEを生成する。   The timing generation unit 11 generates timing signals BB, BC, BD, BE for performing synchronization processing of the solid-state imaging device 7, the analog signal processing unit 8, the AD conversion unit 9, and the digital signal processing unit 10.

タイミング生成手段11は、露出制御手段2の制御信号CAに基づき、固体撮像素子7の蓄積時間を変更することで、シャッタスピード(蓄積時間の逆数)を制御する。
アナログ信号処理手段11は、露出制御手段2の制御信号CBに基づき、その利得が制御される。
このように固体撮像素子7の蓄積時間乃至はシャッタスピードと、アナログ信号処理手段8の利得を制御することで露出制御が実現できる。
The timing generation unit 11 controls the shutter speed (reciprocal of the accumulation time) by changing the accumulation time of the solid-state imaging device 7 based on the control signal CA of the exposure control unit 2.
The gain of the analog signal processing means 11 is controlled based on the control signal CB from the exposure control means 2.
In this way, exposure control can be realized by controlling the accumulation time or shutter speed of the solid-state imaging device 7 and the gain of the analog signal processing means 8.

積算手段3は、デジタル信号処理手段10内に構成されており、AD変換手段9の出力をもとに、所定の測光ブロック毎にAD変換手段9の出力の積算を行う。この積算結果は、CPUバス19経由でデータメモリ16に蓄積され、さらに露出制御手段2に入力され、露出制御に用いられる。   The integration unit 3 is configured in the digital signal processing unit 10 and integrates the output of the AD conversion unit 9 for each predetermined photometric block based on the output of the AD conversion unit 9. This integration result is accumulated in the data memory 16 via the CPU bus 19 and further input to the exposure control means 2 for use in exposure control.

ここで、所定の測光ブロックとは、露出制御を行うための露出評価値を検出するための基本となる撮像信号の積算する単位を示している。   Here, the predetermined photometry block indicates a unit in which imaging signals serving as a basis for detecting an exposure evaluation value for performing exposure control are integrated.

測光ブロックは、画面全体を例えば図3に示すように分割することで構成される。
図3に示す例では、画面全体が、水平方向に16個、垂直方向に12個の測光ブロック(測光窓)に分割されている。
各測光ブロックには、画面の左上隅からの水平方向位置に応じた番号(水平ブロック番号(「水平ブロック座標」とも呼ばれる)、垂直方向位置に応じた番号(垂直ブロック番号(「垂直ブロック座標」とも呼ばれる)が付され、B(i,j)(但し、(iは水平方向の座標、i=0〜15、jは垂直方向の座標であり、j=0〜11)で表される。
The photometric block is configured by dividing the entire screen as shown in FIG. 3, for example.
In the example shown in FIG. 3, the entire screen is divided into 16 photometric blocks (photometric windows) in the horizontal direction and 12 in the vertical direction.
Each photometric block has a number corresponding to the horizontal position from the upper left corner of the screen (horizontal block number (also called “horizontal block coordinates”), and a number corresponding to the vertical position (vertical block number (“vertical block coordinates”). And B (i, j) (where i is a horizontal coordinate, i = 0-15, j is a vertical coordinate, j = 0-11).

固体撮像素子7の画素数が、水平640画素、垂直ラインの場合は、各測光ブロックは、水平方向に40画素、垂直方向に40ラインを有する。
各測光ブロックの位置は、上記の水平ブロック座標と垂直ブロック座標の組合せから成る二次元座標(i,j)で表される。
なお、各測光ブロックの座標を、その左上隅の画素の座標で表すこととしても良い。
When the number of pixels of the solid-state image sensor 7 is 640 horizontal pixels and vertical lines, each photometric block has 40 pixels in the horizontal direction and 40 lines in the vertical direction.
The position of each photometric block is represented by two-dimensional coordinates (i, j) consisting of a combination of the horizontal block coordinates and the vertical block coordinates.
The coordinates of each photometric block may be represented by the coordinates of the pixel at the upper left corner.

撮像手段1の固体撮像素子7は、図4に示すように、RGRGとR色とG色の画素が繰返すRGライン71と、GBGBとG色とB色の画素が繰返すGBライン72が交互に配置された一般にベイヤ配列といわれる構造のカラーフィルタを備える。
ここで、R色、G色の画素が続くG色の表記をGr色とし、G色、R色の画素が続くG色の表記をGb色とする。なお、R色、B色、G色の信号が得られるカラーフィルタであれば、上述以外のカラーフィルタ配列でも良い。
上記のようなベイヤ配列のカラーの撮像そしにおいては、各測光ブロック(基本測光ブロック)の40×40画素のうち、R色、Gr色(R色と同一ラインのG色)、B色、Gb色(B色と同一ラインのG色)の画素はそれぞれ1/4を占め、従って、各測光ブロックに含まれる各色成分の画素の数は20×20画素である。
As shown in FIG. 4, the solid-state imaging device 7 of the imaging unit 1 includes an RG line 71 that repeats RGRG, R, and G pixels, and a GB line 72 that repeats GBGB, G, and B pixels. A color filter having a structure generally called a Bayer array is provided.
Here, the G color notation followed by R and G pixels is Gr, and the G color notation followed by G and R pixels is Gb. Any color filter arrangement other than those described above may be used as long as it is a color filter that can obtain R, B, and G color signals.
In the above-described Bayer array color imaging and the 40 × 40 pixels of each photometry block (basic photometry block), R color, Gr color (G color in the same line as R color), B color, Gb Each pixel of color (G color in the same line as B color) occupies 1/4, and therefore the number of pixels of each color component included in each photometric block is 20 × 20 pixels.

尚、固体撮像素子7としては、一枚の固体撮像素子7の前段に、R色、G色、B色のフィルタを配した3板式のものを用いても良い。また、本発明は、カラーフィルタを配置しないモノクロの固体撮像素子7の場合にも適用できる。   As the solid-state image sensor 7, a three-plate type in which R color, G color, and B color filters are arranged in front of one solid-state image sensor 7 may be used. The present invention can also be applied to a monochrome solid-state imaging device 7 in which no color filter is arranged.

また、固体撮像素子7としては、CCDやCMOSセンサなど、マトリクス上の画素が配置された撮像素子を用いることができる。   Further, as the solid-state imaging device 7, an imaging device in which pixels on a matrix are arranged, such as a CCD or a CMOS sensor, can be used.

特徴領域検出手段4は、デジタル信号処理手段10から出力され、データメモリ16内に保存されている画像のデジタル信号をもとに、例えば顔の領域FAを、測光ブロック単位で検出し、特徴領域FAを構成する測光ブロックを表す情報(特定する情報)、例えば水平方向ブロック番号及び垂直方向ブロック番号の組合せで構成される、測光ブロックのブロック座標(i,j)を出力する。   The feature area detection means 4 detects, for example, a face area FA in units of photometric blocks based on the digital signal of the image output from the digital signal processing means 10 and stored in the data memory 16, and the feature area Outputs information (identifying information) representing a photometric block constituting the FA, for example, block coordinates (i, j) of the photometric block constituted by a combination of a horizontal block number and a vertical block number.

図3に示す例の場合、特徴領域検出手段4で、特徴領域FAを構成する測光ブロック
B(5,4)、B(6,4)、B(7,4)、B(8,4)、B(9,4)、
B(5,5)、B(6,5)、B(7,5)、B(8,5)、B(9,5)、
B(5,6)、B(6,6)、B(7,6)、B(8,6)、B(9,6)、
B(5,7)、B(6,7)、B(7,7)、B(8,7)、B(9,7)
を表す情報が、特徴領域検出手段4から出力される。
In the case of the example shown in FIG. 3, the characteristic area detecting means 4 uses the photometric blocks B (5, 4), B (6, 4), B (7, 4), B (8, 4) that constitute the characteristic area FA. , B (9, 4),
B (5,5), B (6,5), B (7,5), B (8,5), B (9,5),
B (5, 6), B (6, 6), B (7, 6), B (8, 6), B (9, 6),
B (5, 7), B (6, 7), B (7, 7), B (8, 7), B (9, 7)
Is output from the feature region detection means 4.

測光ブロックを表す情報として、上記のように当該測光ブロックの位置を示すブロック座標を出力する代わりに、当該測光ブロックの左上隅に位置する画素の、撮像画面内の位置を示す座標(水平方向位置、垂直方向位置の組み合わせ)を、当該測光ブロックの座標として出力しても良い。   Instead of outputting block coordinates indicating the position of the photometric block as described above as information representing the photometric block, coordinates indicating the position in the imaging screen of the pixel located at the upper left corner of the photometric block (horizontal position) , A combination of vertical position) may be output as coordinates of the photometric block.

特徴領域の検出方法としては、例えば、予め指定された色の部分(例えば肌色の部分)を検出することで、顔を検出することとしても良く、その他の公知の方法、例えば、特徴領域の輝度分布の変化を検出する方法、被写体の幾何学的な特徴(顔の楕円)を検出する方法、特徴領域内の画像の構成要素の相対位置(例えば、顔の構成要素である目、鼻、口の位置)を検出する方法などを用いることができる。   As a feature region detection method, for example, a face may be detected by detecting a color portion (for example, a skin color portion) specified in advance, and other known methods, for example, brightness of the feature region A method for detecting a change in distribution, a method for detecting a geometric feature of a subject (a face ellipse), and a relative position of an image component within a feature region (for example, eyes, nose, mouth which are components of a face) Or the like can be used.

なお、特徴領域検出手段4を、ソフトウエアにより実現する代わりに、デジタル信号処理手段10内に構成することとしても良く、CPUバス19に接続された、ASIC、FPGAなどのハードウェアロジックで実現することとしても良い。   The feature area detecting means 4 may be configured in the digital signal processing means 10 instead of being realized by software, and realized by hardware logic such as ASIC and FPGA connected to the CPU bus 19. It's also good.

特異領域検出手段5は、特徴領域検出手段4で検出された測光ブロックの各々について輝度分布のヒストグラムを生成し、生成したヒストグラムに基づいて、露出制御に用いるべきでない測光ブロック、即ち除外すべき測光ブロックを検出する。   The singular area detection means 5 generates a histogram of the luminance distribution for each of the photometry blocks detected by the feature area detection means 4, and based on the generated histogram, the photometry block that should not be used for exposure control, that is, the photometry that should be excluded Detect blocks.

図3に示す例の場合、特徴領域検出手段4で、特徴領域FAを構成する測光ブロック
B(5,4)、B(6,4)、B(7,4)、B(8,4)、B(9,4)、
B(5,5)、B(6,5)、B(7,5)、B(8,5)、B(9,5)、
B(5,6)、B(6,6)、B(7,6)、B(8,6)、B(9,6)、
B(5,7)、B(6,7)、B(7,7)、B(8,7)、B(9,7)
を表す情報が出力されるが、このデータを受けて、特異領域検出手段5は、測光ブロック単位のヒストグラムを生成し、該ヒストグラムに基づき、露出制御に用いるべきでない測光ブロック、即ち除外すべき測光ブロックを検出する。
In the case of the example shown in FIG. 3, the characteristic area detecting means 4 uses the photometric blocks B (5, 4), B (6, 4), B (7, 4), B (8, 4) that constitute the characteristic area FA. , B (9, 4),
B (5,5), B (6,5), B (7,5), B (8,5), B (9,5),
B (5, 6), B (6, 6), B (7, 6), B (8, 6), B (9, 6),
B (5, 7), B (6, 7), B (7, 7), B (8, 7), B (9, 7)
In response to this data, the singular area detecting means 5 generates a histogram of photometric block units, and based on the histogram, photometric blocks that should not be used for exposure control, that is, photometry to be excluded Detect blocks.

例えば、局所的に輝度の著しく高い部分や局所的に輝度の著しく低い部分が除外すべき特異な領域として検出される。図3に示す例では、測光ブロックB(7,5)及びB(7,6)が、てかっている鼻NSの部分であり、除外すべき測光ブロックとして検出され、該ブロックB(7,5)、B(7,6)を表す情報が出力される。   For example, a part where the luminance is extremely high or a part where the luminance is extremely low is detected as a specific region to be excluded. In the example shown in FIG. 3, the photometric blocks B (7, 5) and B (7, 6) are portions of the nose NS that are devoted and are detected as photometric blocks to be excluded, and the block B (7, 5 ) And B (7, 6) are output.

図2に示される構成で、露出制御手段2は、積算手段3で求められ、データメモリ16内に蓄えられた所定の測光ブロックごとの積算値を、CPUバス19を介して供給される。
露出制御手段2はまた、特徴領域検出手段4で検出された特徴領域FAを構成する測光ブロックを表す情報、例えば該測光ブロックの座標(i,j)を、CPUバス19経由で供給され、さらに、特異領域検出手段5で検出された特異な輝度分布を持つ測光ブロックを表す情報、例えば、該測光ブロックのブロック座標(i,j)を、CPUバス19経由で供給される。
In the configuration shown in FIG. 2, the exposure control means 2 is supplied via the CPU bus 19 with the integrated value for each predetermined photometric block obtained by the integrating means 3 and stored in the data memory 16.
The exposure control means 2 is also supplied via the CPU bus 19 with information representing the photometric block constituting the characteristic area FA detected by the characteristic area detecting means 4, for example, the coordinates (i, j) of the photometric block. Information indicating a photometric block having a specific luminance distribution detected by the specific area detecting means 5, for example, block coordinates (i, j) of the photometric block is supplied via the CPU bus 19.

露出制御手段2は、特徴検出手段4からの、特徴領域を構成する測光ブロックを表す情報、及び特異領域検出手段5からの、上記除外すべき測光ブロックを表す情報を受けて、これらに基づき、露出制御に用いる測光ブロックを選択し、選択された測光ブロックごとの積算値に基づき、シャッタスピード、及び利得を求め、撮像手段1の露出(固体撮像素子7のシャッタスピード及びアナログ信号処理手段8の利得)を制御する。   The exposure control means 2 receives the information representing the photometric block constituting the characteristic area from the characteristic detecting means 4 and the information representing the photometric block to be excluded from the singular area detecting means 5, and based on these, The photometry block used for exposure control is selected, the shutter speed and the gain are obtained based on the integrated value for each selected photometry block, and the exposure of the imaging unit 1 (the shutter speed of the solid-state imaging device 7 and the analog signal processing unit 8). Gain).

露出制御においては、一般的に、暗い照明光下においては、制御信号CBにより利得が高くなるよう設定される。明るい照明光下においては、制御信号CAによりシャッタスピードが高速になるように設定される。   In the exposure control, generally, the gain is set to be high by the control signal CB under dark illumination light. Under bright illumination light, the shutter speed is set to be high by the control signal CA.

以下に上記の撮像装置の動作を、露出制御を中心としてさらに詳しく説明する。
被写体からの反射光は、レンズ6で固体撮像素子7に結像する。
Hereinafter, the operation of the imaging apparatus will be described in more detail with a focus on exposure control.
The reflected light from the subject forms an image on the solid-state image sensor 7 by the lens 6.

固体撮像素子7に結像した被写体からの反射光は、露出制御で決められる所定の露出時間の間、蓄積される。蓄積された電荷を、垂直方向の転送クロックと水平方向の転送クロックで、転送することで撮像信号AAを出力することができる。ここで、CCDの場合は、水平転送クロックや垂直転送クロックのほかに、固体撮像素子7を構成するフォトダイオードから垂直CCDへの電荷読出しのためのクロックや、シャッタスピードで設定される露光時間を越える蓄積電荷を基板へ排出するためのSUBクロックなどのクロックがタイミング生成手段11から固体撮像素子7に供給される。   Reflected light from the subject imaged on the solid-state image sensor 7 is accumulated for a predetermined exposure time determined by exposure control. The image pickup signal AA can be output by transferring the accumulated charges using a vertical transfer clock and a horizontal transfer clock. Here, in the case of a CCD, in addition to a horizontal transfer clock and a vertical transfer clock, a clock for reading out charges from a photodiode constituting the solid-state imaging device 7 to the vertical CCD and an exposure time set by a shutter speed are set. A clock such as a SUB clock for discharging the accumulated charges exceeding the substrate is supplied from the timing generation unit 11 to the solid-state imaging device 7.

続いて、固体撮像素子7からの撮像信号AAは、アナログ信号処理手段8でCDS処理を受ける。CDS処理では、撮像信号AAの黒レベルと信号レベルをタイミング生成手段11のサンプルホールド制御信号BDにより検出して、サンプル信号ABを生成する。サンプル信号ABは、AD変換手段でデジタル変換され、デジタル信号ACとして出力される。   Subsequently, the image signal AA from the solid-state image sensor 7 is subjected to CDS processing by the analog signal processing means 8. In the CDS process, the black level and the signal level of the imaging signal AA are detected by the sample hold control signal BD of the timing generation unit 11 to generate the sample signal AB. The sample signal AB is digitally converted by the AD conversion means and output as a digital signal AC.

デジタル信号処理手段10の積算手段3は、デジタル信号ACから測光ブロックごとのR色の積算値、G色の積算値、B色積算値を求め、これらから、測光ブロックごとの露出評価値YAを以下の式(1)で求める。
YA(i,j)=kr×Ar(i,j)+kg×Ag(i,j)+kb×Ab(i,j) …(1)
The integrating means 3 of the digital signal processing means 10 obtains an R color integrated value, a G color integrated value, and a B color integrated value for each photometric block from the digital signal AC, and from these, an exposure evaluation value YA for each photometric block is obtained. It calculates | requires by the following formula | equation (1).
YA (i, j) = kr * Ar (i, j) + kg * Ag (i, j) + kb * Ab (i, j) (1)

Ar(i,j)は測光ブロック(i,j)のR色の平均値を、
Ag(i,j)は測光ブロック(i,j)のG色の平均値を、
Ab(i,j)は測光ブロック(i,j)のB色の平均値を示している。
上記のG色の平均値Ag(i,j)としては、Gr色の画素の平均値を用いても良く、Gb色の画素の平均値を用いても良く、Gr色の画素及びGb色の画素の平均値を用いても良い。
kr、kg、kbは、平均輝度を、RGBの三原色から求める場合の係数であり、例えば、kr=0.299、kg=0.587、kb=0.114の値である。なお、前述の係数に限定されず、画像処理を行うシステムが採用する色空間の規格によって規定される。
Ar (i, j) is the average value of the R color of the photometric block (i, j),
Ag (i, j) is the average value of the G color of the photometric block (i, j),
Ab (i, j) indicates the average value of the B color of the photometric block (i, j).
As the average value Ag (i, j) of G color, the average value of Gr color pixels may be used, the average value of Gb color pixels may be used, Gr color pixels and Gb color pixels. An average value of pixels may be used.
kr, kg, and kb are coefficients for obtaining the average luminance from the three primary colors of RGB, and are, for example, values of kr = 0.299, kg = 0.487, and kb = 0.114. Note that the present invention is not limited to the above-described coefficients, and is defined by a color space standard adopted by a system that performs image processing.

デジタル信号処理手段10からは、CPUバス19経由でデータメモリ16へ、YCbCrや、RGBの画像形式で画像信号を送り、これらのデータがデータメモリ16に蓄えられる。   From the digital signal processing means 10, an image signal is sent to the data memory 16 via the CPU bus 19 in the YCbCr or RGB image format, and these data are stored in the data memory 16.

特徴領域検出手段4は、データメモリ16に保持された画像信号から、前述の特徴領域検出方法に基づき、特徴領域FAを検出し、特徴領域FAを構成する測光ブロックを表す情報を出力する。
図3に示す例の場合、特徴領域検出手段4で、測光ブロック
B(5,4)、B(6,4)、B(7,4)、B(8,4)、B(9,4)、
B(5,5)、B(6,5)、B(7,5)、B(8,5)、B(9,5)、
B(5,6)、B(6,6)、B(7,6)、B(8,6)、B(9,6)、
B(5,7)、B(6,7)、B(7,7)、B(8,7)、B(9,7)
を表す情報を出力する。
The feature area detection means 4 detects the feature area FA from the image signal held in the data memory 16 based on the above-described feature area detection method, and outputs information representing the photometric blocks constituting the feature area FA.
In the case of the example shown in FIG. 3, the feature area detection means 4 uses the photometric blocks B (5, 4), B (6, 4), B (7, 4), B (8, 4), B (9, 4). ),
B (5,5), B (6,5), B (7,5), B (8,5), B (9,5),
B (5, 6), B (6, 6), B (7, 6), B (8, 6), B (9, 6),
B (5, 7), B (6, 7), B (7, 7), B (8, 7), B (9, 7)
Outputs information indicating.

検出した特徴領域FAを構成する測光ブロックを表す情報、例えば、ブロック番号乃至ブロックを表す座標を露出制御手段2へCPUバス19経由で、出力する。なお、このブロック番号は、データメモリ16内に一時記憶することしても良く、露出制御手段2内のメモリ空間内に記憶することとしても良い。
例えば、特徴領域FAが矩形に限られている場合、特徴領域FAを構成する測光ブロックのうち、特徴領域FAの左上隅に位置するものの至座標(5,4)及び右下隅に位置するものの座標(9,7)を、特徴領域FAの階始点及び終了点の位置を表す情報として出力することとしても良い。
Information representing a photometric block constituting the detected feature area FA, for example, a block number or coordinates representing the block, is output to the exposure control means 2 via the CPU bus 19. This block number may be temporarily stored in the data memory 16 or may be stored in a memory space in the exposure control means 2.
For example, when the feature area FA is limited to a rectangle, among the photometric blocks constituting the feature area FA, the coordinates of those located in the upper left corner of the feature area FA (5, 4) and the coordinates located in the lower right corner (9, 7) may be output as information indicating the position of the floor start point and end point of the feature area FA.

なお、上記のように、各測光ブロックの座標値を、その左上隅の画素の座標で表しても良く、その場合、矩形の特徴領域FAの左上隅に位置するブロックB(5,4)の左上隅の画素の座標(200,160)、特徴領域の右下隅に位置するブロックB(9,7)の左上隅の画素の座標(360,280)を、それぞれ特徴領域FAの開始点、終了点の位置を表す情報として出力する。   As described above, the coordinate value of each photometric block may be expressed by the coordinates of the pixel at the upper left corner. In this case, the block B (5, 4) of the block B (5, 4) located at the upper left corner of the rectangular feature area FA is used. The coordinates (360, 280) of the pixel in the upper left corner and the coordinates (360, 280) of the pixel in the upper left corner of the block B (9, 7) located at the lower right corner of the feature area are the start point and end of the feature area FA, respectively. Output as information indicating the position of a point.

特異領域検出手段5では、特徴領域検出手段4で検出された上記の測光ブロックの各々の輝度分布を表すヒストグラムを生成し、ヒストグラムに基づいて特異領域かどうかの判定を行う。ここで言う特異領域とは、鼻の部分やメガネの部分のように局所的に特別輝度が高い部分とか、汚れやサングラスのように局所的に特別輝度が低い部分を意味する。   The singular region detection unit 5 generates a histogram representing the luminance distribution of each of the photometric blocks detected by the feature region detection unit 4, and determines whether the region is a singular region based on the histogram. The singular region mentioned here means a part having a locally high special brightness such as a nose part or a spectacles part, or a part having a locally low special brightness such as dirt or sunglasses.

鼻NSの部分がてかっている場合、図3において、鼻NSの部分に相当する測光ブロックB(7,5)、B(7,6)の輝度分布を表すヒストグラムは図5に示すように、高い輝度レベル(階級)の頻度(度数)が高くなる。特徴領域FAの他の測光ブロックは、肌色の部分に対応し(てかっておらず)、そのヒストグラムは、図6のように中間の輝度レベルの度数が高くなる。よって、ヒストグラムの分布の違いを統計的、経験的に判断し、測光ブロックB(7,5)、B(7,6)を除外し、その他の測光ブロック、
B(5,4)、B(6,4)、B(7,4)、B(8,4)、B(9,4)、
B(5,5)、B(6,5)、B(8,5)、B(9,5)、
B(5,6)、B(6,6)、B(8,6)、B(9,6)、
B(5,7)、B(6,7)、B(7,7)、B(8,7)、B(9,7)
を用いて露出制御を行うことで、被写体が安定した露出状態となる。
を露出制御に用いる。
In the case where the nose NS portion is covered, in FIG. 3, the histogram representing the luminance distribution of the photometric blocks B (7, 5) and B (7, 6) corresponding to the nose NS portion is as shown in FIG. The frequency (frequency) of the high luminance level (class) becomes high. The other photometric blocks of the feature area FA correspond to the skin color part (not measured), and the histogram has a high frequency of the intermediate luminance level as shown in FIG. Therefore, the difference in histogram distribution is determined statistically and empirically, the photometric blocks B (7, 5) and B (7, 6) are excluded, and other photometric blocks,
B (5, 4), B (6, 4), B (7, 4), B (8, 4), B (9, 4),
B (5,5), B (6,5), B (8,5), B (9,5),
B (5, 6), B (6, 6), B (8, 6), B (9, 6),
B (5, 7), B (6, 7), B (7, 7), B (8, 7), B (9, 7)
By performing exposure control using, the subject is in a stable exposure state.
Is used for exposure control.

局所的に輝度が高い測光ブロック、例えばてかりのある測光ブロックB(7,5)、B(7,6)を除くためのアルゴリズムの一例においては、測光ブロックごとのヒストグラムに基づき、比較的少数の(第1の所定数以下の)測光ブロックにおいて、高輝度レベルの範囲において、度数が所定値を超える階級の数が第2の所定数以上であり、中間輝度レベルの範囲において、度数が所定値を超える階級の数が第3の所定数以下であると判断されたときは、局所的に著しく輝度が高い特異な測光ブロックであると判断する。   In an example of an algorithm for removing a photometric block having a high local brightness, for example, a photometric block B (7, 5) or B (7, 6) having a light, a relatively small number based on a histogram for each photometric block. In the photometry block (of the first predetermined number or less), the number of classes whose frequency exceeds a predetermined value in the high luminance level range is equal to or greater than the second predetermined number, and the frequency is predetermined in the intermediate luminance level range. When it is determined that the number of classes exceeding the value is equal to or smaller than the third predetermined number, it is determined that the photometric block is a unique photometric block with extremely high brightness locally.

逆に、「てかり」などの輝度の高い信号ではなく、局所的に輝度の低い測光ブロック、例えば汚れや、サングラスなどにより輝度が低い部分をも露出制御から除くことが望ましい。その場合には、例えば、比較的少数の(第4の所定数以下の)測光ブロックにおいて、低輝度レベルの範囲において、度数が所定値を超える階級の数が第5の所定数以上であり、中間輝度レベルの範囲において、度数が所定数を超える階級の数が第6の所定数以下であれば、局所的に著しく輝度が低い特異な測光ブロックであると判断する。   On the other hand, it is desirable to remove from the exposure control not only a high-brightness signal such as “Tekari” but also a low-brightness photometric block such as dirt or sunglasses. In that case, for example, in a comparatively small number (fourth predetermined number or less) of photometric blocks, the number of classes whose frequency exceeds a predetermined value in the range of the low luminance level is the fifth predetermined number or more, In the range of the intermediate luminance level, if the number of classes whose frequency exceeds a predetermined number is equal to or smaller than the sixth predetermined number, it is determined that the light metering block is a peculiar photometric block with extremely low luminance locally.

図7に示すように、メガネをかけた人の場合も同様の問題が起こり得る。即ち、メガネEGに照明光が反射した場合も、メガネEGの部分の輝度が明るくなるため、図8に示すヒストグラムのように、高い輝度分布が多くなる。図7に示すように、メガネEGの部分の測光ブロックを除いた、測光ブロック
B(5,4)、B(9,4)
B(5,5)、B(9,5)
B(5,6)、B(6,6)、B(7,6)、B(8,6)、B(9,6)
B(5,7)、B(6,7)、B(7,7)、B(8,7)、B(9,7)
を用いて露出制御を行うことで、被写体が安定した露出状態となる。
As shown in FIG. 7, a similar problem may occur in the case of a person wearing glasses. That is, even when the illumination light is reflected on the glasses EG, the luminance of the glasses EG portion is brightened, so that a high luminance distribution is increased as in the histogram shown in FIG. As shown in FIG. 7, photometric blocks B (5, 4) and B (9, 4) excluding the photometric block of the spectacles EG portion.
B (5, 5), B (9, 5)
B (5, 6), B (6, 6), B (7, 6), B (8, 6), B (9, 6)
B (5, 7), B (6, 7), B (7, 7), B (8, 7), B (9, 7)
By performing exposure control using, the subject is in a stable exposure state.

露出制御手段2は、積算手段3の積算結果に基づき、選択された測光ブロックのブロック座標の積算結果を得て、下記の式(2)により、基本の露出評価値ΣEXを求める。
図3に示す例の場合、選択された測光ブロックのブロック座標の積算結果を得て、下記の式(2)により、基本の露出評価値ΣEXを求める。
ΣEX={YA(5,4)+YA(6,4)+YA(7,4)+YA(8,4)+YA(9,4)+YA(5,5)+YA(6,5)+YA(8,5)+YA(9,5)+YA(5,6)+YA(6,6)+YA(8,6)+YA(9,6)+YA(5,7)+YA(6,7)+YA(7,7)+YA(8,7)+YA(9,7)}/n
…(2)
上記の式(2)において、nは、選択された測光ブロックの総数(図3の例では「18」)である。
The exposure control unit 2 obtains the integration result of the block coordinates of the selected photometry block based on the integration result of the integration unit 3, and obtains the basic exposure evaluation value ΣEX by the following equation (2).
In the case of the example shown in FIG. 3, the integration result of the block coordinates of the selected photometry block is obtained, and the basic exposure evaluation value ΣEX is obtained by the following equation (2).
ΣEX = {YA (5,4) + YA (6,4) + YA (7,4) + YA (8,4) + YA (9,4) + YA (5,5) + YA (6,5) + YA (8,5 ) + YA (9,5) + YA (5,6) + YA (6,6) + YA (8,6) + YA (9,6) + YA (5,7) + YA (6,7) + YA (7,7) + YA (8,7) + YA (9,7)} / n
... (2)
In the above equation (2), n is the total number of selected photometric blocks (“18” in the example of FIG. 3).

上記の式(2)の演算は、下記の式(3)で表すこともできる。
ΣEX
={α(0,0)×YA(0,0)+α(1,0)×YA(1,0)+・・・+α(15,0)×YA(15,0)
+α(0,1)×YA(0,1)+α(1,1)×YA(1,1)+・・・+α(15,1)×YA(15,1)
+・・・
+α(0,11)×YA(0,11)+α(1,11)×YA(1,11)+・・・+α(15,11)×YA(15,11)}/n
…(3)
となる。
The calculation of the above equation (2) can also be expressed by the following equation (3).
ΣEX
= {Α (0,0) × YA (0,0) + α (1,0) × YA (1,0) +... + Α (15,0) × YA (15,0)
+ Α (0,1) × YA (0,1) + α (1,1) × YA (1,1) +... + Α (15,1) × YA (15,1)
+ ...
+ Α (0,11) × YA (0,11) + α (1,11) × YA (1,11) +... + Α (15,11) × YA (15,11)} / n
... (3)
It becomes.

上記の式(3)において、α(i,j)はブロック座標の選択制御係数であり、選択ブロックについては、α(i,j)=1、非選択ブロックについては、α(i,j)=0である。YA(i,j)は、測光ブロックB(i,j)の露出評価値、nは、α(i,j)=1の測光ブロックの総数(例えば18)を示し、n=Σα(i,j)である。   In the above equation (3), α (i, j) is a block coordinate selection control coefficient, α (i, j) = 1 for a selected block, and α (i, j) for a non-selected block. = 0. YA (i, j) is the exposure evaluation value of the photometric block B (i, j), n is the total number (for example, 18) of photometric blocks with α (i, j) = 1, and n = Σα (i, j j).

よって、図3の場合、特徴領域の検出結果、及び特異領域の検出結果をもとに、
α(5,4)、α(6,4)、α(7,4)、α(8,4)、α(9,4)、α(5,5)、α(6,5)、α(8,5)、α(9,5)、α(5,6)、α(6,6)、α(8,6)、α(9,6)、α(5,7)、α(6,7)、α(7,7)、α(8,7)、及びα(9,7)は、1であり、その他のα(i,j)は、0となる。
なお、有効な測光ブロックの総数nを2のべき乗になるように設定することとすれば、ビットシフトで除算処理が可能となり、ΣEXをハードウェア処理、ソフトウェア処理によらず、高速な演算処理を行うことができる。
Therefore, in the case of FIG. 3, based on the detection result of the characteristic region and the detection result of the singular region,
α (5,4), α (6,4), α (7,4), α (8,4), α (9,4), α (5,5), α (6,5), α (8,5), α (9,5), α (5,6), α (6,6), α (8,6), α (9,6), α (5,7), α ( 6, 7), α (7, 7), α (8, 7), and α (9, 7) are 1, and the other α (i, j) is 0.
If the total number n of effective photometric blocks is set to a power of 2, division processing can be performed by bit shift, and ΣEX can be processed at high speed regardless of hardware processing or software processing. It can be carried out.

ΣEXは、有効な測光ブロックの露出評価値を示している。
露出制御は、あらかじめ設定されている露出目標値へ収束するように行われる。このときの、収束の方法としては、露出評価値と露出目標値の差分をフィードバックして、収束させるフィードバック型の露出制御方法や、露出評価値と露出目標値の差分が0になるまで、露出制御に用いられるLUTのアドレスを制御する、例えば上記の特許文献2に示されたフィードフォワード型の露出制御方法などを用いることができる。
ΣEX indicates an exposure evaluation value of an effective photometric block.
The exposure control is performed so as to converge to a preset exposure target value. As a convergence method at this time, a feedback type exposure control method for feeding back and converging the difference between the exposure evaluation value and the exposure target value, or until the difference between the exposure evaluation value and the exposure target value becomes zero. For example, a feedforward type exposure control method disclosed in Patent Document 2 described above, which controls the address of the LUT used for control, can be used.

測光ブロック毎の露出評価値を用いているために、特徴領域検出手段4の検出結果及び特異領域検出手段5の検出結果で求まる測光ブロックの総数nによらず、露出制御の制御方法を変更することなく、制御することができる。   Since the exposure evaluation value for each photometric block is used, the control method of the exposure control is changed regardless of the total number n of photometric blocks obtained from the detection result of the characteristic region detection unit 4 and the detection result of the specific region detection unit 5. Can be controlled without.

以上のように、特異領域検出手段5により、輝度分布が他の測光ブロックに対して著しく異なる特異領域を除くことで、適切な露出制御を行うことができる。   As described above, it is possible to perform appropriate exposure control by removing the singular region where the luminance distribution is significantly different from that of the other photometric blocks by the singular region detecting means 5.

例えば、上記したように、被写体の鼻などは、照明の入り方によって、明るくてかる状態などがあり得る。この部分の輝度情報を積算値に用いた場合、露出制御の平均輝度が明るい方向にシフトするため、露出制御後の顔画像は、露出不足の状態に落ちてしまうことがある。局所的に輝度の著しく高い領域を除外することで、適切な露出制御が可能となる。   For example, as described above, the subject's nose or the like may be bright depending on how the illumination is turned on. When the luminance information of this part is used as the integrated value, the average luminance of the exposure control is shifted in the bright direction, so that the face image after the exposure control may fall into an underexposed state. By excluding regions with extremely high brightness locally, appropriate exposure control is possible.

メガネが照明光を反射している場合にも同様であり、撮像した場合、目の情報が欠落する。このような場合も、露出不足になるが、図7のように、メガネ部分の測光ブロックを除外し、それ以外の測光ブロックを用いることで適切な露出制御を行い得る。   The same applies to the case where the spectacles reflect the illumination light. When the image is captured, the eye information is lost. In such a case as well, although underexposure occurs, appropriate exposure control can be performed by excluding the photometric block of the glasses portion and using other photometric blocks as shown in FIG.

局所的に輝度が著しく低い部分も同様に特異な領域として除外することで、適切な露出制御を行い得る。   Appropriate exposure control can be performed by excluding a portion having extremely low brightness locally as a unique region.

被写体に対し、最適な露出状態を維持することで、被写体のコントラストと明るさを一定に保つことができ、例えば被写体の認識処理においても安定した明るさ、コントラストの画像信号を得ることができ、認識精度の向上が図れる。また、様々な照明環境化においても安定した認識精度を得ることができる。   By maintaining the optimal exposure state for the subject, the contrast and brightness of the subject can be kept constant, for example, an image signal with stable brightness and contrast can be obtained even in subject recognition processing, Recognition accuracy can be improved. In addition, stable recognition accuracy can be obtained even in various lighting environments.

図2に示す例では、特異領域検出手段5が、ソフトウエアにより、即ちプログラムメモリ17のプログラムで動作するCPU18の一部として構成されているが、代わりに、デジタル信号処理手段10内に構成することとしても良い。デジタル信号処理手段10の一部として構成した場合は、CPUバス19を用いて、全データを送る必要が無く、バス転送効率を考慮することなく、高速でヒストグラムを生成することが出来る。   In the example shown in FIG. 2, the singular region detection means 5 is configured by software, that is, as a part of the CPU 18 that operates according to the program in the program memory 17, but instead is configured in the digital signal processing means 10. It's also good. When configured as a part of the digital signal processing means 10, it is not necessary to send all data using the CPU bus 19, and a histogram can be generated at high speed without considering the bus transfer efficiency.

一方、特異領域検出手段5をCPU18の一部として構成する場合、ヒストグラムを生成する以外に、高度な画像処理を合わせて実現でき、特徴領域の露出評価値の検出精度を増すことが出来る。   On the other hand, when the singular area detection means 5 is configured as a part of the CPU 18, it can be realized by combining advanced image processing in addition to generating a histogram, and the exposure accuracy detection value of the characteristic area can be increased.

例えば、メガネなどが、特徴領域内に存在する場合、メガネの輪郭を検出することができる。検出方法としては、エッジ検出を行いエッジの情報を得る。例えば、エッジの情報が連続し、特徴領域内(顔)内や顔周辺に存在し、楕円、長方形などの形状であれば、その連続するエッジ情報に囲まれた領域は、メガネの中であると判断し、メガネを含む測光ブロックを使用しないなどの輝度情報の検出精度の向上が図れる。   For example, when glasses or the like are present in the feature region, the outline of the glasses can be detected. As a detection method, edge detection is performed to obtain edge information. For example, if the edge information is continuous, exists in the feature area (face) or around the face, and has a shape such as an ellipse or a rectangle, the area surrounded by the continuous edge information is in glasses. Therefore, it is possible to improve the detection accuracy of luminance information such as not using a photometric block including glasses.

図9は、本発明の露出制御のフローチャートを示している。
露出制御が開始されると、特徴領域検出ステップST1において、撮像画像から特徴領域を検出する。この処理は、特徴領域検出手段4により行われる。
次に、特徴領域判断ステップST2では、特徴領域を検出できたか否かの判断を行う。この処理はシステム制御手段15により行われる。
特徴領域検出ステップST2で特徴領域が検出された場合(ST2でYESの場合)、特徴領域内の、測光ブロック毎の輝度分布を判別し、特異な分布を有する測光ブロックを、除外すべきもの(特異領域の測光ブロック)として検出する(ST3)。この処理は特異領域検出手段5により行われる。
次に、ステップST3において検出された特徴領域を構成する測光ブロックを表す情報、及びステップST5において検出された特異領域を構成する測光ブロックを表す情報に基づいて、測光ブロックの選択を行う(ST4)。この場合、ステップST3で特徴領域を構成すると判断された測光ブロックのうち、ステップST5で、特異領域を構成すると判断された測光ブロック以外のものを選択する。
ステップST2で特徴領域が検出されない場合(ST2でNO)の場合には、ステップST5で予め定められた測光ブロックを選択する。
露出制御ステップST6では、ステップST4により選択された測光ブロック、またはステップST5により選択された測光ブロックの輝度情報に基づいて露出制御(固体撮像素子7のシャッタースピードの決定及びアナログ信号処理手段8のゲインの決定)を行う。ステップST4、ST5及びST6の処理は露出制御手段2により行われる。
FIG. 9 shows a flowchart of exposure control according to the present invention.
When the exposure control is started, a feature region is detected from the captured image in the feature region detection step ST1. This process is performed by the feature region detection means 4.
Next, in the feature region determination step ST2, it is determined whether or not the feature region has been detected. This process is performed by the system control means 15.
When a feature region is detected in the feature region detection step ST2 (YES in ST2), the luminance distribution for each photometric block in the feature region is determined, and a photometric block having a unique distribution should be excluded (singular This is detected as a region photometric block (ST3). This process is performed by the unique region detecting means 5.
Next, a photometric block is selected based on the information representing the photometric block constituting the feature area detected in step ST3 and the information representing the photometric block constituting the specific area detected in step ST5 (ST4). . In this case, among the photometric blocks determined to constitute the feature region in step ST3, those other than the photometric block determined to constitute the singular region in step ST5 are selected.
If no feature area is detected in step ST2 (NO in ST2), a photometric block predetermined in step ST5 is selected.
In exposure control step ST6, exposure control (determination of shutter speed of solid-state image sensor 7 and gain of analog signal processing means 8 based on luminance information of the photometric block selected in step ST4 or the photometric block selected in step ST5 is performed. Decision). The processing of steps ST4, ST5 and ST6 is performed by the exposure control means 2.

以上のように、本実施の形態1の撮像装置は、被写体の特徴部分に対応する特徴領域FAをもとに測光ブロックを求める手段を有することで、被写体が最適な露出条件を維持することができる。
また、特異領域検出手段5で輝度分布が他の測光ブロックと比べて著しく異なる測光ブロックを除外するので、てかった鼻、反射しているメガネ、汚れやサングラスなどの影響を避けることができる。
As described above, the imaging apparatus according to the first embodiment has means for obtaining a photometric block based on the feature area FA corresponding to the feature portion of the subject, so that the subject can maintain the optimum exposure condition. it can.
In addition, since the singular area detecting means 5 excludes the photometric block whose luminance distribution is significantly different from that of other photometric blocks, it is possible to avoid the influence of the nose, the reflecting glasses, dirt and sunglasses.

なお、図1の概略構成は、図2に示される構成の代わりに、他のシステム構成によって構成することができる。
例えば、図2のレンズの入射側に絞りを設けた撮像手段1を用いることもできる。その場合、露出制御の一部として、絞りの開放度の制御を行うこともできる。
絞りの有無は、撮像装置のシステム構成の仕様に基づき決まるものである。絞りによる制御がある場合、画像測光ブロックの輝度評価値が、決められた平均輝度レベルになるように、固体撮像素子7の蓄積時間及びアナログ信号処理手段8における利得の制御に加え、絞りの制御(CPU18による)が加わる点で異なるのみである。
The schematic configuration of FIG. 1 can be configured by another system configuration instead of the configuration shown in FIG.
For example, the image pickup means 1 provided with a stop on the incident side of the lens in FIG. 2 can also be used. In that case, it is also possible to control the degree of aperture opening as part of the exposure control.
The presence or absence of an aperture is determined based on the specification of the system configuration of the imaging apparatus. When there is control by the aperture, in addition to controlling the accumulation time of the solid-state imaging device 7 and the gain in the analog signal processing means 8 so that the luminance evaluation value of the image photometry block becomes a predetermined average luminance level, control of the aperture The only difference is that it is added (by the CPU 18).

また、上記の例では、特徴領域検出手段4において、特徴領域を構成する測光ブロックのみを選択したが、特徴領域として検出された領域の面積が狭い場合などは、その周辺の測光ブロックをも選択して、露出制御に用いることとしても良い。   In the above example, the feature area detection unit 4 selects only the photometry blocks constituting the feature area. However, when the area of the area detected as the feature area is small, the surrounding photometry blocks are also selected. And it is good also as using for exposure control.

本発明の実施の形態1の撮像装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the imaging device of Embodiment 1 of this invention. 図1の撮像装置を詳細に示すブロック図である。It is a block diagram which shows the imaging device of FIG. 1 in detail. 特徴領域検出手段及び特異領域検出手段で選択される測光ブロックの一例を示す図である。It is a figure which shows an example of the photometry block selected by a characteristic area | region detection means and a specific area | region detection means. ベイヤ型配列における各色成分の画素の配置を示す図である。It is a figure which shows arrangement | positioning of the pixel of each color component in a Bayer type | mold arrangement | sequence. 図3のてかっている鼻に対応する測光ブロックB(7,5)、B(7,6)の輝度分布を示すヒストグラムの一例を示す図である。It is a figure which shows an example of the histogram which shows the luminance distribution of the photometry block B (7, 5) and B (7, 6) corresponding to the nose which FIG. 図3の特徴領域内のブロックのうち、特異なブロックB(7,5)、B(7,6)以外のブロックの輝度分布を示すヒストグラムの一例を示す図である。It is a figure which shows an example of the histogram which shows luminance distribution of blocks other than peculiar block B (7,5) and B (7,6) among the blocks in the characteristic area | region of FIG. 特徴領域検出手段及び特異領域検出手段で選択される測光ブロックの他の例を示す図である。It is a figure which shows the other example of the photometry block selected by the characteristic area | region detection means and the specific area | region detection means. 図7の光っているメガネの部分に対応する測光ブロックB(6,4)、B(7,4)、B(8,4)、B(6,5)、B(7,5)、B(8,5)の輝度分布を示すヒストグラムの一例を示す図である。Photometric blocks B (6,4), B (7,4), B (8,4), B (6,5), B (7,5), B corresponding to the portion of the shining glasses in FIG. It is a figure which shows an example of the histogram which shows the luminance distribution of (8,5). 図1及び図2の撮像装置の動作を示すフローチャートである。3 is a flowchart illustrating an operation of the imaging device of FIGS. 1 and 2.

符号の説明Explanation of symbols

1 撮像装置、 2 露出制御手段、 3 積算手段、 4 特徴領域検出手段、 5 特異領域検出手段。   DESCRIPTION OF SYMBOLS 1 Imaging device, 2 Exposure control means, 3 Accumulation means, 4 Feature area detection means, 5 Specific area detection means

Claims (1)

撮像手段と、
前記撮像手段の撮像信号の、それぞれ撮像画面の一部をなす複数の所定の測光ブロックごとに積算値を求める積算手段と、
前記撮像手段の撮像信号から前記撮像画面内の特徴領域を構成する測光ブロックを検出する特徴領域検出手段と、
前記撮像手段の撮像信号から前記測光ブロック内の輝度分布のヒストグラムを生成し、前記ヒストグラムが高輝度または低輝度に偏った前記測光ブロック特異ブロックとして検出する特異領域検出手段と、
前記特徴領域検出手段により検出された特徴領域に含まれる測光ブロックであって、前記特異領域検出手段により検出された特異領域に含まれる測光ブロック以外のものの、前記積算値を用いて、前記露出評価値を算出し、前記露出評価値を用いて前記撮像手段を制御する露出制御手段と
を有することを特徴とした撮像装置。
Imaging means;
Integration means for obtaining an integrated value for each of a plurality of predetermined photometric blocks each forming part of an imaging screen of the imaging signal of the imaging means;
Feature area detection means for detecting a photometric block constituting the feature area in the imaging screen from the imaging signal of the imaging means;
Generating a histogram of the luminance distribution in the photometric block from the imaging signal of the imaging means, and detecting the photometric block in which the histogram is biased to high luminance or low luminance as a specific block ;
The exposure evaluation using the integrated value of the photometric block included in the characteristic area detected by the characteristic area detection unit, other than the photometric block included in the specific area detected by the specific area detection unit calculating a value, imaging equipment that is characterized by having a exposure control means for controlling the imaging means with the exposure evaluation value.
JP2007269733A 2007-10-17 2007-10-17 Imaging device Expired - Fee Related JP4523629B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007269733A JP4523629B2 (en) 2007-10-17 2007-10-17 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007269733A JP4523629B2 (en) 2007-10-17 2007-10-17 Imaging device

Publications (2)

Publication Number Publication Date
JP2009100252A JP2009100252A (en) 2009-05-07
JP4523629B2 true JP4523629B2 (en) 2010-08-11

Family

ID=40702831

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007269733A Expired - Fee Related JP4523629B2 (en) 2007-10-17 2007-10-17 Imaging device

Country Status (1)

Country Link
JP (1) JP4523629B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106973156A (en) * 2017-03-22 2017-07-21 努比亚技术有限公司 Screen brightness regulation method and device

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5377068B2 (en) * 2009-05-14 2013-12-25 三菱電機株式会社 Imaging device
WO2016151850A1 (en) * 2015-03-26 2016-09-29 日立マクセル株式会社 Image capture device, signal processing device, and skin diagnosis system
JP2021033163A (en) 2019-08-28 2021-03-01 キヤノン株式会社 Imaging device and control method of the same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000201295A (en) * 1999-01-08 2000-07-18 Ricoh Co Ltd Digital still video camera
JP2001209088A (en) * 2000-01-26 2001-08-03 Fuji Photo Film Co Ltd Image pickup device and exposure controlling method
JP2003107555A (en) * 2001-09-28 2003-04-09 Ricoh Co Ltd Image pickup device, automatic exposing method, and program making computer implement the same method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000201295A (en) * 1999-01-08 2000-07-18 Ricoh Co Ltd Digital still video camera
JP2001209088A (en) * 2000-01-26 2001-08-03 Fuji Photo Film Co Ltd Image pickup device and exposure controlling method
JP2003107555A (en) * 2001-09-28 2003-04-09 Ricoh Co Ltd Image pickup device, automatic exposing method, and program making computer implement the same method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106973156A (en) * 2017-03-22 2017-07-21 努比亚技术有限公司 Screen brightness regulation method and device

Also Published As

Publication number Publication date
JP2009100252A (en) 2009-05-07

Similar Documents

Publication Publication Date Title
US7546026B2 (en) Camera exposure optimization techniques that take camera and scene motion into account
CN104038702B (en) Picture pick-up device and its control method
KR100840986B1 (en) Image Blurring Reduction
JP2013515442A (en) Generation of high dynamic range image using still image and preview image
JP2013106149A (en) Imaging apparatus, control method of the same and program
US20120127336A1 (en) Imaging apparatus, imaging method and computer program
CN102300049A (en) Image signal processing system
JP6720881B2 (en) Image processing apparatus and image processing method
JP5861924B2 (en) Imaging device
CN110717871A (en) Image processing method, image processing device, storage medium and electronic equipment
JP2010072619A (en) Exposure operation device and camera
US10977777B2 (en) Image processing apparatus, method for controlling the same, and recording medium
JP4523629B2 (en) Imaging device
JP2014179920A (en) Imaging apparatus, control method thereof, program, and storage medium
JP5316923B2 (en) Imaging apparatus and program thereof
JP4629002B2 (en) Imaging device
JP5744490B2 (en) Image processing method, image processing apparatus, storage medium, and program
JP5515852B2 (en) Imaging apparatus and image generation program
JP4705146B2 (en) Imaging apparatus and imaging method
JP6492452B2 (en) Control system, imaging apparatus, control method, and program
JP2011135379A (en) Imaging apparatus, imaging method and program
JP2011155619A (en) Imaging apparatus and imaging method
JP6900577B2 (en) Image processing equipment and programs
JP5943682B2 (en) Imaging apparatus, control method thereof, and program
JP2010219864A (en) Imaging apparatus

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100518

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100527

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130604

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees