JP2008289120A - Imaging apparatus, imaging method, integrated circuit, and program - Google Patents

Imaging apparatus, imaging method, integrated circuit, and program Download PDF

Info

Publication number
JP2008289120A
JP2008289120A JP2008032218A JP2008032218A JP2008289120A JP 2008289120 A JP2008289120 A JP 2008289120A JP 2008032218 A JP2008032218 A JP 2008032218A JP 2008032218 A JP2008032218 A JP 2008032218A JP 2008289120 A JP2008289120 A JP 2008289120A
Authority
JP
Japan
Prior art keywords
unit
image
value
imaging
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008032218A
Other languages
Japanese (ja)
Other versions
JP5133085B2 (en
Inventor
Haruo Yamashita
春生 山下
Takeshi Ito
武志 井東
Hiromasa Sato
大将 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2008032218A priority Critical patent/JP5133085B2/en
Priority to US12/104,115 priority patent/US8144214B2/en
Publication of JP2008289120A publication Critical patent/JP2008289120A/en
Priority to US13/222,274 priority patent/US20110317032A1/en
Priority to US13/222,313 priority patent/US8488029B2/en
Application granted granted Critical
Publication of JP5133085B2 publication Critical patent/JP5133085B2/en
Priority to US13/915,827 priority patent/US8711255B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging apparatus which appropriately captures a high dynamic range image with an unsaturated blue sky background even when imaging a person's face with an appropriate luminance level against the sun. <P>SOLUTION: In an imaging apparatus of the present invention, an imaging unit 13 performs exposure control that prevents a highlight from being saturated, and a signal processing unit 31 linearly increases the dynamic range of image signals converted to digital data by an A/D converter 23. The image signals with the increased dynamic range are nonlinearly compressed to have a dynamic range of 100% or less through nonlinear dynamic range compression that intensively compresses a highlight portion. The imaging apparatus with this structure first increases the dynamic range of an image and efficiently compresses the increased large dynamic range of the image. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、撮影装置および撮像用集積回路に関し、特に、広いダイナミックレンジのシーン(被写体)を適切に撮影することができる撮像装置、撮像用集積回路および撮像用プログラムに関する。   The present invention relates to an imaging apparatus and an imaging integrated circuit, and more particularly to an imaging apparatus, an imaging integrated circuit, and an imaging program that can appropriately capture a scene (subject) having a wide dynamic range.

静止画を撮影するデジタルカメラや動画を撮影するデジタルビデオカメラといった撮像装置は、いずれも、光学系で露光制御を行い、光学系により結像された像をCCD型イメージセンサやCMOS型イメージセンサ等を用いて、光電変換により電気信号に変換し、アナログ画像信号として取得する。そして、従来の撮像装置は、取得したアナログ画像信号を、アナログフロントエンド処理等を実行する回路により処理し、A/D変換器によりデジタル画像データに変換する。このデジタル画像データは、映像ガンマ補正処理(例えば、γ=0.45によるガンマ補正処理)、knee処理、輝度色差変換処理等が施されさらに、静止画データの場合はJPEG(Joint Photographic Experts Group)方式等の規格化されたフォーマットに変換され、動画データの場合はMPEG(Moving Picture Experts Group)方式、DV(Digital Video)方式等の規格化されたフォーマットに変換される。そして、規格化されたフォーマットに変換されたデジタル画像データは、各種メモリカードやハードディスク、光ディスク、磁気テープなどに記録される。   Imaging devices such as digital cameras that shoot still images and digital video cameras that shoot moving images all perform exposure control with an optical system, and images formed by the optical system are CCD-type image sensors, CMOS-type image sensors, etc. Is converted into an electrical signal by photoelectric conversion and acquired as an analog image signal. Then, the conventional imaging apparatus processes the acquired analog image signal by a circuit that executes analog front-end processing or the like, and converts it into digital image data by an A / D converter. This digital image data is subjected to video gamma correction processing (for example, gamma correction processing by γ = 0.45), knee processing, luminance color difference conversion processing, and the like. Further, in the case of still image data, JPEG (Joint Photographic Experts Group) It is converted into a standardized format such as a system, and in the case of moving image data, it is converted into a standardized format such as MPEG (Moving Picture Experts Group) system or DV (Digital Video) system. The digital image data converted into the standardized format is recorded on various memory cards, hard disks, optical disks, magnetic tapes, and the like.

このような従来の撮像装置では、上記のような規格化されたフォーマット(画像(映像)フォーマット)で決められている最白点(即ちディスプレイ装置に表示する際の最大明度値)を「100%」とした場合、通常100%〜200%の明度のダイナミックレンジ(以下、「Dレンジ」という。)が撮影できるように設定される。なお、ここで、「100%のダイナミックレンジ」とは、信号値(例えば、明度値)のとり得る範囲が0%〜100%の範囲であることをいう。つまり、「100%のダイナミックレンジ」とは、信号値の最小値が「0%」であり、信号値の最大値が「100%」であることをいう。
そして、従来の撮像装置(第1の従来の撮像装置)は、撮影された100%以上の明度領域を、knee処理と呼ばれる処理によりDレンジ圧縮し、Dレンジ圧縮後のDレンジが100%以内に収まるようにする。
In such a conventional imaging device, the whitest point (that is, the maximum brightness value when displayed on a display device) determined by the standardized format (image (video) format) as described above is set to “100%. "Is set so that a dynamic range of brightness of 100% to 200% (hereinafter referred to as" D range ") can be taken. Here, “100% dynamic range” means that a signal value (for example, brightness value) can be in a range of 0% to 100%. That is, “100% dynamic range” means that the minimum value of the signal value is “0%” and the maximum value of the signal value is “100%”.
Then, the conventional imaging device (first conventional imaging device) compresses the D region of 100% or more of the captured brightness area by a process called knee processing, and the D range after the D range compression is within 100%. To fit in.

また、従来の撮像装置により撮影する際のDレンジは、光学系の露光量(絞りやシャッタ時間により決定される露光量)の設定条件と、光電変換して取得した電気信号に対する電気的な増幅量の設定条件により決定される。
このような従来の撮像装置により光量が豊富な明るいシーン(被写体)を撮影する場合、絞りを絞る、またはシャッタ時間を短くする、のどちらを選択しても、光量が十分であるため、従来の撮像装置で取得される画像(映像)は良好なものとなる。一般に、撮像装置において、シャッタ時間を短くして絞りを開くことで被写界深度を浅くし、取得画像(映像)の背景をぼかすという、いわゆる「ボケ味」を出す撮影がよく行われている。このような撮影においても、光量が豊富な環境下での撮影であれば、撮像装置において取得される画像(映像)は、良好なものとなる。
In addition, the D range at the time of photographing with a conventional imaging apparatus is a condition for setting the exposure amount of the optical system (exposure amount determined by the aperture and shutter time) and electrical amplification with respect to an electrical signal obtained by photoelectric conversion. Determined by the amount setting condition.
When shooting a bright scene (subject) with a large amount of light with such a conventional imaging device, the amount of light is sufficient regardless of whether the aperture is reduced or the shutter time is shortened. An image (video) acquired by the imaging apparatus is good. In general, in an imaging apparatus, photographing that produces a so-called “bokeh” in which the depth of field is shallowed by shortening the shutter time and opening the aperture to blur the background of an acquired image (video) is often performed. . Even in such shooting, if the shooting is performed in an environment where the amount of light is abundant, an image (video) acquired by the imaging device is good.

逆に、撮像装置において、被写界深度を深くするため、シャッタ時間を長くし、絞りを絞って撮影することもよく行われている。
いずれにしても、明るいシーン(被写体が明るい環境下)では、撮像装置の撮影時において、光量が不足しないため、撮像装置において電気的な増幅を行う必要はない。したがって、明るいシーンの撮影(被写体が明るい環境下での撮影)を行う場合、従来の撮像装置においても、光電変換して取得した電気信号に対する電気的な増幅は実施されていない。
一方、撮像装置で暗いシーンを撮影する場合、十分な光量を得るために、絞りを最大に開き、さらにシャッタ時間も長くする必要がある。撮像装置で、このような長時間の露光を行うと、手振れや被写体ぶれが発生しやすい。したがって、従来の撮像装置においては、シャッタ時間を手振れ限界内(手振れが発生しない限界の時間内)にとどめ、露光量不足を撮像装置により取得した電気信号の電気的な増幅により補償することが行われている。このような処理は、高感度撮影や増感(push processing)と呼ばれている。一般に、電気的な増感は、S/N比とA/D変換の量子化精度の確保の観点から、撮像装置のイメージセンサの出力をアナログ回路で増幅する構成により実現される。特許文献1には、ISO感度に応じてアナログ増幅回路のゲインを切り替えることで増感を行う技術が開示されている。
On the other hand, in order to increase the depth of field in an imaging device, it is often performed to take a picture with a long shutter time and a narrow aperture.
In any case, in a bright scene (in an environment where the subject is bright), there is no need to perform electrical amplification in the imaging device because the amount of light does not become insufficient when shooting with the imaging device. Therefore, when shooting a bright scene (shooting in an environment where the subject is bright), even in a conventional imaging device, electrical amplification of an electrical signal obtained by photoelectric conversion is not performed.
On the other hand, when shooting a dark scene with an imaging device, it is necessary to open the aperture to the maximum and to increase the shutter time in order to obtain a sufficient amount of light. When such an exposure is performed for a long time in an imaging apparatus, camera shake and subject blur are likely to occur. Therefore, in the conventional imaging apparatus, the shutter time is kept within the camera shake limit (within the limit time in which camera shake does not occur), and the shortage of exposure is compensated by electrical amplification of the electric signal acquired by the image pickup apparatus. It has been broken. Such a process is called high-sensitivity imaging or push processing. In general, electrical sensitization is realized by a configuration in which an output of an image sensor of an imaging device is amplified by an analog circuit from the viewpoint of securing an S / N ratio and quantization accuracy of A / D conversion. Patent Document 1 discloses a technique for performing sensitization by switching the gain of an analog amplifier circuit according to ISO sensitivity.

また、CCD型イメージセンサやCMOS型イメージセンサに代表される固体撮像素子を使用した撮像装置で撮影して得られる画像信号は、ダイナミックレンジが狭いといった問題がある。このため、ダイナミックレンジの広いシーン(被写体)を撮像装置で撮影する場合(例えば、屋外で逆光の人物像を撮影する場合や、暗い室内から窓越しに外の風景を撮影する場合)、被写体の暗い領域と明るい領域との明暗の差が大きいため、被写体の暗い領域と明るい領域との両方を綺麗に撮影することが困難である。
そこで、別の従来の撮像装置(第2の従来の撮像装置)では、電荷蓄積期間を制御できる固体撮像素子を搭載し、被写体を長時間露光した画像と被写体を短時間露光した画像とを合成処理することで、広いダイナミックレンジの被写体画像を得るようにしている(例えば、特許文献2を参照)。
Further, an image signal obtained by photographing with an imaging device using a solid-state imaging device typified by a CCD type image sensor or a CMOS type image sensor has a problem that the dynamic range is narrow. For this reason, when shooting a scene (subject) with a wide dynamic range with an imaging device (for example, shooting a backlit person image outdoors or shooting an outdoor landscape from a dark room through a window) Since the difference in brightness between the dark area and the bright area is large, it is difficult to capture beautifully both the dark area and the bright area of the subject.
Therefore, another conventional imaging device (second conventional imaging device) is equipped with a solid-state imaging device that can control the charge accumulation period, and synthesizes an image of a subject exposed for a long time and an image of a subject exposed for a short time. By processing, a subject image having a wide dynamic range is obtained (see, for example, Patent Document 2).

また、さらに別の従来の撮像装置(第3の従来の撮像装置)では、画素配列の1/2を高感度画素として形成し、残り1/2を低感度画素として形成した固体撮像素子を使用し、同一の露光時間で得られた高感度画素からの画像信号と低感度画素からの画像信号とを合成処理し、広いダイナミックレンジの被写体画像を得るようにしている(例えば、特許文献3を参照)。
特開2002−135651号公報 特開2005−72965号公報 特開昭59−210775号公報
Further, another conventional imaging device (third conventional imaging device) uses a solid-state imaging device in which 1/2 of the pixel array is formed as a high-sensitivity pixel and the remaining 1/2 is formed as a low-sensitivity pixel. The image signal from the high-sensitivity pixel and the image signal from the low-sensitivity pixel obtained with the same exposure time are combined to obtain a subject image with a wide dynamic range (for example, see Patent Document 3). reference).
JP 2002-135651 A JP 2005-72965 A JP 59-210775 A

しかしながら、従来の撮像装置(第1の従来の撮像装置)では、Dレンジを高々200%程度にして撮影し、knee処理によりDレンジを100%に圧縮している。このため、例えば、従来の撮像装置で、青空を背景にした逆光の人物の顔を適切な明るさで撮影する場合、人物の顔の明るさが適正レベルである70%の明度となるように撮像装置の露光量を設定すると、飽和せずに扱えるハイライトのレベル(最大明度)は、人物の顔の明るさの3倍程度に制限されることになる。
しかし、晴天の空などはDレンジが数百%以上になることが多く、このようなシーン(被写体)を従来の撮像装置で撮影すると、イメージセンサでの光量が飽和し、その結果、従来の撮像装置で取得される画像において、晴天の空などの高輝度部分が適切に再現することができない。
However, in the conventional imaging device (first conventional imaging device), shooting is performed with the D range being about 200% at most, and the D range is compressed to 100% by the knee processing. For this reason, for example, when a conventional imaging apparatus captures a backlit person's face against a blue sky at an appropriate brightness, the brightness of the person's face is at an appropriate level of 70% brightness. When the exposure amount of the imaging apparatus is set, the highlight level (maximum brightness) that can be handled without being saturated is limited to about three times the brightness of the person's face.
However, in a clear sky, the D range is often several hundred percent or more, and when such a scene (subject) is photographed with a conventional imaging device, the amount of light at the image sensor is saturated. In an image acquired by the imaging apparatus, a high-luminance part such as a clear sky cannot be reproduced appropriately.

また、従来の撮像装置(第2、第3の従来の撮像装置)においては、被写体を短時間露光した画像を利用してダイナミックレンジを拡大する場合には、短時間露光によって露光量が減り固体撮像素子から得られる信号が小さくなるためS/N比が劣化するといった課題がある。同様に、低感度画素からの画像信号を利用してダイナミックレンジを拡大する場合でも、低感度画素から得られる信号は小さいためS/N比が低くなるといった課題がある。
本発明はこのような課題に鑑みてなされたものであり、ダイナミックレンジの広いシーン(被写体)を撮影する場合(例えば、青空を背景にした逆光の人物の顔を撮影する場合)であっても、撮像画像(取得画像)において高輝度部分(例えば、背景の空)が飽和しないような高Dレンジの撮像画像を取得することができる撮像装置、撮像方法、撮像用集積回路および撮像用プログラムを提供することを目的とする。
Further, in the conventional imaging device (second and third conventional imaging devices), when the dynamic range is expanded using an image obtained by exposing a subject for a short time, the exposure amount is reduced by the short time exposure and the solid state is reduced. There is a problem that the S / N ratio deteriorates because the signal obtained from the image sensor becomes small. Similarly, even when the dynamic range is expanded using an image signal from a low-sensitivity pixel, there is a problem that the S / N ratio is low because the signal obtained from the low-sensitivity pixel is small.
The present invention has been made in view of such problems, and even when shooting a scene (subject) with a wide dynamic range (for example, shooting a backlit person's face against a blue sky). An imaging apparatus, an imaging method, an imaging integrated circuit, and an imaging program capable of acquiring a captured image of a high D range that does not saturate a high-luminance portion (for example, a sky in the background) The purpose is to provide.

第1の発明は、光学系と、A/D変換部と、Dレンジ拡大部と、制御部と、を含む撮像装置である。
光学系は、露光量を調整する。A/D変換部は、光学系で取得されたアナログ信号をデジタル信号に変換する。Dレンジ拡大部は、デジタル信号の出力値をDレンジ拡大率により拡大する。制御部は、露光量を減少させる信号を生成するとともにDレンジ拡大率を増加させる信号を生成する。
この撮像装置では、Dレンジ拡大部により、A/D変換部でA/D変換された後の画像信号(デジタルの画像信号)の出力値が、Dレンジ拡大率で拡大される。また、この撮像装置では、制御部により、露光量を減少させる信号が生成されるとともにDレンジ拡大率を増加させる信号が生成され、それらの信号に基づいて、露光量およびDレンジ拡大率が制御される。これにより、この撮像装置では、露光量を減少させるとともに、Dレンジ拡大率を増大させることで、A/D変換された後の画像信号(デジタルの画像信号)の信号値が飽和することが防止でき、効果的にDレンジ拡大処理を行うことができる。
1st invention is an imaging device containing an optical system, an A / D conversion part, D range expansion part, and a control part.
The optical system adjusts the exposure amount. The A / D conversion unit converts an analog signal acquired by the optical system into a digital signal. The D range expansion unit expands the output value of the digital signal by the D range expansion rate. The control unit generates a signal for decreasing the exposure amount and a signal for increasing the D range expansion rate.
In this imaging device, the output value of the image signal (digital image signal) after A / D conversion by the A / D conversion unit is expanded by the D range expansion unit by the D range expansion unit. In this imaging apparatus, the control unit generates a signal that decreases the exposure amount and also generates a signal that increases the D range expansion rate. Based on these signals, the exposure amount and the D range expansion rate are controlled. Is done. Thus, in this imaging apparatus, the exposure value is reduced and the D range expansion rate is increased, thereby preventing the signal value of the image signal (digital image signal) after A / D conversion from being saturated. It is possible to effectively perform the D range expansion process.

このため、ダイナミックレンジの広いシーン(被写体)を撮影する場合(例えば、青空を背景にした逆光の人物の顔を撮影する場合)であっても、この撮像装置により取得される画像(取得画像)において高輝度部分(例えば、背景の空)が飽和しないような高Dレンジの画像を取得することができる。
第2の発明は、第1の発明であって、更に、拡大されたデジタル信号の値を所定のレンジ内の値に圧縮するDレンジ圧縮部を含む。
これにより、デジタル信号を所定のレンジに圧縮することができる。
第3の発明は、第1または第2の発明であって、更に、デジタル信号が形成する1枚の画像データの最大値を抽出するピーク検出部を含み、Dレンジ圧縮部は、最大値が所定のレンジの最大値となるよう圧縮する。
For this reason, even when shooting a scene (subject) with a wide dynamic range (for example, shooting a backlit person's face against a blue sky), an image (acquired image) acquired by this imaging device In this case, it is possible to acquire a high-D range image in which a high-luminance portion (for example, the sky in the background) is not saturated.
2nd invention is 1st invention, Comprising: The D range compression part which compresses the value of the expanded digital signal further to the value in a predetermined range is included.
Thereby, the digital signal can be compressed to a predetermined range.
3rd invention is 1st or 2nd invention, Comprising: The peak detection part which extracts the maximum value of the image data of 1 sheet which a digital signal forms is further included, D range compression part has maximum value Compresses to the maximum value in a given range.

これにより、効率的にDレンジ圧縮処理を行うことができる。
なお、ここで、「1枚の画像」とは、デジタル信号により表示装置に画像を表示させた場合おいて、1画面を構成する画像のことをいい、例えば、1フレーム分の画像や1フィールド分の画像がこれに相当する。
第4の発明は、第1から第3のいずれかの発明であって、制御部は、画像データの最大値に応じて露光量を調整する信号を生成する。
これにより、露光量を効率的に調整することができる。
第5の発明は、第1から第4のいずれかの発明であって、更に、デジタル信号が形成する1枚の画像データの所定領域の代表値を検出する代表値検出部を含む。そして、制御部は、代表値に応じて露光量を調整する信号を生成する。
Thereby, D range compression processing can be performed efficiently.
Here, “one image” refers to an image constituting one screen when an image is displayed on a display device by a digital signal. For example, an image for one frame or one field. The image of minutes corresponds to this.
A fourth invention is any one of the first to third inventions, wherein the control unit generates a signal for adjusting the exposure amount according to the maximum value of the image data.
Thereby, the amount of exposure can be adjusted efficiently.
A fifth invention is any one of the first to fourth inventions, and further includes a representative value detecting unit for detecting a representative value of a predetermined area of one piece of image data formed by the digital signal. Then, the control unit generates a signal for adjusting the exposure amount according to the representative value.

なお、この撮像装置において、「1枚の画像データ」の所定領域の代表値を検出することが好ましいが、これに限定されることはなく、「1枚の画像データの一部」(例えば、1枚の画像データにより構成される画像領域を分割した画像領域)の所定領域の代表値を検出するようにしてもよい。
第6の発明は、第1から第4のいずれかの発明であって、更に、デジタル信号が形成する1枚の画像データの所定の領域の代表値を検出する代表値検出部を含む。そして、制御部は、代表値に応じて拡大率を調整する信号を生成する。
第7の発明は、第1から第4のいずれかの発明であって、更に、デジタル信号が形成する画像データのうち顔領域に含まれるデジタル信号の値の代表値を抽出する顔検出処理部を含む。そして、Dレンジ拡大部は、代表値に応じてDレンジ拡大率を調整する。
In this imaging apparatus, it is preferable to detect a representative value of a predetermined area of “one image data”, but the present invention is not limited to this, and “a part of one image data” (for example, A representative value of a predetermined area of an image area obtained by dividing an image area constituted by one piece of image data may be detected.
A sixth invention is any one of the first to fourth inventions, and further includes a representative value detecting unit for detecting a representative value of a predetermined region of one piece of image data formed by the digital signal. Then, the control unit generates a signal for adjusting the enlargement ratio according to the representative value.
A seventh invention is any one of the first to fourth inventions, and further includes a face detection processing unit for extracting a representative value of a digital signal value included in a face area from image data formed by the digital signal. including. The D range expansion unit adjusts the D range expansion rate according to the representative value.

ここで、「顔領域」とは、デジタル信号が形成する画像上において、「顔」が表示されている画像領域のことをいう。
第8の発明は、第2から第7のいずれかの発明であって、Dレンジ圧縮部は、周囲明度検出部と、動的階調補正部と、を含む。周囲明度検出部は、所定の位置のデジタル信号の周囲明度値を抽出する。動的階調補正部は、所定の位置のデジタル信号の値を入力とし、所定の位置のデジタル信号を入力値としたとき、入力値を所定の位置のデジタル信号についての周囲明度値に応じて異なる出力値に変換する変換特性を用いて、所定の位置のデジタル信号の値を変換して出力する。
なお、ここで、「所定の位置のデジタル信号」とは、デジタル信号が形成する1枚の画像上において、所定の位置の画像(画素または画素ブロック)に対応する信号をいう。また、「所定の位置のデジタル信号についての周囲明度値」とは、デジタル信号が形成する1枚の画像上の「所定の位置」に対応する位置座標をP(x,y)としたとき、画像上のP(x,y)の周囲に存在する複数の画素(また画素ブロック)の明度値のことをいう。そして、「周囲明度値」は、例えば、P(x,y)の周囲に存在する複数の画素(または画素ブロック)の明度値の平均値や重付平均値等である。
Here, “face area” refers to an image area in which “face” is displayed on an image formed by a digital signal.
The eighth invention is any one of the second to seventh inventions, wherein the D-range compression unit includes an ambient lightness detection unit and a dynamic gradation correction unit. The ambient brightness detection unit extracts the ambient brightness value of the digital signal at a predetermined position. The dynamic gradation correction unit receives a value of a digital signal at a predetermined position as an input, and when the digital signal at a predetermined position is set as an input value, the dynamic gradation correction unit corresponds to the ambient lightness value for the digital signal at the predetermined position. Using a conversion characteristic for converting to a different output value, the value of the digital signal at a predetermined position is converted and output.
Here, the “digital signal at a predetermined position” refers to a signal corresponding to an image (pixel or pixel block) at a predetermined position on one image formed by the digital signal. In addition, the “ambient brightness value for a digital signal at a predetermined position” means that when a position coordinate corresponding to a “predetermined position” on one image formed by the digital signal is P (x, y), The lightness value of a plurality of pixels (or pixel blocks) existing around P (x, y) on the image. The “ambient brightness value” is, for example, an average value or a weighted average value of brightness values of a plurality of pixels (or pixel blocks) existing around P (x, y).

第9の発明は、第8の発明であって、変換特性は、所定の位置のデジタル信号の値と周囲明度値とが略等しい入力値となる範囲において、入力されたデジタル信号の値の変化量に対しての変換特性の出力値の変化量が、変換特性の入出力特性グラフにおいて所定の位置のデジタル信号の値に相当する点と原点とを通る直線の傾きによる変化量以上である。
この変換特性により、デジタル信号により形成される画像上の局所的な領域のコントラスト(局所コントラスト)を強調することができる。これにより、Dレンジ圧縮した場合であっても、コントラスト低下を効果的に抑制することができるデジタル信号を取得することができる。
第10の発明は、第8の発明であって、変換特性を、所定の位置のデジタル信号の値xと周囲明度値mとにより、2次元関数f(x,m)で表すとき、
変換特性は、m=xにおいて、
∂f(x,m)/∂x≧(f(x,m)/x)
なる関係を満たす変換特性である。
A ninth aspect of the invention is the eighth aspect of the invention, wherein the conversion characteristic is a change in the value of the input digital signal in a range where the value of the digital signal at a predetermined position and the ambient lightness value are substantially equal to each other. The amount of change in the output value of the conversion characteristic with respect to the amount is greater than or equal to the amount of change due to the slope of a straight line passing through the point corresponding to the value of the digital signal at a predetermined position and the origin in the input / output characteristic graph of the conversion characteristic.
With this conversion characteristic, it is possible to enhance the contrast (local contrast) of a local region on an image formed by a digital signal. Thereby, even if it is a case where D range compression is carried out, the digital signal which can suppress a contrast fall effectively can be acquired.
The tenth invention is the eighth invention, wherein the conversion characteristic is represented by a two-dimensional function f (x, m) by a digital signal value x at a predetermined position and an ambient lightness value m.
The conversion characteristics are as follows:
∂f (x, m) / ∂x ≧ (f (x, m) / x)
The conversion characteristics satisfying the following relationship.

この変換特性により、デジタル信号により形成される画像上の局所的な領域のコントラスト(局所コントラスト)を強調することができる。これにより、Dレンジ圧縮した場合であっても、コントラスト低下を効果的に抑制することができるデジタル信号を取得することができる。
第11の発明は、第8から第10のいずれかの発明であって、動的階調補正部は、デジタル信号の値と周囲明度値の値とに応じた出力値をデータとして保持する2次元のルックアップテーブルである。
第12の発明は、第11の発明であって、制御部は、露光量を減少させる信号とDレンジ拡大率を増加させる信号とを生成するとともに、ルックアップテーブルにDレンジ拡大率に応じた変換特性データを登録する。
With this conversion characteristic, it is possible to enhance the contrast (local contrast) of a local region on an image formed by a digital signal. Thereby, even if it is a case where D range compression is carried out, the digital signal which can suppress a contrast fall effectively can be acquired.
An eleventh aspect of the invention is any one of the eighth to tenth aspects of the invention, wherein the dynamic gradation correction unit holds an output value corresponding to the value of the digital signal and the value of the ambient lightness value as data 2 This is a dimension lookup table.
The twelfth invention is the eleventh invention, wherein the control unit generates a signal for decreasing the exposure amount and a signal for increasing the D range expansion rate, and the lookup table corresponds to the D range expansion rate. Register conversion characteristic data.

第13の発明は、第8から第11のいずれかの発明であって、更に、Dレンジ拡大部によりDレンジ拡大されたデジタル信号を入力とし、入力されたデジタル信号のうち所定の値より大きい値を有するデジタル信号の値をDレンジ圧縮部の入力レンジ内の値に変換するレンジ値調整部を有する。
第14の発明は、第8から第11のいずれかの発明であって、更に、Dレンジ拡大部によりDレンジ拡大されたデジタル信号が形成する画像データのうちのデジタル信号の値の最大値がDレンジ圧縮部の入力レンジの最大値となるように、デジタル信号の値を調整するピーク調整部を含む。
第15の発明は、光学系と、光量調節部と、撮像部と、A/D変換部と、駆動部と、ダイナミックレンジ拡大部と、を備える撮像装置である。
A thirteenth aspect of the invention is any one of the eighth to eleventh aspects of the invention, in which a digital signal that has been D-range expanded by the D-range expanding unit is input, and is greater than a predetermined value among the input digital signals. A range value adjustment unit that converts the value of the digital signal having a value into a value within the input range of the D range compression unit is provided.
The fourteenth invention is the invention of any one of the eighth to eleventh inventions, wherein the maximum value of the value of the digital signal in the image data formed by the digital signal expanded by the D range by the D range expanding unit is A peak adjustment unit that adjusts the value of the digital signal so as to be the maximum value of the input range of the D range compression unit is included.
15th invention is an imaging device provided with an optical system, a light quantity adjustment part, an imaging part, an A / D conversion part, a drive part, and a dynamic range expansion part.

光学系は、被写体からの光を集光する。
光量調節部は、光学系に入射される光量を調節する。
撮像部は、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する。
A/D変換部は、撮像部から出力されたアナログの撮像画像をデジタル画像に変換する。
駆動部は、所定の露光時間を均等に分割した時間で複数回に分けて次々に撮像部を露光し、複数枚の撮像画像が得られるように撮像部を駆動する。
ダイナミックレンジ拡大部は、A/D変換部で複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を生成し、出力する。
The optical system collects light from the subject.
The light amount adjustment unit adjusts the amount of light incident on the optical system.
The imaging unit reads an image of a subject formed by light condensed by the optical system, and outputs it as an image signal that can form an image composed of pixels.
The A / D converter converts the analog captured image output from the imaging unit into a digital image.
The drive unit divides the predetermined exposure time evenly into multiple times, exposes the image capture unit one after another, and drives the image capture unit to obtain a plurality of captured images.
The dynamic range expansion unit expands the dynamic range by adding a plurality of digital images obtained by converting a plurality of captured images by the A / D conversion unit and expanding the dynamic range for each pixel. Is generated and output.

この撮像装置によれば、所定の露光時間を複数回に分けて次々に露光することによって露光時間を短くし、露光量を減少させることで、撮像部で得られる出力を小さくすることができる。これにより、得られる撮像画像は暗くなるため、被写体の明るい領域でもA/D変換の出力は飽和しにくくなる。また、この撮像装置では、複数回に分けて撮影して得た複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、その総和を算出することができる。このため、加算した出力の飽和を抑えつつ明るくし、暗くなった画像を、所定の露光時間で得られる画像と同じ明るさにすることができる。よって、この撮像装置では、S/N比の劣化を抑え、ダイナミックレンジの広い画像を得ることができる。
これにより、屋外で人物を逆光で撮影した場合であっても、人物の顔等の暗い領域を適切な明るさに補正しても、雲や空等の明るい領域が飽和していない画像を得ることができる撮像装置を提供することができる。
According to this imaging apparatus, it is possible to reduce the output obtained by the imaging unit by shortening the exposure time by dividing the predetermined exposure time into a plurality of times, and reducing the exposure amount. As a result, the obtained captured image becomes dark, and the output of the A / D conversion is not easily saturated even in a bright region of the subject. Further, in this imaging apparatus, a plurality of digital images obtained by capturing a plurality of times can be added by expanding the dynamic range for each pixel, and the sum can be calculated. For this reason, it is possible to make the image brightened and darkened while suppressing saturation of the added output, and to have the same brightness as the image obtained in the predetermined exposure time. Therefore, in this imaging device, it is possible to suppress the deterioration of the S / N ratio and obtain an image with a wide dynamic range.
As a result, even when a person is photographed outdoors in backlight, even if a dark area such as a person's face is corrected to an appropriate brightness, an image in which bright areas such as clouds and sky are not saturated is obtained. An imaging device that can be provided can be provided.

第16の発明は、第15の発明であって、ダイナミックレンジ拡大画像のダイナミックレンジを所定のダイナミックレンジに非線形に圧縮するダイナミックレンジ圧縮部をさらに備える。
これによれば、さらに、出力を映像信号のフォーマット(例えば、JPEG,MPEG等)で決められた出力に合わせることができ、表示装置の最白点を基準に決められている100%に出力を合わせることができる。
第17の発明は、第15または第16の発明であって、ダイナミックレンジ拡大部は、少なくとも入力ダイナミックレンジより大きい出力ダイナミックレンジを有している。
これによれば、さらに、ダイナミックレンジを拡大した出力を飽和させずに出力できる。
A sixteenth aspect of the present invention is the fifteenth aspect of the present invention, further comprising a dynamic range compression unit that nonlinearly compresses the dynamic range of the dynamic range expanded image to a predetermined dynamic range.
According to this, the output can be matched with the output determined by the format of the video signal (for example, JPEG, MPEG, etc.), and the output can be made to 100% determined based on the white point of the display device. Can be matched.
The seventeenth invention is the fifteenth or sixteenth invention, wherein the dynamic range expanding section has an output dynamic range that is at least larger than the input dynamic range.
According to this, an output with an expanded dynamic range can be output without being saturated.

第18の発明は、第16の発明であって、ダイナミックレンジ圧縮部は、画像信号についての周囲明度値に応じて変化する変換特性を用いてダイナミックレンジ拡大画像のダイナミックレンジを圧縮する。
これによれば、さらに、被写体の暗い領域と明るい領域とに適切な出力が得られる変換特性を用いることができ、1000%以上にダイナミックレンジを拡大した場合であってもその広いダイナミックレンジを視覚的に損なわずに100%以内に圧縮することが可能になる。
第19の発明は、第15から第18のいずれかの発明であって、光量調節部は、撮像部を複数回に分けて露光する前に、所定の露光時間において被写体の主要部で所定の明るさが得られるように光学系に入射される光量の調節を行う。
An eighteenth aspect of the invention is the sixteenth aspect of the invention, in which the dynamic range compression unit compresses the dynamic range of the dynamic range expanded image using conversion characteristics that change according to the ambient lightness value of the image signal.
According to this, it is possible to use a conversion characteristic that can obtain an appropriate output in a dark area and a bright area of the subject, and even when the dynamic range is expanded to 1000% or more, the wide dynamic range is visually recognized. It is possible to compress within 100% without any loss.
A nineteenth aspect of the invention is any one of the fifteenth to eighteenth aspects of the invention, in which the light amount adjusting unit is predetermined at a main part of the subject for a predetermined exposure time before the imaging unit is exposed in a plurality of times. The amount of light incident on the optical system is adjusted so that brightness is obtained.

これによれば、さらに、被写体の主要部で最適な明るさになるように光量の調節を行った上で、複数回に分けて露光を行うことができる。これにより、例えば、人物の顔を最適な明るさにした上で、空や雲等の明るい領域が飽和しないようにダイナミックレンジを拡大することができる。
第20の発明は、第15から第19のいずれかの発明であって、手振れ検出部をさらに備える。
手振れ検出部は、複数枚のデジタル画像のうち、異なる2枚のデジタル画像から手振れによる画像ずれの大きさとその方向を検出する。
そして、ダイナミックレンジ拡大部は、手振れ検出部で検出された画像ずれの大きさとその方向に応じて画像ずれをなくす方向にデジタル画像をずらして加算する。
According to this, it is possible to perform exposure in a plurality of times after adjusting the amount of light so that the main part of the subject has optimum brightness. Thus, for example, the dynamic range can be expanded so that a bright area such as the sky and clouds is not saturated after the human face is set to an optimal brightness.
A twentieth invention is any one of the fifteenth to nineteenth inventions, and further includes a camera shake detection unit.
The camera shake detection unit detects the magnitude and direction of image shift caused by camera shake from two different digital images among a plurality of digital images.
Then, the dynamic range expansion unit shifts and adds the digital image in a direction to eliminate the image shift according to the magnitude and direction of the image shift detected by the camera shake detection unit.

これによれば、さらに、撮像して得た複数枚のデジタル画像間における画像ずれを抑えることができ、手振れによる影響が小さい画像(露光時間を短くした画像)を有効に活用して手振れによる画像ずれを抑えたダイナミックレンジ拡大画像を得ることができる。
第21の発明は、第20の発明であって、被写体振れ検出部をさらに備える。
被写体振れ検出部は、複数枚のデジタル画像のうち、手振れによる画像ずれをなくした異なる2枚のデジタル画像を画素ごとに比較することによりデジタル画像上の局所領域の被写体振れを検出する。
そして、ダイナミックレンジ拡大部は、被写体振れ検出部で被写体振れが検出された場合、被写体振れがある画素を加算しない。
これによれば、さらに、被写体振れした局所領域の画素を除去でき、被写体振れを抑えた画像が得られる。なお、ダイナミックレンジ拡大部は、加算しない画素がある場合、光量調整するようにしてもよい。例えば、4つの画素のうち1つの画素のみ加算しない場合(つまり、3つの画素を加算する場合)、加算して求めた値に(4/3)を乗ずることで、ダイナミックレンジ拡大部が明るさ調整(画素値の調整)を行うようにしてもよい。
According to this, image shift between a plurality of digital images obtained by imaging can be suppressed, and an image caused by camera shake by effectively using an image (image with a short exposure time) that is less influenced by camera shake. It is possible to obtain an image with an expanded dynamic range in which the shift is suppressed.
A twenty-first invention is the twentieth invention, further comprising a subject shake detection unit.
The subject shake detection unit detects subject shake in a local region on the digital image by comparing, for each pixel, two different digital images in which image deviation due to camera shake is eliminated among a plurality of digital images.
Then, the dynamic range expansion unit does not add pixels with subject shake when the subject shake detection is detected by the subject shake detection unit.
According to this, the pixels in the local area where the subject shakes can be removed, and an image in which the subject shake is suppressed can be obtained. Note that the dynamic range expansion unit may adjust the amount of light when there are pixels that are not added. For example, when only one pixel out of four pixels is not added (that is, when three pixels are added), the value obtained by addition is multiplied by (4/3), so that the dynamic range expansion unit becomes brighter. You may make it perform adjustment (adjustment of a pixel value).

第22の発明は、第15から第19のいずれかの発明であって、被写体振れ検出部をさらに備える。
被写体振れ検出部は、複数枚のデジタル画像のうち、異なる2枚のデジタル画像を画素ごとに比較することによりデジタル画像上の局所領域の被写体振れを検出する。
そして、ダイナミックレンジ拡大部は、被写体振れ検出部で被写体振れが検出された場合、被写体振れがある画素を加算しない。
これによれば、さらに、被写体振れした局所領域の画素を除去でき、被写体振れを抑えた画像が得られる。
第23の発明は、第15から第19のいずれかの発明であって、被写体振れ検出部をさらに備える。
A twenty-second invention is any one of the fifteenth to nineteenth inventions, further comprising a subject shake detection unit.
The subject shake detection unit detects subject shake in a local region on the digital image by comparing two different digital images among the plurality of digital images for each pixel.
Then, the dynamic range expansion unit does not add pixels with subject shake when the subject shake detection is detected by the subject shake detection unit.
According to this, the pixels in the local area where the subject shakes can be removed, and an image in which the subject shake is suppressed can be obtained.
A twenty-third invention is any one of the fifteenth to nineteenth inventions, further comprising a subject shake detection unit.

被写体振れ検出部は、手振れ補正された複数枚のデジタル画像を取得し、取得された複数枚のデジタル画像のうち、異なる2枚のデジタル画像を画素ごとに比較することによりデジタル画像上の局所領域の被写体振れを検出する。
そして、ダイナミックレンジ拡大部は、被写体振れ検出部で被写体振れが検出された場合、被写体振れがある画素を加算しない。
これによれば、さらに、手振れ補正された複数枚のデジタル画像を有効に利用でき、手振れによる画像ずれをなくしたデジタル画像を比較することができる。
第24の発明は、第23の発明であって、被写体振れ検出部は、光学式の手振れ補正により手振れ補正された複数枚のデジタル画像を用いて、被写体振れを検出する。
これによれば、さらに、光学式の手振れ補正により手振れを抑えた複数枚のデジタル画像を有効に利用することができる。光学式の手振れ補正では、撮像部(撮像素子)の撮像エリア内に手振れ検出用の領域を設ける必要がないため、撮像部(撮像素子)の撮像エリアを有効に活用できる。
The subject shake detection unit acquires a plurality of digital images subjected to camera shake correction, and compares two different digital images among the acquired plurality of digital images for each pixel, thereby local regions on the digital image. Detects subject shake.
Then, the dynamic range expansion unit does not add pixels with subject shake when the subject shake detection is detected by the subject shake detection unit.
According to this, it is possible to effectively use a plurality of digital images that have undergone camera shake correction, and to compare digital images in which image shift due to camera shake is eliminated.
In a twenty-fourth aspect based on the twenty-third aspect, the subject shake detection unit detects subject shake using a plurality of digital images subjected to the shake correction by the optical shake correction.
According to this, it is possible to effectively use a plurality of digital images in which camera shake is suppressed by optical camera shake correction. In the optical camera shake correction, since it is not necessary to provide a camera shake detection area in the imaging area of the imaging unit (imaging device), the imaging area of the imaging unit (imaging device) can be used effectively.

第25の発明は、第20の発明であって、被写体振れ検出部と、座標変換部と、さらに備える。
被写体振れ検出部は、複数枚のデジタル画像のうち、手振れによる画像ずれをなくした異なる2枚のデジタル画像を画素ごとに比較することによりデジタル画像上の局所領域の被写体振れを検出する。
座標変換部は、被写体振れ検出部で被写体振れが検出された画素に対して被写体振れをなくすように座標を変換する。
そして、ダイナミックレンジ拡大部は、被写体振れ検出部で被写体振れが検出された画素に対しては座標変換部で変換された画素を加算する。
これによれば、さらに、被写体振れした局所領域の画素を補正し、被写体振れを抑えた画像が得られる。
A twenty-fifth aspect of the present invention is the twentieth aspect of the present invention, further comprising a subject shake detection unit and a coordinate conversion unit.
The subject shake detection unit detects subject shake in a local region on the digital image by comparing, for each pixel, two different digital images in which image deviation due to camera shake is eliminated among a plurality of digital images.
The coordinate conversion unit converts the coordinates so that the subject shake is eliminated for the pixel in which the subject shake is detected by the subject shake detection unit.
The dynamic range expansion unit adds the pixel converted by the coordinate conversion unit to the pixel in which the subject shake is detected by the subject shake detection unit.
This further corrects the pixels in the local area where the subject shakes, thereby obtaining an image in which the subject shake is suppressed.

第26の発明は、第25の発明であって、被写体振れ判断部をさらに備える。
被写体振れ判断部は、被写体振れをなくすことができるか否かを判断する。
そして、ダイナミックレンジ拡大部は、被写体振れ判断部が被写体振れをなくすことができないと判断した場合、被写体振れがある画素を加算しない。
これによれば、さらに、被写体の一部が検出できなくなった領域があっても対応することができる。例えば、被写体の手が被写体の背後に隠れても、その手の領域は画素を加算しないようにすることができる。
第27の発明は、光学系と、光量調節部と、撮像部と、A/D変換部と、駆動部と、ダイナミックレンジ拡大部と、を備える撮像装置である。
光学系は、被写体からの光を集光する。
A twenty-sixth aspect of the present invention is the twenty-fifth aspect of the present invention, further comprising a subject shake determination unit.
The subject shake determination unit determines whether the subject shake can be eliminated.
Then, when the subject shake determination unit determines that the subject shake cannot be eliminated, the dynamic range expansion unit does not add pixels with subject shake.
According to this, it is possible to cope with even a region where a part of the subject cannot be detected. For example, even if the subject's hand is hidden behind the subject, the region of the hand can be prevented from adding pixels.
A twenty-seventh aspect of the invention is an image pickup apparatus that includes an optical system, a light amount adjustment unit, an image pickup unit, an A / D conversion unit, a drive unit, and a dynamic range expansion unit.
The optical system collects light from the subject.

光量調節部は、光学系に入射される光量を調節する。
撮像部は、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する。
A/D変換部は、撮像部から出力されたアナログの撮像画像をデジタル画像に変換する。
駆動部は、A/D変換部の出力が飽和しないように撮像部を複数回に分けて次々に露光し、複数枚の撮像画像が得られるように撮像部を駆動する。
ダイナミックレンジ拡大部は、A/D変換部で複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力する。
The light amount adjustment unit adjusts the amount of light incident on the optical system.
The imaging unit reads an image of a subject formed by light condensed by the optical system, and outputs it as an image signal that can form an image composed of pixels.
The A / D converter converts the analog captured image output from the imaging unit into a digital image.
The drive unit divides the imaging unit into a plurality of times so that the output of the A / D conversion unit is not saturated, and sequentially exposes the imaging unit to drive a plurality of captured images.
The dynamic range expansion unit expands the dynamic range by adding a plurality of digital images obtained by converting a plurality of captured images by the A / D conversion unit and expanding the dynamic range for each pixel. Is output.

このような構成によれば、複数回に分けて次々に露光し、得られる撮像画像を暗くすることができるため、被写体の明るい領域でもA/D変換の出力は飽和しにくくなる。また、複数回に分けて撮影して得た複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、その総和を算出するため、加算した出力の飽和を抑えつつ明るくし、暗くなった画像を、所定の露光時間で得られる画像と同じ明るさにすることができる。よって、S/N比の劣化を抑え、ダイナミックレンジの広い画像を得ることができる。これにより、屋外で人物を逆光で撮影した場合であっても、人物の顔等の暗い領域を適切な明るさに補正しても、雲や空等の明るい領域が飽和していない画像を得ることができる撮像装置を提供することができる。
第28の発明は、被写体からの光を集光する光学系と、光学系に入射される光量を調節する光量調節部と、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、撮像部の出力をA/D変換するA/D変換部と、A/D変換部の出力値を調整するデジタル信号処理部と、を備える撮像装置に用いられる撮像方法であって、光量減少ステップと、ダイナミックレンジ拡大ステップと、を含む。
According to such a configuration, it is possible to perform exposure one after another in a plurality of times and darken the obtained captured image, so that the output of the A / D conversion is not easily saturated even in a bright region of the subject. In addition, multiple digital images obtained by taking multiple shots are added by expanding the dynamic range for each pixel, and the sum is calculated, so it becomes brighter and darker while suppressing saturation of the added output. The image can be as bright as the image obtained with a predetermined exposure time. Therefore, it is possible to suppress the deterioration of the S / N ratio and obtain an image with a wide dynamic range. As a result, even when a person is photographed outdoors in backlight, even if a dark area such as a person's face is corrected to an appropriate brightness, an image in which bright areas such as clouds and sky are not saturated is obtained. An imaging device that can be provided can be provided.
In a twenty-eighth aspect, an optical system for condensing light from a subject, a light amount adjusting unit for adjusting a light amount incident on the optical system, and an image of the subject formed by the light condensed by the optical system are read. An imaging unit that outputs an image signal that can form an image including pixels, an A / D conversion unit that performs A / D conversion on the output of the imaging unit, and a digital signal that adjusts an output value of the A / D conversion unit An imaging method used in an imaging apparatus including a processing unit, and includes a light amount reduction step and a dynamic range expansion step.

光量減少ステップでは、光量調整部を用いて光量を減少させる。ダイナミックレンジ拡大ステップでは、デジタル信号処理部を用いて、減少させた光量に応じた拡大率で、A/D変換部の出力のダイナミックレンジを線形に拡大する。
第29の発明は、被写体からの光を集光する光学系と、光学系に入射される光量を調節する光量調節部と、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、撮像部から出力されたアナログの撮像画像をデジタル画像に変換するA/D変換部と、を備える撮像装置に用いられる撮像方法であって、駆動ステップと、ダイナミックレンジ拡大ステップと、を備える。
駆動ステップでは、所定の露光時間を均等に分割した時間で複数回に分けて次々に撮像部を露光し、複数枚の撮像画像が得られるように撮像部を駆動する。ダイナミックレンジ拡大ステップでは、A/D変換部で複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を生成し、出力する。
In the light amount reduction step, the light amount is decreased using the light amount adjustment unit. In the dynamic range expansion step, the dynamic range of the output of the A / D conversion unit is linearly expanded using the digital signal processing unit at an expansion rate corresponding to the reduced light amount.
In a twenty-ninth aspect of the invention, an optical system for condensing light from a subject, a light amount adjusting unit for adjusting the amount of light incident on the optical system, and an image of the subject formed by the light collected by the optical system are read. Used in an imaging apparatus including an imaging unit that outputs an image signal that can form an image including pixels, and an A / D conversion unit that converts an analog captured image output from the imaging unit into a digital image. An imaging method includes a driving step and a dynamic range expansion step.
In the driving step, the imaging unit is exposed one after another by dividing the predetermined exposure time into a plurality of times, and the imaging unit is driven so that a plurality of captured images are obtained. In the dynamic range expansion step, a dynamic range expansion image in which the dynamic range is expanded by adding a plurality of digital images obtained by converting a plurality of captured images by the A / D conversion unit for each pixel. Is generated and output.

第30の発明は、被写体からの光を集光する光学系と、光学系に入射される光量を調節する光量調節部と、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、撮像部から出力されたアナログの撮像画像をデジタル画像に変換するA/D変換部と、を備える撮像装置に用いられる撮像方法であって、駆動ステップと、ダイナミックレンジ拡大ステップと、を備える。
駆動ステップでは、A/D変換部の出力が飽和しないように撮像部を複数回に分けて次々に露光し、複数枚の撮像画像が得られるように撮像部を駆動する。ダイナミックレンジ拡大ステップでは、A/D変換部で複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力する。
In a thirtieth aspect, an optical system for condensing light from a subject, a light amount adjusting unit for adjusting the amount of light incident on the optical system, and an image of the subject formed by the light collected by the optical system are read. , Used for an imaging apparatus including an imaging unit that outputs an image signal that can form an image including pixels, and an A / D conversion unit that converts an analog captured image output from the imaging unit into a digital image. An imaging method includes a driving step and a dynamic range expansion step.
In the driving step, the imaging unit is exposed to a plurality of times so that the output of the A / D conversion unit is not saturated, and the imaging unit is driven so that a plurality of captured images are obtained. In the dynamic range expansion step, a dynamic range expansion image in which the dynamic range is expanded by adding a plurality of digital images obtained by converting a plurality of captured images by the A / D conversion unit for each pixel. Is output.

第31の発明は、被写体からの光を集光する光学系と、光学系に入射される光量を調節する光量調節部と、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、撮像部の出力をA/D変換するA/D変換部と、A/D変換部の出力値を調整するデジタル信号処理部と、光量調整部とデジタル信号処理部とを制御する制御部と、を備える撮像装置の制御部で実行されるプログラムである。そして、このプログラムは、制御部に、光量調整部を用いて光量を減少させるための信号を生成させるステップと、デジタル信号処理部を用いて、減少させた量に応じた拡大率で、A/D変換部の出力のダイナミックレンジを線形に拡大させるための信号を生成させるダイナミックレンジ拡大ステップと、を実行させる。
第32の発明は、被写体からの光を集光する光学系と、光学系に入射される光量を調節する光量調節部と、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、撮像部から出力されたアナログの撮像画像をデジタル画像に変換するA/D変換部と、A/D変換部の出力値を調整するデジタル信号処理部と、光量調整部と撮像部とデジタル信号処理部とを制御する制御部と、を備える撮像装置の制御部で実行されるプログラムである。そして、このプログラムは、制御部に、所定の露光時間を均等に分割した時間で複数回に分けて次々に撮像部を露光し、複数枚の撮像画像が得られるように撮像部を駆動させるための信号を生成する駆動ステップと、A/D変換部で複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算させ、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を生成し、出力させるための信号を生成するダイナミックレンジ拡大ステップと、を実行させる。
In a thirty-first aspect, an optical system that collects light from a subject, a light amount adjustment unit that adjusts the amount of light incident on the optical system, and an image of the subject formed by the light collected by the optical system are read. An imaging unit that outputs an image signal that can form an image including pixels, an A / D conversion unit that performs A / D conversion on the output of the imaging unit, and a digital signal that adjusts an output value of the A / D conversion unit A program that is executed by a control unit of an imaging apparatus that includes a processing unit, and a control unit that controls a light amount adjustment unit and a digital signal processing unit. Then, the program causes the control unit to generate a signal for reducing the light amount using the light amount adjusting unit, and an enlargement ratio corresponding to the reduced amount using the digital signal processing unit. A dynamic range expansion step of generating a signal for linearly expanding the dynamic range of the output of the D conversion unit.
In a thirty-second invention, an optical system for condensing light from a subject, a light amount adjusting unit for adjusting the amount of light incident on the optical system, and an image of the subject formed by the light collected by the optical system are read. An imaging unit that outputs an image signal that can form an image composed of pixels, an A / D conversion unit that converts an analog captured image output from the imaging unit into a digital image, and an output of the A / D conversion unit A program executed by a control unit of an imaging apparatus including a digital signal processing unit that adjusts a value, and a control unit that controls a light amount adjustment unit, an imaging unit, and a digital signal processing unit. This program causes the control unit to drive the imaging unit so that a plurality of captured images can be obtained by exposing the imaging unit one after another by dividing the predetermined exposure time evenly into a plurality of times. A dynamic step that expands the dynamic range by adding a drive step for generating a signal of the image and adding a plurality of digital images obtained by converting a plurality of captured images by an A / D conversion unit for each pixel. A dynamic range expansion step for generating a signal for generating and outputting a range expansion image is executed.

第33の発明は、被写体からの光を集光する光学系と、光学系に入射される光量を調節する光量調節部と、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、撮像部の出力をA/D変換するA/D変換部と、を含む撮像装置に用いられる集積回路である。そして、この集積回路は、A/D変換部の出力のダイナミックレンジを線形に拡大するダイナミックレンジ拡大部と、拡大の度合いと相反する量で、光量調節部の光量を調節する制御部と、を備える。
第34の発明は、被写体からの光を集光する光学系と、光学系に入射される光量を調節する光量調節部と、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、撮像部から出力されたアナログの撮像画像をデジタル画像に変換するA/D変換部と、所定の露光時間を均等に分割した時間で複数回に分けて次々に撮像部を露光し、複数枚の撮像画像が得られるように撮像部を駆動する駆動部と、を含む撮像装置に用いられる集積回路である。そして、この集積回路は、A/D変換部で複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を生成し、出力するダイナミックレンジ拡大部、を備える。
In a thirty-third invention, an optical system for condensing light from a subject, a light amount adjusting unit for adjusting the amount of light incident on the optical system, and an image of the subject formed by the light collected by the optical system are read. An integrated circuit used in an imaging apparatus including an imaging unit that outputs an image signal that can form an image including pixels and an A / D conversion unit that performs A / D conversion on the output of the imaging unit. The integrated circuit includes: a dynamic range expansion unit that linearly expands the dynamic range of the output of the A / D conversion unit; and a control unit that adjusts the light amount of the light amount adjustment unit by an amount that is opposite to the degree of expansion. Prepare.
In a thirty-fourth aspect of the invention, an optical system for condensing light from the subject, a light amount adjusting unit for adjusting the amount of light incident on the optical system, and an image of the subject formed by the light collected by the optical system are read. An imaging unit that outputs an image signal that can form an image composed of pixels, an A / D conversion unit that converts an analog captured image output from the imaging unit into a digital image, and a predetermined exposure time evenly The integrated circuit is used in an imaging apparatus including a driving unit that drives the imaging unit so that a plurality of captured images are obtained by exposing the imaging unit one after another in a plurality of divided times. The integrated circuit expands the dynamic range by expanding the dynamic range for each pixel and adding a plurality of digital images obtained by converting a plurality of captured images by the A / D converter. A dynamic range expansion unit that generates and outputs an image;

第35の発明は、被写体からの光を集光する光学系と共に用いられる集積回路であって、光量調節部と、撮像部と、A/D変換部と、駆動部と、ダイナミックレンジ拡大部と、を備える。
光量調節部は、光学系に入射される光量を調節する。撮像部は、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する。A/D変換部は、撮像部から出力されたアナログの撮像画像をデジタル画像に変換する。駆動部は、A/D変換部の出力が飽和しないように撮像部を複数回に分けて次々に露光し、複数枚の撮像画像が得られるように撮像部を駆動する。ダイナミックレンジ拡大部は、A/D変換部で複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力する。
A thirty-fifth aspect of the invention is an integrated circuit used together with an optical system that collects light from a subject, a light amount adjustment unit, an imaging unit, an A / D conversion unit, a drive unit, a dynamic range expansion unit, .
The light amount adjustment unit adjusts the amount of light incident on the optical system. The imaging unit reads an image of a subject formed by light condensed by the optical system, and outputs it as an image signal that can form an image composed of pixels. The A / D converter converts the analog captured image output from the imaging unit into a digital image. The drive unit divides the imaging unit into a plurality of times so that the output of the A / D conversion unit is not saturated, and sequentially exposes the imaging unit to drive a plurality of captured images. The dynamic range expansion unit expands the dynamic range by adding a plurality of digital images obtained by converting a plurality of captured images by the A / D conversion unit and expanding the dynamic range for each pixel. Is output.

第36の発明は、撮像装置で用いられる画像処理プロセッサである。そして、この画像処理プロセッサは、記憶されたプログラムの命令に従い、A/D変換の出力値をDレンジ拡大率で拡大し、拡大された信号が形成する画像データの最大値に応じて出力値を調整し、調整された画像信号と画像信号の周囲明度値とに応じて、2次元のルックアップテーブルに保持された変換特性により、出力値を得る。   A thirty-sixth aspect of the present invention is an image processor used in the imaging apparatus. The image processor then expands the output value of the A / D conversion at the D range expansion rate according to the stored program instructions, and outputs the output value according to the maximum value of the image data formed by the expanded signal. The output value is obtained by the conversion characteristics held in the two-dimensional lookup table in accordance with the adjusted image signal and the ambient brightness value of the image signal.

本発明によれば、ダイナミックレンジの広いシーン(被写体)を撮影する場合(例えば、青空を背景にした逆光の人物の顔を撮影する場合)であっても、撮像画像(取得画像)において高輝度部分(例えば、背景の空)が飽和しないような高Dレンジの撮像画像を取得することができる撮像装置、撮像方法、プログラムおよび集積回路を提供することができる。   According to the present invention, even when shooting a scene (subject) with a wide dynamic range (for example, shooting a backlit person's face against a blue sky), the captured image (acquired image) has high brightness. It is possible to provide an imaging apparatus, an imaging method, a program, and an integrated circuit that can acquire a high-D range captured image in which a portion (eg, the sky in the background) is not saturated.

以下、本発明の実施形態における撮像装置について図面を参照しながら説明する。
[第1実施形態]
<1.1:撮像装置の構成>
図1は、撮像装置100の構成図である。
撮像装置100は、光学系1、アナログ信号処理部2、デジタル信号処理部3、および露光計7を備える。
光学系1は、被写体P1からの光を集光する撮像レンズ11と、撮像レンズ11で集光した被写体P1からの反射光の光量を調整する絞り12と、絞られた光量(絞り12により調整された光量)と蓄積時間とに応じて画像信号Aを出力する撮像部13とを備える。
アナログ信号処理部2は、相関二重サンプリング回路(CDS(Correlated Double Sampling))21と、A/D変換部23とを含む。
Hereinafter, an imaging device according to an embodiment of the present invention will be described with reference to the drawings.
[First Embodiment]
<1.1: Configuration of Imaging Device>
FIG. 1 is a configuration diagram of the imaging apparatus 100.
The imaging apparatus 100 includes an optical system 1, an analog signal processing unit 2, a digital signal processing unit 3, and an exposure meter 7.
The optical system 1 includes an imaging lens 11 that collects light from the subject P1, a diaphragm 12 that adjusts the amount of reflected light from the subject P1 collected by the imaging lens 11, and a throttled light amount (adjusted by the diaphragm 12). The imaging unit 13 that outputs the image signal A according to the accumulation time.
The analog signal processing unit 2 includes a correlated double sampling circuit (CDS (Correlated Double Sampling)) 21 and an A / D conversion unit 23.

A/D変換部23は、アナログ画像(映像)信号を、例えば各画素が0〜4095の階調レベルを持つ12bitのデジタル画像(映像)信号(信号C)に変換して出力する。尚、図1では、撮像装置100は、説明便宜のため、GCA(Gain Control Amplifier)22を含んでいるが、GCA22は必須の構成ではない。また、GCAは、CDS(co−related double sampling)回路を夫君でいてもよい。
デジタル信号処理部3は、信号処理部31を含む。また、デジタル信号処理部3は、撮像装置100が撮像装置として一般的な機能を実現するためのフラッシュ発光制御部、コーデック部、カードI/F、表示部制御部等の処理部、およびこれら処理部の全部或いは一部の動作を制御する制御部34を有する。
The A / D converter 23 converts the analog image (video) signal into a 12-bit digital image (video) signal (signal C) in which each pixel has a gradation level of 0 to 4095, for example, and outputs the signal. In FIG. 1, the imaging apparatus 100 includes a GCA (Gain Control Amplifier) 22 for convenience of explanation, but the GCA 22 is not an essential configuration. In addition, the GCA may have a CDS (co-related double sampling) circuit.
The digital signal processing unit 3 includes a signal processing unit 31. Further, the digital signal processing unit 3 includes processing units such as a flash light emission control unit, a codec unit, a card I / F, a display unit control unit, and the like for realizing a general function of the imaging device 100 as an imaging device, and these processes. It has the control part 34 which controls operation | movement of all or one part.

なお、撮像装置100を構成する各機能機能ブロックは、図1に示すように、バスBusを介して接続されるものであってもよい。
(1.1.1:信号処理部31の構成)
図2は、信号処理部31の構成図である。
信号処理部31は、Dレンジ拡大処理部2000とDレンジ圧縮部2001を含む。
Dレンジ拡大処理部2000は、Dレンジ拡大部2002とレジスタ2004とを含む。
Dレンジ拡大部2002は、具体的にはデジタル乗算器である。アナログ信号処理部2の出力信号(信号C)に対し、設定されたDレンジ拡大率(例えば2倍、4倍等)で乗算し、乗算結果をレジスタ2004に格納する。尚、このDレンジ拡大率は、光学系に対する絞りの設定値の減少(以下、シャッタースピードの制御等による露光計で取得される受光量の減少を含む。)に対し増加する関係となる値を用いて、信号Mag1により設定される。例えば、絞り12の絞りの値が「1/2」である場合には「2」が、絞りの値が「1/4」である場合には「4」が、Dレンジ拡大率として設定される。
In addition, each functional function block which comprises the imaging device 100 may be connected via the bus Bus, as shown in FIG.
(1.1.1: Configuration of the signal processing unit 31)
FIG. 2 is a configuration diagram of the signal processing unit 31.
The signal processing unit 31 includes a D range expansion processing unit 2000 and a D range compression unit 2001.
The D range expansion processing unit 2000 includes a D range expansion unit 2002 and a register 2004.
Specifically, the D range expansion unit 2002 is a digital multiplier. The output signal (signal C) of the analog signal processing unit 2 is multiplied by a set D range expansion ratio (for example, 2 times, 4 times, etc.), and the multiplication result is stored in the register 2004. The D range expansion ratio is a value that increases with respect to a decrease in the aperture setting value for the optical system (hereinafter including a decrease in the amount of received light acquired by the exposure meter by controlling the shutter speed, etc.). And set by the signal Mag1. For example, when the aperture value of the aperture 12 is “1/2”, “2” is set as the D range enlargement rate, and when the aperture value is “1/4”, “4” is set. The

レジスタ2004は、A/D変換部23の出力精度(12ビット)をDレンジ拡大率の最大値(例えば8倍とする)で乗算した結果を、精度を失わないで保持する記憶部である。ここで、A/D変換部23の出力(信号C)が12ビットでDレンジ150%を表しているとすると、Dレンジ拡大率の最大値が8倍の場合、Dレンジ拡大した後の信号は15ビットで1200%になる。したがって、レジスタ2004は、理論上の乗算の最大値を保持することができる15ビットのレジスタ、あるいは、この精度のレジスタを1単位として複数の信号分(例えば画像1枚分(1フレーム分))用意したメモリにより実現される。
Dレンジ圧縮部2001は、このレジスタ2004に保持された乗算結果(信号D)を、所定の変換特性により変換して信号Eを出力する。この変換特性は、設定された光学系の絞りの量の値に対応した信号Mag2により決定される。
The register 2004 is a storage unit that holds the result of multiplying the output accuracy (12 bits) of the A / D conversion unit 23 by the maximum value (for example, 8 times) of the D range expansion rate without losing accuracy. Here, assuming that the output (signal C) of the A / D converter 23 is 12 bits and represents the D range 150%, the signal after the D range is expanded when the maximum value of the D range expansion rate is 8 times. Becomes 1200% with 15 bits. Therefore, the register 2004 is a 15-bit register that can hold the maximum value of theoretical multiplication, or a plurality of signals (for example, one image (one frame)) with this precision register as one unit. This is realized by the prepared memory.
The D range compression unit 2001 converts the multiplication result (signal D) held in the register 2004 according to a predetermined conversion characteristic and outputs a signal E. This conversion characteristic is determined by the signal Mag2 corresponding to the set aperture value of the optical system.

図3を用いて、このDレンジ圧縮部2001が選択するレンジ圧縮の圧縮特性の一例を示す。
図3の横軸は、レジスタ2004の保持することのできる最大値を入力レンジの値として1200[%]として表現した場合における、入力信号Dのレンジ値([%])を示している。また、図3の縦軸は、信号Eの出力レベルの値[%]を示している。
L0〜Lmaxは、点P(80%)以下の入力値において、入出力が変化しない変換特性を有している。また、入力値が80%より大きい値に対しては入力信号の値に応じて出力信号Eの値が異なる出力値となる特性を有している。
尚、Dレンジ圧縮部2001は、前述の絞り12の絞り値が1倍として設定されている場合には、選択信号Mag2により変換特性としてL0を選択する。また、Dレンジ圧縮部2001は、絞り12の絞り値として「1/4」が設定される場合には、4倍のレンジまでを入力とする変換特性としてL1を選択し、絞り値として「1/8」が設定される場合には、8倍までの入力レンジを変換するLmaxを選択する。尚、図3において、L0の入力最大レンジ値(150%)からLmaxの入力最大レンジ(1200%)までの幅が、第1実施形態において拡大することのできるDレンジ(拡大されるDレンジ)の幅となる。
An example of compression characteristics of range compression selected by the D range compression unit 2001 will be described with reference to FIG.
The horizontal axis of FIG. 3 indicates the range value ([%]) of the input signal D when the maximum value that can be held by the register 2004 is expressed as 1200 [%] as the input range value. The vertical axis in FIG. 3 indicates the value [%] of the output level of the signal E.
L0 to Lmax have conversion characteristics in which input / output does not change at an input value of point P (80%) or less. In addition, when the input value is greater than 80%, the output signal E has a different value depending on the value of the input signal.
Note that the D-range compression unit 2001 selects L0 as the conversion characteristic by the selection signal Mag2 when the aperture value of the aperture 12 is set to 1 ×. In addition, when “1/4” is set as the aperture value of the aperture 12, the D range compression unit 2001 selects L1 as the conversion characteristic that inputs up to 4 times the range, and “1” as the aperture value. When “/ 8” is set, Lmax for converting the input range up to 8 times is selected. In FIG. 3, the range from the maximum input range value of L0 (150%) to the maximum input range of Lmax (1200%) can be expanded in the first embodiment (expanded D range). It becomes the width of.

<1.2:撮像装置の動作>
以下、撮像装置100の動作について説明する。
撮像装置100において、制御部34が絞り12に所定の絞り値(例えば「1/8」)を設定する。この絞り値は露光計7の出力値やユーザの設定により事前に決定される。
制御部34は、制御信号Mag1によりDレンジ拡大部2002のDレンジ拡大率を8倍(値として絞り値「1/8」の逆数)を設定する。また、制御部34は、制御信号Mag2によりDレンジ圧縮部2001に変換特性としてLmaxを設定する。
撮像装置100において、撮像が開始されると、撮像部13では、絞り12の値(絞り値)に応じ信号Aが取得される。信号Aの値はアナログ信号処理部2によりA/D変換され、信号Cが出力される。信号Cは、図2の信号処理部31に入力され、予め設定されたDレンジ拡大率(8倍)により乗算された値である信号Dが出力される。出力された信号Dの値は、最大限レンジ1200%の範囲内での値であり、溢れることなくレジスタ2004に保持される。
<1.2: Operation of Imaging Device>
Hereinafter, the operation of the imaging apparatus 100 will be described.
In the imaging apparatus 100, the control unit 34 sets a predetermined aperture value (for example, “1/8”) in the aperture 12. This aperture value is determined in advance by the output value of the exposure meter 7 and user settings.
The control unit 34 sets the D range expansion rate of the D range expansion unit 2002 to 8 times (the reciprocal of the aperture value “1/8” as a value) by the control signal Mag1. Further, the control unit 34 sets Lmax as a conversion characteristic in the D range compression unit 2001 by the control signal Mag2.
When imaging is started in the imaging apparatus 100, the imaging unit 13 acquires a signal A according to the value of the aperture 12 (aperture value). The value of the signal A is A / D converted by the analog signal processing unit 2 and a signal C is output. The signal C is input to the signal processing unit 31 in FIG. 2, and a signal D that is a value multiplied by a preset D range expansion ratio (8 times) is output. The value of the output signal D is a value within the maximum range of 1200%, and is held in the register 2004 without overflowing.

最後に信号Dは、圧縮特性Lmaxにより信号Dの値に応じた出力信号Eの値に変換され、出力される。
以上の処理が、第1実施形態における撮像装置100および信号処理部31の処理である。
<1.3:撮像装置の効果>
撮像装置100の効果を、従来の撮像装置との比較により説明する。
(従来の撮像装置)
図4は、従来の撮像装置における信号処理部90(図4(a))とDレンジ圧縮のための変換特性(図4(b))を示す図である。図4の従来の信号処理部90では、本実施形態における信号処理部31のDレンジ拡大部2002及びレジスタ2004を有していない点、及び変換特性が固定でありかつ150%程度の入力値幅しか有さない点で、撮像装置100と相違している。
Finally, the signal D is converted into a value of the output signal E corresponding to the value of the signal D by the compression characteristic Lmax and output.
The above processing is the processing of the imaging device 100 and the signal processing unit 31 in the first embodiment.
<1.3: Effect of imaging device>
The effect of the imaging device 100 will be described by comparison with a conventional imaging device.
(Conventional imaging device)
FIG. 4 is a diagram illustrating a signal processing unit 90 (FIG. 4A) and a conversion characteristic (FIG. 4B) for D-range compression in a conventional imaging apparatus. The conventional signal processing unit 90 of FIG. 4 does not include the D range expansion unit 2002 and the register 2004 of the signal processing unit 31 in the present embodiment, and has a fixed conversion characteristic and an input value width of about 150%. It is different from the imaging apparatus 100 in that it does not have.

(従来技術1)
図5は、図4(b)の従来の撮像装置におけるDレンジの圧縮変換特性を用いて、所定の撮影シーンを従来の撮像装置でDレンジ圧縮した場合の信号の値の変化を示す説明図である。
図5の左側の図は、所定の撮像シーン201の構成を説明する図である。
点204は雲と空の領域に含まれる点、点202は顔の領域に含まれる所定の点、そして、領域203は主要被写体領域を示している。以下、雲と空の領域に含まれる点204が、シーン201において最明部の値を有するとして説明する。
撮像装置には、露光条件として、主要被写体領域203の出力信号値レベルが、出力信号の取りうるレンジ(150%)までに対して、70%の明るさになるように露光条件が調節されているとする(この露光条件を「露光条件1」とする)。
(Prior art 1)
FIG. 5 is an explanatory diagram showing a change in the value of a signal when the D range compression is performed on the predetermined shooting scene by the conventional imaging device using the compression conversion characteristic of the D range in the conventional imaging device of FIG. 4B. It is.
The diagram on the left side of FIG. 5 is a diagram for explaining the configuration of a predetermined imaging scene 201.
A point 204 is a point included in the cloud and sky region, a point 202 is a predetermined point included in the face region, and a region 203 is a main subject region. In the following description, it is assumed that the point 204 included in the cloud and sky region has the brightest value in the scene 201.
In the imaging apparatus, as the exposure condition, the exposure condition is adjusted so that the output signal value level of the main subject region 203 is 70% brighter than the range (150%) that the output signal can take. (This exposure condition is referred to as “exposure condition 1”).

この露光条件1では、点204の位置の信号の値は、本来500%の明るさであるため信号A(図1の点Aの信号。以下、同様。)の時点で信号値が飽和する。信号Aについてデジタル変換された信号Cによる画像は、どのように処理をしても空204(点204)の部分について飽和した値となる。これは、図5の右図に示す範囲RAの値については、後の処理で復元することは不可能であるからである。ここで、信号Aについて150%以下(範囲RB、範囲RC)の信号は、そのままの明るさで飽和されることなくA/D変換されて信号Cに変換される。その後、信号Cは、図4(b)に示す変換特性によりレンジ圧縮されることとなり、範囲RCに含まれる信号Cについては、適正な70%の明るさの値で信号Eとして出力されることになる。
しかしながら、(目的1)顔の部分202を適正な明るさ(例えば、70%の明るさ)にしつつも、(目的2)空と雲の領域の点204およびその付近の領域の値が飽和するのを防止することは実現できない。
Under this exposure condition 1, the signal value at the position of the point 204 is originally 500% bright, so the signal value is saturated at the time of the signal A (the signal at the point A in FIG. 1, the same applies hereinafter). The image of the signal C digitally converted with respect to the signal A becomes a saturated value for the sky 204 (point 204) portion no matter what the processing is. This is because the value of the range RA shown in the right diagram of FIG. 5 cannot be restored by a later process. Here, a signal of 150% or less (range RB, range RC) with respect to the signal A is A / D converted without being saturated at the same brightness, and converted to a signal C. Thereafter, the signal C is subjected to range compression according to the conversion characteristics shown in FIG. 4B, and the signal C included in the range RC is output as the signal E with an appropriate brightness value of 70%. become.
However, (Purpose 1) The value of the point 204 in the sky and cloud area and the area in the vicinity thereof is saturated while the face portion 202 is set to an appropriate brightness (for example, 70% brightness). It is not possible to prevent this.

(従来技術2)
次に、信号Aを図3における範囲RA(光量150%以上の範囲)において飽和させないように露光量を制限する方法が考えられる。たとえば、前述の露光条件1に、更に撮像装置の光学系の露光量を「1/4」に絞った条件(この露光条件を露光条件2とする)にすることが考えられる。
この場合、図5の点204の信号Aの値は、125%となり最明部に対応する位置の信号Aであっても飽和していない信号を得ることができる。しかしながら、露光条件2で撮影した場合、(目的2)空と雲の部分204(点204)が飽和するのを防止すること、は実現できても、(目的1)顔の点202の明るさ適正な明るさ(例えば、70%の明るさ)とし出力信号Eを得ることができない。
(Prior art 2)
Next, a method of limiting the exposure amount so as not to saturate the signal A in the range RA in FIG. For example, it is conceivable that the above exposure condition 1 is set to a condition in which the exposure amount of the optical system of the imaging apparatus is further reduced to “¼” (this exposure condition is referred to as exposure condition 2).
In this case, the value of the signal A at the point 204 in FIG. 5 is 125%, and a signal that is not saturated can be obtained even if the signal A is at the position corresponding to the brightest part. However, when the image is taken under the exposure condition 2, (object 2) the brightness of the face point 202 can be achieved even though (sky 2) can prevent the sky and cloud portion 204 (point 204) from being saturated. The output signal E cannot be obtained with appropriate brightness (for example, 70% brightness).

(従来技術3)
また、(従来技術2)で説明した露光条件2は、露光量不足の暗いシーンでの撮影をする場合の露光条件と類似の露光条件である。そこで、光量不足の暗いシーンでの撮影をする場合の露光条件で撮影され、取得された画像信号に対して適用される高感度撮影の技術を適用することが考えられる。
図6を用いて、この高感度撮影の際に用いられる電気的な増幅(アナログ信号処理部(GCA)での増幅)により、画像信号を処理する場合(これを「方法3」という。)の信号値の変化について説明する。
画像信号(信号A)において1/4露光(露光条件2)を適用すると、本来500%であった空と雲の部分204が、125%となり飽和しなくなる。図6の棒グラフ(信号B、信号C)(「信号B」は、図1のB点の信号に相当。「信号C」は、図1のC点の信号に相当。以下、同様。)では、増幅回路(CDS)22で4倍に増感される(信号B)ことにより、顔202の部分は所望の70%の明るさに復元されている。しかし、点204の信号値は500のA/D変換部23の入力最大値150%において飽和することになる。したがって、結局、図5の範囲RA(150%以上)に含まれる領域(例えば、飽和した空の部分)の信号は、A/D変換部23に入力される画像信号においては復元することはない。このため、(従来技術3)の方法を用いる場合であっても、(目的1)顔の点202を適正な明るさ(例えば、70%の明るさ)にしつつ、かつ、(目的2)空と雲の部分の点204あるいはその周囲領域の信号が飽和するのを防止することはできない。
(Prior art 3)
Further, the exposure condition 2 described in (Prior Art 2) is an exposure condition similar to the exposure condition in the case of shooting in a dark scene with insufficient exposure. In view of this, it is conceivable to apply a high-sensitivity imaging technique that is applied to an acquired image signal that has been captured under exposure conditions when shooting in a dark scene with insufficient light intensity.
With reference to FIG. 6, when an image signal is processed by electrical amplification (amplification by an analog signal processing unit (GCA)) used at the time of high-sensitivity imaging (this is referred to as “method 3”). A change in the signal value will be described.
When 1/4 exposure (exposure condition 2) is applied to the image signal (signal A), the sky and cloud portion 204, which was originally 500%, becomes 125% and does not become saturated. 6 (signal B, signal C) ("signal B" corresponds to the signal at point B in FIG. 1. "signal C" corresponds to the signal at point C in FIG. 1, and so on). The face 202 is restored to the desired brightness of 70% by being sensitized four times by the amplifier circuit (CDS) 22 (signal B). However, the signal value at the point 204 is saturated at the maximum input value 150% of the 500 A / D converter 23. Therefore, after all, a signal in an area (for example, a saturated sky portion) included in the range RA (150% or more) in FIG. 5 is not restored in the image signal input to the A / D converter 23. . For this reason, even when the method of (Prior Art 3) is used, (Purpose 1) while making the face point 202 appropriate brightness (for example, 70% brightness) and (Purpose 2) Sky It is impossible to prevent saturation of the signal at the cloud point 204 or its surrounding area.

このように、図4の従来の信号処理部90を有する従来の撮像装置では、前述した(従来技術1)〜(従来技術3)のいずれの方法を用いても(目的1)空の点204およびその周辺領域について飽和していない出力を得ること、および、(目的2)範囲RCに含まれる主要被写体付近の明るさを適正な明るさ(70%の明るさ)すること、の両方の目的を両立して解決することはできない。
(撮像装置100の効果)
図7を用いて、同じシーン201における撮像装置100の効果を説明する。
まず、従来技術2の方法および従来技術3の方法と同じく、撮像装置100において信号Aについての明るい部分(点204の空と雲の部分)が飽和しないように、予め露光条件2(絞り値「1/4」)が絞り12に設定される。この設定により最明部である空と雲の領域中の点204について、絞り値「1/4」の露光を適用することで、本来500%であった点204の信号の値は125%の値となり飽和しなくなる。
As described above, in the conventional imaging apparatus having the conventional signal processing unit 90 of FIG. 4, (Empty 1) empty point 204 regardless of the method of (Prior Art 1) to (Prior Art 3) described above. And to obtain an output that is not saturated with respect to the surrounding area and (object 2) to obtain an appropriate brightness (70% brightness) near the main subject included in the range RC. Cannot be solved in a balanced manner.
(Effect of the imaging device 100)
The effect of the imaging device 100 in the same scene 201 will be described using FIG.
First, in the same way as the methods of the conventional technique 2 and the prior art 3, the exposure condition 2 (aperture value “ 1/4 ") is set to the aperture 12. By applying an exposure with an aperture value “1/4” to the point 204 in the sky and cloud region which is the brightest part by this setting, the signal value of the point 204 which was originally 500% is 125%. The value becomes saturated.

次に、信号Aの値125%は、アナログ処理部では増幅されることなく信号値125%のままデジタル信号値(信号Cの信号値)に変換される。この信号Cの値(125%)は、Dレンジ拡大部2002により、乗算処理により4倍にされ(「1/4」の逆数)、値500%である信号Dとなる。
この信号Dの値(500%)は、拡大されたDレンジの範囲に含まれる値であるが図3の変換特性L1を用いて変換され信号E2((信号E2の信号値)=80+20×(500−80)/(600−80))となる。このように、撮像装置100では、(目的1)である最明部の点204(あるいはその周辺の領域)の信号の値が飽和するのを防止することが達成される。
また、顔202の点については、本来70%のレンジ値を有していても、信号Aにおいては17.5%の値になる。信号Aの値(17.5%)は、そのままの値でデジタル信号(信号Cの値にA/D変換される。この信号C(17.5%)は、Dレンジ拡大部2002により4倍され、信号Dの値として70%(=17.5×4)に復元される。信号Dにおいて、70%の値は、変換特性L1の変節点P点(80%)より小さい値であるので、信号DをDレンジ圧縮部2001により変換された信号Eも70%の値として出力される。
Next, the value 125% of the signal A is converted into a digital signal value (signal value of the signal C) without being amplified by the analog processing unit without changing the signal value 125%. The value (125%) of the signal C is quadrupled by multiplication processing by the D range expansion unit 2002 (reciprocal of “1/4”) to become a signal D having a value of 500%.
The value (500%) of the signal D is a value included in the expanded range of the D range, but is converted using the conversion characteristic L1 of FIG. 500-80) / (600-80)). As described above, in the imaging apparatus 100, it is possible to prevent saturation of the signal value of the brightest point 204 (or the surrounding area) which is (Object 1).
Further, the point of the face 202 has a value of 17.5% in the signal A even though it originally has a range value of 70%. The value of signal A (17.5%) is converted into a digital signal (the value of signal C is A / D converted as it is. This signal C (17.5%) is quadrupled by D range expansion unit 2002. Is restored to 70% (= 17.5 × 4) as the value of the signal D. In the signal D, the value of 70% is smaller than the inflection point P (80%) of the conversion characteristic L1. The signal E obtained by converting the signal D by the D range compression unit 2001 is also output as a value of 70%.

つまり、撮像装置100では、(目的2)主要被写体の明るさをほぼ元の適正な明るさ(70%の明るさ)として出力を得ることが可能となる。
上述の通り、第1実施形態の撮像装置100は、あらかじめ絞り12に対して受光量が飽和しないように絞り12の絞り値を減少させる設定をする。その後、アナログからデジタルに変換された後のデジタル信号(信号C)に、種々の処理を行う。
特に、Dレンジ拡大率として、絞り12の絞り値の設定値(1倍、1/2倍、1/4倍)に対して反比例する関係となる値(1倍、2倍、4倍)を設定することにより、本来の露光条件1で取得された値と同じ値を復元する。さらに、この絞り値の値(1倍、1/2倍、1/4倍)に応じて、Dレンジ圧縮変換特性を選択しておくため、拡張されたDレンジ(150%〜1200%)内の信号Dの値についても、階調差をつけながら出力信号Eを得ることができる。
That is, in the imaging apparatus 100, (Purpose 2) It is possible to obtain an output with the brightness of the main subject as the original appropriate brightness (70% brightness).
As described above, the imaging apparatus 100 according to the first embodiment performs the setting for decreasing the aperture value of the aperture 12 in advance so that the amount of received light is not saturated with respect to the aperture 12. Thereafter, various processes are performed on the digital signal (signal C) after being converted from analog to digital.
In particular, as the D range enlargement ratio, values (1 ×, 2 ×, 4 ×) that are inversely proportional to the set values (1 ×, 1/2 ×, 1/4 ×) of the aperture value of the aperture 12 are used. By setting, the same value as the value acquired under the original exposure condition 1 is restored. Furthermore, since the D-range compression conversion characteristic is selected in accordance with the aperture value (1 ×, 1/2 ×, 1/4 ×), it is within the expanded D range (150% to 1200%). As for the value of the signal D, the output signal E can be obtained with a gradation difference.

このように第1実施形態の撮像装置100によれば、(目的1)空や雲の領域の点のように明るい領域であっても飽和するのを防止すること、および、(目的2)顔の位置の点の明るさとして適切な明るさの出力を得ること、の両方の目的を満たす画像データを得る撮像装置を実現することができる。
<変形例1>
上述の実施形態では、事前に予め設定した絞りの量(露光量)に応じた値によりDレンジ圧縮部変換特性L0〜Lmaxを選択するとした。ここで、Dレンジ圧縮部2001は、画像全体の信号Dの最大値に応じてDレンジ圧縮特性Lnを選択するとしてもよい(変形例1)。
図8に、この変形例1の信号処理部31’の構成を示す。図8において、上述の実施形態と同じ処理部については同一の参照符号を用いる。この変形例1の信号処理部31’は、パラメータ決定部800を有する点のみが図2の信号処理部31と異なる。
As described above, according to the imaging apparatus 100 of the first embodiment, (Purpose 1) prevents saturation even in a bright region such as a point of a sky or a cloud region, and (Purpose 2) a face. It is possible to realize an imaging device that obtains image data that satisfies both purposes of obtaining an output with appropriate brightness as the brightness of the point at the position.
<Modification 1>
In the above-described embodiment, the D-range compression unit conversion characteristics L0 to Lmax are selected based on a value corresponding to an aperture amount (exposure amount) set in advance. Here, the D range compression unit 2001 may select the D range compression characteristic Ln according to the maximum value of the signal D of the entire image (Modification 1).
FIG. 8 shows the configuration of the signal processing unit 31 ′ of the first modification. In FIG. 8, the same reference numerals are used for the same processing units as those in the above-described embodiment. The signal processing unit 31 ′ of the first modification is different from the signal processing unit 31 of FIG. 2 only in that the parameter determination unit 800 is included.

パラメータ決定部800は、ピーク検出部802を含み構成される。
まず、ピーク検出部802は、Dレンジ拡大処理部2000のレジスタ2004の保持する信号の値Dを1枚の画像分入力し、この1枚分の画像データのうち最大値(最明部の値)を抽出する。
さらに、抽出された最大値に対応する、変換特性を設定するためのパラメータMLnをDレンジ圧縮部2001に対し出力する。例えば、所定の画像全体についての最大値が500%の値である場合に、選択パラメータML2を出力する。
Dレンジ圧縮部2001は、パラメータ決定部800から出力された選択パラメータMLnに応じて、図9に示す対応する変換特性Ln(図中L2)を選択する。
図10を用いて、変形例1の効果について前述のシーンを用いて説明する。
The parameter determination unit 800 includes a peak detection unit 802.
First, the peak detection unit 802 inputs the value D of the signal held in the register 2004 of the D range expansion processing unit 2000 for one image, and the maximum value (the value of the brightest part) among the image data for this one sheet. ).
Further, the parameter MLn for setting the conversion characteristic corresponding to the extracted maximum value is output to the D-range compression unit 2001. For example, when the maximum value for the entire predetermined image is 500%, the selection parameter ML2 is output.
The D range compression unit 2001 selects the corresponding conversion characteristic Ln (L2 in the figure) shown in FIG. 9 according to the selection parameter MLn output from the parameter determination unit 800.
The effect of the modification 1 is demonstrated using the above-mentioned scene using FIG.

最明部の空と雲204に対応する信号Dについては、値500%が出力される点までは、第1実施形態と同じである。
ここで、パラメータ決定部800は、複数の信号Dにより形成される1枚の画像データ(1フレーム分の画像データ)の最大値として500%を抽出し、パラメータML2を出力する。そして、このML2に応じて、Dレンジ圧縮部2001は、変換特性としてL2を選択し、レジスタ2004に保持された信号Dについて、L2を用いて変換して出力する。
ここで、信号Dの最明部の値500%は、入力レンジの最大値が500%である変換特性L2を用いて変換されるされる。よって、画像中の最大値500%の信号Dについては、信号Eの値として100%が出力される。前述の構成では、最大値である空と雲の領域の信号D(500%)については、信号Eの出力値は100%の値より小さく(80+20×(500−80)/(600−80)))変換されてしまうが、変形例1の図8の構成によれば、前述の(目的1)および(目的2)を実現するとともに、画像全体のピーク値が100%となる出力を得ることができる。
About the signal D corresponding to the sky and the cloud 204 of the brightest part, it is the same as that of 1st Embodiment until the value 500% is output.
Here, the parameter determination unit 800 extracts 500% as the maximum value of one piece of image data (image data for one frame) formed by the plurality of signals D, and outputs the parameter ML2. Then, according to this ML2, the D range compression unit 2001 selects L2 as the conversion characteristic, converts the signal D held in the register 2004 using L2, and outputs it.
Here, the value 500% of the brightest part of the signal D is converted using the conversion characteristic L2 having the maximum value of the input range of 500%. Therefore, for the signal D having the maximum value of 500% in the image, 100% is output as the value of the signal E. In the above configuration, for the signal D (500%) in the sky and cloud region which is the maximum value, the output value of the signal E is smaller than the value of 100% (80 + 20 × (500-80) / (600-80) )) Although converted, according to the configuration of FIG. 8 of the first modification, the above-described (Object 1) and (Object 2) are realized, and an output in which the peak value of the entire image is 100% is obtained. Can do.

尚、パラメータ決定部800が抽出した画像データのための変換特性を同一の画像データの変換に適用するために、タイミング調整をおこなってもよい。例えば、1画面分の遅延器をDレンジ圧縮部2001の前に設けるようにしてもよい。
<変形例2>
更に、変形例1におけるパラメータ決定部800が検出した画像全体のピーク値に応じて、絞り部12に対して絞り量を設定すると共にDレンジ拡大率を設定するようにしてもよい(変形例2)。
変形例1では、絞り12に対する絞り値として、予め何らかの別の手段により設定された値(例えば「1/4」)を用いていた。そのため、前述のシーン201では最明部の信号Aの値は、撮像部13に保持される(撮像部13から出力される)信号Aの時点でレンジの最大値150%までを使うことはない(値125%までのレンジを使用している。)。これは、撮像タイミングのシーンに対してA/D変換の入力最大値(量子化精度)を十分活用せずに、デジタル信号Cを得ていることになる。
Note that timing adjustment may be performed in order to apply the conversion characteristics for the image data extracted by the parameter determination unit 800 to the conversion of the same image data. For example, a delay device for one screen may be provided in front of the D range compression unit 2001.
<Modification 2>
Furthermore, in accordance with the peak value of the entire image detected by the parameter determination unit 800 in the first modification, the diaphragm amount may be set for the diaphragm unit 12 and the D range expansion ratio may be set (modification 2). ).
In the first modification, a value (for example, “1/4”) set in advance by some other means is used as the aperture value for the aperture 12. Therefore, in the scene 201 described above, the value of the signal A in the brightest part does not use the maximum value of 150% of the range at the time of the signal A held in the imaging unit 13 (output from the imaging unit 13). (The range up to 125% is used.) This means that the digital signal C is obtained without fully utilizing the maximum input value (quantization accuracy) of A / D conversion for the scene at the imaging timing.

そこで、信号Dのピーク値が入力値のレンジの最大値になるよう絞り値を拡大し、露光量を増加させることにより、A/D変換部23の精度を有効に活用することができる。
図11に、この変形例2における信号処理部31’’の構成を示す。
ピーク検出部802’は、変形例1と同様に信号Dのピーク値に応じて変換特性L2を選択する信号(ML2)を出力する。
さらに、この変形例2のピーク検出部802’は、図11に示すように、光学系1の絞り量を制御するための設定信号X1と、Dレンジ拡大処理部に対しDレンジ拡大率の設定信号X2とを出力する。
まず、絞り12に対する設定信号X1は、信号Dのピーク値500%がA/D変換の入力最大値150%となるように絞り12を制御する信号((X1の信号値)=150/500(=0.3))である。
Therefore, the accuracy of the A / D converter 23 can be effectively utilized by increasing the aperture value so that the peak value of the signal D becomes the maximum value of the input value range and increasing the exposure amount.
FIG. 11 shows the configuration of the signal processing unit 31 ″ in the second modification.
The peak detection unit 802 ′ outputs a signal (ML2) for selecting the conversion characteristic L2 according to the peak value of the signal D as in the first modification.
Further, as shown in FIG. 11, the peak detection unit 802 ′ of the second modified example sets the setting signal X1 for controlling the aperture amount of the optical system 1 and the setting of the D range expansion ratio for the D range expansion processing unit. The signal X2 is output.
First, the setting signal X1 for the diaphragm 12 is a signal for controlling the diaphragm 12 so that the peak value 500% of the signal D becomes 150% of the maximum input value of A / D conversion ((signal value of X1) = 150/500 ( = 0.3)).

なお、図1に示すように、設定信号X1は、制御部34に入力され、制御部34が設定信号X1に基づいて、絞り12を制御するようにしてもよい。
また、設定信号X2は、絞りの量の逆数である500/150を、Dレンジ拡大率として設定するための信号である。即ち、X1とX2とは相反する量を用いて決定された値が用いられる。尚、設定信号X2は、ピーク値そのものであってもよいし、Dレンジ拡大率そのものであってもよい。
図12は、変形例2の効果を説明するものである。
この変形例2では、画像ピーク値(500%)は変更されないが、絞り12の絞り量(150/500)として大きくなった値が設定されるため、信号Aの値にA/D変換の入力最大値100%まで利用することができる。即ち、変形例2の撮像装置100では、変形例1の絞り12に予め1/4に設定した場合に比して、絞り値と拡大率との関係が改善されることにより、アナログ信号のピークの値がA/D変換の入力最大レンジ値となるため、A/D変換の量子化精度を最大限利用することができる。
As shown in FIG. 1, the setting signal X1 may be input to the control unit 34, and the control unit 34 may control the diaphragm 12 based on the setting signal X1.
The setting signal X2 is a signal for setting 500/150, which is the reciprocal of the aperture amount, as the D range expansion rate. In other words, X1 and X2 are values determined by using opposite amounts. The setting signal X2 may be the peak value itself or the D range expansion rate itself.
FIG. 12 illustrates the effect of the second modification.
In the second modification, the image peak value (500%) is not changed, but since a larger value is set as the aperture amount (150/500) of the aperture 12, A / D conversion is input to the value of the signal A. The maximum value can be used up to 100%. That is, in the imaging apparatus 100 according to the second modification, the peak of the analog signal is improved by improving the relationship between the aperture value and the enlargement ratio as compared with the case where the diaphragm 12 according to the first modification is previously set to ¼. Since this value becomes the maximum input range value of A / D conversion, the quantization accuracy of A / D conversion can be utilized to the maximum.

<変形例3>
パラメータ決定部800は、変形例2のように画像全体の最大値を基準とするのではなく、一部の所定の領域(主要被写体領域)の代表値を基準としてDレンジ拡大率または絞りの絞り値(前述と同様、露光量の調整値を含む。)を導出するとしてもよい。さらに、撮像装置100において、この一部の領域の画像信号の代表値Fが一定の基準値になるように、絞り12の絞り量、または、Dレンジ拡大率を調整する構成としてもよい。
前述の第1実施形態1、変形例1、並びに変形例2に示したある時刻tkにおいて、この所定領域についての信号Dの最大値が70%の値が出力されるように絞り部12の絞り(3/10)またはDレンジ拡大率(10/3)が予め設定されていたとしても、時刻tkの後の撮像タイミングで、被写体周辺の光の差し具合等の変換により、所定の領域(例えば、被写体領域)の出力値が目標値の70%付近になるとは限らない。このような場合に適応させるために、変形例3の構成を用いることが有効である。
<Modification 3>
The parameter determination unit 800 does not use the maximum value of the entire image as a reference as in the second modification, but uses the D range enlargement ratio or aperture stop based on the representative values of some predetermined areas (main subject areas). A value (including the exposure adjustment value as described above) may be derived. Further, the imaging apparatus 100 may be configured to adjust the aperture amount of the aperture 12 or the D range expansion rate so that the representative value F of the image signal of this partial region becomes a constant reference value.
At a certain time tk shown in the first embodiment 1, the first modification, and the second modification, the aperture of the aperture unit 12 is output so that the maximum value of the signal D for this predetermined region is 70%. Even if (3/10) or the D range enlargement ratio (10/3) is set in advance, a predetermined region (for example, by changing the condition of light around the subject at the imaging timing after the time tk, for example) , Subject area) output value is not necessarily around 70% of the target value. In order to adapt to such a case, it is effective to use the configuration of Modification 3.

図13を用いて、この変形例3の構成を説明する。
図13に示すように、パラメータ決定部800’’’は、1枚の画像データ(1フレーム分の画像データ)におけるの所定の領域についての代表値(F1)を導出する代表値検出部1201を備える。ここで、所定の領域は事前に設定された画像の中央の領域である。尚、この所定の領域は、ユーザが指定した被写体を囲む領域であってもよい。この例では、代表値F1として、この所定の領域に含まれる画素位置に対応する信号Dの最大値が導出される。
代表値検出部1201は、この所定のタイミングで導出された代表値F1が、以降のタイミングで目標値に維持されるように、(A)光学系の絞り量の設定信号X1、または、(B)Dレンジ拡大部2002への設定信号X2のいずれかを出力する。
The configuration of the third modification will be described with reference to FIG.
As shown in FIG. 13, the parameter determination unit 800 ′ ″ includes a representative value detection unit 1201 for deriving a representative value (F1) for a predetermined area in one piece of image data (image data for one frame). Prepare. Here, the predetermined area is a central area of the image set in advance. The predetermined area may be an area surrounding the subject specified by the user. In this example, the maximum value of the signal D corresponding to the pixel position included in this predetermined region is derived as the representative value F1.
The representative value detection unit 1201 (A) the aperture value setting signal X1 of the optical system or (B so that the representative value F1 derived at the predetermined timing is maintained at the target value at the subsequent timing. ) One of the setting signals X2 to the D range expansion unit 2002 is output.

ピーク検出部802は、1枚の画像全体のピーク値(P)に応じてDレンジ圧縮部2001において変換特性Lxを選択させるためのパラメータMLxを出力する。
(変形例3の効果)
図14を用いて、上述と同様のシーン201を用いて、変形例3の撮像装置100の動作と効果を説明する。
代表値検出部1201は、前述の通り、所定のタイミングにおいて、所定の領域について代表値70%を抽出しているとする。時刻tkのDレンジ拡大率には「10/3」が設定されている。また、絞り値には「3/10」が設定されている。
代表値検出部1201は、所定のタイミング時刻tnで撮像された画像データの中央領域(領域203)の代表値を導出する。具体的には、代表値50%が得られたとする。
The peak detection unit 802 outputs a parameter MLx for causing the D range compression unit 2001 to select the conversion characteristic Lx according to the peak value (P) of the entire image.
(Effect of Modification 3)
The operation and effect of the imaging apparatus 100 according to the third modification will be described with reference to FIG. 14 using the same scene 201 as described above.
As described above, it is assumed that the representative value detection unit 1201 extracts a representative value of 70% for a predetermined region at a predetermined timing. “10/3” is set as the D range expansion rate at time tk. The aperture value is set to “3/10”.
The representative value detection unit 1201 derives a representative value of the central region (region 203) of image data captured at a predetermined timing time tn. Specifically, it is assumed that a representative value of 50% is obtained.

この代表値50%が、時刻tn+1における撮像データ(信号D)の同一領域において、目標とする適正値(目標値70%)として出力されるように、代表値検出部1201は、設定信号X1または設定信号X2のいずれかを出力する。
出力信号がX1である場合:
(A)光学系の絞り量の設定信号である場合、代表値検出部1201は、時刻tnの絞りの量の「70/50」倍となる絞り量を、新たに設定するための信号X1を設定する。
出力信号がX2である場合:
(B)Dレンジ拡大部2002への設定信号である場合、代表値検出部1201は、時刻t1のDレンジ拡大率の「70/50」倍となるDレンジ拡大率を設定するための信号X2をDレンジ拡大部2002へ出力する。
The representative value detection unit 1201 outputs the setting signal X1 or the representative value 501 so that the representative value 50% is output as a target appropriate value (target value 70%) in the same region of the imaging data (signal D) at time tn + 1. One of the setting signals X2 is output.
When the output signal is X1:
(A) In the case of an aperture setting signal for the optical system, the representative value detection unit 1201 generates a signal X1 for newly setting an aperture amount that is “70/50” times the aperture amount at time tn. Set.
When the output signal is X2:
(B) In the case of a setting signal for the D range expansion unit 2002, the representative value detection unit 1201 sets a D range expansion rate that is “70/50” times the D range expansion rate at time t1. Is output to the D range enlargement unit 2002.

図14の例では、(B)設定信号X2として、新たなDレンジ拡大率として「10/3×70/50」が選択されるように出力される例を示している。
この場合、時刻tn+1で取得された撮像データの中央領域の最大値(代表値検出部1201の出力)は、信号Aおよび信号Cにおいては、15%のままであるが、時刻tnのデータに基づいて更新されたDレンジ拡大率により15%×(10/3×70/50)=70%が信号Dの値として出力される。また、画像データ全体は時刻tnで取得された画像全体の信号Dのピーク値により、所定の変換特性Ln2により変換される。
この構成により、所定の領域の代表値が目標値70%の値に近づくよう維持される。したがって、例えば、連続する画像データ(動画像等)を保持する場合に、所定の領域の明度が、急峻に変化することなく追従することができる。
In the example of FIG. 14, (B) an example is output in which “10/3 × 70/50” is selected as the new D range expansion rate as the setting signal X2.
In this case, the maximum value (output of the representative value detection unit 1201) of the central region of the imaging data acquired at time tn + 1 remains 15% in the signal A and the signal C, but is based on the data at the time tn. Thus, 15% × (10/3 × 70/50) = 70% is output as the value of the signal D by the updated D range expansion rate. Further, the entire image data is converted by a predetermined conversion characteristic Ln2 based on the peak value of the signal D of the entire image acquired at time tn.
With this configuration, the representative value of the predetermined area is maintained so as to approach the target value of 70%. Therefore, for example, when continuous image data (moving image or the like) is held, it is possible to follow the brightness of the predetermined region without abrupt change.

また、図示しなかったがDレンジ圧縮に使われる変換特性は、画像全体の信号Dの最大値(P)に応じて決定される特性により圧縮するため、最明部の領域の信号ついてもその出力(信号E)が飽和することはない。
ここで、変形例3で、上述の(B)の場合、つまり、Dレンジ拡大率を更新する信号X2を生成することにした場合は、絞り12の機械的な設定遅延を生じずに、所定の領域(中央領域)の代表値(明るさ)が目標出力値70%となる出力信号Eを得ることができる。
また、逆に、この変形例3において、上述の(A)の場合、つまり、光学系の絞り量を変更する信号を生成することにした場合の信号A〜Eの変化を図15に示す。
この場合は、被写体の領域付近(上述の例では、領域203)において、撮像部13に蓄積されるアナログ信号Aの値が、新たな時刻のシーン(tn、tn+1)において、減少されているものの、変形例3の撮像装置では、時刻tn+1で、この撮像装置の露光量を、適切な(本来あるべき)露光量21%に設定することができる。これにより、変形例3の撮像装置では、撮像装置全体の系として、被写体を中心にした適切な露光量とDレンジ拡大率とが設定されることになる。
Although not shown, the conversion characteristic used for D range compression is compressed according to the characteristic determined according to the maximum value (P) of the signal D of the entire image. The output (signal E) is never saturated.
Here, in the third modification, in the case of (B) described above, that is, when the signal X2 for updating the D range expansion rate is to be generated, the predetermined setting without causing a mechanical setting delay of the diaphragm 12 is performed. An output signal E in which the representative value (brightness) of the area (center area) becomes the target output value 70% can be obtained.
On the other hand, FIG. 15 shows changes in the signals A to E in the case of the above-described modification (A), that is, when a signal for changing the aperture amount of the optical system is generated in the third modification.
In this case, although the value of the analog signal A accumulated in the imaging unit 13 is decreased in the scene (tn, tn + 1) at the new time in the vicinity of the subject area (the area 203 in the above example). In the imaging apparatus of the third modification, the exposure amount of the imaging apparatus can be set to an appropriate (should be) 21% exposure at time tn + 1. As a result, in the imaging apparatus according to the third modification, an appropriate exposure amount and a D range expansion ratio centered on the subject are set as a system of the entire imaging apparatus.

尚、上述の説明では、代表値として所定の領域の信号Dにおける最大値を用いたが、目標とする指標(一部の所定領域の特徴量として適切な指標)に応じて、平均値、中央値、間引かれた値等を用いても良い。
<1.4:撮像方法>
また、第1実施形態(変形例1〜3を含む。以下、同様。)の撮像装置100および信号処理部31、31’、31’’または31’’’は、各種処理部を用いた一連の処理順からなる方法として実現されてもよい。
図16に示すフローチャートを用いて、本発明の第1実施形態の撮像方法(撮像装置100に用いられる撮像方法)における動作手順を説明する。
第1実施形態の撮像方法は、図示しない露出計の測定値または、ライブビューなどのために撮影した直前のシーン中の最明部の値から、撮影シーンのハイライトの部分が飽和しないよう撮像部(イメージセンサ)13への露光条件を設定する(S100)。
In the above description, the maximum value in the signal D of the predetermined area is used as the representative value. However, depending on the target index (appropriate index as the characteristic amount of some predetermined areas), the average value, the center A value, a thinned value, or the like may be used.
<1.4: Imaging method>
In addition, the imaging apparatus 100 and the signal processing units 31, 31 ′, 31 ″, or 31 ′ ″ of the first embodiment (including modification examples 1 to 3, the same applies hereinafter) are a series using various processing units. It may be realized as a method consisting of the following processing order.
The operation procedure in the imaging method (imaging method used in the imaging apparatus 100) of the first embodiment of the present invention will be described using the flowchart shown in FIG.
The imaging method according to the first embodiment performs imaging so that the highlight portion of the shooting scene does not saturate from the measured value of an exposure meter (not shown) or the value of the brightest part in the scene immediately before shooting for live view or the like. The exposure conditions for the part (image sensor) 13 are set (S100).

次に、上記露光条件により撮影された撮像信号(画像信号)を撮像部(イメージセンサ)13から得る(S101)。
次に、A/D変換部23により上記撮像信号(画像信号)をデジタルの画像データに変換する(S102)。
次に、Dレンジ拡大部2002により、Dレンジ拡大処理と増感を同時に行なうことにより、主要被写体が所望の明るさ(例えば、70%の明るさ)になるように、線形的にDレンジを拡大する(S103)。
次に、撮影シーンの最明部のレベルに応じた変換特性により、拡大されたDレンジが所定のDレンジになるよう圧縮(Dレンジ圧縮)する(S104)。
このようにS100からS104までのステップで処理することにより、予め減少されて設定された露光量によっても主要被写体の部分が画像データとして所望の明るさになるよう復元しつつ、かつ、ハイライト部分が飽和しないで階調を保存できる撮像方法が実現できる。
Next, an imaging signal (image signal) photographed under the above exposure conditions is obtained from the imaging unit (image sensor) 13 (S101).
Next, the A / D conversion unit 23 converts the imaging signal (image signal) into digital image data (S102).
Next, the D range expansion unit 2002 linearly adjusts the D range so that the main subject has a desired brightness (for example, 70% brightness) by simultaneously performing the D range expansion process and the sensitization. Enlarge (S103).
Next, compression (D range compression) is performed so that the enlarged D range becomes a predetermined D range by using conversion characteristics according to the level of the brightest part of the shooting scene (S104).
By performing the processing in steps S100 to S104 in this way, the highlight portion is restored while the main subject portion is restored to the desired brightness as image data even with the exposure amount reduced and set in advance. An imaging method that can preserve gradation without saturation is realized.

また、本実施形態の撮像装置および撮像方法は、従来、光量が不足しない明るいシーンでは必要がないため実施されてこなかった(電気的な)、増幅を、あえて絞り量やシャッタ速度を調整することにより露光量を減じた上で、かつ、Dレンジ拡張処理と合わせて実施することにより本発明特有の効果を発揮するものである。
つまり、本発明は、従来、暗いシーンを撮影する場合に不利になると考えられていた露光条件に敢えて設定し、撮像部13により取得した画像信号をA/D変換した後で、デジタル処理によりDレンジ拡張することを行う。これにより、主要被写体部分をデジタルデータとしては所望の明るさにし、かつ、ハイライト部分あるいはハイライト付近の階調であっても飽和させない画像信号を取得することができる。
なお、本実施形態では、光学系1は撮像部13への露光量を制御できるものであれば、その構成は問わない。例えば、撮像レンズ11は1枚の構成としたが実際には複数枚のレンズ組でもよい。
In addition, the image pickup apparatus and the image pickup method of the present embodiment have not been performed because they are not necessary in a bright scene where the amount of light is not short (electrical), and the amplification and the aperture amount are intentionally adjusted. In this way, the effects specific to the present invention can be achieved by reducing the exposure amount and performing the process together with the D range expansion process.
That is, the present invention dares to set exposure conditions that are conventionally considered to be disadvantageous when shooting dark scenes, A / D converts the image signal acquired by the imaging unit 13, and then performs digital processing to perform D processing. Perform range expansion. As a result, it is possible to obtain an image signal in which the main subject portion has a desired brightness as digital data and is not saturated even in the gradation portion near the highlight portion or the highlight portion.
In the present embodiment, the configuration of the optical system 1 is not limited as long as the exposure amount to the imaging unit 13 can be controlled. For example, although the imaging lens 11 has a single configuration, it may actually be a plurality of lens sets.

また、図示していないシャッタは、メカニカルシャッタおよび、撮像部(イメージセンサ)13の駆動タイミングにより光量を調節する電子シャッタのいずれでも良い。
また、A/D変換部23は、アナログ信号処理部2と独立した構成あるいはデジタル信号処理部3に含まれる構成でもよい。
また、撮像部(イメージセンサ)13は、CMOS方式など他の方式でもよく、その構成も、単板構成だけでなく3板構成でもよい。
また、Dレンジ拡大部2002は、デジタルで線形にDレンジ拡大できるものなら乗算器に限るものではなく、例えば、Dレンジ拡大率が最大8であるときは、入力値の精度より出力値の精度が3ビット高いLUT(ルックアップテーブル)などを用いるものであっても良い。また、Dレンジ拡大率が2のべき乗で表されるときはシフタ(ビットシフタ)を用いるものであってもよい。
The shutter (not shown) may be either a mechanical shutter or an electronic shutter that adjusts the amount of light according to the drive timing of the imaging unit (image sensor) 13.
Further, the A / D converter 23 may be configured independently of the analog signal processor 2 or included in the digital signal processor 3.
In addition, the imaging unit (image sensor) 13 may be of another type such as a CMOS type, and the configuration may be not only a single plate configuration but also a three plate configuration.
The D range expansion unit 2002 is not limited to a multiplier as long as the D range expansion can be performed digitally and linearly. For example, when the D range expansion ratio is 8 at the maximum, the accuracy of the output value is higher than the accuracy of the input value. May use a LUT (look-up table) 3 bits higher. Further, when the D range expansion ratio is expressed by a power of 2, a shifter (bit shifter) may be used.

また、Dレンジ圧縮部2001は、80%以下の明るさに相当する信号値については、Dレンジ圧縮せず80%以上の明るさに相当する信号値のみを圧縮するものとしたが、この形状に限定されるものではなく、入力値の最大値に応じて変化する圧縮特性によって変換するものであれば、どのようなDレンジ圧縮特性によりDレンジ圧縮を行うものであってもよい。
例えば、信号Dについて20%以下の入力値については、階調差を小さくするような変換であっても良い。変換特性は、被写体主要部付近のレンジの階調差を保つ、または、協調するように設定されることが望ましい。
また、変形例2において、撮影シーンの最明部の明るさを撮像部(イメージセンサ)13のDレンジ一杯(撮像部33から出力される画像信号の信号値のとり得る最大値)に一致させるようにDレンジ拡大処理を行う場合について説明したが、これに限定されることなく、撮像部13のDレンジに余裕を設けるようにしても良いし、実質画質劣化と認められない程度の飽和を許すように最明部の明るさと撮像部33のDレンジとの関係を設定しても良い。
The D range compression unit 2001 compresses only the signal value corresponding to the brightness of 80% or more without compressing the D range for the signal value corresponding to the brightness of 80% or less. The D range compression may be performed by any D range compression characteristic as long as the conversion is performed by the compression characteristic that changes in accordance with the maximum value of the input value.
For example, an input value of 20% or less for the signal D may be converted so as to reduce the gradation difference. It is desirable that the conversion characteristics are set so as to maintain or cooperate with a gradation difference in the range near the main part of the subject.
In the second modification, the brightness of the brightest part of the shooting scene is made to match the full D range of the imaging unit (image sensor) 13 (the maximum value that the signal value of the image signal output from the imaging unit 33 can take). As described above, the case where the D range enlargement process is performed has been described. However, the present invention is not limited to this, and a margin may be provided in the D range of the imaging unit 13 or saturation that is not recognized as substantial image quality degradation. The relationship between the brightness of the brightest part and the D range of the imaging unit 33 may be set so as to allow.

また、Dレンジ圧縮部2001は、必ずしもピーク検出部802の出力により設定しなくてもよく、前述の露光量補正値を撮像部(イメージセンサ)13の最大Dレンジに乗ずることにより概略値を求めることが出来、その値をDレンジ圧縮部316に設定するようにしてもよい。
[第2実施形態]
本発明の第2実施形態に係る撮像装置(カメラ)について以下説明する。
<2.1:撮像装置の構成>
本実施形態の撮像装置は、第1実施形態の撮像装置100の信号処理部31を、図17に示す信号処理部31Aに置換したもので、それ以外については、第1実施形態の撮像装置100と同様である。本実施形態の撮像装置において、第1実施形態に係る撮像装置100と同様の部分については、同じ符号を付し、説明を省略する。
The D range compression unit 2001 does not necessarily need to be set by the output of the peak detection unit 802, and obtains an approximate value by multiplying the exposure amount correction value described above by the maximum D range of the imaging unit (image sensor) 13. The value may be set in the D-range compression unit 316.
[Second Embodiment]
An imaging apparatus (camera) according to the second embodiment of the present invention will be described below.
<2.1: Configuration of imaging apparatus>
The imaging apparatus according to the present embodiment is obtained by replacing the signal processing unit 31 of the imaging apparatus 100 according to the first embodiment with a signal processing unit 31A illustrated in FIG. 17. Otherwise, the imaging apparatus 100 according to the first embodiment. It is the same. In the imaging apparatus of the present embodiment, the same parts as those of the imaging apparatus 100 according to the first embodiment are denoted by the same reference numerals, and description thereof is omitted.

図17に、本実施形態の信号処理部31Aの構成を示す。
図17に示すように、信号処理部31Aは、第1実施形態に係る信号処理部31に、さらに、顔検出部(特徴画像領域検出部)1701と明度検出部1702を追加した構成となっている。信号処理部31Aにおいて、信号処理部31と同様の機能ブロック(図2と同じ番号を付した機能ブロック)については、説明を省略する。
顔検出部1701は、画像データ(画像信号)から形成される画像中の特徴量を解析し人間の顔の部分を検出し、画像上における、その座標や顔の範囲についての情報を明度検出部に出力する。
明度検出部1702は、顔検出部1701が出力する、画像上の顔の座標や顔の範囲の情報を用いて、その明度を検出する。
FIG. 17 shows a configuration of the signal processing unit 31A of the present embodiment.
As illustrated in FIG. 17, the signal processing unit 31A has a configuration in which a face detection unit (feature image region detection unit) 1701 and a lightness detection unit 1702 are further added to the signal processing unit 31 according to the first embodiment. Yes. In the signal processing unit 31A, description of functional blocks similar to those of the signal processing unit 31 (functional blocks with the same numbers as those in FIG. 2) is omitted.
The face detection unit 1701 analyzes a feature amount in an image formed from image data (image signal) to detect a human face portion, and information on the coordinates and the range of the face on the image is a lightness detection unit. Output to.
The lightness detection unit 1702 detects the lightness by using the information on the face coordinates and face range on the image output from the face detection unit 1701.

Dレンジ拡大部2002は、明度検出部1702からの出力および第1信号処理部311Aから出力される画像信号を入力とし、明度検出部1702が出力する顔の明度が適正な明度になるように、画像信号に対してDレンジ拡大処理を行う。
<2.2:撮像装置の動作>
次に、本実施形態に係る撮像装置の動作について、前述の図12を用いて説明する。
各部のDレンジについては第1実施形態と同様である場合について説明する。このため、図8も用いて説明する。
撮影シーンは前述と同じものとして説明する。第1実施形態では、顔などの主要被写体の部分202が撮像シーン201中央の主要被写体エリア203付近に存在するということを仮定して処理を行う撮像装置100について説明した。第1実施形態の撮像装置では、常に最適条件で処理することは難しい。本実施形態では、上記仮定を必要とせず、常に最適な条件で処理を実行することができる撮像装置について説明する。具体的には、本実施形態の撮像装置では、露光制御において、撮像シーン201中の最明部の値のみに基づいた露光制御を行う。
The D range expansion unit 2002 receives the output from the lightness detection unit 1702 and the image signal output from the first signal processing unit 311A as input, so that the lightness of the face output by the lightness detection unit 1702 becomes an appropriate lightness. D range expansion processing is performed on the image signal.
<2.2: Operation of Imaging Device>
Next, the operation of the imaging apparatus according to the present embodiment will be described with reference to FIG.
The case where the D range of each part is the same as in the first embodiment will be described. Therefore, the description will be made with reference to FIG.
The shooting scene will be described as being the same as described above. In the first embodiment, the imaging apparatus 100 that performs processing on the assumption that the main subject portion 202 such as the face exists in the vicinity of the main subject area 203 in the center of the imaging scene 201 has been described. In the imaging apparatus according to the first embodiment, it is difficult to always perform processing under optimum conditions. In the present embodiment, an imaging apparatus that does not require the above assumption and can always execute processing under optimum conditions will be described. Specifically, in the imaging apparatus of the present embodiment, the exposure control based on only the value of the brightest part in the imaging scene 201 is performed in the exposure control.

以下、本実施形態の撮像装置の詳細について説明する。
制御部34は、図示しない露出計の測定値または、ライブビューなどのために撮像部(イメージセンサ)13で撮影し取得した直前のシーン中の最明部の値(空と雲の部分204に含まれる最明部の値)から、撮影する画像被写体シーンのハイライト部分が撮像部(イメージセンサ)13で飽和しないように露光量AP1を計算する。そして、実際の露光量の制御(絞り量とシャッタ速度の制御)は、露光量AP1を用いて行う。したがって、最明部である空と雲の部分204は、150%の明るさになるため、撮像部(イメージセンサ)13で飽和することはなく、撮像部13で取得される画像信号において信号値が飽和することはない。また、本実施形態の撮像装置において、この露光量AP1を用いて撮影すると人物の顔の部分202は、第1実施形態の場合と同様に、21%の明るさになる。
Hereinafter, details of the imaging apparatus of the present embodiment will be described.
The control unit 34 measures the value of an exposure meter (not shown) or the value of the brightest part in the scene immediately before being captured and acquired by the imaging unit (image sensor) 13 for live view or the like (in the sky and cloud part 204). Based on the value of the brightest part included, the exposure amount AP1 is calculated so that the highlight portion of the image subject scene to be photographed is not saturated by the image pickup unit (image sensor) 13. Then, the actual exposure amount control (aperture amount and shutter speed control) is performed using the exposure amount AP1. Therefore, the sky and cloud part 204 that is the brightest part has a brightness of 150%, and therefore does not saturate in the imaging unit (image sensor) 13, and the signal value in the image signal acquired by the imaging unit 13 Never saturates. Further, in the image pickup apparatus of the present embodiment, when photographing is performed using the exposure amount AP1, the human face portion 202 has 21% brightness as in the case of the first embodiment.

顔検出部318は、A/D変換された画像データ(画像信号)が形成する画像を解析することにより、人間の顔の部分を検出し顔領域の画像上の座標を取得する。顔検出部318は、取得した顔領域の画像上の座標に関する情報を明度検出部319に出力する。
明度検出部319は、顔検出部318から出力された顔領域の画像上の座標をもとに、画像データ(画像信号)が形成する画像中の顔領域の平均明度を求める。この際、顔検出部318は、顔領域に含まれる髪や目など肌でない部分を除いて、顔領域の平均明度(この平均明度を「顔明度」とし、ここでは21%の明るさであるものとする)を求める。そして、明度検出部319は、顔明度を適正な明るさである70%の明るさにするDレンジ拡大率(70%/21%=3.33)を求め、Dレンジ拡大部2002に設定する。
Dレンジ拡大部2002は、明度検出部319により設定されたDレンジ拡大率に基づいて、画像信号に対してDレンジ拡大処理を行う。つまり、主要被写体202が21%×10/3=70%の明るさになり、空と雲の部分204が150%×10/3=500%の明るさになるように、画像信号に対してDレンジ拡大処理が、Dレンジ拡大部2002により実行される。そして、Dレンジ拡大部2002は、Dレンジ拡大処理した画像信号をレジスタ2004に出力する。
The face detection unit 318 analyzes the image formed by the A / D converted image data (image signal), thereby detecting a human face part and acquiring the coordinates of the face region on the image. The face detection unit 318 outputs information on the acquired coordinates of the face region on the image to the brightness detection unit 319.
The brightness detection unit 319 obtains the average brightness of the face area in the image formed by the image data (image signal) based on the coordinates on the image of the face area output from the face detection unit 318. At this time, the face detection unit 318 excludes non-skin portions such as hair and eyes contained in the face area, and sets the average brightness of the face area (this average brightness is “face brightness”, which is 21% brightness here). Suppose). Then, the lightness detection unit 319 obtains a D range expansion ratio (70% / 21% = 3.33) that sets the facial lightness to a brightness of 70%, which is an appropriate brightness, and sets it in the D range expansion unit 2002. .
The D range expansion unit 2002 performs D range expansion processing on the image signal based on the D range expansion rate set by the lightness detection unit 319. That is, with respect to the image signal, the main subject 202 has a brightness of 21% × 10/3 = 70% and the sky and cloud portion 204 has a brightness of 150% × 10/3 = 500%. The D range expansion process is executed by the D range expansion unit 2002. Then, the D range expansion unit 2002 outputs the image signal subjected to the D range expansion processing to the register 2004.

また、Dレンジ拡大部2002と、その結果(Dレンジ拡大された画像信号)を保持するレジスタ2004とにおいて、画像信号は、1200%の明るさに相当する信号値まで飽和することはない。このため、本実施形態に係る撮像装置では、主要被写体202の部分を適正な明るさにすることと、空と雲の部分204が飽和するのを防止することと、の両方を実現することができる。
なお、Dレンジ圧縮部2001の動作については、第1実施形態と同様であるため省略する。
以上の通り、本実施形態によると、第1実施形態と比べて高精度に顔の部分を望みの明るさに維持しつつ、ハイライト部分の階調を飽和させずに残すことができる撮像装置(カメラ)を実現することができる。
In addition, in the D range expansion unit 2002 and the register 2004 that holds the result (image signal expanded in the D range), the image signal does not saturate to a signal value corresponding to a brightness of 1200%. For this reason, in the imaging apparatus according to the present embodiment, it is possible to achieve both the appropriate brightness of the main subject 202 and the saturation of the sky and cloud portion 204. it can.
Note that the operation of the D-range compression unit 2001 is the same as that of the first embodiment, and is therefore omitted.
As described above, according to the present embodiment, an imaging device capable of maintaining the face portion at a desired brightness with higher accuracy than the first embodiment and leaving the gradation of the highlight portion without being saturated. (Camera) can be realized.

なお、顔検出部318は、学習を用いたパターンマッチング等により顔の輪郭や口、目、鼻の配置から顔の部分を検出する手法や、肌色などの色情報を用いて顔の部分を検出する手法他、公知の様々なアルゴリズムのものを使用することが可能である。
[第3実施形態]
本発明の第3実施形態における撮像装置(カメラ)のDレンジ圧縮部2001について説明する。前述の実施形態において、Dレンジ圧縮部2001は、図2に示すような特性の非線形の変換特性(入力レンジ値80%より大きい点と小さい点において変節点を有する変換特性)を用いてDレンジ圧縮処理を行うとした。このような手法により、Dレンジ拡大部2002で拡大された広範囲なDレンジ(例えば、1000%のDレンジ)を有効に活用することができ、撮像装置による取得画像において、顔の部分などを望みの明るさに維持し、かつ広範囲なDレンジに渡るハイライト領域の階調変化を飽和させずに残すことが可能になる。
Note that the face detection unit 318 detects a face part by using a method of detecting the face part from the face outline, mouth, eye, and nose arrangement by pattern matching using learning, or color information such as skin color. It is possible to use various known algorithms in addition to the above method.
[Third Embodiment]
The D-range compression unit 2001 of the imaging apparatus (camera) in the third embodiment of the present invention will be described. In the above-described embodiment, the D range compression unit 2001 uses the nonlinear conversion characteristics (conversion characteristics having inflection points at points larger and smaller than the input range value of 80%) as shown in FIG. The compression process is performed. By such a method, it is possible to effectively use a wide range of D range (for example, 1000% D range) enlarged by the D range enlargement unit 2002, and hope for a face portion or the like in an acquired image by the imaging apparatus. It is possible to keep the gradation change in the highlight area over a wide D range without being saturated.

しかし、図2のDレンジ圧縮部2001は、80%以下の明るさに相当する信号値についてはDレンジ圧縮させず、80%から1200%の明るさに相当する信号値を80%から100%の明るさに相当する信号値に圧縮する特性を用いてDレンジ圧縮処理を行う。このため、このDレンジ圧縮処理により、高範囲のハイライト領域の階調性を残すことは可能であるが、ハイライト領域では、Dレンジ圧縮処理の入出力特性曲線(図2では直線)の傾きが非常に小さくなるため、コントラストが非常に低くなる。図2では、ハイライト領域のDレンジ圧縮処理の入出力特性曲線の傾きが、
(100−80)/(1200−80)=0.0176
であり、傾きが0.0176と高圧縮率に至っている。
言い換えると、Dレンジ圧縮部2001が、Dレンジを圧縮すればするほど、ハイライト領域のDレンジ圧縮処理の入出力特性曲線の傾きが小さくなる。この結果、ハイライト領域において階調変化は残るが、階調変換後の階調値(信号値)の変化が小さすぎ、結果的に飽和している画像と大差がない出力値しか得られない(取得画像を観察したとき飽和しているように見える)画像しか取得できないという原理的な課題を有している。(図3に示すDR圧縮変換特性によるDR圧縮変換処理を、数100%以下の領域において適用した場合、ハイライト領域のDレンジ圧縮処理の入出力特性曲線の傾きはそれ程小さくならないので、この手法でも従来の飽和(取得画像においてハイライト部分が飽和する現象)と比べて有意な効果があることは言うまでもない。)
この原理的な課題を打破できる技術として、画像中の位置ごとに導出される空間信号周囲の明度の値によりこの位置の階調特性を変化させるという技術がある。国際公開公報第WO2005/027041号は、その一例であり、この文献には、画像中の処理すべき着目画素を囲む周辺領域のヒストグラムをとり、その分布からその着目画素に適用する階調カーブを決める手法や、画像中の処理すべき着目画素を囲む周辺領域の平均的な明るさを求め、周辺の明るさに応じてその着目画素に適用する階調カーブを決める手法などが開示されている。この技術は、入力信号が既に飽和していないことが前提であり、この技術単独では本発明の効果が得られるものではない。
However, the D range compression unit 2001 in FIG. 2 does not compress the D range for the signal value corresponding to the brightness of 80% or less, and converts the signal value corresponding to the brightness of 80% to 1200% from 80% to 100%. D range compression processing is performed using a characteristic of compressing to a signal value corresponding to the brightness of the image. For this reason, it is possible to leave the gradation property of the highlight area in the high range by this D range compression process, but in the highlight area, the input / output characteristic curve (straight line in FIG. 2) of the D range compression process. Since the tilt is very small, the contrast is very low. In FIG. 2, the slope of the input / output characteristic curve of the D range compression processing in the highlight area is
(100-80) / (1200-80) = 0.176
And the inclination is as high as 0.0176.
In other words, the more the D range compression unit 2001 compresses the D range, the smaller the slope of the input / output characteristic curve of the D range compression processing in the highlight area. As a result, the gradation change remains in the highlight area, but the change in gradation value (signal value) after gradation conversion is too small, and as a result, only an output value that is not significantly different from a saturated image can be obtained. There is a fundamental problem that only images (which appear saturated when the acquired images are observed) can be acquired. (When the DR compression conversion process based on the DR compression conversion characteristic shown in FIG. 3 is applied to an area of several hundred percent or less, the slope of the input / output characteristic curve of the D range compression process in the highlight area is not so small. However, it goes without saying that there is a significant effect compared with the conventional saturation (a phenomenon in which the highlight portion is saturated in the acquired image).)
As a technique capable of overcoming this fundamental problem, there is a technique of changing the gradation characteristics at this position according to the brightness value around the spatial signal derived for each position in the image. International Publication No. WO2005 / 027041 is an example thereof. In this document, a histogram of a peripheral region surrounding a target pixel to be processed in an image is taken. A method for determining the average brightness of the peripheral area surrounding the target pixel to be processed in an image and a method for determining a gradation curve to be applied to the target pixel according to the peripheral brightness are disclosed. . This technique is based on the premise that the input signal is not already saturated, and the effect of the present invention cannot be obtained by this technique alone.

この技術を本発明の撮像装置(カメラ)のDレンジ圧縮部2001に導入すると前述の課題であるDレンジ圧縮に伴うハイライト部のコントラストの低下の極めて少ない撮像装置(カメラ)が実現できる。即ち、Dレンジ拡大部2002が拡大し作成したハイDレンジの画像情報を、ほとんど人間の知覚上ではロスを感じさせないように、100%以内の低Dレンジ情報に変換することが可能になり、本発明のDレンジ拡大技術の効果を最大化することができる。
以下、本実施形態に係る撮像装置について説明する。
<3.1:撮像装置の構成>
本実施形態の撮像装置は、前述の実施形態に係る撮像装置のDレンジ圧縮部2001の構成を図18に示す構成にしたものである。それ以外については、前述の実施形態と同様である。本実施形態の撮像装置において、前述の実施形態と同様の部分については、同じ符号を付し、説明を省略する。
When this technique is introduced into the D-range compression unit 2001 of the imaging apparatus (camera) of the present invention, an imaging apparatus (camera) with extremely low reduction in contrast in the highlight portion accompanying D-range compression, which is the above-described problem, can be realized. That is, it becomes possible to convert the image information of the high D range created by enlarging the D range enlargement unit 2002 into low D range information within 100% so as not to cause a loss on human perception. The effect of the D range expansion technique of the present invention can be maximized.
Hereinafter, the imaging apparatus according to the present embodiment will be described.
<3.1 Configuration of Imaging Device>
The imaging apparatus according to the present embodiment has the configuration illustrated in FIG. 18 as the configuration of the D range compression unit 2001 of the imaging apparatus according to the above-described embodiment. The rest is the same as in the previous embodiment. In the imaging apparatus of the present embodiment, the same parts as those of the above-described embodiment are denoted by the same reference numerals, and description thereof is omitted.

Dレンジ圧縮部2001は、図18に示すように、周囲明度検出部3161および動的階調補正部3162を備える。
周囲明度検出部3161は、レジスタ2004から出力される個々の画像信号を入力とし、画像信号が形成する画像において、処理すべき画素(着目画素)についての周囲の領域の明るさ(画素値)の代表値(例えば平均値など)を検出する。そして、周囲明度検出部は、検出した代表値を動的階調補正部3162に出力する。
動的階調補正部3162は、レジスタ2004から出力される画像信号および周囲明度検出部3161から出力される代表値を入力とし、周囲明度検出部3161の出力に応じてDレンジ圧縮カーブが変化する階調補正特性により、画像信号に対して、動的に階調補正処理を行う。つまり、動的階調補正部3162での階調補正処理は、画像中の位置(各々の空間的な位置(または、領域ごとに導出される周囲明度値))により、階調特性が変化する処理である。そして、動的階調補正部3162は、Dレンジ圧縮処理した画像信号を第2信号処理部317Bに出力する。
As shown in FIG. 18, the D-range compression unit 2001 includes an ambient lightness detection unit 3161 and a dynamic gradation correction unit 3162.
The ambient lightness detection unit 3161 receives each image signal output from the register 2004, and in the image formed by the image signal, the brightness (pixel value) of the surrounding area for the pixel to be processed (target pixel). A representative value (such as an average value) is detected. Then, the ambient lightness detection unit outputs the detected representative value to the dynamic gradation correction unit 3162.
The dynamic gradation correction unit 3162 receives the image signal output from the register 2004 and the representative value output from the ambient lightness detection unit 3161, and the D range compression curve changes according to the output of the ambient lightness detection unit 3161. Based on the gradation correction characteristics, gradation correction processing is dynamically performed on the image signal. That is, in the gradation correction processing in the dynamic gradation correction unit 3162, the gradation characteristics change depending on the position in the image (each spatial position (or ambient lightness value derived for each region)). It is processing. Then, the dynamic gradation correction unit 3162 outputs the image signal that has been subjected to the D-range compression processing to the second signal processing unit 317B.

なお、ここで、第1信号処理部311Aは、アナログ信号処理部2から出力される画像信号を入力とし、アナログ信号処理部2から出力される画像信号に対して、ホワイトバランス補正、画素補間、色補正、ノイズリダクション、輪郭強調等の処理を行い、Dレンジ拡大部2002に出力する。なお、ここで、ホワイトバランス補正処理、画素補間処理、色補正処理、ノイズリダクション処理、輪郭強調処理等の処理は、第2信号処理部317Bで実行させてもよい。つまり、ホワイトバランス補正、画素補間、色補正、ノイズリダクション、輪郭強調等の処理は、第1信号処理部311Aおよび第2信号処理部317Bのいずれかにより実行されればよく、処理の順序や各処理の第1信号処理部311Aおよび第2信号処理部317Bへの割り当ては様々であってよい。
<3.2:撮像装置の動作>
次に、本実施形態の撮像装置の動作について説明する。Dレンジ圧縮部2001以外の部分の動作については、前述の実施形態と同様であるため、説明を省略する。
Here, the first signal processing unit 311A receives the image signal output from the analog signal processing unit 2, and performs white balance correction, pixel interpolation, and the like on the image signal output from the analog signal processing unit 2. Processing such as color correction, noise reduction, and edge enhancement is performed, and the result is output to the D range expansion unit 2002. Here, processing such as white balance correction processing, pixel interpolation processing, color correction processing, noise reduction processing, and contour enhancement processing may be executed by the second signal processing unit 317B. That is, processing such as white balance correction, pixel interpolation, color correction, noise reduction, and contour enhancement may be executed by either the first signal processing unit 311A or the second signal processing unit 317B. The assignment of processing to the first signal processing unit 311A and the second signal processing unit 317B may be various.
<3.2: Operation of Imaging Device>
Next, the operation of the imaging apparatus according to the present embodiment will be described. Since the operation of the parts other than the D range compression unit 2001 is the same as that of the above-described embodiment, the description thereof is omitted.

図19を用いて、本実施形態におけるDレンジ圧縮部2001の動作について説明する。
Dレンジ圧縮部2001、着目画素(処理対象の画素)の周囲の明るさにより選択される5本の階調カーブ(階調変換特性曲線)(図19に示す5つの階調カーブ)を有している。
図19に示すように、着目画素の周囲が最も暗い場合の曲線をa、着目画素の周囲が最も明るい場合の曲線をc、両者の中間の曲線をbとしている。説明のために、Dレンジ圧縮部2001が有している階調変換特性曲線を5本としているが、これに限定されることはない。実際には、数10本の階調変換特性曲線を有し、実質的に連続と見なせる本数の階調変換特性曲線を有するDレンジ圧縮部2001により、画像信号に対して階調変換処理を行うことが望ましい。
The operation of the D range compression unit 2001 in this embodiment will be described with reference to FIG.
The D-range compression unit 2001 has five gradation curves (gradation conversion characteristic curves) (five gradation curves shown in FIG. 19) selected according to the brightness around the pixel of interest (processing target pixel). ing.
As shown in FIG. 19, the curve when the periphery of the pixel of interest is the darkest is a, the curve when the periphery of the pixel of interest is the brightest is c, and the curve between the two is b. For the sake of explanation, the D-range compression unit 2001 has five gradation conversion characteristic curves, but is not limited to this. Actually, tone conversion processing is performed on the image signal by the D range compression unit 2001 having several tens of tone conversion characteristic curves and having a number of tone conversion characteristic curves that can be regarded as substantially continuous. It is desirable.

ここで、画像中で着目画素の周囲が暗いところ(例えば図5の領域203など)に相当する画像信号を、Dレンジ圧縮部2001により処理する場合、階調変換特性曲線aが適用されることになるため、人の顔の部分に相当する画像信号は、70%程度の適正な明るさに相当する階調値(信号値)に階調変換されることになる。また、画像中で着目画素の周囲が非常に明るいところ(例えば図5の領域204など)に相当する画像信号を、Dレンジ圧縮部316により処理する場合、階調変換特性曲線cが適用されることになるため、空と雲の部分204に相当する画像信号を階調変換特性曲線cにより階調変換した画像信号は、十分な階調数とその周囲領域の画素信号の値に対し十分なコントラスト(傾き)を有するものとなる。つまり、このように、Dレンジ圧縮部2001で処理することにより、本実施形態の撮像装置では、(1)明るい領域については明るいレンジの値についての入出力特性の傾きが大きく、暗い領域については、(2)暗い領域の入出力特性変換の傾きが大きく設定されることにより、人間の知覚において(非常に)自然で高品位な画像(画像信号)を得ることが出来る。   Here, when an image signal corresponding to a dark area around the target pixel in the image (for example, the region 203 in FIG. 5) is processed by the D-range compression unit 2001, the gradation conversion characteristic curve a is applied. Therefore, the image signal corresponding to the human face portion is subjected to gradation conversion to a gradation value (signal value) corresponding to an appropriate brightness of about 70%. Further, when the D range compression unit 316 processes an image signal corresponding to a place where the periphery of the pixel of interest in the image is very bright (for example, the region 204 in FIG. 5), the gradation conversion characteristic curve c is applied. Therefore, an image signal obtained by gradation-converting the image signal corresponding to the sky and cloud portion 204 using the gradation conversion characteristic curve c is sufficient for the sufficient number of gradations and the value of the pixel signal in the surrounding area. It has contrast (inclination). In other words, as described above, by processing in the D-range compression unit 2001, in the imaging apparatus according to the present embodiment, (1) the gradient of the input / output characteristics with respect to the value of the bright range is large for the bright region, and the dark region is (2) By setting the slope of the input / output characteristic conversion in the dark region to be large, it is possible to obtain a (very) natural and high-quality image (image signal) in human perception.

この手法は、人間の視覚特性を利用したもので、視覚処理と呼ばれる。視覚処理は、人間が目で見る際の視覚特性である、(1)明るい領域は感度を下げて見る、(2)暗い領域は感度を上げてみることになる。即ち、所定の位置の明るさの知覚において、信号としての出力値が明るいか暗いかに関わらず、周囲領域との相対的な対比量が重要な要素である、という視覚上の特性を考慮した処理である。このため、本実施形態の撮像装置で視覚処理を用いて処理して取得した画像は、不自然に見えずに広範囲のDレンジを効果的に圧縮したものとなる。
本発明の第3実施形態の撮像装置によると、Dレンジ拡大部312におけるDレンジを数1000%などの1000%以上のDレンジに拡大した場合でも、その広いDレンジの信号値を、人間の視覚特性上損なわずに100%以内のDレンジに圧縮することが可能になる。
This method uses human visual characteristics and is called visual processing. Visual processing is a visual characteristic when a human sees with eyes. (1) A bright area is viewed with reduced sensitivity, and (2) a dark area is increased with sensitivity. In other words, in the perception of brightness at a given position, processing that takes into account the visual characteristics that the relative contrast amount with the surrounding area is an important factor regardless of whether the output value as a signal is bright or dark It is. For this reason, an image acquired by processing using visual processing with the imaging apparatus of the present embodiment is an image obtained by effectively compressing a wide D range without looking unnatural.
According to the imaging apparatus of the third embodiment of the present invention, even when the D range in the D range expansion unit 312 is expanded to a D range of 1000% or more such as several thousand%, the signal value of the wide D range is It becomes possible to compress to the D range within 100% without impairing the visual characteristics.

<3.3:撮像装置の効果>
次に、実際に撮像装置(カメラ)を用いて撮影した画像を用いて、本実施形態の撮像装置の効果を説明する。
図20(A)は、主要被写体である人物の顔が適切な明るさになるよう露光制御した従来のカメラ処理による画像であり、図20(B)は本発明の本実施形態のDレンジ圧縮部316を第2実施形態の信号処理部31に導入した撮像装置において撮影した画像である。
図20(A)および図20(B)は、水車などの日陰で暗い部分の明るさは、ほぼ同じであり、顔の明るさもほぼ同じである。しかし、空と雲の部分や太陽光が服に反射する部分については、図20(A)では飽和して白飛びしているのに対し、図20(B)では連続的な階調変化が維持されているだけでなく、空と雲の輪郭や周囲領域とのコントラストも維持されて自然な仕上がりの画像が得られている。
<3.3: Effect of Imaging Device>
Next, the effect of the imaging apparatus of this embodiment will be described using an image actually captured using the imaging apparatus (camera).
FIG. 20A is an image by conventional camera processing in which exposure control is performed so that the face of a person who is a main subject has appropriate brightness, and FIG. 20B is a D range compression according to the present embodiment of the present invention. It is the image image | photographed in the imaging device which introduced the part 316 to the signal processing part 31 of 2nd Embodiment.
In FIG. 20A and FIG. 20B, the brightness of a shaded and dark part such as a water wheel is almost the same, and the brightness of the face is also the same. However, the sky and clouds and the portion where sunlight reflects on clothes are saturated and whitened in FIG. 20A, whereas in FIG. 20B, there are continuous gradation changes. In addition to being maintained, the contours of the sky and clouds and the contrast between the surrounding areas are also maintained, and a natural finished image is obtained.

また、空の色についても、図20(A)では白飛びし色が無くなっているのに対し、図20(B)では青空が再現されている。このように、本実施形態のDレンジ圧縮部2001により画像信号を処理することで、Dレンジ拡大部2002が拡大した広いDレンジを有効に生かしながら100%の狭いDレンジに自然にDレンジ圧縮することができることがわかる。
なお、本実施形態では、図18の構成のDレンジ圧縮部2001を用いて説明したが、本発明はこの構成に限るものではなく、画像の空間的な位置毎の着目画素について、(この所定の着目画素の周囲明度値)に応じて入出力変換特性を変化させることができるものであれば、他の構成をとるものであってもよい。たとえば、本発明のDレンジ圧縮部316の構成として、周囲領域との対比量を各々計算する、Retinex理論による技術や局所的なヒストグラム均等化処理などの実質的に同様の視覚特性上の対比効果が得られる公知な技術を応用しつつ、これらをDレンジ圧縮に用いた構成とすることも出来る。
Also, with respect to the sky color, in FIG. 20A, the whiteout color disappears, whereas in FIG. 20B, the blue sky is reproduced. In this way, by processing the image signal by the D range compression unit 2001 of this embodiment, the D range compression unit naturally compresses the D range to a 100% narrow D range while effectively utilizing the wide D range expanded by the D range expansion unit 2002. You can see that you can.
Although the present embodiment has been described using the D-range compression unit 2001 having the configuration shown in FIG. 18, the present invention is not limited to this configuration, and the pixel of interest for each spatial position of the image (this predetermined value) As long as the input / output conversion characteristics can be changed in accordance with the ambient brightness value of the target pixel, other configurations may be adopted. For example, as a configuration of the D-range compression unit 316 of the present invention, a contrast effect on substantially the same visual characteristics, such as a technique based on Retinex theory and local histogram equalization processing, each of which calculates a contrast amount with the surrounding area. While applying known techniques for obtaining the above, it is also possible to adopt a configuration in which these are used for D-range compression.

また、動的階調補正部3162は、周囲明度値に応じて階調変換特性曲線を計算により導出、あるいは、出力値を計算により導出するのではなく、予めデータとして保持する2次元LUTを用いて実装されてもよい。
図21は、この2次元LUTに登録されるデータの特性を例示する図である。
図21は、Dレンジ圧縮部2001に対し入力Dレンジが800%(図21では、「8.0」で示す。以下、同様。)まで拡張された場合に適用される2次元LUTのDレンジ圧縮の変換特性のデータの例を示している。
図中、矢印(k)で示す破線は、この2次元LUTによる画像の明るさの変換特性を示しており、この特性はカメラのKnee特性に合わせている。この変換特性(波線kで示す変換特性)は、動的階調補正部3162に、周囲明度値と入力値とが等しい値で入力された場合に出力される値を示している。
In addition, the dynamic gradation correction unit 3162 uses a two-dimensional LUT that is held in advance as data, instead of calculating a gradation conversion characteristic curve according to the ambient lightness value or calculating an output value by calculation. May be implemented.
FIG. 21 is a diagram illustrating characteristics of data registered in the two-dimensional LUT.
FIG. 21 shows the D range of the two-dimensional LUT applied when the input D range is expanded to 800% (indicated by “8.0” in FIG. 21; the same applies hereinafter) to the D range compression unit 2001. An example of data of compression conversion characteristics is shown.
In the figure, a broken line indicated by an arrow (k) indicates a conversion characteristic of image brightness by the two-dimensional LUT, and this characteristic matches the Knee characteristic of the camera. This conversion characteristic (conversion characteristic indicated by a dashed line k) indicates a value that is output when the ambient lightness value and the input value are input to the dynamic gradation correction unit 3162 as equal values.

また、図中、実線の各曲線が前述した視覚特性(周囲の明るさに対して変化する特性)を利用した変換特性である。この視覚特性を利用した変換特性において、前述したのと同様に、着目画素の周囲が最も暗い場合に適用される曲線が曲線aであり、着目画素の周囲が最も明るい場合に適用される曲線が曲線cである。
ここで、周囲明度値が小さい(暗い)場合ほど、左側の曲線が用いられる。これは、自然画においては暗い領域ほど、入力値が小さいレンジにおいてコントラストが保たれるように変換されることを意味する。前述の通り、人間は所定の画素の値につき、絶対的な明るさを知覚するのではなく、暗い領域なら暗い領域に閉じた範囲での相対的な明るさの比を、各画素についての明るさとして知覚するためである。
図22に、この点を詳細に説明するための図を示す。
Also, in the figure, each solid curve is a conversion characteristic using the visual characteristics described above (characteristics that vary with ambient brightness). In the conversion characteristic using this visual characteristic, as described above, the curve applied when the periphery of the pixel of interest is the darkest is the curve a, and the curve applied when the periphery of the pixel of interest is the brightest. Curve c.
Here, as the ambient lightness value is smaller (darker), the left curve is used. This means that the darker region in the natural image is converted so that the contrast is maintained in the range where the input value is small. As described above, humans do not perceive absolute brightness for a given pixel value, but in the case of a dark area, the relative brightness ratio in a range closed to a dark area is determined by the brightness for each pixel. This is for perception.
FIG. 22 shows a diagram for explaining this point in detail.

入力値が80%(0.8以上)の領域(空と雲の領域)について、空の領域内の点の周辺領域(局所的な領域)は、空の領域内の点と同様に明るい値を有する領域である。したがって、当該領域(空と雲の領域)において、入力値と周囲領域の明度値とは略等しい値となる。そこで、この変換特性は、入力値と周囲明度値とが略等しい範囲(図中、付近A、付近B、付近C)の入力に対して、破線K上の各点(図中、付近A、付近B、付近C)でのコントラスト比が保たれるように(付近A、B、およびCにおいて、変換曲線a、b、およびcの傾きが、カメラのKnee特性により定義される曲線K(図22では折れ線)の傾きより大きい傾きとなるように)、各曲線(曲線a〜c)が設定される。
尚、図22に示すように、Knee特性により定義される曲線Kと変換曲線a〜cとの各交差点の付近(図中、円で示した付近)における変換曲線の傾きは、視覚的なコントラストを維持しつつダイナミックレンジを圧縮する目的から原点を通る直線の傾きにあわせているが、図23に示すよう、さらにコントラストを強める目的で明るい領域での階調変換特性の傾きが急峻となるように変換曲線(階調変換曲線)を設定してもよい。
For an area where the input value is 80% (0.8 or more) (sky and cloud area), the area around the point in the sky area (local area) is bright as the points in the sky area It is an area | region which has. Therefore, in the region (sky and cloud region), the input value and the brightness value of the surrounding region are substantially equal. Therefore, this conversion characteristic is that each point on the broken line K (near A, N in the figure) with respect to the input in a range where the input value and the ambient lightness value are substantially equal (Near A, Neighbor B, Neighbor C in the figure). The curve K defined by the Knee characteristic of the camera is used so that the contrast ratio in the vicinity B, vicinity C) is maintained (in the vicinity A, B, and C, the slopes of the conversion curves a, b, and c are Each curve (curves a to c) is set so that the slope is larger than the slope of the broken line in FIG.
Note that, as shown in FIG. 22, the slope of the conversion curve in the vicinity of each intersection (the vicinity indicated by a circle in the figure) between the curve K defined by the Knee characteristic and the conversion curves a to c is a visual contrast. In order to compress the dynamic range while maintaining image quality, it is adjusted to the slope of the straight line passing through the origin. However, as shown in FIG. 23, the slope of gradation conversion characteristics in a bright region is steep so as to further increase the contrast. A conversion curve (tone conversion curve) may be set.

尚、また、このLUT上に登録される変換特性データは、選択信号MLn(絞り値)に応じて外部から各々データとして登録されるものであってもよい。この場合の撮像装置の構成例を図24に示す。
この場合に登録されるプロファイルは、入力レンジが400%(4.0)の場合、図25に示す特性を実現するものとなり、入力レンジが200%(2.0)の場合、図26に示す特性を実現するものとなる。
また、Dレンジ拡大率毎にプロファイルを複数設けるのではなく、図27に示すように、撮像装置にレンジ値調整部2601を設け、2次元LUT3162は、1つのプロファイルのみを有する構成としてもよい。つまり、入力値が80%以上の入力の信号値(信号Dの信号値)に対しては、レンジ値調整部2601によりレンジ値を調整し、レンジ値が調整された後の信号値(信号D1の信号値)を2次元LUT3162に入力して処理するようにしてもよい。
The conversion characteristic data registered on the LUT may be registered as data from the outside according to the selection signal MLn (aperture value). A configuration example of the imaging apparatus in this case is shown in FIG.
The profile registered in this case realizes the characteristics shown in FIG. 25 when the input range is 400% (4.0), and is shown in FIG. 26 when the input range is 200% (2.0). Realize the characteristics.
Further, instead of providing a plurality of profiles for each D range expansion rate, as shown in FIG. 27, a range value adjustment unit 2601 may be provided in the imaging apparatus, and the two-dimensional LUT 3162 may have only one profile. That is, for an input signal value (signal value of signal D) with an input value of 80% or more, the range value is adjusted by the range value adjustment unit 2601, and the signal value (signal D1) after the range value is adjusted. May be input to the two-dimensional LUT 3162 for processing.

例えば、2次元LUT3162に、1倍用のプロファイル(入力レンジに対する出力レンジの比が1倍である変換特性を実現するプロファイル)を設定している場合について説明する。そして、レジスタ2004から出力される信号の出力レンジが「4.0」であり、2次元LUTの入力レンジが「1.0」である場合について説明する。
この場合、レンジ値調整部2601は、「0.8」より大きい値の入力値(信号Dの信号値)に対して、Dレンジ拡大された後の信号Dの入力値Dとし、レンジ値調整部2601の出力値をDoutとすると、
Dout=0.8+0.2×(D−0.8)/(4.0−0.8)
により求めた値Doutを、レンジ値調整部2601から出力するようにしてもよい。
また、図27に示すように、2次元LUTに8倍のプロファイル(入力レンジに対する出力レンジの比が8倍である変換特性を実現するプロファイル)を登録した場合であって、レジスタ2004から出力される信号の出力レンジが「4.0」であり、2次元LUTの入力レンジが「8.0」である場合、レンジ値調整部2701は、4.0倍にDレンジ拡大された後の信号Dの入力値Dとし、レンジ値調整部2601の出力値をDoutとすると、
Dout=0.8+7.2×(D−0.8)/(4.0−0.8) (D>0.8)
により求めた値Doutを、レンジ値調整部2701から出力するようにしてもよい。
For example, a case will be described in which a two-dimensional LUT 3162 is set with a one-time profile (a profile that realizes a conversion characteristic in which the ratio of the output range to the input range is one). A case where the output range of the signal output from the register 2004 is “4.0” and the input range of the two-dimensional LUT is “1.0” will be described.
In this case, the range value adjustment unit 2601 uses the input value D of the signal D after the D range is expanded for the input value (signal value of the signal D) greater than “0.8” to adjust the range value. When the output value of the unit 2601 is Dout,
Dout = 0.8 + 0.2 × (D−0.8) / (4.0−0.8)
The value Dout obtained by the above may be output from the range value adjustment unit 2601.
Further, as shown in FIG. 27, when a profile of 8 times (a profile that realizes a conversion characteristic in which the ratio of the output range to the input range is 8 times) is registered in the two-dimensional LUT, it is output from the register 2004. When the output range of the signal is “4.0” and the input range of the two-dimensional LUT is “8.0”, the range value adjustment unit 2701 outputs the signal after the D range is expanded by 4.0 times. If the input value D of D and the output value of the range value adjustment unit 2601 is Dout,
Dout = 0.8 + 7.2 × (D−0.8) / (4.0−0.8) (D> 0.8)
The value Dout obtained by the above may be output from the range value adjustment unit 2701.

なお、図27に示すように、レンジ値調整部2701は、信号Mag2に基づいて、レンジ調整を行うようにするとよい。
さらに、図28に示すように、Dレンジ拡大後の信号Dの1枚分の画像データ(1フレーム分の画像データ)中のピーク値を検出し、この値に応じて、Dレンジ拡大部2002がDレンジ拡大処理を行った後、取得された最大値Xが2次元LUT3162の入力レンジに戻るように、80%(0.8)より大きい入力値を最大値(Pmax)で調整してもよい。例えば、2次元LUT3162に8倍のレンジのプロファイル(入力レンジに対する出力レンジの比が8倍である変換特性を実現するプロファイル)を登録する場合には、ピーク調整部2801は、その入力値をDとし、その出力値をDoutとしたとき、
Dout=0.8+7.2×(D−0.8)/(Pmax−0.8)
により求めた値Doutを、ピーク調整部2801から出力するようにしてもよい。
As illustrated in FIG. 27, the range value adjustment unit 2701 may perform range adjustment based on the signal Mag2.
Further, as shown in FIG. 28, the peak value in the image data (image data for one frame) of the signal D after the D range expansion is detected, and the D range expansion unit 2002 is detected according to this value. After the D range expansion process, the input value greater than 80% (0.8) is adjusted with the maximum value (Pmax) so that the acquired maximum value X returns to the input range of the two-dimensional LUT 3162. Good. For example, when a profile having a range of 8 times (a profile that realizes a conversion characteristic in which the ratio of the output range to the input range is 8 times) is registered in the two-dimensional LUT 3162, the peak adjustment unit 2801 converts the input value to D And when the output value is Dout,
Dout = 0.8 + 7.2 × (D−0.8) / (Pmax−0.8)
The value Dout obtained by the above may be output from the peak adjustment unit 2801.

また、図28に示すように、ピーク調整部2801は、信号Mag2に基づいて、ピーク調整を行うようにするとよい。
尚、上述例においては、2次元LUT3162の入力値の最大値を「8.0」(800%)までの入力値として説明したが、同様の特性(「0.8」より大きい入力値に対し入力値と周囲輝度値とが等しい点において、入出力変換係数(入出力変換曲線)の傾きがKnee特性から決定される曲線の傾きより大きい)傾向を有するものであれば、「16.0」(1600%レンジ)、「32.0」(3200%レンジ)等まで拡張できることは言うまでもない。
尚、また、2次元LUT3162に登録されるデータ(出力データ)は、必ずしも入力値および周囲明度値に対する出力値そのものでなくても、出力値を導出するための係数であってもよい。
As shown in FIG. 28, the peak adjustment unit 2801 may perform peak adjustment based on the signal Mag2.
In the above-described example, the maximum input value of the two-dimensional LUT 3162 is described as an input value up to “8.0” (800%). However, for an input value larger than “0.8”, If the input value and the ambient luminance value are equal, the slope of the input / output conversion coefficient (input / output conversion curve) has a tendency to be greater than the slope of the curve determined from the Knee characteristic), “16.0”. Needless to say, the range can be expanded to (1600% range), “32.0” (3200% range), and the like.
The data (output data) registered in the two-dimensional LUT 3162 is not necessarily the output value itself for the input value and the ambient brightness value, but may be a coefficient for deriving the output value.

また、周囲明度検出部3161が扱う画像上の周辺領域のサイズは、効果に応じて、その領域の大きさが設定されるものであり、視覚効果を得るためには、周辺領域(周辺画素の領域)は、ある程度の大きさの領域に設定することが好ましい。例えば、対象とする画像の大きさがXGA(1024×768)では、周辺領域(周辺画素の領域)を80画素×80画素以上の大きさの領域に設定するのが好ましい。
また、周囲明度検出部3161において、着目画素(処理対象画素)の周囲情報を得るために用いられる低域空間フィルタとして、アンシャープ信号の生成に通常用いられるFIR(Finite Impulse Response)型の低域空間フィルタ、あるいはIIR(Infinite Impulse Response)型の低域空間フィルタなどを用いてもよい。また、図30に示すように、代表値検出部3163を設け、画像データの一部の領域に対し、局所コントラストの効果を調整するようにしてもよい。
In addition, the size of the peripheral area on the image handled by the ambient lightness detection unit 3161 is set according to the effect, and the size of the area is set. The area is preferably set to an area having a certain size. For example, when the size of the target image is XGA (1024 × 768), it is preferable to set the peripheral area (peripheral pixel area) to an area having a size of 80 pixels × 80 pixels or more.
Further, in the ambient lightness detection unit 3161, a FIR (Finite Impulse Response) type low frequency band normally used for generating an unsharp signal is used as a low frequency spatial filter used for obtaining surrounding information of the pixel of interest (processing target pixel). A spatial filter or an IIR (Infinite Impulse Response) type low-pass spatial filter may be used. In addition, as shown in FIG. 30, a representative value detection unit 3163 may be provided to adjust the effect of local contrast on a partial region of the image data.

[第4実施形態]
次に、本発明の第4実施形態に係る撮像装置について説明する。
本発明の第4実施形態における撮像装置は、光量調節機能を持つ光学系によって結像された被写体の像を撮像素子で読み取るときに、A/D変換部の出力が飽和しないように撮像素子を複数回に分けて次々に露光(短時間露光)することで、複数枚のサブフレームの撮像画像を撮像素子から得る。そして、A/D変換部でこの複数枚のサブフレームの撮像画像をA/D変換し、変換された複数枚のサブフレームの画像を画素ごとにダイナミックレンジ(以下、「Dレンジ」と記す)拡張して加算することを特徴とする。
これによれば、複数回に分けて撮像素子を次々に露光し、撮像素子から得られる各サブフレームの撮像画像を暗くすることができるため、被写体の明るい領域でもA/D変換の出力は飽和しにくくなる。また、複数回に分けて撮影して得た複数枚のサブフレームの画像を画素ごとにDレンジ拡張して加算し、その総和を算出することができるため、加算した出力の飽和を抑えつつ明るくすることができる。よって、本実施形態の撮像装置により、S/N比の劣化を抑え、Dレンジの広い画像を得ることができる。これにより、本実施形態の撮像装置では、屋外で人物を逆光で撮影した場合であっても、人物の顔等の暗い領域を適切な明るさに補正しても、雲や空等の明るい領域が飽和していない画像を得ることができる。
[Fourth Embodiment]
Next, an imaging apparatus according to a fourth embodiment of the present invention will be described.
The image pickup apparatus according to the fourth embodiment of the present invention uses an image pickup element so that the output of the A / D conversion unit is not saturated when an image of a subject formed by an optical system having a light amount adjustment function is read by the image pickup element. By performing exposure (short time exposure) one after another in a plurality of times, captured images of a plurality of subframes are obtained from the image sensor. The A / D conversion unit A / D converts the captured images of the plurality of subframes, and the converted plurality of subframe images have a dynamic range (hereinafter referred to as “D range”) for each pixel. It is characterized by being expanded and added.
According to this, it is possible to expose the image sensor one after another in multiple steps and darken the captured image of each sub-frame obtained from the image sensor, so that the output of the A / D conversion is saturated even in a bright region of the subject It becomes difficult to do. In addition, since a plurality of sub-frame images obtained by shooting in multiple times can be added by extending the D range for each pixel and summed up, it is possible to brighten while suppressing saturation of the added output. can do. Therefore, the image pickup apparatus of the present embodiment can suppress the deterioration of the S / N ratio and obtain an image with a wide D range. As a result, in the imaging apparatus of the present embodiment, even when a person is photographed outdoors in backlight, even if a dark area such as a person's face is corrected to an appropriate brightness, a bright area such as a cloud or sky Can be obtained.

<4.1:撮像装置の構成>
まず、図31〜図33を用いて、本発明の第4実施形態における撮像装置400の構成について説明する。図31は本実施形態における撮像装置400の構成を示すブロック図、図32は本実施形態における撮像装置400の動作を時系列に説明するタイミングチャート、図33は撮像装置400のDレンジ拡大部411の構成を示すブロック図である。分割して露光する分割回数は必要なDレンジの拡大率に応じて設定するが、ここでは、説明を容易にするため、分割回数を4回にした例について説明する。
図31に示したように、本実施形態における撮像装置400は、レンズ等の光学系402と光学系402の背部(後段)に設けられた入射光量を調整する絞り部403とを有する光学系416と、光学系416によって結像された被写体P2の光学像を電気信号に変換するCCDやCMOS等の撮像素子(撮像部)404と、撮像素子(撮像部)404から出力されるアナログの撮像画像をデジタルの画像に変換するA/D変換部405と、を備える。また、撮像装置400は、利用者の操作指示を入力する操作部407と、操作部407から設定に応じて撮像装置全体を統括制御するシステム制御部408と、システム制御部408からの指令信号に基づいて光学系416と、撮像素子404およびA/D変換部405を駆動制御する駆動部406と、を備える。さらに、撮像装置400は、A/D変換部405で変換して得たれた赤(以下、「R」と記す)、緑(以下、「G」と記す)および青(以下、「B」と記す)の画像(画像信号)からDレンジを拡大したDレンジ拡大画像(画像信号)を生成する画像処理部410と、画像処理部410で処理された画像(画像信号により形成される画像)を表示する表示部414と、画像処理部410で処理された画像を記憶する記憶部415と、を備えている。
<4.1: Configuration of Imaging Device>
First, the configuration of the imaging apparatus 400 according to the fourth embodiment of the present invention will be described with reference to FIGS. FIG. 31 is a block diagram showing the configuration of the imaging apparatus 400 in this embodiment, FIG. 32 is a timing chart for explaining the operation of the imaging apparatus 400 in this embodiment in time series, and FIG. 33 is a D range expansion unit 411 of the imaging apparatus 400. It is a block diagram which shows the structure of these. The number of divisions to be divided and exposed is set in accordance with the required D range enlargement ratio. Here, for ease of explanation, an example in which the number of divisions is four will be described.
As illustrated in FIG. 31, the imaging apparatus 400 according to the present embodiment includes an optical system 416 including an optical system 402 such as a lens and a diaphragm unit 403 that adjusts the amount of incident light provided on the back portion (rear stage) of the optical system 402. An imaging element (imaging unit) 404 such as a CCD or CMOS that converts an optical image of the subject P2 imaged by the optical system 416 into an electrical signal, and an analog captured image output from the imaging element (imaging unit) 404 And an A / D conversion unit 405 for converting the image into a digital image. In addition, the imaging device 400 receives an operation unit 407 that inputs a user's operation instruction, a system control unit 408 that performs overall control of the entire imaging device according to settings from the operation unit 407, and command signals from the system control unit 408. Based on this, an optical system 416 and a drive unit 406 that drives and controls the image sensor 404 and the A / D conversion unit 405 are provided. Furthermore, the imaging apparatus 400 includes red (hereinafter referred to as “R”), green (hereinafter referred to as “G”), and blue (hereinafter referred to as “B”) obtained by conversion by the A / D conversion unit 405. An image processing unit 410 that generates a D range enlarged image (image signal) obtained by enlarging the D range from an image (image signal) of (described below), and an image processed by the image processing unit 410 (an image formed by the image signal). A display unit 414 for displaying and a storage unit 415 for storing an image processed by the image processing unit 410 are provided.

光学系416は、光学系402と絞り部403とを有し、被写体P2の光学像を撮像素子(撮像部)404に結像させる。
光学系402は、公知のレンズ等を備える。
また、絞り部403は、後述する露光条件設定部409により、撮像素子404を複数回に分けて露光する前に、被写体の主要部(例えば、人物の顔等の部分)で所定の明るさが得られるように所定の露光時間に応じた入射光量の調節を行う。このように、光学系416は、光学系402と絞り部403とで光量調節機能を実現している。
撮像素子404は、同一感度の画素がアレイ上に配列され、絞り部403によって光量調節された入射光量を所定の露光時間受光し、入射光量と所定の露光時間の積で決定される露光量に比例した撮像信号(画像信号)を出力する。
The optical system 416 includes an optical system 402 and a diaphragm unit 403, and forms an optical image of the subject P2 on the imaging element (imaging unit) 404.
The optical system 402 includes a known lens or the like.
In addition, the diaphragm unit 403 has a predetermined brightness in a main part of the subject (for example, a part of a person's face, etc.) before exposing the imaging element 404 in multiple times by an exposure condition setting unit 409 described later. The amount of incident light is adjusted according to a predetermined exposure time so as to be obtained. Thus, in the optical system 416, the optical system 402 and the diaphragm unit 403 realize a light amount adjustment function.
The image sensor 404 has pixels of the same sensitivity arranged on the array, receives the incident light amount adjusted by the diaphragm unit 403 for a predetermined exposure time, and sets the exposure amount determined by the product of the incident light amount and the predetermined exposure time. A proportional imaging signal (image signal) is output.

A/D変換部405は、撮像素子404から出力されるアナログの撮像画像(アナログの画像信号)をデジタルの画像(デジタルの画像信号)に変換する。
駆動部406は、システム制御部408からの指令信号に基づいて光学系402、絞り部403、撮像素子404およびA/D変換部405を駆動制御する。
システム制御部408は、プログラムに従って所定の処理機能を実行するCPU(中央処理装置)、プログラムやデータを格納した読み出し専用の記憶デバイスであるROM(リードオンリメモリ)、データを読み書き可能に一時記憶するメモリであるRAM(ランダムアクセスメモリ)を備えている。
操作部407は、利用者が設定した撮影モード等の設定を、後述するシステム制御部408に出力する。利用者が設定する撮影モードは、例えば、被写体を撮影する撮影シーンに応じて設定されるモードであって、この撮影モードには、例えば、屋内用撮影モード、屋外用撮影モード、スポーツ用撮影モード、ポートレート用撮影モードおよび風景用撮影モードなどがある。特に、屋外用の撮影モードにより撮影する場合、入射光量のDレンジが広いため、逆光等で暗くなっている被写体領域(人物の顔等の領域)での明るさを適切な明るさに調整した場合であっても、明るい被写体領域(例えば、雲や空等の領域)での出力が飽和しないように、撮像装置で処理する必要がある。
The A / D conversion unit 405 converts an analog captured image (analog image signal) output from the image sensor 404 into a digital image (digital image signal).
The driving unit 406 controls driving of the optical system 402, the diaphragm unit 403, the image sensor 404, and the A / D conversion unit 405 based on a command signal from the system control unit 408.
The system control unit 408 temporarily stores a CPU (Central Processing Unit) that executes a predetermined processing function according to a program, a ROM (Read Only Memory) that is a read-only storage device that stores programs and data, and data that can be read and written. A random access memory (RAM), which is a memory, is provided.
The operation unit 407 outputs settings such as a shooting mode set by the user to a system control unit 408 described later. The shooting mode set by the user is, for example, a mode set according to a shooting scene for shooting a subject. Examples of the shooting mode include an indoor shooting mode, an outdoor shooting mode, and a sports shooting mode. , Portrait shooting mode and landscape shooting mode. In particular, when shooting in outdoor shooting mode, the D range of incident light quantity is wide, so the brightness in subject areas (areas such as human faces) that are dark due to backlighting etc. has been adjusted to an appropriate brightness Even in such a case, it is necessary to perform processing by the imaging device so that the output in a bright subject area (for example, an area such as a cloud or sky) is not saturated.

システム制御部408は、露光条件設定部409を有しており、A/D変換部405から出力されるRGB画像信号を取り込んで、露光条件設定部409により、適切な露光条件を算出する。具体的には、システム制御部408は、被写体の主要部で所定の明るさ(適切な明るさ)が得られるように露光条件を、露光条件設定部409により決定する。システム制御部408は、決定した露光条件に従って駆動部406で適切な光量調節を行うための指令信号を、駆動部406に出力する。また、システム制御部408は、操作部407での設定に応じて撮像装置400全体を統括制御する。
露光条件設定部409は、システム制御部408に設けられ、例えば、撮影する前のプレビュー時に、A/D変換部405から出力されるRGB画像の1画面分(RGB画像信号により形成されるRGB画像の1画面分のデータ)を内部のメモリ(図示せず)に仮に取り込み、被写体P2の主要な領域に対して、適切な明るさの出力値が得られるように露光条件を算出する。例えば、画像出力Dレンジ100%(出力画像信号のDレンジが0%〜100%の明るさに対応する信号値をとるDレンジ)に対して人物の顔領域で70%の明るさになるように、撮像装置400の露光条件を設定する。
The system control unit 408 has an exposure condition setting unit 409, takes in the RGB image signal output from the A / D conversion unit 405, and calculates an appropriate exposure condition by the exposure condition setting unit 409. Specifically, the system control unit 408 determines an exposure condition by the exposure condition setting unit 409 so that a predetermined brightness (appropriate brightness) is obtained in the main part of the subject. The system control unit 408 outputs to the drive unit 406 a command signal for performing appropriate light amount adjustment by the drive unit 406 in accordance with the determined exposure condition. In addition, the system control unit 408 performs overall control of the entire imaging apparatus 400 in accordance with the setting in the operation unit 407.
The exposure condition setting unit 409 is provided in the system control unit 408. For example, during a preview before shooting, an RGB image output from the A / D conversion unit 405 (an RGB image formed by an RGB image signal) Of one screen) is temporarily captured in an internal memory (not shown), and exposure conditions are calculated so that an output value of appropriate brightness can be obtained for the main area of the subject P2. For example, the image output D range is 100% (the D range of the output image signal takes a signal value corresponding to the brightness of 0% to 100%) so that the human face area has 70% brightness. In addition, the exposure condition of the imaging apparatus 400 is set.

画像処理部410は、A/D変換部405から出力されるRGBの画像信号に対してDレンジを拡大する処理を行うDレンジ拡大部411と、Dレンジ拡大部411で拡大されたDレンジ拡大画像(Dレンジ拡大画像信号)のDレンジを所定のDレンジに圧縮するDレンジ圧縮部412と、を備える。さらに、画像処理部410は、表示部414および記憶部415に適合する信号フォーマット(例えば、NTSC、JPEG、MPEG等)に合わせて信号処理する信号処理部413を備えている。
表示部414は、例えば、撮像装置400の本体の背面等に設けられており、カラー液晶装置等の表示装置を有している。表示部414は、画像処理部410で処理された画像信号により形成される画像を、カラー液晶装置等の表示装置に表示する。
記憶部415は、信号処理部413により処理された画像(画像信号)を記憶する。記憶部415としては、ハードディスク装置(HDD)や半導体メモリなどの公知の記録媒体から選択したものを用いることができる。
The image processing unit 410 includes a D range expansion unit 411 that performs a process of expanding the D range on the RGB image signal output from the A / D conversion unit 405, and a D range expansion expanded by the D range expansion unit 411. A D range compression unit 412 that compresses the D range of the image (D range enlarged image signal) into a predetermined D range. Further, the image processing unit 410 includes a signal processing unit 413 that performs signal processing in accordance with a signal format (for example, NTSC, JPEG, MPEG, etc.) that is compatible with the display unit 414 and the storage unit 415.
The display unit 414 is provided, for example, on the back surface of the main body of the imaging device 400 and includes a display device such as a color liquid crystal device. The display unit 414 displays an image formed by the image signal processed by the image processing unit 410 on a display device such as a color liquid crystal device.
The storage unit 415 stores the image (image signal) processed by the signal processing unit 413. As the storage unit 415, one selected from known recording media such as a hard disk device (HDD) and a semiconductor memory can be used.

<4.2:撮像装置の動作>
次に、本実施形態の撮像装置400における主な動作を時系列に説明する。
まず、図32(a)に示すように、駆動部406は、周期Tとする同期信号(A)に基づいて、撮像素子404および画像処理部410を制御する制御信号(B)を出力する。ここで、後述するように、被写体P2の主要部の領域が適切な明るさになるように(C)に示す露光時間tでの露光条件を設定する。例えば、主要部が人物の顔であれば、出力Dレンジ100%に対して、当該主要部(人物の顔の部分)の明るさが70%の明るさになるように、撮像装置400の露光条件を設定する。この露光条件に合わせて絞り部403により撮像素子404に入射される光量が調節される。また、A/D変換部405の出力は、出力の余裕を持たせて150%まで飽和しないように設定されている。つまり、この設定により、A/D変換部405から出力される画像信号において、150%の明るさに相当する信号値までは飽和しない。
<4.2: Operation of Imaging Device>
Next, main operations in the imaging apparatus 400 of the present embodiment will be described in time series.
First, as illustrated in FIG. 32A, the drive unit 406 outputs a control signal (B) for controlling the image sensor 404 and the image processing unit 410 based on the synchronization signal (A) having a period T. Here, as described later, it sets the exposure conditions in the exposure time t 0 shown in the (C) so that the region of the main part is in the appropriate brightness of the object P2. For example, when the main part is a human face, the exposure of the imaging apparatus 400 is performed such that the brightness of the main part (person's face part) is 70% with respect to 100% of the output D range. Set conditions. The amount of light incident on the image sensor 404 is adjusted by the diaphragm 403 in accordance with the exposure conditions. The output of the A / D conversion unit 405 is set so as not to be saturated to 150% with an output margin. That is, with this setting, in the image signal output from the A / D conversion unit 405, a signal value corresponding to 150% brightness is not saturated.

また、撮像装置400は、静止画を撮影する場合には、周期T(フレーム周期)の間に実行される処理を1回だけ行い、動画像を撮影する場合には、撮影時間に応じて周期Tの間に実行される処理を必要な回数だけ繰り返し行う。
ここでは、複数回に分けて次々に露光し、順次に得られる各画像をサブフレームとして説明し、A/D変換する前をサブフレームの撮像画像(以下、サブフレームの撮像画像を、単に「撮像画像」と記す。また、この「撮像画像」を形成する画像信号を「撮像画像信号」と記す。)、A/D変換した後をサブフレームの画像(サブフレームの画像を、単に「画像」と記す。また、このサブフレームの画像を形成する画像信号を「デジタル画像信号」と記す。)とする。また、動画、静止画を撮影する場合も、同様とする。
次に、図32(b)に示すように、駆動部406は、A/D変換部405の出力の余裕をさらに大きくするため、露光時間tを4分割した時間tで撮像素子404を露光する。ここで、露光時間t=4×tである。露光時間の制御は、例えば、撮像素子404の電子シャッタ機能を使い、駆動部406により撮像素子404に対する露光時間を制御することで実行される。
Further, the imaging apparatus 400 performs processing executed once during a cycle T (frame cycle) when shooting a still image, and cycles according to the shooting time when shooting a moving image. The processing executed during T is repeated as many times as necessary.
Here, a plurality of exposures are performed one after another, and each image obtained sequentially is described as a subframe. Before A / D conversion, a subframe captured image (hereinafter, a subframe captured image is simply referred to as “ The image signal forming this “captured image” is referred to as “captured image signal”), and after A / D conversion, the subframe image (subframe image is simply referred to as “image”). In addition, an image signal that forms an image of this subframe is referred to as a “digital image signal”. The same applies to shooting moving images and still images.
Next, as shown in FIG. 32B, the drive unit 406 moves the image sensor 404 at time t 1 obtained by dividing the exposure time t 0 into four in order to further increase the output margin of the A / D conversion unit 405. Exposure. Here, the exposure time t 0 = 4 × t 1 . The exposure time is controlled, for example, by using the electronic shutter function of the image sensor 404 and controlling the exposure time for the image sensor 404 by the drive unit 406.

次に、(B)に従い、各露光時間tの露光で撮像して得られたアナログの撮像画像(撮像画像信号)は、制御信号(C)に示す時間tの間にA/D変換部405でデジタル画像信号に変換され、画像処理部410に転送される。
画像処理部410は、A/D変換部405から転送された画像を各メモリ(画像記憶部)に記憶する。そして、各メモリに記憶されている画像の同じアドレスにある画像データをそれぞれ画素ごとに読み出し、Dレンジ拡張して加算し、(E)に示すDレンジ拡大画像102を得る。
この露光時間tで露光して得られる撮像画像は、露光時間tで露光して得られる撮像画像と比較すると露光時間が短いため、撮像画像の出力値(撮像画像信号の信号値)は小さくなる。よって、各撮像画像の出力をA/D変換したときに出力の余裕が拡大する。よって、撮像素子404で複数回に分けて撮像され、A/D変換部405で変換された4枚の画像をDレンジ拡張して加算し、その総和を算出することで露光時間tのときの撮像画像と同じ出力値を得ることができる。その結果、露光時間tのときの撮像画像と同じS/N比を確保することができる。
Next, according to (B), an analog captured image (captured image signal) obtained by imaging at each exposure time t 1 is A / D converted during a time t 2 indicated by the control signal (C). The digital image signal is converted by the unit 405 and transferred to the image processing unit 410.
The image processing unit 410 stores the image transferred from the A / D conversion unit 405 in each memory (image storage unit). Then, the image data at the same address of the image stored in each memory is read for each pixel, and the D range is expanded and added to obtain the D range enlarged image 102 shown in (E).
Since the captured image obtained by exposure with the exposure time t 1 is shorter in exposure time than the captured image obtained by exposure with the exposure time t 0 , the output value of the captured image (signal value of the captured image signal) is Get smaller. Therefore, the output margin increases when the output of each captured image is A / D converted. Therefore, when the exposure time t 0 is obtained by expanding the D range and adding the four images captured by the image sensor 404 in a plurality of times and converted by the A / D conversion unit 405, and calculating the sum thereof. The same output value as that of the captured image can be obtained. As a result, the same S / N ratio as that of the captured image at the exposure time t 0 can be ensured.

さらに、撮像装置400では、露光時間tで露光して得られた4枚の撮像画像を4枚の画像にA/D変換し、この4枚の画像を画素ごとにDレンジ拡張して加算することで、さらに、Dレンジを拡大したDレンジ拡大画像が得られるという格別の効果が得られる。
具体的には、露光時間tで得られる露光量が減少したことにより、撮像素子404から出力される各撮像画像の出力値を小さくすることで、A/D変換部405での飽和レベルに対してt/t倍の余裕ができる。このため、A/D変換後の出力は飽和しにくくなる。
なお、撮像装置400において、A/D変換部405の出力が飽和しないように撮像素子404を複数回に分けて次々に露光し、A/D変換部405で撮像素子404から得られた複数枚の撮像画像を複数枚の画像に変換し、変換された複数枚の画像を画素ごとにDレンジ拡張して加算しても、同様の原理によって、Dレンジを拡大したDレンジ拡大画像を得ることができる。
Further, in the imaging apparatus 400, the exposure time and A / D converts the four captured images obtained by exposure to four images at t 1, the addition to the D range extends this four images for each pixel By doing so, a special effect that a D range enlarged image obtained by enlarging the D range is obtained can be obtained.
Specifically, by reducing the exposure value obtained at the exposure time t 1 , the output value of each captured image output from the image sensor 404 is reduced, so that the saturation level in the A / D conversion unit 405 is reached. On the other hand, there is a margin of t 0 / t 1 times. For this reason, the output after A / D conversion is not easily saturated.
Note that in the imaging apparatus 400, the imaging element 404 is exposed to the imaging element 404 one after another in multiple times so that the output of the A / D conversion unit 405 is not saturated, and a plurality of images obtained from the imaging element 404 by the A / D conversion unit 405 Even if the captured image is converted into a plurality of images, and the converted plurality of images are D-range extended for each pixel and added, a D-range enlarged image with an enlarged D range can be obtained by the same principle. Can do.

(4.2.1:Dレンジ拡大部411の詳細について)
次に、図33〜図35を用いて、本実施形態の撮像装置400におけるDレンジ拡大部411について詳細に説明する。
図33はDレンジ拡大部411の構成を示すブロック図、図34は本実施形態の撮像装置400におけるDレンジ拡大部411を説明するための説明図、図35は本実施形態の撮像装置400で撮影される被写体P2の撮影状態を説明する説明図である。
Dレンジ拡大部411は、図33に示すように、A/D変換部405から出力される各画像(R、GおよびB画像を含む)を、それぞれ記憶する画像記憶部431a〜431dと、画像記憶部431a〜431dに記憶された画像を画素ごとにDレンジ拡張して加算する加算部430とを備える。
(4.2.1: Details of D range expansion unit 411)
Next, the D range expansion unit 411 in the imaging apparatus 400 according to the present embodiment will be described in detail with reference to FIGS.
FIG. 33 is a block diagram showing the configuration of the D-range enlargement unit 411, FIG. 34 is an explanatory diagram for explaining the D-range enlargement unit 411 in the imaging apparatus 400 of this embodiment, and FIG. 35 is the imaging apparatus 400 of this embodiment. It is explanatory drawing explaining the imaging | photography state of the to-be-photographed subject P2.
As shown in FIG. 33, the D range expansion unit 411 includes image storage units 431a to 431d that store the images (including R, G, and B images) output from the A / D conversion unit 405, and images And an adder 430 that adds the images stored in the storage units 431a to 431d after extending the D range for each pixel.

例えば、加算部430は、Dレンジを拡張するために、ビット拡張した加算器を利用することができる。A/D変換部405の出力が10ビットで、露光時間が4分割される場合には、A/D変換部405の出力ビット数に2ビット拡張した上で12ビットの加算器を利用することで、Dレンジ拡張した加算器を構成できる。なお、ビット拡張は2ビットに限定されない。予め、分割回数に応じて拡張する。例えば、分割回数が8回であれば3ビット以上拡張すればよく、同様に、分割回数が16回であれば4ビット以上拡張、2回であれば1ビット以上拡張すればよい。
図34は、Dレンジ変換特性を示すグラフである。
図34に示すように、例えば、露光時間tで入射光量が150%の明るさに相当する光量であるとき、A/D変換部405の出力が飽和レベル(150%の明るさに相当するレベル)となるように絞り部403により調整する。このときの露光時間tは、t=t÷4となる。
For example, the adder 430 can use an adder that has been bit extended in order to extend the D range. If the output of the A / D conversion unit 405 is 10 bits and the exposure time is divided into four, use a 12-bit adder after extending the number of output bits of the A / D conversion unit 405 by 2 bits. Thus, an adder with an extended D range can be configured. The bit extension is not limited to 2 bits. It expands in advance according to the number of divisions. For example, if the number of divisions is 8, it may be expanded by 3 bits or more. Similarly, if the number of divisions is 16, it may be expanded by 4 bits or more, and if it is 2 times, it may be expanded by 1 bit or more.
FIG. 34 is a graph showing the D range conversion characteristics.
As shown in FIG. 34, for example, when the exposure light amount is a light amount corresponding to a brightness of 150% at the exposure time t 0 , the output of the A / D conversion unit 405 corresponds to a saturation level (corresponding to a brightness of 150%). Level) is adjusted by the diaphragm unit 403. The exposure time t 1 at this time is t 1 = t 0 ÷ 4.

このため、同じ入射光量でも、露光時間tとなるため、撮像素子404から得られる撮像画像(撮像画像信号)の出力値は37.5%の明るさに相当する値に減少し、そのA/D変換後の出力値(図34の入出力特性直線L105参照)も37.5%の明るさに相当する信号値に減少する。よって、撮像装置400は、A/D変換部405の出力の飽和レベル(150%の明るさに相当するレベル)に対して4倍の余裕がある。これにより、撮像装置400において、露光時間tとしたとき、A/D変換部405の出力は入射光量が600%(4×150%)に相当する光量になるまで飽和しない。このため、例えば、人物の顔領域を70%の明るさに調整しても、空と雲等の領域は500%の明るさであるため、Dレンジを拡大した出力は飽和しない。
さらに、A/D変換部405によりA/D変換された画像を画像記憶部431a〜431cにそれぞれ記憶し、記憶されている画像に対して加算部430は画素ごとにDレンジ拡張して加算する。これにより、加算部430でDレンジを0〜600%までにDレンジを拡大したDレンジ拡大画像(図34の入出力特性直線L102参照)を得ることができる。
For this reason, even with the same amount of incident light, the exposure time t 1 is obtained, so that the output value of the captured image (captured image signal) obtained from the image sensor 404 decreases to a value corresponding to a brightness of 37.5%. The output value after / D conversion (see the input / output characteristic straight line L105 in FIG. 34) also decreases to a signal value corresponding to 37.5% brightness. Therefore, the imaging apparatus 400 has a margin of four times the saturation level of the output of the A / D conversion unit 405 (a level corresponding to 150% brightness). Thus, in the imaging apparatus 400, when the exposure time t 1, the output of the A / D converter 405 does not saturate until the quantity of incident light quantity is equivalent to 600% (4 × 150%) . For this reason, for example, even if the face area of a person is adjusted to 70% brightness, the sky and cloud areas are 500% bright, so the output obtained by expanding the D range is not saturated.
Further, the images A / D converted by the A / D conversion unit 405 are stored in the image storage units 431a to 431c, respectively, and the adding unit 430 extends the D range for each pixel and adds the images. . Thereby, the D range enlarged image (refer to the input / output characteristic straight line L102 in FIG. 34) obtained by expanding the D range by 0 to 600% by the adding unit 430 can be obtained.

(4.2.2:Dレンジ拡大の効果)
次に、図35を用いて、このDレンジが拡大されたときの効果について説明する。
屋外で被写体を撮影した場合に、被写体の領域によって入射光量が大きく変化する。例えば、被写体P2が逆光で撮影されて取得された撮影画像106の場合、被写体P2の顔領域108は暗くなる。この被写体P2の暗い顔領域108を適切な明るさ、例えば、Dレンジ拡大した出力で70%の明るさに補正すると、明るい領域、例えば空と雲の領域107は、通常で500%以上の明るさとなる。A/D変換部405の出力が150%で飽和する撮像装置を用いて処理する場合、このような撮像装置により取得した画像において、空と雲の領域107は、階調が飽和してしまい、忠実に再現することができない。
一方、本実施形態の撮像装置400では、Dレンジ拡大部411により、A/D変換後の画像信号に対して、飽和させることなくDレンジを0〜600%に拡大しているため、撮像装置400により取得される画像信号において信号値は飽和しない。これにより、撮像装置400で取得した画像において、空や雲の領域(通常500%以上の明るさなる領域)が飽和(階調飽和)することなく、自然な階調値を有する画像領域として再現される。
(4.2.2: Effect of D range expansion)
Next, the effect when the D range is expanded will be described with reference to FIG.
When a subject is photographed outdoors, the amount of incident light varies greatly depending on the region of the subject. For example, in the case of the captured image 106 obtained by capturing the subject P2 with backlight, the face area 108 of the subject P2 becomes dark. When the dark face area 108 of the subject P2 is corrected to an appropriate brightness, for example, 70% brightness with an output obtained by enlarging the D range, a bright area, for example, the sky and cloud area 107, usually has a brightness of 500% or more. It becomes. When processing is performed using an imaging device in which the output of the A / D conversion unit 405 is saturated at 150%, in the image acquired by such an imaging device, the gradation of the sky and cloud region 107 is saturated, It cannot be reproduced faithfully.
On the other hand, in the imaging apparatus 400 of the present embodiment, the D range expansion unit 411 expands the D range to 0 to 600% without saturation with respect to the image signal after A / D conversion. In the image signal acquired by 400, the signal value is not saturated. As a result, in the image acquired by the imaging apparatus 400, the sky and cloud regions (regions with brightness of 500% or more normally) are reproduced as image regions having natural gradation values without saturation (gradation saturation). Is done.

(4.2.3:Dレンジ圧縮部412について)
次に、図35および図36を用いて撮像装置400のDレンジ圧縮部412について詳細に説明する。図36はDレンジ圧縮部412を説明するための説明図である。
Dレンジ圧縮部412では、Dレンジ拡大された信号(図34の入出力特性直線L102により階調変換された信号)に対して、出力を、Dレンジ100%に抑えるために、大きな入力(大きな入力信号値)に対して出力(出力値)をDレンジ圧縮する。このときに、撮影される被写体P2の顔の領域108で適切な明るさを確保しつつ、明るい領域での大きな入力(大きな信号値)に対してより圧縮する度合いを高める。例えば、被写体P2の顔の領域108を適切な明るさ、例えば、出力が70%の明るさに相当する値になるようにする。ここでは、顔の領域108(70%の明るさ)の近傍で出力がリニアに(線形的に)変化するように(70%前後の明るさを有する画素の階調値が線形的に階調変換されるように)、図36の点S(出力80%)までリニアな変換特性直線103に従った出力とし、図36の点Sから点Qまでの出力は、点Sから点Rに折れ曲がる曲線104(knee特性をもたせた曲線)の勾配でDレンジ圧縮する。これにより、600%に拡大された画像信号のDレンジは100%のDレンジに圧縮される。
(4.2.3: D-range compression unit 412)
Next, the D range compression unit 412 of the imaging apparatus 400 will be described in detail with reference to FIGS. 35 and 36. FIG. 36 is an explanatory diagram for explaining the D-range compression unit 412.
In the D-range compression unit 412, a large input (large signal) is used to suppress the output to the D range 100% with respect to the signal that has been expanded in the D range (the signal that has been tone-converted by the input / output characteristic line L102 in FIG. 34). Output (output value) is D-range compressed with respect to (input signal value). At this time, the degree of compression is increased for a large input (large signal value) in a bright area while ensuring appropriate brightness in the face area 108 of the subject P2 to be photographed. For example, the face area 108 of the subject P2 is set to an appropriate brightness, for example, an output corresponding to a brightness of 70%. Here, the gradation value of a pixel having a brightness of around 70% is linearly adjusted so that the output changes linearly (linearly) in the vicinity of the face area 108 (70% brightness). 36), the output from the point S to the point Q in FIG. 36 is bent from the point S to the point R. The D range is compressed with the slope of the curve 104 (curve having the knee characteristic). As a result, the D range of the image signal expanded to 600% is compressed to the D range of 100%.

さらに、Dレンジ圧縮部412は、knee特性をもたせた曲線によるDレンジ圧縮以外の他のDレンジ圧縮方法を用いるものであってもよい。他のDレンジ圧縮方法については後述する。
このように、撮像装置400では、画像信号のDレンジを拡大した後で所定のDレンジに縮小することで、例えば、屋外のように入力光量が大きく変化する場合にも、A/D変換部405の出力を飽和させない画像信号を得ることができる。したがって、撮像装置400では、被写体の明るい領域に対しても、被写体の暗い領域に対しても適切なDレンジに出力範囲(撮像装置400により取得(出力)される画像信号の信号値のとり得る範囲)を抑えることができる。
(4.2.3:撮像装置の動作の手順)
次に、図37に示すフローチャートを用いて、本実施形態の撮像装置400における動作の手順を説明する。
Furthermore, the D range compression unit 412 may use a D range compression method other than the D range compression by a curve having a knee characteristic. Other D range compression methods will be described later.
As described above, in the imaging apparatus 400, the A / D conversion unit can be used even when the input light amount greatly changes, for example, outdoors, by expanding the D range of the image signal and then reducing it to a predetermined D range. An image signal that does not saturate the output of 405 can be obtained. Therefore, the imaging apparatus 400 can take the output range (the signal value of the image signal acquired (output) by the imaging apparatus 400) in an appropriate D range for both the bright area of the subject and the dark area of the subject. Range).
(4.2.3: Operation procedure of imaging apparatus)
Next, an operation procedure in the imaging apparatus 400 according to the present embodiment will be described with reference to a flowchart shown in FIG.

ステップS100では、撮像装置400は、撮像素子404を所定の露光時間tで露光したとき、被写体の主要な領域で適切な明るさが得られるように絞り部403で光量を調節する。
ステップS102では、所定の露光時間tを均等に分割した時間で4回に分けて撮像素子404を次々に露光し、4枚のアナログの撮像画像を撮像素子404から得る。
ステップS104では、A/D変換部405で4枚のアナログの撮像画像をA/D変換し、4枚のデジタルの画像に変換する。
ステップS106では、A/D変換部5で変換して得られた4枚のデジタルの画像を画素ごとにDレンジ拡大部411でDレンジ拡張して加算し、Dレンジを拡大したDレンジ拡大画像102を得る。
At step S100, the imaging device 400, upon exposure to imaging device 404 at a predetermined exposure time t 0, to adjust the light quantity by the diaphragm portion 403 to key areas at the right brightness of the object is obtained.
In step S <b> 102, the image sensor 404 is successively exposed by dividing the predetermined exposure time t <b> 0 into four times by equally dividing time, and four analog captured images are obtained from the image sensor 404.
In step S104, the four analog captured images are A / D converted by the A / D conversion unit 405 and converted into four digital images.
In step S106, four digital images obtained by conversion by the A / D conversion unit 5 are D-range expanded by the D-range expansion unit 411 and added for each pixel, and the D range expanded image is expanded. 102 is obtained.

このように、撮像装置400において、ステップS100を実行することにより、例えば、複数回に分けて露光する前に、画像中の人物の顔が適切な明るさになるように所定の露光時間tに応じた光量調節を行う。その上で、撮像装置400において、ステップS102〜S106を実行することで、Dレンジ拡大画像を得ることができる。
なお、S100〜S106のステップにおいて行う処理は、以下の処理であってもよい。
すなわち、撮像素子404を4回に分けて短時間(高速シャッタ)で露光してA/D変換部405の出力が飽和しないように撮像素子404を駆動し、撮像素子404で4回に分けて撮像して得た4枚のアナログの撮像画像をA/D変換部405によって4枚のデジタルの画像に変換する。そして、変換された4枚の画像を画素ごとにDレンジ拡張して加算し、Dレンジを拡大したDレンジ拡大画像を得る。
In this manner, by performing step S100 in the imaging apparatus 400, for example, before performing exposure in multiple steps, a predetermined exposure time t 0 so that the face of a person in the image has appropriate brightness. Adjust the amount of light according to. In addition, by executing steps S102 to S106 in the imaging apparatus 400, an enlarged D range image can be obtained.
The processing performed in steps S100 to S106 may be the following processing.
That is, the image sensor 404 is divided into four times and exposed in a short time (high-speed shutter) to drive the image sensor 404 so that the output of the A / D converter 405 is not saturated, and the image sensor 404 is divided into four times. Four analog captured images obtained by imaging are converted into four digital images by the A / D converter 405. Then, the four converted images are expanded and added for each pixel in the D range to obtain a D range expanded image in which the D range is expanded.

このような処理によっても、同様に、撮像装置400において、S/N比の劣化を抑え、かつ、Dレンジを拡大したDレンジ拡大画像を得ることができる。
≪変形例≫
次に、図38〜図40を用いてDレンジを圧縮する変形例について説明する。
前述のDレンジ圧縮部412では、図36に示すような特性の非線形の階調カーブを用いてDレンジを圧縮していた。このような手法により、Dレンジ拡大部411で拡大された600%の広範囲なDレンジを有効に活用し、顔等を望みの明るさに維持しながら、かつ広範囲なDレンジに渡るハイライト領域の階調性を飽和させずに残すことが可能になる。
しかし、図36に示すように、Dレンジ圧縮部412で用いられるDレンジ圧縮変換特性(階調変換特性)は、0〜80%の明るさに相当する階調値についてはDレンジ圧縮せず、80〜600%の明るさに相当する階調値を80〜100%の明るさに相当する階調値にDレンジ圧縮する特性である。そのため、高範囲のハイライト領域の階調性を残すことは可能であるが、ハイライト領域では、入出力の傾き(Dレンジ圧縮変換特性曲線の傾き)が非常に小さくなるため、コントラストが非常に低くなる。
Also by such processing, similarly, in the imaging apparatus 400, it is possible to suppress the deterioration of the S / N ratio and obtain a D range enlarged image in which the D range is enlarged.
≪Modification≫
Next, the modification which compresses D range is demonstrated using FIGS. 38-40.
The D range compression unit 412 described above compresses the D range using a non-linear gradation curve having characteristics as shown in FIG. By using such a method, the highlight range over the wide D range while effectively using the wide D range of 600% enlarged by the D range expansion unit 411 and maintaining the face etc. at the desired brightness. It is possible to leave the gradation of the image without saturation.
However, as shown in FIG. 36, the D range compression conversion characteristic (gradation conversion characteristic) used in the D range compression unit 412 does not compress the D range for a gradation value corresponding to 0 to 80% of brightness. , The tone value corresponding to the brightness of 80 to 600% is D range compressed to the tone value corresponding to the brightness of 80 to 100%. For this reason, it is possible to retain the gradation of the highlight area in the high range, but since the input / output slope (the slope of the D-range compression conversion characteristic curve) is very small in the highlight area, the contrast is very high. It becomes low.

言い換えると、Dレンジ圧縮部12がDレンジを拡大すればするほど、ハイライト領域のDレンジ圧縮処理の入出力特性曲線の傾きが小さくなる。この結果、ハイライト領域において、階調変化は残るが、階調変換後の階調値(信号値)の変化が小さすぎ、結果的に従来技術により取得される飽和している画像と大差がない(取得画像を観察したとき飽和しているように見える)画像しか取得できないという原理的な課題を有している。なお、図36に示すDR圧縮変換特性によるDR圧縮変換処理を、数100%以下の領域において適用した場合、ハイライト領域のDレンジ圧縮処理の入出力特性曲線の傾きはそれ程小さくならないので、この手法でも従来の飽和(取得画像においてハイライト部分が飽和する現象)と比べて有意な効果があることは言うまでもない。
この原理的な課題を打破できる技術として、画像中の位置に応じて階調特性を変化させるという技術がある。国際公開公報第WO2005/027041号は、その一例であり、この文献には、画像中の処理すべき着目画素を囲む周辺領域のヒストグラムをとり、その分布からその着目画素に適用する階調カーブを決める手法や、画像中の処理すべき着目画素を囲む周辺領域の平均的な明るさを求め、周辺の明るさに応じてその着目画素に適用する階調カーブを決める手法等が開示されている。
In other words, the more the D range compression unit 12 expands the D range, the smaller the slope of the input / output characteristic curve of the D range compression processing in the highlight region. As a result, the change in gradation remains in the highlight area, but the change in gradation value (signal value) after gradation conversion is too small, and as a result, there is a large difference from the saturated image obtained by the conventional technique. There is a fundamental problem that only an image (which appears saturated when the acquired image is observed) can be acquired. Note that when the DR compression conversion process based on the DR compression conversion characteristic shown in FIG. 36 is applied to an area of several hundred% or less, the slope of the input / output characteristic curve of the D range compression process in the highlight area is not so small. Needless to say, the method has a significant effect compared with the conventional saturation (a phenomenon in which the highlight portion is saturated in the acquired image).
As a technique that can overcome this fundamental problem, there is a technique that changes the gradation characteristics according to the position in the image. International Publication No. WO2005 / 027041 is an example thereof. In this document, a histogram of a peripheral region surrounding a target pixel to be processed in an image is taken. A method for determining the average brightness of a peripheral region surrounding a target pixel to be processed in an image and a method for determining a gradation curve to be applied to the target pixel according to the peripheral brightness are disclosed. .

Dレンジ圧縮部412において、この技術を導入することで、前述の課題であるDレンジ圧縮に伴うコントラストの低下が極めて少ない撮像装置400を実現することができる。すなわち、Dレンジ拡大部411が拡大したハイDレンジの画像情報を、ほとんどロスなしに100%以内の低Dレンジ情報に変換することが可能になり、本発明のDレンジ拡大技術の効果を最大化することができる。
≪視覚処理を用いたDレンジ圧縮処理≫
次に、図38を用いて前述の技術を使用した場合のDレンジ圧縮部412について説明する。図38はDレンジ圧縮部412の構成を示すブロック図である。
図38に示すように、Dレンジ圧縮部412は、処理すべき画素(着目画素)の周囲の明るさの代表値(例えば平均値等)を検出する周囲明度検出部4121と、周囲明度検出部4121の出力に応じてDレンジ圧縮カーブが変化する動的階調補正部4122と、を備えている。
By introducing this technique in the D range compression unit 412, it is possible to realize the imaging apparatus 400 in which the contrast reduction due to the D range compression, which is the above-described problem, is extremely small. That is, it becomes possible to convert the image information of the high D range expanded by the D range expansion unit 411 into the low D range information within 100% with almost no loss, and the effect of the D range expansion technology of the present invention is maximized. Can be
≪D-range compression using visual processing≫
Next, the D range compression unit 412 when the above-described technique is used will be described with reference to FIG. FIG. 38 is a block diagram showing the configuration of the D-range compression unit 412.
As shown in FIG. 38, the D-range compression unit 412 includes an ambient brightness detection unit 4121 that detects a representative value (for example, an average value) of brightness around a pixel to be processed (target pixel), and an ambient brightness detection unit. A dynamic gradation correction unit 4122 whose D range compression curve changes in accordance with the output of 4121.

図39は、Dレンジ圧縮部101の動作を説明する説明図である。
Dレンジ圧縮部412は、着目画素(処理対象の画素)の周囲の明るさにより選択される5本の階調カーブ(階調変換特性曲線)(図12に示す5つの階調カーブ)を有している。図39に示すように、着目画素の周囲が最も暗い場合の曲線をa、着目画素の周囲が最も明るい場合の曲線をc、両者の中間の曲線をbとしている。説明のために、Dレンジ圧縮部412が有している曲線を5本としているが、これに限定されることはない。実際には数10本の階調変換特性曲線を有し、実質的に連続と見なせる本数の階調変換特性曲線を有するDレンジ圧縮部412により、画像信号に対して階調変換処理を行うことが望ましい。
ここで、画像中の着目画素の周囲が暗いところ(例えば図35の領域108等)に相当する画像信号を、Dレンジ圧縮部412により処理する場合、階調変換特性曲線aが適用されることになるため、人の顔の部分(領域)に相当する画像信号は、70%程度の適正な明るさに相当する階調値(信号値)に階調変換されることになる。また、画像中で着目画素の周囲が非常に明るいところ(例えば図35の領域107等)に相当する画像信号を、Dレンジ圧縮部412により処理する場合、階調変換特性曲線cが適用されることになるため、空と雲の領域でも十分な階調数とコントラストを有するものとなる。つまり、このように、Dレンジ圧縮部412で処理することにより、本実施形態の撮像装置では、非常に自然で高品位な画像を得ることができる。
FIG. 39 is an explanatory diagram for explaining the operation of the D-range compression unit 101.
The D-range compression unit 412 has five gradation curves (gradation conversion characteristic curves) (five gradation curves shown in FIG. 12) selected according to the brightness around the pixel of interest (processing target pixel). is doing. As shown in FIG. 39, a curve when the periphery of the pixel of interest is the darkest is a, a curve when the periphery of the pixel of interest is the brightest is c, and a curve between the two is b. For the sake of explanation, the D-range compression unit 412 has five curves, but is not limited thereto. In practice, tone conversion processing is performed on an image signal by the D-range compression unit 412 that has several tens of gradation conversion characteristic curves and has a number of gradation conversion characteristic curves that can be regarded as substantially continuous. Is desirable.
Here, when an image signal corresponding to a dark area around the pixel of interest in the image (for example, the area 108 in FIG. 35) is processed by the D-range compression unit 412, the gradation conversion characteristic curve a is applied. Therefore, an image signal corresponding to a human face portion (region) is subjected to gradation conversion to a gradation value (signal value) corresponding to an appropriate brightness of about 70%. In addition, when an image signal corresponding to a place where the periphery of the pixel of interest is very bright in the image (for example, the area 107 in FIG. 35) is processed by the D-range compression unit 412, the gradation conversion characteristic curve c is applied. For this reason, even in the sky and cloud regions, the number of gradations and the contrast are sufficient. That is, in this way, by processing with the D-range compression unit 412, the image pickup apparatus of the present embodiment can obtain a very natural and high-quality image.

この手法は、人間の視覚特性を利用したもので、視覚処理と呼ばれる。視覚処理は、人間が目で見る際の視覚特性である、明るい領域は感度を下げて見、暗い領域は感度を上げてみるという特性を考慮した処理である。このため、本実施形態の撮像装置で視覚処理を用いて処理して取得した画像は、不自然に見えずに広範囲のDレンジを効果的に圧縮したものとなる。
本発明の第3実施形態の撮像装置によると、Dレンジ拡大部312におけるDレンジを3200%などの1000%以上のDレンジに拡大した場合でも、その広いDレンジを視覚的に損なわずに100%以内のDレンジに圧縮することが可能になる。
<4.3:撮像装置の効果>
次に、図40を用いて実際に撮像装置(カメラ)を用いて、本実施形態の撮像装置の効果を説明する。
This method uses human visual characteristics and is called visual processing. The visual processing is processing that takes into consideration the characteristics of human eyes when viewing with the eyes, that is, a bright region is viewed with reduced sensitivity and a dark region is viewed with increased sensitivity. For this reason, an image acquired by processing using visual processing with the imaging apparatus of the present embodiment is an image obtained by effectively compressing a wide D range without looking unnatural.
According to the imaging apparatus of the third embodiment of the present invention, even when the D range in the D range expansion unit 312 is expanded to a D range of 1000% or more such as 3200%, the wide D range is not visually impaired. It becomes possible to compress to D range within%.
<4.3: Effect of imaging device>
Next, the effect of the imaging apparatus of this embodiment will be described using an imaging apparatus (camera) actually with reference to FIG.

図40(a)は、主要被写体である人物の顔が適切な明るさになるように露光制御した従来のカメラ処理による画像であり図40(b)は、Dレンジ圧縮部412を備える撮像装置400で処理した画像である。
図40(a)と図40(b)は、水車などの日陰で暗い部分の明るさは、ほぼ同じであり、顔の明るさもほぼ同じである。しかし、空と雲の部分や太陽光が服に反射する部分については、図40(a)では飽和して白飛びしているのに対し、図40(b)では連続的な階調変化が維持されているだけでなく、雲と空の輪郭やコントラストも維持されており、自然な仕上がりの画像が得られている。
また、空の色についても、図40(a)では白飛びし色が無くなっているのに対し、図40(b)では青空が再現されている。このように、本実施形態のDレンジ圧縮部412は、Dレンジ拡大部411が拡大した広いDレンジを有効に生かしながら100%の狭いDレンジに自然に圧縮することができることが分かる。
FIG. 40A is an image obtained by conventional camera processing in which exposure control is performed so that the face of a person who is a main subject has appropriate brightness, and FIG. 40B is an imaging device including a D-range compression unit 412. 4 is an image processed at 400.
In FIG. 40A and FIG. 40B, the brightness of shaded and dark parts such as a water wheel is almost the same, and the brightness of the face is also the same. However, the sky and clouds and the part where sunlight reflects on the clothes are saturated and whitened in FIG. 40A, whereas in FIG. 40B, there are continuous gradation changes. In addition to being maintained, the outline and contrast of the clouds and sky are also maintained, resulting in a natural finished image.
Also, with respect to the sky color, in FIG. 40A, the whiteout color disappears, whereas in FIG. 40B, the blue sky is reproduced. Thus, it can be seen that the D range compression unit 412 of the present embodiment can naturally compress to a narrow D range of 100% while effectively utilizing the wide D range expanded by the D range expansion unit 411.

以上のように、本実施形態の撮像装置400では、露光時間tで露光したときに被写体の主要な領域で適切な明るさを得るように光量調節した後、この露光時間tを均等に4分割した時間tで露光し、撮像素子404から4枚の撮像画像を取得する。このため、撮像装置400では、各撮像画像の出力値を1/4と小さくし、A/D変換部405の出力で4倍の余裕を得ることができる。さらに、撮像装置400では、暗くなった画像を明るくするために、4枚の画像を画素ごとにDレンジ拡張して加算することで、露光時間tで撮像して得られる画像と同じ明るさにすることができる。これにより、撮像装置400では、S/N比を劣化させることなく、Dレンジが拡大したDレンジ拡大画像を得ることができる。
また、撮像装置400では、Dレンジ拡大部411で画像信号のDレンジを拡大した後で、Dレンジ圧縮部412で画像中の位置に応じて階調特性を変化させながらDレンジを100%以内に圧縮する。このため、Dレンジ拡大部411におけるDレンジを1200%などの1000%以上のDレンジに拡大した場合でも、その広いDレンジを視覚的に損なわずに100%以内のDレンジに圧縮することができる。
As described above, in the imaging apparatus 400 of the present embodiment, after the light amount adjusted to obtain the proper brightness with key areas of the object when exposed in the exposure time t 0, equally the exposure time t 0 Exposure is performed at time t 1 divided into four, and four captured images are acquired from the image sensor 404. For this reason, in the imaging apparatus 400, the output value of each captured image can be reduced to ¼, and a margin of four times can be obtained by the output of the A / D conversion unit 405. Further, in the imaging apparatus 400, in order to brighten the image darkened, the four images by adding to D range extension in each pixel, the same brightness as the image obtained by imaging with an exposure time t 0 Can be. As a result, the imaging apparatus 400 can obtain a D range enlarged image in which the D range is enlarged without degrading the S / N ratio.
Further, in the imaging apparatus 400, after the D range of the image signal is expanded by the D range expansion unit 411, the D range is within 100% while the gradation characteristics are changed according to the position in the image by the D range compression unit 412. Compress to For this reason, even when the D range in the D range expansion unit 411 is expanded to a D range of 1000% or more such as 1200%, the wide D range can be compressed to a D range within 100% without visually impairing. it can.

なお、上記では、説明を容易にするために露光時間tを4分割にし、露光時間tで4回に分けて露光を行う場合について説明したが、分割回数はこれに限定さられるものでない。例えば、必要なDレンジの拡大率に応じて分割の数を2回にしても、16回にしてもよく、さらに、必要に応じて分割数を増減するようにしてもよい。なお、2分割にすればDレンジを2倍(300%)に拡大することができ、16分割にすればDレンジを16倍(2400%)に拡大することができる。このように、必要となるDレンジに応じて、分割数を増減させるようにすればよい。分割回数をN(Nは自然数)とした場合には、Dレンジの拡大率はN倍となり、出力を0〜N×(A/D変換部405の出力の飽和レベル(%))にまで拡大することができる。撮像装置400において、露光時間tを均等に2回以上分けるようにして前述の処理を実行すれば、前述の効果を発揮することができる。 In the above, description to facilitate exposure time t 0 to the divided into four, a case has been described in which exposure is performed four times with an exposure time t 1, number of divisions is not intended to be limited to . For example, the number of divisions may be two or six according to the required D range enlargement ratio, and the number of divisions may be increased or decreased as necessary. If divided into two, the D range can be expanded twice (300%), and if divided into 16, the D range can be expanded to 16 times (2400%). Thus, the number of divisions may be increased or decreased according to the required D range. When the number of divisions is N (N is a natural number), the expansion rate of the D range is N times, and the output is expanded to 0 to N × (saturation level (%) of the output of the A / D conversion unit 405). can do. In the image pickup device 400, so as to divide more evenly twice the exposure time t 0 when executing the process described above, can exhibit the aforementioned advantage.

[第5実施形態]
次に、図41〜図43を用いて、本発明の第5実施形態について説明する。
そして、第5実施形態の撮像装置により、操作者の手振れによる画像間の画像ずれを補正し、画質を向上させる方法について説明する。
第5実施形態の撮像装置は、第4実施形態の撮像装置400において、Dレンジ拡大部411を図41に示すDレンジ拡大部511に置換したものである。第5実施形態の撮像装置において、第4実施形態の撮像装置400と同様の部分については、同じ符号を付し、説明を省略する。
まず、図41〜図43を用いて本発明の第5実施形態の撮像装置のDレンジ拡大部511について説明する。
[Fifth Embodiment]
Next, a fifth embodiment of the present invention will be described with reference to FIGS.
A method for improving the image quality by correcting the image shift between images due to the hand shake of the operator using the imaging apparatus according to the fifth embodiment will be described.
The imaging device of the fifth embodiment is obtained by replacing the D range expansion unit 411 with a D range expansion unit 511 shown in FIG. 41 in the imaging device 400 of the fourth embodiment. In the imaging device of the fifth embodiment, the same parts as those of the imaging device 400 of the fourth embodiment are denoted by the same reference numerals, and description thereof is omitted.
First, the D range expansion unit 511 of the imaging apparatus according to the fifth embodiment of the present invention will be described with reference to FIGS.

図41は、本実施形態の撮像装置のDレンジ拡大部511の構成を示すブロック図、図42は手振れの処理について説明する説明図、図43は手振れ検出部542〜544を説明する説明図である。
第4実施形態の撮像装置400のDレンジ拡大部411では、分割して露光したときに得られる被写体P2の4枚の画像を画素ごとにDレンジ拡張して加算していた。本実施形態の撮像装置Dレンジ拡大部511は、この4枚の画像を画素ごとにDレンジ拡張して加算するときに、本実施形態の撮像装置を操作している者(以下、「操作者」と記す)の手振れによって発生する画像間の画像ずれを検出し、この画像ずれを抑えた画像を得ることができるようにしたものである。
このために、Dレンジ拡大部511は、A/D変換部405から出力される各画像(R、GおよびB画像を含む)を制御信号のタイミングに従って記憶する画像記憶部531a〜531dと、画像記憶部531a〜531dに記憶された各画像から操作者の手振れによる画像ずれの大きさとその方向を検出する手振れ検出部542〜544と、画像ずれの大きさから手振れの有無を判断する手振れ判断部545と、手振れ判断部545によって手振れがあると判断された場合には画像ずれをなくす方向の補正値を算出し、補正値に応じて制御信号のタイミングに従って画像をずらして加算する加算部541と、を備えている。
41 is a block diagram illustrating a configuration of the D range expansion unit 511 of the imaging apparatus according to the present embodiment, FIG. 42 is an explanatory diagram illustrating camera shake processing, and FIG. 43 is an explanatory diagram illustrating camera shake detection units 542 to 544. is there.
In the D range expansion unit 411 of the imaging apparatus 400 according to the fourth embodiment, the four images of the subject P2 obtained when divided and exposed are expanded and added for each pixel in the D range. The imaging device D range expansion unit 511 of the present embodiment operates the imaging device of the present embodiment (hereinafter referred to as “operator”) when the four images are expanded and added to the D range for each pixel. The image shift between the images caused by the camera shake is detected, and an image in which the image shift is suppressed can be obtained.
For this purpose, the D range expansion unit 511 stores each image (including R, G, and B images) output from the A / D conversion unit 405 according to the timing of the control signal, and image storage units 531a to 531d. Camera shake detection units 542 to 544 that detect the magnitude and direction of image shift caused by an operator's camera shake from the images stored in the storage units 531a to 531d, and a camera shake determination unit that determines the presence or absence of camera shake from the size of the image shift. 545 and an addition unit 541 that calculates a correction value in a direction to eliminate image shift when the camera shake determination unit 545 determines that there is camera shake, and shifts and adds an image according to the timing of the control signal according to the correction value. It is equipped with.

手振れ検出部542は、画像記憶部531a、531bに記憶されている2枚の画像を比較し、画像ずれの大きさとその方向を検出する。同様に、手振れ検出部543は、画像記憶部531b、531cに記憶されている2枚の画像を比較して画像ずれの大きさとその方向を検出し、手振れ検出部544は、画像記憶部531c、531dに記憶されている2枚の画像を比較して画像ずれの大きさとその方向を検出する。
加算部541は、手振れ判断部545により、画像記憶部531a、531bに記憶されている2枚の画像を処理するときは手振れ検出部542で検出された画像ずれの大きさとその方向に応じて補正値を算出する。同様に、加算部541は、画像記憶部531b、531cに記憶されている2枚の画像を処理するときは手振れ検出部543で検出された画像ずれの大きさとその方向に応じて補正値を算出し、画像記憶部531c、531dに記憶されている2枚の画像を処理するときは手振れ検出部543で検出された画像ずれの大きさとその方向に加え、手振れ検出部544で検出された画像ずれの大きさとその方向に応じて補正値を算出する。
The camera shake detection unit 542 compares the two images stored in the image storage units 531a and 531b, and detects the magnitude and direction of the image shift. Similarly, the camera shake detection unit 543 compares two images stored in the image storage units 531b and 531c to detect the magnitude and direction of the image shift, and the camera shake detection unit 544 includes the image storage units 531c and 531c, The two images stored in 531d are compared to detect the magnitude and direction of the image shift.
When the camera shake determination unit 545 processes the two images stored in the image storage units 531a and 531b, the addition unit 541 corrects according to the magnitude and direction of the image shift detected by the camera shake detection unit 542. Calculate the value. Similarly, when the two images stored in the image storage units 531b and 531c are processed, the addition unit 541 calculates a correction value according to the magnitude and direction of the image shift detected by the camera shake detection unit 543. When processing the two images stored in the image storage units 531c and 531d, in addition to the magnitude and direction of the image shift detected by the camera shake detection unit 543, the image shift detected by the camera shake detection unit 544 A correction value is calculated in accordance with the size of and the direction thereof.

次に、図42を用いて、手振れ処理について説明する。
ここでは、上下方向と左右方向は同様な処理となるため、説明を容易にするために上下方向の手振れによる画像ずれについて説明する。
図42(a)は、時刻t−1〜t+2に分割して露光したときに撮像して取得された画像の状態を示す図である。なお、ここで時刻tを基準時刻とし、時刻t−1とは、時刻tに取得されるフレーム画像(画像B)の1フレーム前のフレーム画像を取得した時刻をいい、時刻t+1とは、時刻tに取得されるフレーム画像の1フレーム後のフレーム画像を取得する時刻をいうものとする。また、時刻t+N、t−N(Nは任意の自然数)も同様である。
また、基準画像(図42の画像Bに相当。)としては、画像振れを合わせる観点からできるだけ撮像装置により撮影した時刻(シャッターを押した瞬間の時刻)の画像を選択することが望ましく、基準画像が時系列の中心となるように、時間的に前後する画像をDレンジ拡大部511の画像記憶部531a〜531dに記憶することが望ましい。ここでは、図42に示すように、時刻tの画像Bを基準画像とし、画像Bの基準Hに対する画像A、画像Cおよび画像Dの画像ずれを説明する。
Next, camera shake processing will be described with reference to FIG.
Here, since the vertical direction and the horizontal direction are the same processing, image displacement due to vertical camera shake will be described for ease of explanation.
FIG. 42A is a diagram illustrating a state of an image captured and acquired when the exposure is divided and performed at times t-1 to t + 2. Here, the time t is a reference time, the time t−1 is the time when the frame image one frame before the frame image (image B) acquired at the time t is acquired, and the time t + 1 is the time Let t denote the time to acquire the frame image one frame after the acquired frame image. The same applies to times t + N and t-N (N is an arbitrary natural number).
Further, as the reference image (corresponding to the image B in FIG. 42), it is desirable to select an image at the time taken by the imaging device (the time when the shutter is pressed) as much as possible from the viewpoint of adjusting image shake. Is preferably stored in the image storage units 531a to 531d of the D range enlargement unit 511 so that the center of the time series. Here, as shown in FIG. 42, image B at time t is used as a reference image, and image shifts of images A, C, and D with respect to reference H of image B will be described.

図42(a)に示すように、時刻t−1で取得された画像Aは画像Bに対してΔh1だけ下側に画像がずれている。同様に、時刻t+2で取得された画像Dは画像Bに対してΔh2だけ上側に画像がずれている。時刻t+1で取得された画像Cは画像Bに対して画像ずれしていない。
図42(b)に図示するように、このような手振れによる画像ずれがあった場合には、手振れ検出部542は、画像Bと画像Aとを比較し、下側への画像ずれの大きさ「Δh1」を検出する。手振れ判断部545は、この画像ずれの大きさが所定の値Cより大きいか否かにより手振れの有無を判断する。加算部541は、手振れ判断部545が手振れありと判断(Δh1>C)した場合には、上側方向に画像Aの座標のずれを補正する補正値(Δh1)を加えた座標にある画素の値を加算する。
As shown in FIG. 42A, the image A acquired at time t−1 is shifted downward from the image B by Δh1. Similarly, the image D acquired at time t + 2 is shifted upward from the image B by Δh2. The image C acquired at time t + 1 is not shifted from the image B.
As illustrated in FIG. 42B, when there is an image shift due to such a camera shake, the camera shake detection unit 542 compares the image B and the image A, and the magnitude of the image shift downward. “Δh1” is detected. The camera shake determination unit 545 determines the presence or absence of camera shake based on whether or not the magnitude of the image shift is larger than a predetermined value C. When the camera shake determination unit 545 determines that there is a camera shake (Δh1> C), the addition unit 541 adds the correction value (Δh1) for correcting the shift in the coordinates of the image A in the upper direction to the value of the pixel at the coordinate. Is added.

同様に、手振れ検出部543は、画像Bと画像Cとを比較し、手振れ判断部45が手振れなしと判断((画像ずれの大きさ)=0<C)した場合には、加算部541は、画像Bの座標と同じ座標にある画像Cの画素を加算する。
また、手振れ検出部544は、画像Cと画像Dとを比較し、上側への画像ずれの大きさ「Δh2」を検出する。手振れ判断部545は、この画像ずれの大きさが所定の値Cより大きいか否かにより手振れの有無を判断する。
加算部541は、手振れ判断部545が手振れありと判断(Δh2>C)した場合には、下側方向に画像Dの座標のずれを補正するように補正値(Δh2+0)を減じた座標にある画素の値を加算する。ここで、加算部541は、画像Dの画像ずれを補正するときに、画像Bに対する画像Cの画像ずれも加えた座標で補正して加算する。また、加算部541は、対象とする画素が領域外にある場合には加算を行わない。
Similarly, the camera shake detection unit 543 compares the images B and C, and if the camera shake determination unit 45 determines that there is no camera shake ((size of image shift) = 0 <C), the adder unit 541 The pixels of the image C at the same coordinates as the coordinates of the image B are added.
Further, the camera shake detection unit 544 compares the image C and the image D, and detects the magnitude “Δh2” of the upward image shift. The camera shake determination unit 545 determines the presence or absence of camera shake based on whether or not the magnitude of the image shift is larger than a predetermined value C.
When the camera shake determination unit 545 determines that there is a camera shake (Δh2> C), the adder 541 is at the coordinates obtained by subtracting the correction value (Δh2 + 0) so as to correct the shift in the coordinates of the image D in the downward direction. Add pixel values. Here, when the image shift of the image D is corrected, the adding unit 541 corrects and adds the coordinates with the image shift of the image C with respect to the image B added. The adding unit 541 does not perform addition when the target pixel is outside the region.

これにより、加算部541は、画像Bに対して画像ずれをなくした画像A、画像Cおよび画像Dの各画素をDレンジ拡張して加算することができ、本実施形態の撮像装置を操作している利用者の手振れによっておこる画像の画像ずれの影響を除くことができる。
なお、図43に示すように、手振れ検出部542は、画像記憶部531a、531bに記憶されている画像A、Bを比較するときに、全体の画像領域の中から所定の領域545a〜545fを設定し、画像Aの所定の領域545a〜545fを対応する画像Bの所定の領域546a〜546fと比較するようにし、領域ごとの比較によって得られた画像ずれの大きさとその方向Δhave1〜Δhave6を平均したものを加算部541に設定する補正値としてもよい。このとき、小数点以下の値が発生した場合には、小数点以下の割合に応じて、隣接する上下左右斜めにある画素の値と着目している画素とを補間処理する。なお、小数点以下の値は四捨五入して画像ずれの補正値を算出してもよい。これにより、比較する演算量を削減し、処理時間を短縮することができる。また、ハードウェアの規模を削減することができる。
As a result, the adding unit 541 can add each pixel of the image A, the image C, and the image D with no image shift to the image B by extending the D range, and operates the imaging apparatus of the present embodiment. It is possible to eliminate the influence of the image shift caused by the hand shake of the user.
As shown in FIG. 43, the camera shake detection unit 542 compares predetermined regions 545a to 545f from the entire image region when comparing the images A and B stored in the image storage units 531a and 531b. The predetermined areas 545a to 545f of the image A are compared with the predetermined areas 546a to 546f of the corresponding image B, and the magnitude and direction Δh ave 1 to Δh of the image shift obtained by the comparison for each area A value obtained by averaging ave 6 may be a correction value set in the adding unit 541. At this time, when a value after the decimal point is generated, an interpolation process is performed between the value of the pixel that is adjacent to the upper, lower, left, and right diagonals according to the ratio of the decimal point and the pixel of interest. Note that a value after the decimal point may be rounded off to calculate a correction value for image shift. As a result, the amount of calculation to be compared can be reduced, and the processing time can be shortened. In addition, the hardware scale can be reduced.

また、手振れ検出部543、544も同様に処理することができる。
以上のように、本実施形態の撮像装置では、Dレンジ拡大部511により、操作者の手振れによって発生する画像の画像ずれをなくした後、画像A〜Dの各画素をDレンジ拡張して加算することができるので、第4実施形態の撮像装置400における効果に加えて、さらに、手振れによる画像ずれを抑え、Dレンジを拡大したDレンジ拡大画像を得ることができる。
具体的には、本実施形態の撮像装置では、4回に分けて露光されるため、撮像素子404から得られた各撮像画像では露光時間が1/4に短縮され、操作者の手振れによる画像ずれも1/4に小さくなっている。また、被写体の動きによる被写体振れも同様に1/4に小さくなっている。本実施形態の撮像装置では、この4枚の各撮像画像をA/D変換部405で変換した後、手振れ検出部542〜544で得られた画像ずれの大きさとその方向に応じて、手振れによる画像ずれをなくす方向に各画像をずらして加算する。よって、従来のように複数回に分けないで露光する場合の画像と比較して、本実施形態の撮像装置では、手振れによる画像ずれを小さくすることができる。
The camera shake detection units 543 and 544 can also perform the same processing.
As described above, in the imaging apparatus according to the present embodiment, the D range enlargement unit 511 eliminates the image shift of the image caused by the hand shake of the operator, and then adds each pixel of the images A to D by extending the D range. Therefore, in addition to the effects of the imaging apparatus 400 of the fourth embodiment, it is possible to further suppress an image shift due to camera shake and obtain a D range enlarged image in which the D range is enlarged.
Specifically, in the imaging apparatus according to the present embodiment, exposure is performed in four steps, so that each captured image obtained from the imaging element 404 has an exposure time reduced to ¼, and an image due to hand shake of the operator. The deviation is also reduced to 1/4. Similarly, subject shake due to subject movement is also reduced to ¼. In the imaging apparatus of the present embodiment, after each of the four captured images is converted by the A / D conversion unit 405, the image is caused by camera shake according to the magnitude and direction of the image shift obtained by the camera shake detection units 542 to 544. Each image is shifted and added in a direction to eliminate the image shift. Therefore, compared with the image in the case where exposure is performed without dividing the image into a plurality of times as in the conventional case, in the imaging apparatus according to the present embodiment, image shift due to camera shake can be reduced.

なお、上記では、画像間の比較によって画像ずれを検出することで手振れを検出する場合について説明したが、これに限定されることはなく、本実施形態の撮像装置において、例えば、ジャイロによって手振れの大きさとその方向を検出し、この手振れの大きさとその方向に応じて手振れによる画像ずれをなくす方向に画像をずらした後、画像A〜Dの各画素をDレンジ拡張して加算するようにしてもよい。
また、手振れ検出部542〜544では、画像A〜DのG成分から画像ずれの大きさとその方向を検出するようにしてもよい。
また、加算部541で、手振れ検出部542〜544で検出される画像ずれの大きさがない場合、画像ずれ「0」として処理するようにすれば、手振れ判断部545を省略することも可能である。この場合、加算部541は、手振れ検出部542〜544で検出された画像ずれの大きさとその方向に応じて画像ずれをなくす方向に画像をずらして加算するだけでよい。
In the above description, the case where the camera shake is detected by detecting the image shift by the comparison between the images has been described. However, the present invention is not limited to this. For example, in the imaging apparatus according to the present embodiment, the camera shake is detected by the gyro. The size and its direction are detected, and the image is shifted in a direction that eliminates the image shift caused by the camera shake according to the size and direction of the camera shake, and then each pixel of the images A to D is extended by the D range and added. Also good.
Further, the camera shake detection units 542 to 544 may detect the magnitude and direction of the image shift from the G components of the images A to D.
In addition, if there is no image shift detected by the camera shake detectors 542 to 544 in the adder 541, the camera shake determiner 545 can be omitted if the image shift is processed as “0”. is there. In this case, the adding unit 541 only has to shift the image in a direction to eliminate the image shift according to the size and the direction of the image shift detected by the camera shake detection units 542 to 544 and add them.

[第6実施形態]
次に、図44および図45を用いて、本発明の第6実施形態について説明する。
第6実施形態の撮像装置は、第4実施形態の撮像装置400において、Dレンジ拡大部411を図44に示すDレンジ拡大部611に置換したものである。第6実施形態の撮像装置において、第4実施形態の撮像装置400と同様の部分については、同じ符号を付し、説明を省略する。
図44は、本実施形態の撮像装置のDレンジ拡大部611の構成を示すブロック図である。図45は、手振れおよび被写体振れの処理について説明する説明図である。
第5実施形態の撮像装置におけるDレンジ拡大部511では、操作者の手振れによる画像ずれをなくす方向に画像をずらして加算するようにし、手振れによる画像ずれの影響を抑えた画像を得るようにした。本実施形態の撮像装置におけるDレンジ拡大部611では、さらに、手振れに加えて被写体P2の動きによる画像の振れ(以下、「被写体振れ」と記す)を抑えた画像を得るようにしたものである。
[Sixth Embodiment]
Next, a sixth embodiment of the present invention will be described using FIG. 44 and FIG.
The imaging device of the sixth embodiment is obtained by replacing the D range expansion unit 411 with a D range expansion unit 611 shown in FIG. 44 in the imaging device 400 of the fourth embodiment. In the imaging device of the sixth embodiment, the same parts as those of the imaging device 400 of the fourth embodiment are denoted by the same reference numerals, and description thereof is omitted.
FIG. 44 is a block diagram illustrating a configuration of the D range expansion unit 611 of the imaging apparatus according to the present embodiment. FIG. 45 is an explanatory diagram for explaining processing of camera shake and subject shake.
In the D range enlargement unit 511 in the imaging apparatus of the fifth embodiment, the image is shifted and added in a direction to eliminate the image shift due to the camera shake of the operator, and an image in which the influence of the image shift due to the camera shake is suppressed is obtained. . The D range enlargement unit 611 in the imaging apparatus of the present embodiment further obtains an image in which image shake due to movement of the subject P2 (hereinafter referred to as “subject shake”) is suppressed in addition to hand shake. .

このために、図44に示すように、Dレンジ拡大部611は、A/D変換部405から出力されるRGBの画像を記憶する画像記憶部631a〜631dと、画像記憶部631a〜631dに記憶された画像から手振れによる画像ずれを検出する手振れ検出部642〜644と、画像ずれの大きさから手振れの有無を判断する手振れ判断部645と、を備える。また、Dレンジ拡大部611は、画像記憶部631a〜631dに記憶された2枚の画像を画素ごとに比較することにより局所領域の被写体振れの有無を検出する被写体振れ検出部652〜654と、手振れ検出部642〜644によって手振れが検出された場合には画像ずれをなくす方向の補正値を算出し、補正値に応じて画像信号をずらして加算する一方で、被写体振れ検出部652〜654で被写体振れが検出された場合には被写体振れのある画素を加算しない加算部651と、を備える。   For this purpose, as shown in FIG. 44, the D range expansion unit 611 stores the RGB images output from the A / D conversion unit 405 in the image storage units 631a to 631d and the image storage units 631a to 631d. A camera shake detection unit 642 to 644 that detects an image shift due to camera shake from the captured image, and a camera shake determination unit 645 that determines the presence or absence of camera shake from the magnitude of the image shift. In addition, the D range expansion unit 611 compares the two images stored in the image storage units 631a to 631d for each pixel, and detects subject shake detection units 652 to 654 that detect the presence or absence of subject shake in the local region. When camera shake is detected by the camera shake detectors 642 to 644, a correction value in a direction to eliminate image shift is calculated, and the image signal is shifted and added according to the correction value, while the subject shake detectors 652 to 654 are added. And an adder 651 that does not add pixels with subject shake when subject shake is detected.

被写体振れ検出部652は、手振れ検出部642から得られる画像ずれの大きさとその方向に応じて画像をずらした後で画像記憶部631a、631bに記憶されている2枚の画像を画素ごとに比較し、被写体振れのある画素を検出する。同様に、被写体振れ検出部653は、手振れ検出部643から得られる画像ずれの大きさに応じて画像をずらした後で画像記憶部631b、631cに記憶されている2枚の画像を画素ごとに比較して被写体振れのある画素を検出し、被写体振れ検出部654は手振れ検出部644から得られる画像ずれの大きさに応じて画像をずらした後で画像記憶部631c、631dに記憶されている2枚の画像を画素ごとに比較して被写体振れのある画素を検出する。
次に、図45を用いて、手振れおよび被写体振れの処理について説明する。
ここでは、上下方向と左右方向は同様な処理となるため、説明を容易にするために上下方向の手振れによる画像ずれについて説明する。
The subject shake detection unit 652 compares the two images stored in the image storage units 631a and 631b for each pixel after shifting the image according to the magnitude and direction of the image shift obtained from the camera shake detection unit 642. Then, a pixel with subject shake is detected. Similarly, the subject shake detection unit 653 shifts the image according to the magnitude of the image shift obtained from the camera shake detection unit 643, and then uses the two images stored in the image storage units 631b and 631c for each pixel. The pixels with subject shake are detected by comparison, and the subject shake detection unit 654 shifts the image according to the magnitude of the image shift obtained from the camera shake detection unit 644 and then stores the image in the image storage units 631c and 631d. The two images are compared for each pixel to detect a pixel with subject shake.
Next, processing for camera shake and subject shake will be described with reference to FIG.
Here, since the vertical direction and the horizontal direction are the same processing, image displacement due to vertical camera shake will be described for ease of explanation.

図45(a)は、時刻t−1〜t+2に分割して露光したときに撮像して取得された画像信号の状態を示す図である。ここでは、画像Bの基準Hに対して画像A、画像Cおよび画像Dの画像ずれを説明する。
図45(a)に示すように、時刻t−1で取得された画像Aは画像Bに対してΔh1だけ下側に画像がずれている。同様に、時刻t+2で取得された画像Dは画像Bに対してΔh2だけ上側に画像がずれている。時刻t+1で取得された画像Cは画像Bに対して画像ずれしていない。
このような手振れによる画像ずれがあった場合には、図45(b)に示すように、Dレンジ拡大部611は、まず、分割して露光して得た4枚の画像における手振れを、第5実施形態のDレンジ拡大部611と同じ様に、手振れ検出部642〜644で検出された画像ずれの大きさとその方向に応じた補正値により画像ずれをなくした後、被写体振れ検出部652〜654により、画像A〜Dの隣り合う画像のうち、選択された2枚の画像間で画素ごとに比較し、画素ごとに被写体振れの領域の有無を検出し、手振れおよび被写体ずれの有無に応じて画像A〜Dを加算する。ここで図45(b)に示す領域X、Yは被写体振れが検出された領域である。
FIG. 45A is a diagram illustrating a state of an image signal obtained by capturing an image when the exposure is divided and performed at times t-1 to t + 2. Here, the image shift of the images A, C, and D with respect to the reference H of the image B will be described.
As shown in FIG. 45A, the image A acquired at time t−1 is shifted downward from the image B by Δh1. Similarly, the image D acquired at time t + 2 is shifted upward from the image B by Δh2. The image C acquired at time t + 1 is not shifted from the image B.
When there is an image shift due to such camera shake, as shown in FIG. 45 (b), the D-range enlargement unit 611 first calculates the camera shake in the four images obtained by the divided exposure. Similar to the D range enlargement unit 611 of the fifth embodiment, after eliminating the image shift by the correction value according to the magnitude and direction of the image shift detected by the camera shake detection unit 642 to 644, the subject shake detection unit 652 By 654, two adjacent images of the images A to D are compared for each pixel, and the presence or absence of a subject shake area is detected for each pixel, and the presence or absence of hand shake and subject deviation is detected. Then, the images A to D are added. Here, regions X and Y shown in FIG. 45B are regions where subject shake is detected.

なお、局所的な被写体P2の動きの検出は、このように2枚のサブフレーム画像の差分で画素ごとに直接に比較するだけでなく、LPF(Low Pass Filter)を通した後の画像により、着目画素を含む少し広めの領域を比較することで行うようにしてもよい。また、パターンマッチングによって比較することで、局所的な被写体P2の動きを検出するようにしてもよい。
加算部651は、被写体振れ検出部652〜654から被写体の動きがある局所領域(例えば領域X、領域Y)の座標(画像上の座標)を取得し、この被写体振れがある領域X、Yでは手振れの画像ずれをなくした後の画素の加算を行わない。一方、加算部651は、被写体振れが検出されなかった領域では、手振れの画像ずれをなくした後の画素の加算を行う。
The local motion of the subject P2 is not only directly compared for each pixel based on the difference between the two subframe images as described above, but also by an image after passing through an LPF (Low Pass Filter). You may make it carry out by comparing the slightly wider area | region containing a pixel of interest. Further, a local movement of the subject P2 may be detected by comparison by pattern matching.
The adding unit 651 obtains the coordinates (coordinates on the image) of the local region (for example, the region X and the region Y) where the subject moves, from the subject shake detection units 652 to 654, and in the regions X and Y where the subject shake is present Do not add pixels after eliminating image shift due to camera shake. On the other hand, the addition unit 651 performs pixel addition after eliminating image shift due to camera shake in an area where no subject shake is detected.

加算を行わない画像がある場合、加算部651は、加算した画像の数に応じた明度調整を行う。例えば、図45(b)に示すように、画像Aと画像Dの局所領域では被写体振れが発生しているため、その局所領域では画像Bと画像Cの画素が加算される。このため、明るさが2/4になるため、4/2倍に明るさを調整する。同様に、加算される画像が3枚の場合には明るさが3/4になるため、4/3倍に明るさを調整する。なお、この明るさ調整処理は、必ずしも加算部651で行う必要はなく、例えば、信号処理部413で行うようにしてもよい。
これにより、被写体振れがある領域X、Y以外の領域では画素をDレンジ拡張して加算するため、手振れおよび被写体振れのない画像信号が得られる。
以上のように、本実施形態の撮像装置では、Dレンジ拡大部611により被写体振れを考慮した処理を実行するので、第5実施形態の撮像装置のDレンジ拡大部511の効果に加え、さらに、被写体振れのない画像信号を得ることができる。
When there is an image to which no addition is performed, the addition unit 651 performs brightness adjustment according to the number of added images. For example, as shown in FIG. 45B, subject shake occurs in the local areas of the images A and D, and therefore the pixels of the images B and C are added in the local areas. For this reason, since the brightness is 2/4, the brightness is adjusted to 4/2 times. Similarly, when there are three images to be added, the brightness is 3/4, so the brightness is adjusted to 4/3 times. Note that this brightness adjustment processing is not necessarily performed by the adding unit 651, and may be performed by the signal processing unit 413, for example.
As a result, in the regions other than the regions X and Y where the subject shakes, the pixels are expanded by adding the D range, and an image signal free from camera shake and subject shake is obtained.
As described above, in the imaging apparatus according to the present embodiment, the D range expansion unit 611 performs processing in consideration of subject shake. In addition to the effects of the D range expansion unit 511 of the imaging apparatus according to the fifth embodiment, An image signal without subject shake can be obtained.

また、本実施形態の撮像装置では、露光時間を均等に4分割したことで、A/D変換後の各画像での手振れの程度を同じにでき、手振れによる画像ずれをなくすときに、露光時間の違いによる画像ずれ量の影響を排除できる。このように、本実施形態の撮像装置では、撮像素子404を短時間露光(高速シャッタ)で利用することで、手振れおよび被写体振れを抑えた画像を得ることができる。
なお、本実施形態の撮像装置では、画像間の比較によって手振れを検出し、手振れによる画像ずれをなくす方向に画像をずらした後、被写体振れを検出するようにしたが、これに限定されることはない。例えば、三脚等の固定した台に設置したような場合で手振れによる画像ずれがないときには、本実施形態の撮像装置において、手振れ補正のない画像間を比較し、被写体振れを検出してもよい。
Further, in the imaging apparatus of the present embodiment, the exposure time is equally divided into four, so that the degree of camera shake in each image after A / D conversion can be made the same, and the exposure time can be eliminated when image shift due to camera shake is eliminated. It is possible to eliminate the influence of the image shift amount due to the difference. As described above, in the imaging apparatus according to the present embodiment, an image in which camera shake and subject shake are suppressed can be obtained by using the imaging element 404 with short-time exposure (high-speed shutter).
In the imaging apparatus according to the present embodiment, camera shake is detected by comparing between images and the image is shifted in a direction that eliminates image shift due to camera shake, and then the subject shake is detected. However, the present invention is limited to this. There is no. For example, when there is no image shift due to camera shake when the camera is installed on a fixed base such as a tripod, the image pickup apparatus according to the present embodiment may detect image blur by comparing between images without camera shake correction.

また、本実施形態の撮像装置において、光学式の手振れ補正を使って、予め手振れ補正された複数枚の画像から上述の手法により被写体振れを検出するようにしてもよい。この場合、上述した効果と同様の効果を発揮することができ、本実施形態の撮像装置において、予め手振れ補正された複数枚の画像を有効に利用できる。この光学式の手振れ補正を活用した場合には、撮像素子4の撮像エリア内に手振れ検出用の領域を設ける必要がないため、撮像素子404の撮像エリアを有効に活用できる。
[第7実施形態]
次に、図46および図47を用いて、本発明の第7実施形態について説明する。
第7実施形態の撮像装置は、第4実施形態の撮像装置400において、Dレンジ拡大部411を図46に示すDレンジ拡大部711に置換したものである。第7実施形態の撮像装置において、第4実施形態の撮像装置400と同様の部分については、同じ符号を付し、説明を省略する。
In the imaging apparatus according to the present embodiment, subject shake may be detected from a plurality of images that have been shake-corrected in advance using the above-described method using optical camera shake correction. In this case, the same effects as those described above can be exhibited, and a plurality of images that have been subjected to camera shake correction in advance can be effectively used in the imaging apparatus of the present embodiment. When this optical camera shake correction is used, it is not necessary to provide a camera shake detection area in the image pickup area of the image pickup device 4, so that the image pickup area of the image pickup device 404 can be used effectively.
[Seventh Embodiment]
Next, a seventh embodiment of the present invention will be described with reference to FIGS. 46 and 47. FIG.
The imaging device of the seventh embodiment is obtained by replacing the D range expansion unit 411 with a D range expansion unit 711 shown in FIG. 46 in the imaging device 400 of the fourth embodiment. In the imaging device according to the seventh embodiment, the same portions as those of the imaging device 400 according to the fourth embodiment are denoted by the same reference numerals, and description thereof is omitted.

図46は本実施形態の撮像装置のDレンジ拡大部711の構成を示すブロック図である。図47は、手振れおよび被写体振れの処理について説明する説明図である。
第6実施形態の撮像装置のDレンジ拡大部611では、手振れによる画像ずれを補正する手振れ処理、被写体振れがある領域を除去する被写体振れの処理を行い、Dレンジ拡張して加算するときに、被写体振れをしている局所領域の画像信号を加算しないようにしていた。本実施形態の撮像装置におけるDレンジ拡大部711では、さらに、手振れに加えて被写体振れをしている局所領域の画像信号を除去せずに、手振れおよび被写体振れを抑えた画像信号を得るようにしたものである。
このために、図46に示すように、Dレンジ拡大部711は、A/D変換部405から出力されるRGBの画像を記憶する画像記憶部731a〜731dと、画像記憶部731a〜731dに記憶された画像から手振れによる画像ずれを検出する手振れ検出部742〜744と、画像ずれの大きさから手振れの有無を判断する手振れ判断部745と、を備える。また、Dレンジ拡大部711は、画像記憶部31a〜31dに記憶された2枚の画像を画素ごとに比較することにより局所領域の被写体振れの有無を検出する被写体振れ検出部752〜754と、局所領域の被写体振れがある画素に対して被写体振れをなくすように座標を変換する座標変換部762〜764と、を備える。さらに、Dレンジ拡大部711は、手振れ検出部742〜744によって手振れが検出された場合には画像ずれをなくす方向の補正値を算出し、補正値に応じて画像をずらして加算する一方で、被写体振れが検出された場合には座標変換部762〜764から出力される被写体振れのない画素を加算しない加算部761と、を備える。
FIG. 46 is a block diagram illustrating a configuration of the D range expansion unit 711 of the imaging apparatus according to the present embodiment. FIG. 47 is an explanatory diagram for explaining processing of camera shake and subject shake.
In the D range expansion unit 611 of the imaging apparatus of the sixth embodiment, when performing shake processing for correcting image shift due to camera shake, subject shake processing for removing a region with subject shake, and adding the D range expanded, The image signal of the local area where the subject shakes is not added. The D range expansion unit 711 in the imaging apparatus of the present embodiment further obtains an image signal that suppresses camera shake and subject shake without removing the image signal of the local region that is subject shake in addition to camera shake. It is a thing.
For this purpose, as shown in FIG. 46, the D range enlargement unit 711 stores the RGB images output from the A / D conversion unit 405 in the image storage units 731a to 731d and the image storage units 731a to 731d. A camera shake detection unit 742 to 744 that detects image shift due to camera shake from the captured image, and a camera shake determination unit 745 that determines the presence or absence of camera shake from the magnitude of the image shift. The D range expansion unit 711 includes subject shake detection units 752 to 754 that detect the presence or absence of subject shake in the local region by comparing two images stored in the image storage units 31a to 31d for each pixel. Coordinate conversion units 762 to 764 for converting coordinates so as to eliminate subject shake for pixels with subject shake in the local region. Further, the D range enlargement unit 711 calculates a correction value in a direction to eliminate the image shift when the camera shake is detected by the camera shake detection units 742 to 744, and shifts and adds the image according to the correction value. An adder 761 that does not add pixels without subject shake output from the coordinate conversion units 762 to 764 when subject shake is detected.

さらに、Dレンジ拡大部711は、被写体振れが検出された場合には、被写体振れが検出された局所領域の差を判断し、座標変換部762〜764が被写体振れをなくすことができるか否かを判断する被写体振れ判断部755を備える。
被写体振れ判断部755が被写体振れをなくすことができないと判断した場合、加算部761は、画素を加算しないようにし、一方、被写体振れ判断部755が被写体振れをなくすことができると判断した場合、加算部761は、座標変換部762〜764から出力される被写体振れのない画素を加算する。
このように、本実施形態の撮像装置のDレンジ拡大部711では、被写体振れ判断部755により、被写体振れが検出された局所領域の差を判断することで、被写体の一部が検出できなくなった領域があっても対応することができる。例えば、被写体の手が被写体の背後に隠れても、その手の領域は画素を加算しないようにすることができる。
Furthermore, when the subject shake is detected, the D range enlargement unit 711 determines a difference between the local areas where the subject shake is detected, and whether or not the coordinate conversion units 762 to 764 can eliminate the subject shake. A subject shake determination unit 755 for determining
When the subject shake determination unit 755 determines that the subject shake cannot be eliminated, the addition unit 761 does not add pixels, whereas when the subject shake determination unit 755 determines that the subject shake can be eliminated, The adder 761 adds pixels without subject shake output from the coordinate converters 762 to 764.
As described above, in the D range enlargement unit 711 of the imaging apparatus according to the present embodiment, the subject shake determination unit 755 determines the difference in the local area where the subject shake is detected, so that a part of the subject cannot be detected. Even if there is an area, it can respond. For example, even if the subject's hand is hidden behind the subject, the region of the hand can be prevented from adding pixels.

座標変換部762は、手振れ検出部742から得られる画像ずれの大きさとその方向に応じて画像をずらした後、画像記憶部731aに記憶されている画像信号の被写体振れが検出された画素を座標変換する。同様に、座標変換部763は、手振れ検出部743から得られる画像ずれの大きさとその方向に応じて画像をずらした後、画像記憶部731cに記憶されている画像の被写体振れが検出された画素を座標変換する。また、同様に、座標変換部764は、手振れ検出部744から得られる画像ずれの大きさとその方向に応じて画像をずらした後、画像記憶部731dに記憶されている画像の被写体振れが検出された画素を座標変換する。
次に、図47を用いて、手振れおよび被写体振れの処理について説明する。
ここでは、上下方向と左右方向は同様な処理となるため、説明を容易にするために上下方向の手振れによる画像ずれについて説明する。
The coordinate conversion unit 762 shifts the image according to the magnitude and direction of the image shift obtained from the camera shake detection unit 742, and then coordinates the pixel where the subject shake of the image signal stored in the image storage unit 731a is detected. Convert. Similarly, the coordinate conversion unit 763 shifts the image according to the magnitude and direction of the image shift obtained from the camera shake detection unit 743, and then detects the subject shake of the image stored in the image storage unit 731c. Is transformed. Similarly, the coordinate conversion unit 764 shifts the image according to the magnitude and direction of the image shift obtained from the camera shake detection unit 744, and then detects the subject shake of the image stored in the image storage unit 731d. The coordinates of the selected pixel are transformed.
Next, processing for camera shake and subject shake will be described with reference to FIG.
Here, since the vertical direction and the horizontal direction are the same processing, image displacement due to vertical camera shake will be described for ease of explanation.

図47(a)に示すように、時刻t−1で取得された画像Aは画像Bに対してΔh1だけ下側に画像がずれている。同様に、時刻t+2で取得された画像Dは画像Bに対してΔh2だけ上側に画像がずれている。時刻t+1で取得された画像Cは画像Bに対して画像ずれしていない。
このような手振れによる画像ずれがあった場合には、図47(b)に示すように、Dレンジ拡大部60は、まず、分割して露光された被写体P2の4枚の画像の手振れを、第5実施形態の撮像装置のDレンジ拡大部511と同様に、手振れ検出部742〜744で検出された画像ずれの大きさとその方向に応じた補正値によりずれをなくした後、被写体振れ検出部752〜754により、画像A〜Dの隣り合う画像のうち、選択された2枚の画像間について画素ごとに比較し、画素ごとに被写体振れの領域の有無を検出し、手振れおよび被写体ずれの有無に応じて画像A〜Dを加算する。ここで、図47(b)に示す領域X、Yは、被写体振れが検出された領域である。
As shown in FIG. 47A, the image A acquired at time t−1 is shifted downward from the image B by Δh1. Similarly, the image D acquired at time t + 2 is shifted upward from the image B by Δh2. The image C acquired at time t + 1 is not shifted from the image B.
When there is an image shift due to such a camera shake, as shown in FIG. 47B, the D range enlargement unit 60 first performs a camera shake of four images of the subject P2 that are divided and exposed. Similar to the D range enlargement unit 511 of the imaging apparatus of the fifth embodiment, after eliminating the deviation by the correction value corresponding to the magnitude and direction of the image deviation detected by the camera shake detection units 742 to 744, the subject shake detection unit From 752 to 754, among the adjacent images of images A to D, the selected two images are compared for each pixel, and the presence or absence of a subject shake region is detected for each pixel, and the presence or absence of hand shake and subject deviation is detected. The images A to D are added according to the above. Here, areas X and Y shown in FIG. 47B are areas where subject shake is detected.

座標変換部762〜764は、被写体振れ検出部752〜754によって検出された被写体振れを検出した局所領域(領域Xおよび領域Y)について、画素ごとにアフィン変換による移動、回転処理を行い、被写体振れを補正した出力を加算部761に出力する。
なお、被写体振れ判断部755が、座標変換部762〜764の出力を判断し、被写体振れをなくすことができないと判断した場合には、加算部761は座標変換された画素を加算しないようにする。例えば、被写体P2の手が被写体P2自身の背後に隠れてしまい、手が検出できない場合等である。また、被写体P2の腕や顔等の一部が障害物に隠れた場合でも同様である。このように、座標変換部762〜764で変換して画像をずらしても重ねることができない場合には、加算部761は、座標変換された画像信号を加算しない。
The coordinate conversion units 762 to 764 perform movement and rotation processing by affine transformation for each pixel on the local area (region X and region Y) where the subject shake detected by the subject shake detection units 752 to 754 is detected, and subject shake is performed. Is output to the adder 761.
When the subject shake determination unit 755 determines the output of the coordinate conversion units 762 to 764 and determines that the subject shake cannot be eliminated, the addition unit 761 does not add the coordinate-converted pixels. . For example, the hand of the subject P2 is hidden behind the subject P2 itself and the hand cannot be detected. The same applies when a part of the arm, face, etc. of the subject P2 is hidden by an obstacle. As described above, when the coordinate conversion units 762 to 764 convert the images and shift the images, the addition unit 761 does not add the image signals after the coordinate conversion.

以上のように、本実施形態の撮像装置によれば、本発明の第6実施形態における撮像装置のDレンジ拡大部611の効果に加え、さらに、局所領域の被写体振れがある画素に対して被写体振れをなくした後で画像A〜Dの各画素をDレンジ拡張して加算することができる。また、本実施形態の撮像装置によれば、被写体振れがあった場合でも、手振れおよび被写体振れを抑えて、Dレンジを拡大したDレンジ拡大画像を得ることができる。なお、本実施形態の撮像装置では、第6実施形態と同様に加算された画像の枚数に応じて明るさ調整を行う。
[他の実施形態]
本発明の第4〜第7実施形態の説明では、通常のカメラで用いられる映像γ処理については省略して説明している。これは、説明を簡単にし、発明内容の理解を容易にすることを目的としているもので、本発明に本質的な影響のない映像γ処理についての説明を省略したものである。したがって、本発明が映像γ処理なしの構成に限定されるものではない。また、本発明の効果は映像γ処理が存在する場合であっても全く同様である。
As described above, according to the imaging apparatus of the present embodiment, in addition to the effects of the D range expansion unit 611 of the imaging apparatus according to the sixth embodiment of the present invention, the subject is further detected with respect to pixels that have subject shake in the local region. After eliminating the shake, each pixel of the images A to D can be added by extending the D range. Further, according to the imaging apparatus of the present embodiment, even when there is subject shake, it is possible to obtain a D range enlarged image in which the D range is enlarged while suppressing hand shake and subject shake. Note that, in the imaging apparatus of this embodiment, brightness adjustment is performed according to the number of added images, as in the sixth embodiment.
[Other Embodiments]
In the description of the fourth to seventh embodiments of the present invention, the video γ processing used in a normal camera is omitted. This is for the purpose of simplifying the explanation and facilitating the understanding of the contents of the invention, and omitting the explanation of the video γ processing that has no substantial influence on the present invention. Therefore, the present invention is not limited to a configuration without video γ processing. The effect of the present invention is exactly the same even when the video γ processing exists.

また、前述の各実施の形態で説明した機能ブロックは、他のカメラ信号処理機能と一体として集積回路などを用いたハードウェアにより実施してもよいし、集積回路の中に備えられた中央処理装置(以下、「CPU」という)を用いて組み込みソフトウェアで実視されてもよい。また、独立したコンピュータのアプリケーションソフトウエアとして実施されてもよい。上記各種機能をソフトウェアおよびハードウェアの混在処理により実現してもよい。
まず、前述の各種機能をハードウェアで実施する場合は、各実施の形態での各機能を個別に集積回路としてもよいし、一部またはすべてを含むように1チップ化された集積回路としてもよい。例えば、集積回路は、光学系416と、撮像素子404と、A/D変換部405と、被写体の主要部で最適な明るさが得られるように所定の露光時間tに応じた光量の調節を行う光量調節部とを備えた撮像装置に用いる集積回路の場合には、前述したのと同様に所定の露光時間tを均等に分割した時間tで4回に分けて次々に露光し、4枚の撮像画像が得られるように撮像素子404を駆動する駆動部406と、A/D変換部405で4枚の撮像画像を変換して得られた4枚の画像を画素ごとにDレンジ拡張して加算し、Dレンジを拡大したDレンジ拡大画像を出力するDレンジ拡大部411(あるいは511、611、711)と、を備えている。
In addition, the functional blocks described in the above embodiments may be implemented by hardware using an integrated circuit or the like integrated with other camera signal processing functions, or a central processing provided in the integrated circuit. A device (hereinafter referred to as a “CPU”) may be used to realize the embedded software. Further, it may be implemented as application software of an independent computer. You may implement | achieve the said various functions by the mixed process of software and hardware.
First, when the above-described various functions are implemented by hardware, each function in each embodiment may be individually integrated circuits, or may be an integrated circuit integrated into one chip so as to include a part or all of them. Good. For example, the integrated circuit adjusts the amount of light according to a predetermined exposure time t 0 so that optimum brightness can be obtained in the optical system 416, the image sensor 404, the A / D converter 405, and the main part of the subject. In the case of an integrated circuit used in an image pickup apparatus having a light amount adjustment unit for performing the exposure, the predetermined exposure time t 0 is divided into four times at a time t 1 that is equally divided as described above. A drive unit 406 that drives the imaging element 404 so that four captured images are obtained, and four images obtained by converting the four captured images by the A / D conversion unit 405 are D for each pixel. A D range expansion unit 411 (or 511, 611, 711) that outputs a D range enlarged image obtained by expanding and adding the range and expanding the D range.

また、集積回路は、A/D変換部405の出力が飽和しないように撮像素子404を4回に分けて次々に露光し、4枚の撮像画像が得られるように撮像素子404を駆動する駆動部406と、A/D変換部405で4枚の撮像画像を変換して得られた4枚の画像を画素ごとにDレンジ拡張して加算し、Dレンジを拡大したDレンジ拡大画像を出力するDレンジ拡大部411(あるいは511、611、711)とを備えるようにしてもよい。
これにより、S/N比の劣化を抑え、Dレンジの広い画像信号が得られる集積回路を実現することができる。なお、露光の分割の回数は4回に限定されるものでない。必要なDレンジに応じて、N回(N>1)(Nは自然数)に分けて露光し、後でその分割して撮像された画像を画素ごとにDレンジ拡張して加算すればよい。
なお、ここでの集積回路とは、LSIに限らず、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
In addition, the integrated circuit is configured to drive the image sensor 404 so that four captured images are obtained by exposing the image sensor 404 four times in succession so that the output of the A / D converter 405 is not saturated. Unit 406 and the A / D conversion unit 405 convert four captured images and add the four images obtained by extending the D range for each pixel, and output a D range expanded image in which the D range is expanded. D range expansion unit 411 (or 511, 611, 711) may be provided.
Thereby, it is possible to realize an integrated circuit that can suppress the deterioration of the S / N ratio and obtain an image signal with a wide D range. Note that the number of exposure divisions is not limited to four. Depending on the required D range, the exposure may be performed N times (N> 1) (N is a natural number), and the divided and captured images may be added after extending the D range for each pixel.
The integrated circuit here is not limited to an LSI, and may be referred to as an IC, a system LSI, a super LSI, or an ultra LSI depending on the degree of integration.

また、集積回路は、専用回路または汎用プロセッサーで実現してもよい。たとえば、半導体チップを製造した後、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、集積回路内部のセルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩または派生する別技術による集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。たとえば、バイオ技術の進歩により、バイオコンピュータの適用などが考えられる。
また、アプリケーションソフトウエアは、ディスク等に格納されて配布される形態のみ成らずネットワークを通じてダウンロードする形態のものでもよい。
また、前述の手振れおよび被写体振れの処理では、上下方向について処理する場合を例に説明したが、これに限定されるものではない。同様に、左右方向について処理するようにしてもよい。さらに、回転方向について処理するようにしてもよい。
The integrated circuit may be realized by a dedicated circuit or a general-purpose processor. For example, an FPGA (Field Programmable Gate Array) that can be programmed after manufacturing a semiconductor chip, or a reconfigurable processor that can reconfigure the connection and setting of cells inside the integrated circuit may be used.
Further, if integrated circuit technology comes out as a result of advances in semiconductor technology or other derived technology, it is naturally also possible to carry out function block integration using this technology. For example, biocomputers may be applied due to advances in biotechnology.
Further, the application software is not limited to a form stored and distributed on a disk or the like, but may be a form downloaded via a network.
In the above-described camera shake and subject shake processing, the case of processing in the vertical direction has been described as an example, but the present invention is not limited to this. Similarly, processing in the left-right direction may be performed. Furthermore, you may make it process about a rotation direction.

また、前述の実施形態において、フレーム単位の処理を行う場合について説明したが、これに限定されることはなく、例えば、フィールド単位の処理を行うようにしてもよい。
また、前述の実施形態において、画像記憶部(431a〜431d、531a〜531d、631a〜631d、731a〜731d)は、別々の機能ブロックであるものとして説明したが、これに限定されることはなく、例えば、共通のメモリをアドレスで分割して使用することで実現させてもよい。
また、前述の実施形態において、静止画を撮影するデジタルカメラを例にとって説明した部分があるが、これに限定されることはなく、動画を撮影するビデオカメラであっても、メカニカルシャッタが電子シャッタに替わる以外は同様であり、本発明は、ビデオカメラに利用することも可能である。
Further, in the above-described embodiment, the case where the processing in units of frames has been described, but the present invention is not limited to this, and for example, processing in units of fields may be performed.
In the above-described embodiment, the image storage units (431a to 431d, 531a to 531d, 631a to 631d, and 731a to 731d) have been described as separate functional blocks, but the present invention is not limited thereto. For example, it may be realized by dividing and using a common memory.
Further, in the above-described embodiment, there is a portion described by taking a digital camera for taking a still image as an example, but the present invention is not limited to this, and a mechanical shutter is an electronic shutter even in a video camera for taking a moving image. It is the same except that it is replaced, and the present invention can also be used for a video camera.

また、本発明の各実施の形態における撮像装置は、静止した被写体を撮影するスチルカメラまたは動いている被写体を撮像するビデオカメラ等のデジタルカメラ、被写体を監視する監視カメラ、撮像機能を備えた携帯電話、撮像機能を備えた情報機器、撮像用集積回路等に応用することができる。
なお、本発明の具体的な構成は、前述の各実施の形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
[付記]
本発明は、次のように表現することも可能である。
[第1付記]
(付記1)
電子的に被写体を撮影する撮像装置であって、
光量調節機能を有する光学系と、
前記光学系が結像する像を読み取るイメージセンサと、
前記イメージセンサの出力をA/D変換するA/D変換器と、
前記A/D変換器の出力のダイナミックレンジを線形に拡大するダイナミックレンジ拡大手段と、
を備える撮像装置。
(付記2)
電子的に被写体を撮影する撮像装置であって、
光量調節機能を有する光学系と、
前記光学系が結像する像を読み取るイメージセンサと、
前記イメージセンサの出力をA/D変換するA/D変換器と、
前記A/D変換器の出力のダイナミックレンジを線形に拡大するダイナミックレンジ拡大手段と、
前記ダイナミックレンジ拡大手段の出力を所定のダイナミックレンジに非線形に圧縮するダイナミックレンジ圧縮手段と、
を備える撮像装置。
(付記3)
前記ダイナミックレンジ拡大手段は、入力の感度をデジタルで高める増幅手段を有し、
前記増幅手段の出力を飽和させずに通過させることにより線形にダイナミックレンジ拡大を行うことを特徴とする、
付記1または付記2に記載の撮像装置。
(付記4)
前記ダイナミックレンジ圧縮手段は、画像中の最明部の明度レベルに応じて変換特性を変化させる非線形圧縮であることを特徴とする、
付記2または付記3に記載の撮像装置。
(付記5)
前記ダイナミックレンジ圧縮手段は、画像の空間的な位置に応じて異なる変換特性を用いて圧縮することを特徴とする、
付記2、付記3または付記4に記載の撮像装置。
(付記6)
前記ダイナミックレンジ圧縮手段は、処理すべき画素の周囲の明るさに応じて異なる変換特性を用いて圧縮することを特徴とする、
付記2、付記3または付記4に記載の撮像装置。
(付記7)
電子的に被写体を撮影する撮像方法であって、
撮影シーンのハイライトが飽和しないようイメージセンサへの露光条件を設定するステップと、
前記イメージセンサの出力をデジタルの画像データに変換するステップと、
前記画像データ中の主要被写体が所望の明るさになるように線形にダイナミックレンジを拡大するステップと、
前記拡大されたダイナミックレンジが所定のダイナミックレンジになるよう非線形に圧縮するステップと、
を備える撮像方法。
(付記8)
ダイナミックレンジを非線形に圧縮する前記ステップは、画像データ中の最明部のレベルに応じた変換特性で圧縮するものであることを特徴とする、
付記7に記載の撮像方法。
(付記9)
ダイナミックレンジを非線形に圧縮する前記ステップは、画像データ中の空間的な位置に応じて異なる変換特性を用いて圧縮するものであることを特徴とする、
付記7に記載の撮像方法。
(付記10)
光量調節機能を有する光学系とイメージセンサとA/D変換器とを有する撮像装置に用いる撮像用集積回路であって、
前記A/D変換器の出力のダイナミックレンジを線形に拡大するダイナミックレンジ拡大手段と、
前記ダイナミックレンジ拡大手段の出力を所定のダイナミックレンジに非線形に圧縮するダイナミックレンジ圧縮手段と、
を備える撮像用集積回路。
(付記11)
前記ダイナミックレンジ拡大手段は、入力の感度をデジタルで高める増幅手段を有し、
前記増幅手段の出力を飽和させずに通過させることにより線形にダイナミックレンジ拡大を行うことを特徴とする、
付記10に記載の撮像用集積回路。
(付記12)
前記ダイナミックレンジ圧縮手段は、画像中の最明部の明度レベルに応じて変換特性を変化させる非線形圧縮であることを特徴とする、
付記10または付記11に記載の撮像用集積回路。
(付記13)
前記ダイナミックレンジ圧縮手段は、画像の空間的な位置に応じて異なる変換特性を用いて圧縮することを特徴とする、
付記10、付記11または付記12に記載の撮像用集積回路。
(付記14)
光量調節機能を有する光学系とイメージセンサとA/D変換器とを有する撮像装置に用いる撮像用プログラムであって、
前記イメージセンサの出力をデジタルの画像データに変換するステップと、
前記画像データ中の主要被写体が所望の明るさになるように線形にダイナミックレンジを拡大するステップと、
前記拡大されたダイナミックレンジが所定のダイナミックレンジになるよう非線形に圧縮するステップと、
を備える撮像用プログラム。
In addition, the imaging device according to each embodiment of the present invention includes a digital camera such as a still camera that captures a stationary subject or a video camera that captures a moving subject, a monitoring camera that monitors the subject, and a mobile phone equipped with an imaging function. The present invention can be applied to a telephone, an information device having an imaging function, an imaging integrated circuit, and the like.
The specific configuration of the present invention is not limited to the above-described embodiments, and various changes and modifications can be made without departing from the spirit of the invention.
[Appendix]
The present invention can also be expressed as follows.
[First note]
(Appendix 1)
An imaging device for electronically photographing a subject,
An optical system having a light amount adjustment function;
An image sensor for reading an image formed by the optical system;
An A / D converter for A / D converting the output of the image sensor;
Dynamic range expanding means for linearly expanding the dynamic range of the output of the A / D converter;
An imaging apparatus comprising:
(Appendix 2)
An imaging device for electronically photographing a subject,
An optical system having a light amount adjustment function;
An image sensor for reading an image formed by the optical system;
An A / D converter for A / D converting the output of the image sensor;
Dynamic range expanding means for linearly expanding the dynamic range of the output of the A / D converter;
Dynamic range compression means for nonlinearly compressing the output of the dynamic range expansion means to a predetermined dynamic range;
An imaging apparatus comprising:
(Appendix 3)
The dynamic range expansion unit has an amplification unit that digitally increases the sensitivity of the input,
The dynamic range is expanded linearly by allowing the output of the amplification means to pass without being saturated,
The imaging apparatus according to Supplementary Note 1 or Supplementary Note 2.
(Appendix 4)
The dynamic range compression means is non-linear compression that changes conversion characteristics in accordance with the lightness level of the brightest part in the image,
The imaging apparatus according to Supplementary Note 2 or Supplementary Note 3.
(Appendix 5)
The dynamic range compression means compresses using different conversion characteristics depending on the spatial position of the image,
The imaging apparatus according to Supplementary Note 2, Supplementary Note 3 or Supplementary Note 4.
(Appendix 6)
The dynamic range compression means compresses using different conversion characteristics according to the brightness around the pixel to be processed,
The imaging apparatus according to Supplementary Note 2, Supplementary Note 3 or Supplementary Note 4.
(Appendix 7)
An imaging method for photographing a subject electronically,
Setting the exposure conditions for the image sensor so that the highlight of the shooting scene is not saturated;
Converting the output of the image sensor into digital image data;
Linearly expanding the dynamic range so that the main subject in the image data has a desired brightness;
Compressing nonlinearly so that the expanded dynamic range becomes a predetermined dynamic range;
An imaging method comprising:
(Appendix 8)
The step of compressing the dynamic range in a non-linear manner is characterized in that the dynamic range is compressed with a conversion characteristic according to the level of the brightest part in the image data.
The imaging method according to appendix 7.
(Appendix 9)
The step of compressing the dynamic range in a non-linear manner is characterized in that the dynamic range is compressed using different conversion characteristics depending on the spatial position in the image data.
The imaging method according to appendix 7.
(Appendix 10)
An integrated circuit for imaging used in an imaging apparatus having an optical system having a light amount adjustment function, an image sensor, and an A / D converter,
Dynamic range expanding means for linearly expanding the dynamic range of the output of the A / D converter;
Dynamic range compression means for nonlinearly compressing the output of the dynamic range expansion means to a predetermined dynamic range;
An integrated circuit for imaging comprising:
(Appendix 11)
The dynamic range expansion unit has an amplification unit that digitally increases the sensitivity of the input,
The dynamic range is expanded linearly by allowing the output of the amplification means to pass without being saturated,
The integrated circuit for imaging according to appendix 10.
(Appendix 12)
The dynamic range compression means is non-linear compression that changes conversion characteristics in accordance with the lightness level of the brightest part in the image,
The integrated circuit for imaging according to appendix 10 or appendix 11.
(Appendix 13)
The dynamic range compression means compresses using different conversion characteristics depending on the spatial position of the image,
The imaging integrated circuit according to appendix 10, appendix 11 or appendix 12.
(Appendix 14)
An imaging program used for an imaging apparatus having an optical system having a light amount adjustment function, an image sensor, and an A / D converter,
Converting the output of the image sensor into digital image data;
Linearly expanding the dynamic range so that the main subject in the image data has a desired brightness;
Compressing nonlinearly so that the expanded dynamic range becomes a predetermined dynamic range;
An imaging program comprising:

[第2付記]
(付記1)
光量調節機能を持つ光学部と、
前記光学部によって結像された被写体の像を読み取る撮像素子と、
前記撮像素子から出力されたアナログの撮像画像をデジタルの画像に変換するA/D変換部と、
所定の露光時間を均等に分割した時間で複数回に分けて次々に露光し、複数枚の撮像画像が得られるように前記撮像素子を駆動する駆動部と、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚の画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大部と、
を備えることを特徴とする、
撮像装置。
(付記2)
前記ダイナミックレンジ拡大画像のダイナミックレンジを所定のダイナミックレンジに非線形に圧縮するダイナミックレンジ圧縮部をさらに備えることを特徴とする、
付記1に記載の撮像装置。
(付記3)
前記ダイナミックレンジ拡大部において、少なくとも入力ダイナミックレンジより大きな出力ダイナミックレンジを有することを特徴とする、
付記1または付記2に記載の撮像装置。
(付記4)
前記ダイナミックレンジ圧縮部は、画像の空間的な位置に応じて変化する変換特性を用いて前記ダイナミックレンジ拡大画像のダイナミックレンジを圧縮することを特徴とする、
付記2に記載の撮像装置。
(付記5)
前記撮像素子を複数回に分けて露光する前に、
前記所定の露光時間において前記被写体の主要部で所定の明るさが得られるように光量の調節が行われることを特徴とする、
付記1から付記4のいずれか1項に記載の撮像装置。
(付記6)
前記複数枚の画像のうち、異なる2枚の画像から手振れによる画像ずれの大きさとその方向を検出する手振れ検出部を備え、
前記ダイナミックレンジ拡大部は、前記手振れ検出部で検出された前記画像ずれの大きさとその方向に応じて前記画像ずれをなくす方向に前記画像をずらして加算することを特徴とする、
付記1から付記5のいずれか1項に記載の撮像装置。
(付記7)
前記複数枚の画像のうち、前記手振れによる画像ずれをなくした異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出部を備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ検出部で前記被写体振れが検出された場合には前記被写体振れがある画素を加算しないことを特徴とする、
付記6に記載の撮像装置。
(付記8)
前記複数枚の画像のうち、異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出部を備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ検出部で前記被写体振れが検出された場合には前記被写体振れがある画素を加算しないことを特徴とする、
付記1から付記5のいずれか1項に記載の撮像装置。
(付記9)
手振れ補正された複数枚の画像を取得し、取得された前記複数枚の画像のうち、異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出部を備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ検出部で前記被写体振れが検出された場合には前記被写体振れがある画素を加算しないことを特徴とする、
付記1から付記5のいずれか1項に記載の撮像装置。
(付記10)
前記手振れ補正が光学式の手振れ補正であることを特徴とする、
付記9に記載の撮像装置。
(付記11)
前記複数枚の画像のうち、前記手振れによる画像ずれをなくした異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出部と、
前記被写体振れ検出部で前記被写体振れが検出された画素に対して前記被写体振れをなくすように座標を変換する座標変換部と、
を備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ検出部で前記被写体振れが検出された画素に対しては前記座標変換部で変換された画素を加算するようにしたことを特徴とする、
付記6に記載の撮像装置。
(付記12)
前記被写体振れをなくすことができるか否かを判断する被写体振れ判断部を備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ判断部が前記被写体振れをなくすことができないと判断した場合には前記被写体振れがある画素を加算しないことを特徴とする、
付記11に記載の撮像装置。
(付記13)
光量調節機能を持つ光学部と、
前記光学部によって結像された被写体の像を読み取る撮像素子と、
前記撮像素子から出力されたアナログの撮像画像をデジタルの画像に変換するA/D変換部と、
前記A/D変換部の出力が飽和しないように前記撮像素子を複数回に分けて次々に露光し、複数枚の撮像画像が得られるように前記撮像素子を駆動する駆動部と、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚の画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大部と、
を備えることを特徴とする、
撮像装置。
(付記14)
光量調節機能を持つ光学部と、
前記光学部によって結像された被写体の像を読み取る撮像素子と、
前記撮像素子から出力されたアナログの撮像画像をデジタルの画像に変換するA/D変換部と、
前記撮像素子を複数回に分けて次々に露光し、複数枚の撮像画像が得られるように前記撮像素子を駆動する駆動部と、
前記A/D変換部で変換して得られた複数枚の画像のうち、異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出部と、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた前記複数枚の画像を画素ごとに加算する加算部と、
を備え、
前記加算部は、前記被写体振れ検出部で前記被写体振れが検出された場合には前記被写体振れがある画素を加算しないようにすることを特徴とする、
撮像装置。
(付記15)
付記1から付記14のいずれか1項に記載の撮像装置を備えるデジタルカメラ。
(付記16)
光量調節機能を持つ光学部と、前記光学部によって結像された被写体の像を読み取る撮像素子と、前記撮像素子から出力されたアナログの撮像画像をデジタルの画像に変換するA/D変換部と、前記被写体の主要部で所定の明るさが得られるように所定の露光時間に応じた光量の調節を行う光量調節部と、を備える撮像装置に用いる撮像用集積回路であって、
前記所定の露光時間を均等に分割した時間で複数回に分けて次々に露光し、複数枚の撮像画像が得られるように前記撮像素子を駆動する駆動部と、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚の画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大部と、
を備えることを特徴とする、
撮像用集積回路。
(付記17)
光量調節機能を持つ光学部と、前記光学部によって結像された被写体の像を読み取る撮像素子と、前記撮像素子から出力されたアナログの撮像画像をデジタルの画像に変換するA/D変換部と、前記撮像素子を駆動する駆動部と、を備える撮像装置に用いる撮像方法であって、
前記被写体の主要部で所定の明るさが得られるように所定の露光時間に応じた光量の調節を行う光量調節ステップと、
前記所定の露光時間を均等に分割した時間で複数回に分けて次々に露光し、複数枚の撮像画像が得られるように前記撮像素子を前記駆動部で駆動する駆動ステップと、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚の画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大ステップと、
を備えることを特徴とする、
撮像方法。
(付記18)
前記ダイナミックレンジ拡大画像のダイナミックレンジを所定のダイナミックレンジに非線形に圧縮するダイナミックレンジ圧縮ステップをさらに備えることを特徴とする、
付記17に記載の撮像方法。
(付記19)
前記ダイナミックレンジ拡大ステップにおいて、少なくとも入力ダイナミックレンジより大きな出力ダイナミックレンジを有することを特徴とする、
付記17または付記18に記載の撮像方法。
(付記20)
前記ダイナミックレンジ圧縮ステップにおいて、画像の空間的な位置に応じて変化する変換特性を用いて前記ダイナミックレンジ拡大画像のダイナミックレンジを圧縮することを特徴とする、
付記18に記載の撮像方法。
(付記21)
前記複数枚の画像のうち、異なる2枚の画像から手振れによる画像ずれの大きさとその方向を検出する手振れ検出ステップを備え、
前記ダイナミックレンジ拡大ステップにおいて、手振れ検出ステップにおいて検出された前記画像ずれの大きさとその方向に応じて前記画像ずれをなくす方向に前記画像をずらして加算することを特徴とする、
付記17から付記20のいずれか1項に記載の撮像方法。
(付記22)
前記複数枚の画像のうち、画像の手振れによる画像ずれをなくした異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出ステップを備え、
前記ダイナミックレンジ拡大ステップでは、前記被写体振れが検出された場合には、前記被写体振れがある画素を加算しないことを特徴とする、
付記21に記載の撮像方法。
(付記23)
前記複数枚の画像のうち、異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出ステップを備え、
前記ダイナミックレンジ拡大ステップは、前記被写体振れ検出ステップで前記被写体振れが検出された場合には前記被写体振れがある画素を加算しないことを特徴とする、
付記17から付記20のいずれか1項に記載の撮像方法。
(付記24)
手振れ補正された複数枚の画像を取得し、取得された前記複数枚の画像のうち、異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出ステップを備え、
前記ダイナミックレンジ拡大ステップは、前記被写体振れ検出ステップで前記被写体振れが検出された場合には前記被写体振れがある画素を加算しないことを特徴とする、
付記17から付記20のいずれか1項に記載の撮像方法。
(付記25)
前記手振れ補正が光学式の手振れ補正であることを特徴とする、
付記24に記載の撮像方法。
(付記26)
前記複数枚の画像のうち、前記手振れによる画像ずれをなくした異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出ステップと、
前記被写体振れ検出ステップで前記被写体振れが検出された画素に対して前記被写体振れをなくすように座標を変換する座標変換ステップと、を備え、
前記ダイナミックレンジ拡大ステップは、前記被写体振れ検出ステップで前記被写体振れが検出された画素に対しては前記座標変換ステップで変換された画素を加算するようにしたことを特徴とする、
付記21に記載の撮像方法。
(付記27)
前記被写体振れをなくすことができるか否かを判断する被写体振れ判断ステップを備え、
前記ダイナミックレンジ拡大ステップは、前記被写体振れ判断ステップが前記被写体振れをなくすことができないと判断した場合には前記被写体振れがある画素を加算しないことを特徴とする、
付記26に記載の撮像方法。
(付記28)
光量調節機能を持つ光学部と、前記光学部によって結像された被写体の像を読み取る撮像素子と、前記撮像素子から出力されたアナログの撮像画像をデジタルの画像に変換するA/D変換部と、前記撮像素子を駆動する駆動部と、を備える撮像装置に用いる撮像方法であって、
前記A/D変換部の出力が飽和しないように前記撮像素子を複数回に分けて次々に露光し、複数枚の撮像画像が得られるように前記撮像素子を前記駆動部で駆動する駆動ステップと、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚の画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大ステップと、
を備えることを特徴とする、
撮像方法。
(付記29)
光量調節機能を持つ光学部と、前記光学部によって結像された被写体の像を読み取る撮像素子と、前記撮像素子から出力されたアナログの撮像画像をデジタルの画像に変換するA/D変換部と、を備える撮像装置に用いる撮像方法であって、
前記撮像素子を複数回に分けて次々に露光し、複数枚の撮像画像が得られるように前記撮像素子を前記駆動部で駆動する駆動ステップと、
前記A/D変換部で変換して得られた複数枚の画像のうち、異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出ステップと、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた前記複数枚の画像を画素ごとに加算する加算ステップと、
を備え、
前記加算ステップにおいて、前記被写体振れ検出ステップで前記被写体振れが検出された場合には前記被写体振れがある画素を加算しないようにすることを特徴とする、
撮像方法。
[Second note]
(Appendix 1)
An optical unit with a light intensity adjustment function;
An image sensor for reading an image of a subject formed by the optical unit;
An A / D converter that converts an analog captured image output from the image sensor into a digital image;
A drive unit that drives the image sensor so that a plurality of captured images are obtained by sequentially exposing a plurality of times by dividing the predetermined exposure time into a plurality of times;
A dynamic range that outputs a dynamic range expanded image obtained by expanding a dynamic range for each pixel and adding a plurality of images obtained by converting the plurality of captured images by the A / D conversion unit, and adding the dynamic range. An enlarged section,
Characterized by comprising,
Imaging device.
(Appendix 2)
A dynamic range compression unit that nonlinearly compresses the dynamic range of the dynamic range expanded image to a predetermined dynamic range,
The imaging apparatus according to appendix 1.
(Appendix 3)
In the dynamic range expansion section, it has an output dynamic range larger than at least the input dynamic range,
The imaging apparatus according to Supplementary Note 1 or Supplementary Note 2.
(Appendix 4)
The dynamic range compression unit compresses the dynamic range of the dynamic range expanded image using a conversion characteristic that changes according to a spatial position of the image,
The imaging apparatus according to attachment 2.
(Appendix 5)
Before exposing the image sensor in multiple times,
The amount of light is adjusted so that a predetermined brightness is obtained in a main part of the subject during the predetermined exposure time,
The imaging apparatus according to any one of appendix 1 to appendix 4.
(Appendix 6)
A camera shake detector for detecting the magnitude and direction of image shift due to camera shake from two different images among the plurality of images;
The dynamic range expansion unit shifts and adds the image in a direction to eliminate the image shift according to the magnitude and direction of the image shift detected by the camera shake detection unit,
The imaging apparatus according to any one of appendix 1 to appendix 5.
(Appendix 7)
A subject shake detection unit that detects subject shake in a local region by comparing, for each pixel, two different images in which the image shift due to hand shake is eliminated among the plurality of images;
The dynamic range expansion unit does not add pixels with the subject shake when the subject shake detection unit detects the subject shake.
The imaging apparatus according to appendix 6.
(Appendix 8)
A subject shake detection unit that detects subject shake in a local region by comparing two different images among the plurality of images for each pixel;
The dynamic range expansion unit does not add pixels with the subject shake when the subject shake detection unit detects the subject shake.
The imaging apparatus according to any one of appendix 1 to appendix 5.
(Appendix 9)
A subject shake detection unit that obtains a plurality of images subjected to camera shake correction and detects subject shake in a local region by comparing two different images among the obtained images for each pixel. ,
The dynamic range expansion unit does not add pixels with the subject shake when the subject shake detection unit detects the subject shake.
The imaging apparatus according to any one of appendix 1 to appendix 5.
(Appendix 10)
The camera shake correction is an optical camera shake correction,
The imaging apparatus according to appendix 9.
(Appendix 11)
A subject shake detection unit that detects subject shake in a local region by comparing, for each pixel, two different images in which the image shift due to camera shake is eliminated among the plurality of images;
A coordinate conversion unit that converts coordinates so as to eliminate the subject shake with respect to a pixel in which the subject shake is detected by the subject shake detection unit;
With
The dynamic range expansion unit adds the pixels converted by the coordinate conversion unit to the pixels where the subject shake is detected by the subject shake detection unit,
The imaging apparatus according to appendix 6.
(Appendix 12)
A subject shake determination unit for determining whether or not the subject shake can be eliminated;
The dynamic range expansion unit does not add pixels with the subject shake when the subject shake judgment unit determines that the subject shake cannot be eliminated.
The imaging apparatus according to attachment 11.
(Appendix 13)
An optical unit with a light intensity adjustment function;
An image sensor for reading an image of a subject formed by the optical unit;
An A / D converter that converts an analog captured image output from the image sensor into a digital image;
A drive unit that drives the imaging device so that a plurality of captured images are obtained by exposing the imaging device in a plurality of times so that the output of the A / D conversion unit is not saturated;
A dynamic range that outputs a dynamic range expanded image obtained by expanding a dynamic range for each pixel and adding a plurality of images obtained by converting the plurality of captured images by the A / D conversion unit, and adding the dynamic range. An enlarged section,
Characterized by comprising,
Imaging device.
(Appendix 14)
An optical unit with a light intensity adjustment function;
An image sensor for reading an image of a subject formed by the optical unit;
An A / D converter that converts an analog captured image output from the image sensor into a digital image;
A drive unit that drives the image sensor so that a plurality of captured images are obtained by exposing the image sensor in a plurality of times one after another, and
A subject shake detection unit that detects subject shake in a local region by comparing two different images for each pixel among a plurality of images obtained by conversion by the A / D conversion unit;
An addition unit that adds the plurality of images obtained by converting the plurality of captured images in the A / D conversion unit for each pixel;
With
The addition unit is configured not to add pixels having the subject shake when the subject shake is detected by the subject shake detection unit.
Imaging device.
(Appendix 15)
A digital camera comprising the imaging device according to any one of appendix 1 to appendix 14.
(Appendix 16)
An optical unit having a light amount adjustment function, an image sensor that reads an image of a subject formed by the optical unit, and an A / D converter that converts an analog captured image output from the image sensor into a digital image; An imaging integrated circuit for use in an imaging apparatus, comprising: a light amount adjustment unit that adjusts a light amount according to a predetermined exposure time so that a predetermined brightness is obtained in a main part of the subject,
A drive unit that drives the image sensor so that a plurality of captured images are obtained by sequentially exposing the predetermined exposure time by dividing the predetermined exposure time into a plurality of times.
A dynamic range that outputs a dynamic range expanded image obtained by expanding a dynamic range for each pixel and adding a plurality of images obtained by converting the plurality of captured images by the A / D conversion unit, and adding the dynamic range. An enlarged section,
Characterized by comprising,
Integrated circuit for imaging.
(Appendix 17)
An optical unit having a light amount adjustment function, an image sensor that reads an image of a subject formed by the optical unit, and an A / D converter that converts an analog captured image output from the image sensor into a digital image; An imaging method used for an imaging apparatus comprising: a drive unit that drives the imaging element;
A light amount adjustment step for adjusting a light amount according to a predetermined exposure time so that a predetermined brightness can be obtained in a main part of the subject;
A drive step of driving the image sensor with the drive unit so that a plurality of captured images are obtained by sequentially exposing the predetermined exposure time by dividing the predetermined exposure time into a plurality of times;
A dynamic range that outputs a dynamic range expanded image obtained by expanding a dynamic range for each pixel and adding a plurality of images obtained by converting the plurality of captured images by the A / D conversion unit, and adding the dynamic range. Enlargement step,
Characterized by comprising,
Imaging method.
(Appendix 18)
A dynamic range compression step for nonlinearly compressing the dynamic range of the dynamic range expanded image to a predetermined dynamic range,
The imaging method according to appendix 17.
(Appendix 19)
In the dynamic range expansion step, it has an output dynamic range larger than at least the input dynamic range,
The imaging method according to appendix 17 or appendix 18.
(Appendix 20)
In the dynamic range compression step, the dynamic range of the dynamic range expanded image is compressed using a conversion characteristic that changes according to the spatial position of the image,
The imaging method according to appendix 18.
(Appendix 21)
A camera shake detection step for detecting the magnitude and direction of image shift caused by camera shake from two different images among the plurality of images;
In the dynamic range expansion step, the image is shifted and added in a direction to eliminate the image shift according to the magnitude and direction of the image shift detected in the camera shake detection step.
The imaging method according to any one of appendix 17 to appendix 20.
(Appendix 22)
A subject shake detection step of detecting subject shake in a local region by comparing, for each pixel, two different images in which image deviation due to image shake is eliminated among the plurality of images,
In the dynamic range expansion step, when the subject shake is detected, a pixel having the subject shake is not added.
The imaging method according to attachment 21.
(Appendix 23)
A subject shake detection step of detecting subject shake in a local region by comparing two different images among the plurality of images for each pixel;
The dynamic range expansion step does not add pixels having the subject shake when the subject shake is detected in the subject shake detection step.
The imaging method according to any one of appendix 17 to appendix 20.
(Appendix 24)
A subject shake detection step of obtaining a plurality of images subjected to camera shake correction and detecting subject shake in a local region by comparing two different images among the obtained images for each pixel; ,
The dynamic range expansion step does not add pixels having the subject shake when the subject shake is detected in the subject shake detection step.
The imaging method according to any one of appendix 17 to appendix 20.
(Appendix 25)
The camera shake correction is an optical camera shake correction,
The imaging method according to attachment 24.
(Appendix 26)
A subject shake detection step of detecting subject shake in a local region by comparing, for each pixel, two different images in which the image shift caused by hand shake is eliminated among the plurality of images;
A coordinate conversion step of converting coordinates so as to eliminate the subject shake with respect to the pixels in which the subject shake is detected in the subject shake detection step,
In the dynamic range expansion step, the pixel converted in the coordinate conversion step is added to the pixel in which the subject shake is detected in the subject shake detection step.
The imaging method according to attachment 21.
(Appendix 27)
A subject shake determination step for determining whether or not the subject shake can be eliminated;
The dynamic range expansion step does not add pixels with the subject shake when the subject shake judgment step judges that the subject shake cannot be eliminated.
27. The imaging method according to appendix 26.
(Appendix 28)
An optical unit having a light amount adjustment function, an image sensor that reads an image of a subject formed by the optical unit, and an A / D converter that converts an analog captured image output from the image sensor into a digital image; An imaging method used for an imaging apparatus comprising: a drive unit that drives the imaging element;
A driving step of driving the imaging device with the driving unit so that a plurality of captured images are obtained by exposing the imaging device in a plurality of times so that the output of the A / D conversion unit is not saturated; ,
A dynamic range that outputs a dynamic range expanded image obtained by expanding a dynamic range for each pixel and adding a plurality of images obtained by converting the plurality of captured images by the A / D conversion unit, and adding the dynamic range. Enlargement step,
Characterized by comprising,
Imaging method.
(Appendix 29)
An optical unit having a light amount adjustment function, an image sensor that reads an image of a subject formed by the optical unit, and an A / D converter that converts an analog captured image output from the image sensor into a digital image; An imaging method for use in an imaging device comprising:
A step of driving the image pickup device with the drive unit so that the image pickup device is exposed to one after another in a plurality of times and a plurality of picked-up images are obtained;
A subject shake detection step of detecting subject shake in a local region by comparing two different images for each pixel among a plurality of images obtained by conversion by the A / D converter;
An adding step of adding, for each pixel, the plurality of images obtained by converting the plurality of captured images in the A / D conversion unit;
With
In the adding step, when the subject shake is detected in the subject shake detection step, the pixel having the subject shake is not added.
Imaging method.

本発明に係る撮像装置、撮像方法、撮像用集積回路および撮像用プログラムによれば、自然界の広いDレンジの画像を飽和させずに撮影し、従来の狭いDレンジのディスプレイで自然に見える画像を得ることができ、さらに、S/N比の劣化を抑えることができるため、デジタルスティルカメラだけでなく、ビデオカメラ、携帯電話内蔵のカメラ、監視カメラ、セキュリティカメラ、ロボットの目など画像を撮影する多くの撮像機器や、デジタルスティルカメラ用のRAW現像ソフトやフォトレタッチソフトなどのアプリケーションソフトに利用することができる。   According to the imaging apparatus, the imaging method, the imaging integrated circuit, and the imaging program according to the present invention, an image of a wide D range in the natural world is captured without being saturated, and an image that looks natural on a conventional narrow D range display is obtained. In addition to digital still cameras, video cameras, mobile phone built-in cameras, surveillance cameras, security cameras, robot eyes, etc. can be taken because the S / N ratio degradation can be suppressed. It can be used for many imaging devices and application software such as RAW development software and photo retouching software for digital still cameras.

本発明の第1実施形態における撮像装置の主要構成図1 is a main configuration diagram of an imaging apparatus according to a first embodiment of the present invention. 信号処理部31の主要構成図Main configuration diagram of the signal processing unit 31 Dレンジ圧縮部2001が選択するレンジ圧縮の圧縮特性の一例An example of compression characteristics of range compression selected by the D range compression unit 2001 従来の撮像装置における信号処理部90(図4(a))とDレンジ圧縮のための変換特性(図4(b))を示す図The figure which shows the signal processing part 90 (FIG. 4 (a)) in the conventional imaging device, and the conversion characteristic (FIG.4 (b)) for D range compression. 所定の撮像シーン201と各部Dレンジについての説明図Explanatory drawing about predetermined imaging scene 201 and each part D range 所定の撮像シーン201と各部Dレンジについての説明図Explanatory drawing about predetermined imaging scene 201 and each part D range 所定の撮像シーン201と各部Dレンジについての説明図Explanatory drawing about predetermined imaging scene 201 and each part D range 第1実施形態の変形例1に係る信号処理部31’の主要構成図The main lineblock diagram of signal processing part 31 'concerning modification 1 of a 1st embodiment. Dレンジ圧縮特性の一例Example of D range compression characteristics 所定の撮像シーン201と各部Dレンジについての説明図Explanatory drawing about predetermined imaging scene 201 and each part D range 第1実施形態の変形例2における信号処理部31’’の主要構成図The main lineblock diagram of signal processing part 31 '' in modification 2 of a 1st embodiment. 所定の撮像シーン201と各部Dレンジについての説明図Explanatory drawing about predetermined imaging scene 201 and each part D range 第1実施形態の変形例3に係る信号処理部31’’’の主要構成図The main lineblock diagram of signal processing part 31 '' '' concerning modification 3 of a 1st embodiment. 所定の撮像シーン201と各部Dレンジについての説明図Explanatory drawing about predetermined imaging scene 201 and each part D range 所定の撮像シーン201と各部Dレンジについての説明図Explanatory drawing about predetermined imaging scene 201 and each part D range 本発明の第1実施形態の撮像方法を示すフローチャートThe flowchart which shows the imaging method of 1st Embodiment of this invention. 信号処理部31Aの主要構成図Main configuration diagram of signal processing unit 31A Dレンジ圧縮部2001の主要構成図Main configuration diagram of D-range compression unit 2001 Dレンジ圧縮の圧縮特性の一例Example of compression characteristics of D-range compression 撮像装置におけるDレンジ圧縮部の効果を表す画像写真Image photograph showing effect of D-range compression unit in imaging apparatus 2次元LUTに登録されるデータの特性を例示する図The figure which illustrates the characteristic of the data registered into a two-dimensional LUT 視覚処理を用いたDレンジ圧縮処理を説明するためのDレンジ圧縮特性の一例An example of D range compression characteristics for explaining D range compression processing using visual processing 視覚処理を用いたDレンジ圧縮処理を説明するためのDレンジ圧縮特性の一例An example of D range compression characteristics for explaining D range compression processing using visual processing 2次元LUTを用いる場合の撮像装置の主要構成図Main configuration diagram of imaging apparatus when using two-dimensional LUT 2次元LUTの入力レンジが400%(4.0)である場合に登録されるプロファイルによる階調変換特性Gradation conversion characteristics based on the profile registered when the input range of the two-dimensional LUT is 400% (4.0) 2次元LUTの入力レンジが200%(2.0)である場合に登録されるプロファイルによる階調変換特性Gradation conversion characteristics by the profile registered when the input range of the two-dimensional LUT is 200% (2.0) レンジ値調整部2601を有する撮像装置の主要構成図Main configuration diagram of imaging apparatus having range value adjustment unit 2601 レンジ値調整部2701を有する撮像装置の主要構成図Main configuration diagram of imaging apparatus having range value adjustment unit 2701 ピーク調整部2801を有する撮像装置の主要構成図Main configuration diagram of imaging apparatus having peak adjustment unit 2801 撮像装置のピーク調整部2801、Dレンジ圧縮部2001、および代表値検出部3163の主要構成図Main configuration diagram of peak adjustment unit 2801, D-range compression unit 2001, and representative value detection unit 3163 of the imaging apparatus 本発明の第4実施形態における撮像装置の構成を示す主要構成図The main block diagram which shows the structure of the imaging device in 4th Embodiment of this invention. 同撮像装置の動作を時系列に説明するタイミングチャートTiming chart explaining the operation of the imaging device in time series 同撮像装置におけるDレンジ拡大部の構成を示す主要構成図Main configuration diagram showing the configuration of the D range expansion unit in the imaging apparatus 同撮像装置におけるDレンジ拡大部を説明する説明図Explanatory drawing explaining D range expansion part in the imaging device 同撮像装置で撮像される被写体を説明する説明図Explanatory drawing explaining the subject imaged with the imaging device 同撮像装置におけるDレンジ圧縮部を説明するための説明図Explanatory drawing for demonstrating the D range compression part in the imaging device 同撮像装置における撮像装置の動作の手順を示すフローチャートFlow chart showing the procedure of the operation of the imaging apparatus in the imaging apparatus 同撮像装置におけるDレンジ圧縮部の他の構成例を示す主要構成図Main configuration diagram showing another configuration example of the D-range compression unit in the imaging apparatus 同撮像装置におけるDレンジ圧縮部の動作を説明する説明図Explanatory drawing explaining operation | movement of D range compression part in the imaging device 同撮像装置におけるDレンジ圧縮部の効果を表す画像写真An image photograph showing the effect of the D-range compression unit in the imaging apparatus 本発明の第5実施形態における撮像装置のDレンジ拡大部の構成を示す主要構成図The main block diagram which shows the structure of D range expansion part of the imaging device in 5th Embodiment of this invention. 手振れの処理について説明する説明図Explanatory drawing explaining processing of camera shake 同撮像装置における手振れ検出部を説明する説明図Explanatory drawing explaining the camera shake detection part in the imaging device 本発明の第6実施形態における撮像装置のDレンジ拡大部の構成を示す主要構成図Main configuration diagram showing configuration of D range expansion unit of imaging apparatus according to sixth embodiment of present invention 手振れおよび被写体振れの処理について説明する説明図Explanatory drawing explaining processing of camera shake and subject shake 本発明の第7実施形態における撮像装置のDレンジ拡大部の構成を示す主要構成図The main block diagram which shows the structure of D range expansion part of the imaging device in 7th Embodiment of this invention. 手振れおよび被写体振れの処理について説明する説明図Explanatory drawing explaining processing of camera shake and subject shake

符号の説明Explanation of symbols

P1、P2 被写体
100、400 撮像装置
11、402 撮像レンズ
12、403 絞り部
416 光学系
13、404 撮像部(撮像素子)
2 アナログ信号処理部
3 デジタル信号処理部
22 GCA(Gain Control Amplifier)
23、405 A/D変換部
31、31A、31’、31’’、31’’’ 信号処理部
32、415 記憶部(メモリ)
34 制御部
35 表示部制御部
414 表示部
2000 Dレンジ拡大処理部
2001、312、412 Dレンジ圧縮部
2002 Dレンジ拡大部
2004 レジスタ
800、800’、800’’’ パラメータ決定部
802、802’ ピーク検出部
1201 代表値検出部
315 Dレンジ設定部
316 Dレンジ拡大部
1701 顔検出部(特徴画像領域検出部)
1702 明度検出部
314 ピーク検出部
315 Dレンジ設定部
3161 周囲明度検出部
3162 動的階調補正部
406 駆動部
407 操作部
408 システム制御部
409 露光条件設定部
410 画像処理部
411,511,611,711 Dレンジ拡大部
412 Dレンジ圧縮部
413 信号処理部
14 表示部
15 記憶部
416 光学系
430,541,651,761 加算部
431a〜431d,531a〜531d,631a〜631d,731a〜731d 画像記憶部
542〜544、642〜644、742〜744 手振れ検出部
745 手振れ判断部
652〜654、752〜754 被写体振れ検出部
755 被写体振れ判断部
762〜764 座標変換部
4121 動的階調補正部
4122 周囲明度検出部
P1, P2 Subject 100, 400 Imaging device 11, 402 Imaging lens 12, 403 Aperture unit 416 Optical system 13, 404 Imaging unit (imaging device)
2 Analog signal processing unit 3 Digital signal processing unit 22 GCA (Gain Control Amplifier)
23, 405 A / D converter 31, 31A, 31 ′, 31 ″, 31 ′ ″ Signal processor 32, 415 Storage unit (memory)
34 control unit 35 display unit control unit 414 display unit 2000 D range expansion processing unit 2001, 312, 412 D range compression unit 2002 D range expansion unit 2004 register 800, 800 ′, 800 ′ ″ parameter determination unit 802, 802 ′ peak Detection unit 1201 Representative value detection unit 315 D range setting unit 316 D range expansion unit 1701 Face detection unit (feature image region detection unit)
1702 Lightness detection unit 314 Peak detection unit 315 D range setting unit 3161 Ambient lightness detection unit 3162 Dynamic gradation correction unit 406 Drive unit 407 Operation unit 408 System control unit 409 Exposure condition setting unit 410 Image processing unit 411 511 611 711 D range expansion unit 412 D range compression unit 413 Signal processing unit 14 Display unit 15 Storage unit 416 Optical system 430, 541, 651, 761 Addition unit 431a to 431d, 531a to 531d, 631a to 631d, 731a to 731d Image storage unit 542 to 544, 642 to 644, 742 to 744, shake detection unit 745 shake determination unit 652 to 654, 752 to 754 subject shake detection unit 755 subject shake determination unit 762 to 764 coordinate conversion unit 4121 dynamic gradation correction unit 4122 ambient lightness Detection unit

Claims (36)

露光量を調整する光学系と、
前記光学系で取得されたアナログ信号をデジタル信号に変換するA/D変換部と、
前記デジタル信号の出力値をDレンジ拡大率により拡大するDレンジ拡大部と、
前記露光量を減少させる信号を生成するとともに前記Dレンジ拡大率を増加させる信号を生成する制御部と、
を含む撮像装置。
An optical system for adjusting the exposure amount;
An A / D converter that converts an analog signal acquired by the optical system into a digital signal;
A D range expansion unit that expands the output value of the digital signal by a D range expansion rate;
A control unit for generating a signal for decreasing the exposure amount and generating a signal for increasing the D range expansion rate;
An imaging apparatus including:
更に、前記拡大されたデジタル信号の値を所定のレンジ内の値に圧縮するDレンジ圧縮部を含む、
請求項1記載の撮像装置。
Furthermore, a D range compression unit that compresses the value of the enlarged digital signal to a value within a predetermined range,
The imaging device according to claim 1.
更に、前記デジタル信号が形成する1枚の画像データの最大値を抽出するピーク検出部を含み、
前記Dレンジ圧縮部は、前記最大値が前記所定のレンジの最大値となるよう圧縮する、
請求項1または2のいずれかに記載の撮像装置。
Furthermore, a peak detection unit that extracts the maximum value of one piece of image data formed by the digital signal is included,
The D range compression unit compresses the maximum value to be the maximum value of the predetermined range;
The imaging device according to claim 1.
前記制御部は、前記最大値に応じて露光量を調整する信号を生成する、
請求項1乃至3のいずれかに記載の撮像装置。
The control unit generates a signal for adjusting an exposure amount according to the maximum value;
The imaging device according to claim 1.
更に、前記デジタル信号が形成する1枚の画像データの所定領域の代表値を検出する代表値検出部を含み、
前記制御部は、前記代表値に応じて前記露光量を調整する信号を生成する、
請求項1から4のいずれかに記載の撮像装置。
And a representative value detecting unit for detecting a representative value of a predetermined area of one piece of image data formed by the digital signal,
The control unit generates a signal for adjusting the exposure amount according to the representative value;
The imaging device according to claim 1.
更に、前記デジタル信号が形成する1枚の画像データの所定の領域の代表値を検出する代表値検出部を含み、
前記制御部は、前記代表値に応じて前記拡大率を調整する信号を生成する、
請求項1から4のいずれかに記載の撮像装置。
And a representative value detecting unit for detecting a representative value of a predetermined area of one piece of image data formed by the digital signal,
The control unit generates a signal for adjusting the enlargement ratio according to the representative value.
The imaging device according to claim 1.
更に、前記デジタル信号が形成する画像データのうち顔領域に含まれるデジタル信号の値の代表値を抽出する顔検出処理部を含み、
前記Dレンジ拡大部は、前記代表値に応じて前記Dレンジ拡大率を調整する、
請求項1から4のいずれかに記載の撮像装置。
Furthermore, a face detection processing unit for extracting a representative value of the value of the digital signal included in the face area from the image data formed by the digital signal,
The D range expansion unit adjusts the D range expansion rate according to the representative value.
The imaging device according to claim 1.
前記Dレンジ圧縮部は、
所定の位置のデジタル信号の周囲明度値を抽出する周囲明度検出部と、
前記所定の位置のデジタル信号の値を入力とし、前記所定の位置のデジタル信号を入力値としたとき、前記入力値を前記所定の位置のデジタル信号についての周囲明度値に応じて異なる出力値に変換する変換特性を用いて、前記所定の位置のデジタル信号の値を変換して出力する動的階調補正部と、
を含む、
請求項2乃至7のいずれかに記載の撮像装置。
The D range compression unit
An ambient brightness detector for extracting the ambient brightness value of the digital signal at a predetermined position;
When the value of the digital signal at the predetermined position is an input and the digital signal at the predetermined position is an input value, the input value is changed to an output value that differs depending on the ambient lightness value for the digital signal at the predetermined position. A dynamic gradation correction unit that converts and outputs the value of the digital signal at the predetermined position using conversion characteristics to be converted;
including,
The imaging device according to claim 2.
前記変換特性は、前記所定の位置のデジタル信号の値と前記周囲明度値とが略等しい入力値となる範囲において、入力された前記デジタル信号の値の変化量に対しての前記変換特性の前記出力値の変化量が、前記変換特性の入出力特性グラフにおいて前記所定の位置のデジタル信号の値に相当する点と原点とを通る直線の傾きによる変化量以上である、
請求項8記載の撮像装置。
The conversion characteristic is the range of the conversion characteristic with respect to the amount of change in the value of the input digital signal in a range where the value of the digital signal at the predetermined position and the ambient lightness value are approximately equal input values. The amount of change in the output value is equal to or greater than the amount of change due to the slope of the straight line passing through the point corresponding to the digital signal value at the predetermined position and the origin in the input / output characteristic graph of the conversion characteristic.
The imaging device according to claim 8.
前記変換特性を、前記所定の位置のデジタル信号の値xと前記周囲明度値mとにより、2次元関数f(x,m)で表すとき、
前記変換特性は、m=xにおいて、
∂f(x,m)/∂x≧(f(x,m)/x)
なる関係を満たす変換特性である、
請求項8記載の撮像装置。
When the conversion characteristic is represented by a two-dimensional function f (x, m) by the value x of the digital signal at the predetermined position and the ambient lightness value m,
The conversion characteristic is as follows:
∂f (x, m) / ∂x ≧ (f (x, m) / x)
Is a conversion characteristic that satisfies the relationship
The imaging device according to claim 8.
前記動的階調補正部は、前記デジタル信号の値と前記周囲明度値の値とに応じた出力値をデータとして保持する2次元のルックアップテーブルである、
請求項8から10のいずれかに記載の撮像装置。
The dynamic gradation correction unit is a two-dimensional lookup table that holds output values corresponding to the digital signal values and the ambient lightness value values as data.
The imaging device according to claim 8.
前記制御部は、前記露光量を減少させる信号と前記Dレンジ拡大率を増加させる信号とを生成するとともに、前記ルックアップテーブルに前記Dレンジ拡大率に応じた変換特性データを登録する、
請求項11記載の撮像装置。
The control unit generates a signal for decreasing the exposure amount and a signal for increasing the D range expansion rate, and registers conversion characteristic data corresponding to the D range expansion rate in the lookup table.
The imaging device according to claim 11.
更に、前記Dレンジ拡大部によりDレンジ拡大された前記デジタル信号を入力とし、入力された前記デジタル信号のうち所定の値より大きい値を有する前記デジタル信号の値を前記Dレンジ圧縮部の入力レンジ内の値に変換するレンジ値調整部を有する、
請求項8から11のいずれかに記載の撮像装置。
Further, the digital signal having the D range expanded by the D range expanding unit is input, and the value of the digital signal having a value larger than a predetermined value among the input digital signals is input to the input range of the D range compressing unit. Having a range value adjustment unit for converting to a value within
The imaging device according to claim 8.
更に、前記Dレンジ拡大部によりDレンジ拡大された前記デジタル信号が形成する画像データのうちの前記デジタル信号の値の最大値が前記Dレンジ圧縮部の入力レンジの最大値となるように、前記デジタル信号の値を調整するピーク調整部を含む、
請求項8から11のいずれかに記載の撮像装置。
Further, the maximum value of the value of the digital signal among the image data formed by the digital signal expanded by the D range by the D range expansion unit becomes the maximum value of the input range of the D range compression unit. Includes a peak adjuster that adjusts the value of the digital signal,
The imaging device according to claim 8.
被写体からの光を集光する光学系と、
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部から出力されたアナログの撮像画像をデジタル画像に変換するA/D変換部と、
所定の露光時間を均等に分割した時間で複数回に分けて次々に前記撮像部を露光し、複数枚の前記撮像画像が得られるように前記撮像部を駆動する駆動部と、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を生成し、出力するダイナミックレンジ拡大部と、
を備える撮像装置。
An optical system that collects light from the subject;
A light amount adjustment unit for adjusting the amount of light incident on the optical system;
An imaging unit that reads an image of the subject formed by the light condensed by the optical system and outputs an image signal that can form an image including pixels;
An A / D converter that converts an analog captured image output from the imaging unit into a digital image;
A drive unit that drives the imaging unit so as to obtain a plurality of the captured images by exposing the imaging unit one after another by dividing the predetermined exposure time into a plurality of times at equal intervals;
A plurality of digital images obtained by converting the plurality of captured images in the A / D conversion unit are expanded by adding a dynamic range for each pixel to generate a dynamic range expanded image in which the dynamic range is expanded; An output dynamic range expansion section;
An imaging apparatus comprising:
前記ダイナミックレンジ拡大画像のダイナミックレンジを所定のダイナミックレンジに非線形に圧縮するダイナミックレンジ圧縮部をさらに備える、
請求項15に記載の撮像装置。
A dynamic range compression unit that nonlinearly compresses the dynamic range of the dynamic range expanded image to a predetermined dynamic range;
The imaging device according to claim 15.
前記ダイナミックレンジ拡大部は、少なくとも入力ダイナミックレンジより大きい出力ダイナミックレンジを有している、
請求項15または請求項16に記載の撮像装置。
The dynamic range expansion unit has an output dynamic range that is at least larger than the input dynamic range,
The imaging device according to claim 15 or claim 16.
前記ダイナミックレンジ圧縮部は、前記画像信号についての周囲明度値に応じて変化する変換特性を用いて前記ダイナミックレンジ拡大画像のダイナミックレンジを圧縮する、
請求項16に記載の撮像装置。
The dynamic range compression unit compresses the dynamic range of the dynamic range expanded image using a conversion characteristic that changes according to an ambient lightness value for the image signal.
The imaging device according to claim 16.
前記光量調節部は、前記撮像部を複数回に分けて露光する前に、前記所定の露光時間において前記被写体の主要部で所定の明るさが得られるように前記光学系に入射される光量の調節を行う、
請求項15から請求項18のいずれか1項に記載の撮像装置。
The light amount adjustment unit adjusts the amount of light incident on the optical system so that a predetermined brightness is obtained at a main part of the subject during the predetermined exposure time before the imaging unit is exposed to a plurality of times. Make adjustments,
The imaging device according to any one of claims 15 to 18.
前記複数枚のデジタル画像のうち、異なる2枚のデジタル画像から手振れによる画像ずれの大きさとその方向を検出する手振れ検出部をさらに備え、
前記ダイナミックレンジ拡大部は、前記手振れ検出部で検出された前記画像ずれの大きさとその方向に応じて前記画像ずれをなくす方向に前記デジタル画像をずらして加算する、
請求項15から請求項19のいずれか1項に記載の撮像装置。
A camera shake detection unit for detecting the magnitude and direction of image shift due to camera shake from two different digital images among the plurality of digital images;
The dynamic range expansion unit shifts and adds the digital image in a direction to eliminate the image shift according to the magnitude and direction of the image shift detected by the camera shake detection unit.
The imaging device according to any one of claims 15 to 19.
前記手振れ検出部は、センサからの出力に応じて手振れによる画像ずれをなくす方向に画像をずらして複数毎のデジタル画像を生成し、
前記複数枚のデジタル画像のうち、前記手振れによる画像ずれをなくした異なる2枚の前記デジタル画像を画素ごとに比較することにより前記デジタル画像上の局所領域の被写体振れを検出する被写体振れ検出部をさらに備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ検出部で前記被写体振れが検出された場合、前記被写体振れがある画素を加算しない、
請求項20に記載の撮像装置。
The camera shake detection unit generates a plurality of digital images by shifting the image in a direction that eliminates image shift due to camera shake according to the output from the sensor,
A subject shake detection unit that detects subject shake in a local region on the digital image by comparing, for each pixel, two different digital images in which the image shift due to the hand shake is eliminated among the plurality of digital images. In addition,
The dynamic range expansion unit does not add pixels with the subject shake when the subject shake detection unit detects the subject shake;
The imaging device according to claim 20.
前記複数枚のデジタル画像のうち、異なる2枚の前記デジタル画像を画素ごとに比較することにより前記デジタル画像上の局所領域の被写体振れを検出する被写体振れ検出部をさらに備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ検出部で前記被写体振れが検出された場合、前記被写体振れがある画素を加算しない、
請求項15から請求項19のいずれか1項に記載の撮像装置。
A subject shake detection unit for detecting subject shake in a local area on the digital image by comparing two different digital images among the plurality of digital images for each pixel;
The dynamic range expansion unit does not add pixels with the subject shake when the subject shake detection unit detects the subject shake;
The imaging device according to any one of claims 15 to 19.
手振れ補正された複数枚のデジタル画像を取得し、取得された前記複数枚のデジタル画像のうち、異なる2枚の前記デジタル画像を画素ごとに比較することにより前記デジタル画像上の局所領域の被写体振れを検出する被写体振れ検出部をさらに備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ検出部で前記被写体振れが検出された場合、前記被写体振れがある画素を加算しない、
請求項15から請求項19のいずれか1項に記載の撮像装置。
A plurality of digital images subjected to camera shake correction are acquired, and among the acquired digital images, two different digital images are compared for each pixel, thereby subject shake in a local region on the digital image. A subject shake detection unit for detecting
The dynamic range expansion unit does not add pixels with the subject shake when the subject shake detection unit detects the subject shake;
The imaging device according to any one of claims 15 to 19.
前記被写体振れ検出部は、光学式の手振れ補正により手振れ補正された前記複数枚のデジタル画像を用いて、前記被写体振れを検出する、
請求項23に記載の撮像装置。
The subject shake detection unit detects the subject shake using the plurality of digital images subjected to the shake correction by the optical shake correction;
The imaging device according to claim 23.
前記複数枚のデジタル画像のうち、前記手振れによる画像ずれをなくした異なる2枚の前記デジタル画像を画素ごとに比較することにより前記デジタル画像上の局所領域の被写体振れを検出する被写体振れ検出部と、
前記被写体振れ検出部で前記被写体振れが検出された画素に対して前記被写体振れをなくすように座標を変換する座標変換部と、
をさらに備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ検出部で前記被写体振れが検出された画素に対しては前記座標変換部で変換された画素を加算する、
請求項20に記載の撮像装置。
A subject shake detection unit for detecting subject shake in a local area on the digital image by comparing, for each pixel, two different digital images in which the image shift due to the hand shake is eliminated among the plurality of digital images; ,
A coordinate conversion unit that converts coordinates so as to eliminate the subject shake with respect to a pixel in which the subject shake is detected by the subject shake detection unit;
Further comprising
The dynamic range expansion unit adds the pixels converted by the coordinate conversion unit to the pixels where the subject shake is detected by the subject shake detection unit,
The imaging device according to claim 20.
前記被写体振れをなくすことができるか否かを判断する被写体振れ判断部をさらに備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ判断部が前記被写体振れをなくすことができないと判断した場合、前記被写体振れがある画素を加算しない、
請求項25に記載の撮像装置。
A subject shake determination unit that determines whether or not the subject shake can be eliminated;
The dynamic range expansion unit does not add pixels with the subject shake when the subject shake judgment unit determines that the subject shake cannot be eliminated;
The imaging device according to claim 25.
被写体からの光を集光する光学系と、
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部から出力されたアナログの撮像画像をデジタル画像に変換するA/D変換部と、
前記A/D変換部の出力が飽和しないように前記撮像部を複数回に分けて次々に露光し、複数枚の前記撮像画像が得られるように前記撮像部を駆動する駆動部と、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚の前記デジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大部と、
を備える撮像装置。
An optical system that collects light from the subject;
A light amount adjustment unit for adjusting the amount of light incident on the optical system;
An imaging unit that reads an image of the subject formed by the light condensed by the optical system and outputs an image signal that can form an image including pixels;
An A / D converter that converts an analog captured image output from the imaging unit into a digital image;
A drive unit that drives the imaging unit so that a plurality of the captured images are obtained by exposing the imaging unit in a plurality of times so that the output of the A / D conversion unit is not saturated;
The A / D conversion unit converts the plurality of captured images and adds the plurality of digital images obtained by expanding the dynamic range for each pixel and outputs a dynamic range expanded image in which the dynamic range is expanded. A dynamic range expansion section;
An imaging apparatus comprising:
被写体からの光を集光する光学系と、
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部の出力をA/D変換するA/D変換部と、
A/D変換部の出力値を調整するデジタル信号処理部と、
を備える撮像装置に用いられる撮像方法であって、
前記光量調整部を用いて前記光量を減少させる光量減少ステップと、
前記デジタル信号処理部を用いて、前記減少させた光量に応じた拡大率で、前記A/D変換部の出力のダイナミックレンジを線形に拡大するダイナミックレンジ拡大ステップと、
を含む撮像方法。
An optical system that collects light from the subject;
A light amount adjustment unit for adjusting the amount of light incident on the optical system;
An imaging unit that reads an image of the subject formed by the light condensed by the optical system and outputs an image signal that can form an image including pixels;
An A / D converter for A / D converting the output of the imaging unit;
A digital signal processing unit for adjusting an output value of the A / D conversion unit;
An imaging method used for an imaging apparatus comprising:
A light amount reduction step for reducing the light amount using the light amount adjustment unit;
Using the digital signal processing unit, a dynamic range expansion step for linearly expanding the dynamic range of the output of the A / D conversion unit at an expansion rate according to the reduced light amount;
An imaging method including:
被写体からの光を集光する光学系と、
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部から出力されたアナログの撮像画像をデジタル画像に変換するA/D変換部と、
を備える撮像装置に用いられる撮像方法であって、
所定の露光時間を均等に分割した時間で複数回に分けて次々に前記撮像部を露光し、複数枚の前記撮像画像が得られるように前記撮像部を駆動する駆動ステップと、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を生成し、出力するダイナミックレンジ拡大ステップと、
を備える撮像方法。
An optical system that collects light from the subject;
A light amount adjustment unit for adjusting the amount of light incident on the optical system;
An imaging unit that reads an image of the subject formed by the light condensed by the optical system and outputs an image signal that can form an image including pixels;
An A / D converter that converts an analog captured image output from the imaging unit into a digital image;
An imaging method used for an imaging apparatus comprising:
A drive step of driving the imaging unit so that a plurality of the captured images are obtained by exposing the imaging unit one after another by dividing the predetermined exposure time into a plurality of times evenly divided times;
A plurality of digital images obtained by converting the plurality of captured images in the A / D conversion unit are expanded by adding a dynamic range for each pixel to generate a dynamic range expanded image in which the dynamic range is expanded; Dynamic range expansion step to output,
An imaging method comprising:
被写体からの光を集光する光学系と、
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部から出力されたアナログの撮像画像をデジタル画像に変換するA/D変換部と、
を備える撮像装置に用いられる撮像方法であって、
前記A/D変換部の出力が飽和しないように前記撮像部を複数回に分けて次々に露光し、複数枚の前記撮像画像が得られるように前記撮像部を駆動する駆動ステップと、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚の前記デジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大ステップと、
を備える撮像方法。
An optical system that collects light from the subject;
A light amount adjustment unit for adjusting the amount of light incident on the optical system;
An imaging unit that reads an image of the subject formed by the light condensed by the optical system and outputs an image signal that can form an image including pixels;
An A / D converter that converts an analog captured image output from the imaging unit into a digital image;
An imaging method used for an imaging apparatus comprising:
A driving step of driving the imaging unit so that a plurality of the captured images are obtained by exposing the imaging unit in a plurality of times so that the output of the A / D conversion unit is not saturated;
The A / D conversion unit converts the plurality of captured images and adds the plurality of digital images obtained by expanding the dynamic range for each pixel and outputs a dynamic range expanded image in which the dynamic range is expanded. Dynamic range expansion step,
An imaging method comprising:
被写体からの光を集光する光学系と、
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部の出力をA/D変換するA/D変換部と、
A/D変換部の出力値を調整するデジタル信号処理部と、
前記光量調整部と前記デジタル信号処理部とを制御する制御部と、
を備える撮像装置の制御部で実行されるプログラムであって、
前記制御部に、
前記光量調整部を用いて前記光量を減少させるための信号を生成させるステップと、
前記デジタル信号処理部を用いて、前記減少させた量に応じた拡大率で、前記A/D変換部の出力のダイナミックレンジを線形に拡大させるための信号を生成させるダイナミックレンジ拡大ステップと、
を実行させるプログラム。
An optical system that collects light from the subject;
A light amount adjustment unit for adjusting the amount of light incident on the optical system;
An imaging unit that reads an image of the subject formed by the light condensed by the optical system and outputs an image signal that can form an image including pixels;
An A / D converter for A / D converting the output of the imaging unit;
A digital signal processing unit for adjusting an output value of the A / D conversion unit;
A control unit that controls the light amount adjustment unit and the digital signal processing unit;
A program executed by a control unit of an imaging apparatus comprising:
In the control unit,
Generating a signal for reducing the amount of light using the light amount adjustment unit;
A dynamic range expansion step of generating a signal for linearly expanding the dynamic range of the output of the A / D conversion unit at an expansion rate according to the reduced amount using the digital signal processing unit;
A program that executes
被写体からの光を集光する光学系と、
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部から出力されたアナログの撮像画像をデジタル画像に変換するA/D変換部と、
A/D変換部の出力値を調整するデジタル信号処理部と、
前記光量調整部と前記撮像部と前記デジタル信号処理部とを制御する制御部と、
を備える撮像装置の制御部で実行されるプログラムであって、
前記制御部に、
所定の露光時間を均等に分割した時間で複数回に分けて次々に前記撮像部を露光し、複数枚の前記撮像画像が得られるように前記撮像部を駆動させるための信号を生成する駆動ステップと、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算させ、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を生成し、出力させるための信号を生成するダイナミックレンジ拡大ステップと、
を実行させるためのプログラム。
An optical system that collects light from the subject;
A light amount adjustment unit for adjusting the amount of light incident on the optical system;
An imaging unit that reads an image of the subject formed by the light condensed by the optical system and outputs an image signal that can form an image including pixels;
An A / D converter that converts an analog captured image output from the imaging unit into a digital image;
A digital signal processing unit for adjusting an output value of the A / D conversion unit;
A control unit that controls the light amount adjustment unit, the imaging unit, and the digital signal processing unit;
A program executed by a control unit of an imaging apparatus comprising:
In the control unit,
Driving step of generating a signal for driving the imaging unit so that a plurality of the captured images are obtained by exposing the imaging unit one after another by dividing the predetermined exposure time into a plurality of times at equal intervals. When,
A plurality of digital images obtained by converting the plurality of captured images in the A / D conversion unit are expanded and added for each pixel to generate a dynamic range expanded image in which the dynamic range is expanded; A dynamic range expansion step for generating a signal for output;
A program for running
被写体からの光を集光する光学系と、
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部の出力をA/D変換するA/D変換部と、
を含む撮像装置に用いられる集積回路であって、
前記A/D変換部の出力のダイナミックレンジを線形に拡大するダイナミックレンジ拡大部と、
前記拡大の度合いと相反する量で、前記光量調節部の光量を調節する制御部と、
を備える集積回路。
An optical system that collects light from the subject;
A light amount adjustment unit for adjusting the amount of light incident on the optical system;
An imaging unit that reads an image of the subject formed by the light condensed by the optical system and outputs an image signal that can form an image including pixels;
An A / D converter for A / D converting the output of the imaging unit;
An integrated circuit used in an imaging device including:
A dynamic range expansion unit that linearly expands the dynamic range of the output of the A / D conversion unit;
A control unit for adjusting the light amount of the light amount adjustment unit by an amount opposite to the degree of expansion;
An integrated circuit comprising:
被写体からの光を集光する光学系と、
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部から出力されたアナログの撮像画像をデジタル画像に変換するA/D変換部と、
所定の露光時間を均等に分割した時間で複数回に分けて次々に前記撮像部を露光し、複数枚の前記撮像画像が得られるように前記撮像部を駆動する駆動部と、
を含む撮像装置に用いられる集積回路であって、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、
ダイナミックレンジを拡大したダイナミックレンジ拡大画像を生成し、出力するダイナミックレンジ拡大部、を備える集積回路。
An optical system that collects light from the subject;
A light amount adjustment unit for adjusting the amount of light incident on the optical system;
An imaging unit that reads an image of the subject formed by the light condensed by the optical system and outputs an image signal that can form an image including pixels;
An A / D converter that converts an analog captured image output from the imaging unit into a digital image;
A drive unit that drives the imaging unit so as to obtain a plurality of the captured images by exposing the imaging unit one after another by dividing the predetermined exposure time into a plurality of times at equal intervals;
An integrated circuit used in an imaging device including:
The A / D conversion unit adds a plurality of digital images obtained by converting the plurality of captured images by expanding the dynamic range for each pixel,
An integrated circuit including a dynamic range expansion unit that generates and outputs a dynamic range expansion image in which a dynamic range is expanded.
被写体からの光を集光する光学系と共に用いられる集積回路であって、
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部から出力されたアナログの撮像画像をデジタル画像に変換するA/D変換部と、
前記A/D変換部の出力が飽和しないように前記撮像部を複数回に分けて次々に露光し、複数枚の前記撮像画像が得られるように前記撮像部を駆動する駆動部と、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚の前記デジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大部と、
を備える集積回路。
An integrated circuit used with an optical system that collects light from a subject,
A light amount adjustment unit for adjusting the amount of light incident on the optical system;
An imaging unit that reads an image of the subject formed by the light condensed by the optical system and outputs an image signal that can form an image including pixels;
An A / D converter that converts an analog captured image output from the imaging unit into a digital image;
A drive unit that drives the imaging unit so that a plurality of the captured images are obtained by exposing the imaging unit in a plurality of times so that the output of the A / D conversion unit is not saturated;
The A / D conversion unit converts the plurality of captured images and adds the plurality of digital images obtained by expanding the dynamic range for each pixel and outputs a dynamic range expanded image in which the dynamic range is expanded. A dynamic range expansion section;
An integrated circuit comprising:
撮像装置で用いられる画像処理プロセッサであって、
前記画像処理プロセッサは、記憶されたプログラムの命令に従い、
A/D変換の出力値をDレンジ拡大率で拡大し、
拡大された信号が形成する画像データの最大値に応じて出力値を調整し、
調整された信号と前記信号に対する周囲明度値とに応じて、2次元のルックアップテーブルに保持された変換特性により、出力値を得る、
画像処理プロセッサ。
An image processor used in an imaging apparatus,
The image processor is in accordance with stored program instructions,
Expand the output value of A / D conversion with the D range expansion rate,
Adjust the output value according to the maximum value of the image data formed by the enlarged signal,
According to the adjusted signal and the ambient brightness value for the signal, an output value is obtained by the conversion characteristic held in the two-dimensional lookup table.
Image processor.
JP2008032218A 2007-04-18 2008-02-13 Imaging apparatus and imaging method Expired - Fee Related JP5133085B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008032218A JP5133085B2 (en) 2007-04-18 2008-02-13 Imaging apparatus and imaging method
US12/104,115 US8144214B2 (en) 2007-04-18 2008-04-16 Imaging apparatus, imaging method, integrated circuit, and storage medium
US13/222,274 US20110317032A1 (en) 2007-04-18 2011-08-31 Imaging apparatus, imaging method, integrated circuit, and storage medium
US13/222,313 US8488029B2 (en) 2007-04-18 2011-08-31 Imaging apparatus, imaging method, integrated circuit, and storage medium
US13/915,827 US8711255B2 (en) 2007-04-18 2013-06-12 Visual processing apparatus and visual processing method

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2007109891 2007-04-18
JP2007109890 2007-04-18
JP2007109890 2007-04-18
JP2007109891 2007-04-18
JP2008032218A JP5133085B2 (en) 2007-04-18 2008-02-13 Imaging apparatus and imaging method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012127285A Division JP5412553B2 (en) 2007-04-18 2012-06-04 Visual processing device and visual processing method

Publications (2)

Publication Number Publication Date
JP2008289120A true JP2008289120A (en) 2008-11-27
JP5133085B2 JP5133085B2 (en) 2013-01-30

Family

ID=40148381

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2008032218A Expired - Fee Related JP5133085B2 (en) 2007-04-18 2008-02-13 Imaging apparatus and imaging method
JP2012127285A Expired - Fee Related JP5412553B2 (en) 2007-04-18 2012-06-04 Visual processing device and visual processing method

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2012127285A Expired - Fee Related JP5412553B2 (en) 2007-04-18 2012-06-04 Visual processing device and visual processing method

Country Status (1)

Country Link
JP (2) JP5133085B2 (en)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011119944A (en) * 2009-12-02 2011-06-16 Canon Inc Imaging apparatus and method of controlling the same
WO2013145765A1 (en) * 2012-03-30 2013-10-03 株式会社ニコン Image pickup unit, image pickup device and image pickup control program
WO2014181743A1 (en) * 2013-05-07 2014-11-13 株式会社デンソー Image processing device and image processing method
KR20150024846A (en) * 2012-06-29 2015-03-09 소니 주식회사 Image processing device and method
JPWO2013054607A1 (en) * 2011-10-14 2015-03-30 株式会社モルフォ Image processing apparatus, image processing method, image processing program, and recording medium
JP2015136087A (en) * 2014-01-20 2015-07-27 オリンパス株式会社 Imaging apparatus and imaging method
US9129414B2 (en) 2011-10-14 2015-09-08 Morpho, Inc. Image compositing apparatus, image compositing method, image compositing program, and recording medium
KR101613532B1 (en) 2009-11-11 2016-04-19 엘지이노텍 주식회사 camera module
JP2016146650A (en) * 2016-03-14 2016-08-12 オリンパス株式会社 Imaging apparatus and imaging method, and display device and display method
JP2017005373A (en) * 2015-06-05 2017-01-05 キヤノン株式会社 Imaging device and control method therefor
JP2017011367A (en) * 2015-06-17 2017-01-12 キヤノン株式会社 Imaging apparatus and control method of the same
JP2017034351A (en) * 2015-07-29 2017-02-09 キヤノン株式会社 Imaging apparatus and control method therefor, program, and storage medium
JP2018074285A (en) * 2016-10-26 2018-05-10 株式会社デンソー Imaging apparatus
JP2018525853A (en) * 2015-08-19 2018-09-06 グーグル エルエルシー Smart image sensor with integrated memory and processor
JP2019110538A (en) * 2014-05-16 2019-07-04 パナソニックIpマネジメント株式会社 Luminance conversion method, luminance conversion device, and video display device
US10708565B2 (en) 2014-05-16 2020-07-07 Panasonic Intellectual Property Management Co., Ltd. Method for converting luminance range of picture signal

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101805629B1 (en) * 2013-05-07 2017-12-07 삼성전자주식회사 Method and apparatus for processing image according to a condition of the image
JP6840247B2 (en) * 2017-08-18 2021-03-10 富士フイルム株式会社 Imaging device, control method of imaging device, and control program of imaging device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05115045A (en) * 1990-10-08 1993-05-07 Olympus Optical Co Ltd Exposure control circuit for picture input device
JP2007020071A (en) * 2005-07-11 2007-01-25 Casio Comput Co Ltd Imaging apparatus, imaging method, and program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2323100A3 (en) * 2005-10-12 2012-03-21 Panasonic Corporation Visual processing apparatus, display apparatus, visual processing method, program and integrated circuit

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05115045A (en) * 1990-10-08 1993-05-07 Olympus Optical Co Ltd Exposure control circuit for picture input device
JP2007020071A (en) * 2005-07-11 2007-01-25 Casio Comput Co Ltd Imaging apparatus, imaging method, and program

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101613532B1 (en) 2009-11-11 2016-04-19 엘지이노텍 주식회사 camera module
JP2011119944A (en) * 2009-12-02 2011-06-16 Canon Inc Imaging apparatus and method of controlling the same
JPWO2013054607A1 (en) * 2011-10-14 2015-03-30 株式会社モルフォ Image processing apparatus, image processing method, image processing program, and recording medium
US9626750B2 (en) 2011-10-14 2017-04-18 Morpho, Inc. Image processing method for a composite image and image processing device, image processing program, and recording medium therefor
US9129414B2 (en) 2011-10-14 2015-09-08 Morpho, Inc. Image compositing apparatus, image compositing method, image compositing program, and recording medium
US9571767B2 (en) 2012-03-30 2017-02-14 Nikon Corporation Imaging unit, imaging apparatus, and computer readable medium storing thereon an imaging control program
US11082646B2 (en) 2012-03-30 2021-08-03 Nikon Corporation Imaging unit, imaging apparatus, and computer readable medium storing thereon an imaging control program
US9967480B2 (en) 2012-03-30 2018-05-08 Nikon Corporation Imaging unit, imaging apparatus, and computer readable medium storing thereon an imaging control program
WO2013145765A1 (en) * 2012-03-30 2013-10-03 株式会社ニコン Image pickup unit, image pickup device and image pickup control program
US10652485B2 (en) 2012-03-30 2020-05-12 Nikon Corporation Imaging unit, imaging apparatus, and computer readable medium storing thereon an imaging control program
US11743608B2 (en) 2012-03-30 2023-08-29 Nikon Corporation Imaging unit, imaging apparatus, and computer readable medium storing thereon an imaging control program
JPWO2014002901A1 (en) * 2012-06-29 2016-05-30 ソニー株式会社 Image processing apparatus and recording medium
KR102161017B1 (en) * 2012-06-29 2020-09-29 소니 주식회사 Image processing device and at least one computer readable storage medium
JP2018023154A (en) * 2012-06-29 2018-02-08 サターン ライセンシング エルエルシーSaturn Licensing LLC Image processing device and recording medium
KR20150024846A (en) * 2012-06-29 2015-03-09 소니 주식회사 Image processing device and method
WO2014181743A1 (en) * 2013-05-07 2014-11-13 株式会社デンソー Image processing device and image processing method
JP2014219790A (en) * 2013-05-07 2014-11-20 株式会社デンソー Image processor and image processing method
US9800881B2 (en) 2013-05-07 2017-10-24 Denso Corporation Image processing apparatus and image processing method
JP2015136087A (en) * 2014-01-20 2015-07-27 オリンパス株式会社 Imaging apparatus and imaging method
US10708565B2 (en) 2014-05-16 2020-07-07 Panasonic Intellectual Property Management Co., Ltd. Method for converting luminance range of picture signal
JP2019110538A (en) * 2014-05-16 2019-07-04 パナソニックIpマネジメント株式会社 Luminance conversion method, luminance conversion device, and video display device
US11057600B2 (en) 2014-05-16 2021-07-06 Panasonic Intellectual Property Management Co., Ltd. Method for converting luminance range of picture signal
US11375168B2 (en) 2014-05-16 2022-06-28 Panasonic Intellectual Property Management Co., Ltd. Method for converting luminance range of picture signal
JP2017005373A (en) * 2015-06-05 2017-01-05 キヤノン株式会社 Imaging device and control method therefor
JP2017011367A (en) * 2015-06-17 2017-01-12 キヤノン株式会社 Imaging apparatus and control method of the same
JP2017034351A (en) * 2015-07-29 2017-02-09 キヤノン株式会社 Imaging apparatus and control method therefor, program, and storage medium
JP2018525853A (en) * 2015-08-19 2018-09-06 グーグル エルエルシー Smart image sensor with integrated memory and processor
US10547779B2 (en) 2015-08-19 2020-01-28 Google Llc Smart image sensor having integrated memory and processor
JP2016146650A (en) * 2016-03-14 2016-08-12 オリンパス株式会社 Imaging apparatus and imaging method, and display device and display method
JP2018074285A (en) * 2016-10-26 2018-05-10 株式会社デンソー Imaging apparatus

Also Published As

Publication number Publication date
JP5412553B2 (en) 2014-02-12
JP2012209951A (en) 2012-10-25
JP5133085B2 (en) 2013-01-30

Similar Documents

Publication Publication Date Title
JP5133085B2 (en) Imaging apparatus and imaging method
US8488029B2 (en) Imaging apparatus, imaging method, integrated circuit, and storage medium
JP5171434B2 (en) Imaging apparatus, imaging method, program, and integrated circuit
US10021313B1 (en) Image adjustment techniques for multiple-frame images
US8228397B2 (en) Image sensing apparatus and image processing method
JP4803284B2 (en) Image processing apparatus and image processing program
US20100302405A1 (en) Image sensing apparatus and image processing method
JP2007067907A (en) Image pickup apparatus, image pickup method, and image pickup program; and image processor, image processing method, and image processing program
JP2012205244A (en) Image processing device and method of controlling the same
CN110266954B (en) Image processing method, image processing device, storage medium and electronic equipment
JP6624889B2 (en) Video processing apparatus, video processing method, and video processing program
JP2012010048A (en) Image signal processing device
JP4999871B2 (en) Imaging apparatus and control method thereof
JP2014179920A (en) Imaging apparatus, control method thereof, program, and storage medium
JP2010183460A (en) Image capturing apparatus and method of controlling the same
JP5335964B2 (en) Imaging apparatus and control method thereof
KR101923162B1 (en) System and Method for Acquisitioning HDRI using Liquid Crystal Panel
JP6786273B2 (en) Image processing equipment, image processing methods, and programs
JP2008219230A (en) Imaging apparatus, and image processing method
JP6831493B2 (en) Imaging equipment, imaging methods, and programs
JP6157274B2 (en) Imaging apparatus, information processing method, and program
JP2010183461A (en) Image capturing apparatus and method of controlling the same
JP2017068513A (en) Image processing device and method thereof, program, and storage medium
JP2007235421A (en) Imaging apparatus
JP2018181070A (en) Image processing device and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121016

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121107

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151116

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5133085

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees