JP2008289120A - Imaging apparatus, imaging method, integrated circuit, and program - Google Patents
Imaging apparatus, imaging method, integrated circuit, and program Download PDFInfo
- Publication number
- JP2008289120A JP2008289120A JP2008032218A JP2008032218A JP2008289120A JP 2008289120 A JP2008289120 A JP 2008289120A JP 2008032218 A JP2008032218 A JP 2008032218A JP 2008032218 A JP2008032218 A JP 2008032218A JP 2008289120 A JP2008289120 A JP 2008289120A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- value
- imaging
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、撮影装置および撮像用集積回路に関し、特に、広いダイナミックレンジのシーン(被写体)を適切に撮影することができる撮像装置、撮像用集積回路および撮像用プログラムに関する。 The present invention relates to an imaging apparatus and an imaging integrated circuit, and more particularly to an imaging apparatus, an imaging integrated circuit, and an imaging program that can appropriately capture a scene (subject) having a wide dynamic range.
静止画を撮影するデジタルカメラや動画を撮影するデジタルビデオカメラといった撮像装置は、いずれも、光学系で露光制御を行い、光学系により結像された像をCCD型イメージセンサやCMOS型イメージセンサ等を用いて、光電変換により電気信号に変換し、アナログ画像信号として取得する。そして、従来の撮像装置は、取得したアナログ画像信号を、アナログフロントエンド処理等を実行する回路により処理し、A/D変換器によりデジタル画像データに変換する。このデジタル画像データは、映像ガンマ補正処理(例えば、γ=0.45によるガンマ補正処理)、knee処理、輝度色差変換処理等が施されさらに、静止画データの場合はJPEG(Joint Photographic Experts Group)方式等の規格化されたフォーマットに変換され、動画データの場合はMPEG(Moving Picture Experts Group)方式、DV(Digital Video)方式等の規格化されたフォーマットに変換される。そして、規格化されたフォーマットに変換されたデジタル画像データは、各種メモリカードやハードディスク、光ディスク、磁気テープなどに記録される。 Imaging devices such as digital cameras that shoot still images and digital video cameras that shoot moving images all perform exposure control with an optical system, and images formed by the optical system are CCD-type image sensors, CMOS-type image sensors, etc. Is converted into an electrical signal by photoelectric conversion and acquired as an analog image signal. Then, the conventional imaging apparatus processes the acquired analog image signal by a circuit that executes analog front-end processing or the like, and converts it into digital image data by an A / D converter. This digital image data is subjected to video gamma correction processing (for example, gamma correction processing by γ = 0.45), knee processing, luminance color difference conversion processing, and the like. Further, in the case of still image data, JPEG (Joint Photographic Experts Group) It is converted into a standardized format such as a system, and in the case of moving image data, it is converted into a standardized format such as MPEG (Moving Picture Experts Group) system or DV (Digital Video) system. The digital image data converted into the standardized format is recorded on various memory cards, hard disks, optical disks, magnetic tapes, and the like.
このような従来の撮像装置では、上記のような規格化されたフォーマット(画像(映像)フォーマット)で決められている最白点(即ちディスプレイ装置に表示する際の最大明度値)を「100%」とした場合、通常100%〜200%の明度のダイナミックレンジ(以下、「Dレンジ」という。)が撮影できるように設定される。なお、ここで、「100%のダイナミックレンジ」とは、信号値(例えば、明度値)のとり得る範囲が0%〜100%の範囲であることをいう。つまり、「100%のダイナミックレンジ」とは、信号値の最小値が「0%」であり、信号値の最大値が「100%」であることをいう。
そして、従来の撮像装置(第1の従来の撮像装置)は、撮影された100%以上の明度領域を、knee処理と呼ばれる処理によりDレンジ圧縮し、Dレンジ圧縮後のDレンジが100%以内に収まるようにする。
In such a conventional imaging device, the whitest point (that is, the maximum brightness value when displayed on a display device) determined by the standardized format (image (video) format) as described above is set to “100%. "Is set so that a dynamic range of brightness of 100% to 200% (hereinafter referred to as" D range ") can be taken. Here, “100% dynamic range” means that a signal value (for example, brightness value) can be in a range of 0% to 100%. That is, “100% dynamic range” means that the minimum value of the signal value is “0%” and the maximum value of the signal value is “100%”.
Then, the conventional imaging device (first conventional imaging device) compresses the D region of 100% or more of the captured brightness area by a process called knee processing, and the D range after the D range compression is within 100%. To fit in.
また、従来の撮像装置により撮影する際のDレンジは、光学系の露光量(絞りやシャッタ時間により決定される露光量)の設定条件と、光電変換して取得した電気信号に対する電気的な増幅量の設定条件により決定される。
このような従来の撮像装置により光量が豊富な明るいシーン(被写体)を撮影する場合、絞りを絞る、またはシャッタ時間を短くする、のどちらを選択しても、光量が十分であるため、従来の撮像装置で取得される画像(映像)は良好なものとなる。一般に、撮像装置において、シャッタ時間を短くして絞りを開くことで被写界深度を浅くし、取得画像(映像)の背景をぼかすという、いわゆる「ボケ味」を出す撮影がよく行われている。このような撮影においても、光量が豊富な環境下での撮影であれば、撮像装置において取得される画像(映像)は、良好なものとなる。
In addition, the D range at the time of photographing with a conventional imaging apparatus is a condition for setting the exposure amount of the optical system (exposure amount determined by the aperture and shutter time) and electrical amplification with respect to an electrical signal obtained by photoelectric conversion. Determined by the amount setting condition.
When shooting a bright scene (subject) with a large amount of light with such a conventional imaging device, the amount of light is sufficient regardless of whether the aperture is reduced or the shutter time is shortened. An image (video) acquired by the imaging apparatus is good. In general, in an imaging apparatus, photographing that produces a so-called “bokeh” in which the depth of field is shallowed by shortening the shutter time and opening the aperture to blur the background of an acquired image (video) is often performed. . Even in such shooting, if the shooting is performed in an environment where the amount of light is abundant, an image (video) acquired by the imaging device is good.
逆に、撮像装置において、被写界深度を深くするため、シャッタ時間を長くし、絞りを絞って撮影することもよく行われている。
いずれにしても、明るいシーン(被写体が明るい環境下)では、撮像装置の撮影時において、光量が不足しないため、撮像装置において電気的な増幅を行う必要はない。したがって、明るいシーンの撮影(被写体が明るい環境下での撮影)を行う場合、従来の撮像装置においても、光電変換して取得した電気信号に対する電気的な増幅は実施されていない。
一方、撮像装置で暗いシーンを撮影する場合、十分な光量を得るために、絞りを最大に開き、さらにシャッタ時間も長くする必要がある。撮像装置で、このような長時間の露光を行うと、手振れや被写体ぶれが発生しやすい。したがって、従来の撮像装置においては、シャッタ時間を手振れ限界内(手振れが発生しない限界の時間内)にとどめ、露光量不足を撮像装置により取得した電気信号の電気的な増幅により補償することが行われている。このような処理は、高感度撮影や増感(push processing)と呼ばれている。一般に、電気的な増感は、S/N比とA/D変換の量子化精度の確保の観点から、撮像装置のイメージセンサの出力をアナログ回路で増幅する構成により実現される。特許文献1には、ISO感度に応じてアナログ増幅回路のゲインを切り替えることで増感を行う技術が開示されている。
On the other hand, in order to increase the depth of field in an imaging device, it is often performed to take a picture with a long shutter time and a narrow aperture.
In any case, in a bright scene (in an environment where the subject is bright), there is no need to perform electrical amplification in the imaging device because the amount of light does not become insufficient when shooting with the imaging device. Therefore, when shooting a bright scene (shooting in an environment where the subject is bright), even in a conventional imaging device, electrical amplification of an electrical signal obtained by photoelectric conversion is not performed.
On the other hand, when shooting a dark scene with an imaging device, it is necessary to open the aperture to the maximum and to increase the shutter time in order to obtain a sufficient amount of light. When such an exposure is performed for a long time in an imaging apparatus, camera shake and subject blur are likely to occur. Therefore, in the conventional imaging apparatus, the shutter time is kept within the camera shake limit (within the limit time in which camera shake does not occur), and the shortage of exposure is compensated by electrical amplification of the electric signal acquired by the image pickup apparatus. It has been broken. Such a process is called high-sensitivity imaging or push processing. In general, electrical sensitization is realized by a configuration in which an output of an image sensor of an imaging device is amplified by an analog circuit from the viewpoint of securing an S / N ratio and quantization accuracy of A / D conversion.
また、CCD型イメージセンサやCMOS型イメージセンサに代表される固体撮像素子を使用した撮像装置で撮影して得られる画像信号は、ダイナミックレンジが狭いといった問題がある。このため、ダイナミックレンジの広いシーン(被写体)を撮像装置で撮影する場合(例えば、屋外で逆光の人物像を撮影する場合や、暗い室内から窓越しに外の風景を撮影する場合)、被写体の暗い領域と明るい領域との明暗の差が大きいため、被写体の暗い領域と明るい領域との両方を綺麗に撮影することが困難である。
そこで、別の従来の撮像装置(第2の従来の撮像装置)では、電荷蓄積期間を制御できる固体撮像素子を搭載し、被写体を長時間露光した画像と被写体を短時間露光した画像とを合成処理することで、広いダイナミックレンジの被写体画像を得るようにしている(例えば、特許文献2を参照)。
Further, an image signal obtained by photographing with an imaging device using a solid-state imaging device typified by a CCD type image sensor or a CMOS type image sensor has a problem that the dynamic range is narrow. For this reason, when shooting a scene (subject) with a wide dynamic range with an imaging device (for example, shooting a backlit person image outdoors or shooting an outdoor landscape from a dark room through a window) Since the difference in brightness between the dark area and the bright area is large, it is difficult to capture beautifully both the dark area and the bright area of the subject.
Therefore, another conventional imaging device (second conventional imaging device) is equipped with a solid-state imaging device that can control the charge accumulation period, and synthesizes an image of a subject exposed for a long time and an image of a subject exposed for a short time. By processing, a subject image having a wide dynamic range is obtained (see, for example, Patent Document 2).
また、さらに別の従来の撮像装置(第3の従来の撮像装置)では、画素配列の1/2を高感度画素として形成し、残り1/2を低感度画素として形成した固体撮像素子を使用し、同一の露光時間で得られた高感度画素からの画像信号と低感度画素からの画像信号とを合成処理し、広いダイナミックレンジの被写体画像を得るようにしている(例えば、特許文献3を参照)。
しかしながら、従来の撮像装置(第1の従来の撮像装置)では、Dレンジを高々200%程度にして撮影し、knee処理によりDレンジを100%に圧縮している。このため、例えば、従来の撮像装置で、青空を背景にした逆光の人物の顔を適切な明るさで撮影する場合、人物の顔の明るさが適正レベルである70%の明度となるように撮像装置の露光量を設定すると、飽和せずに扱えるハイライトのレベル(最大明度)は、人物の顔の明るさの3倍程度に制限されることになる。
しかし、晴天の空などはDレンジが数百%以上になることが多く、このようなシーン(被写体)を従来の撮像装置で撮影すると、イメージセンサでの光量が飽和し、その結果、従来の撮像装置で取得される画像において、晴天の空などの高輝度部分が適切に再現することができない。
However, in the conventional imaging device (first conventional imaging device), shooting is performed with the D range being about 200% at most, and the D range is compressed to 100% by the knee processing. For this reason, for example, when a conventional imaging apparatus captures a backlit person's face against a blue sky at an appropriate brightness, the brightness of the person's face is at an appropriate level of 70% brightness. When the exposure amount of the imaging apparatus is set, the highlight level (maximum brightness) that can be handled without being saturated is limited to about three times the brightness of the person's face.
However, in a clear sky, the D range is often several hundred percent or more, and when such a scene (subject) is photographed with a conventional imaging device, the amount of light at the image sensor is saturated. In an image acquired by the imaging apparatus, a high-luminance part such as a clear sky cannot be reproduced appropriately.
また、従来の撮像装置(第2、第3の従来の撮像装置)においては、被写体を短時間露光した画像を利用してダイナミックレンジを拡大する場合には、短時間露光によって露光量が減り固体撮像素子から得られる信号が小さくなるためS/N比が劣化するといった課題がある。同様に、低感度画素からの画像信号を利用してダイナミックレンジを拡大する場合でも、低感度画素から得られる信号は小さいためS/N比が低くなるといった課題がある。
本発明はこのような課題に鑑みてなされたものであり、ダイナミックレンジの広いシーン(被写体)を撮影する場合(例えば、青空を背景にした逆光の人物の顔を撮影する場合)であっても、撮像画像(取得画像)において高輝度部分(例えば、背景の空)が飽和しないような高Dレンジの撮像画像を取得することができる撮像装置、撮像方法、撮像用集積回路および撮像用プログラムを提供することを目的とする。
Further, in the conventional imaging device (second and third conventional imaging devices), when the dynamic range is expanded using an image obtained by exposing a subject for a short time, the exposure amount is reduced by the short time exposure and the solid state is reduced. There is a problem that the S / N ratio deteriorates because the signal obtained from the image sensor becomes small. Similarly, even when the dynamic range is expanded using an image signal from a low-sensitivity pixel, there is a problem that the S / N ratio is low because the signal obtained from the low-sensitivity pixel is small.
The present invention has been made in view of such problems, and even when shooting a scene (subject) with a wide dynamic range (for example, shooting a backlit person's face against a blue sky). An imaging apparatus, an imaging method, an imaging integrated circuit, and an imaging program capable of acquiring a captured image of a high D range that does not saturate a high-luminance portion (for example, a sky in the background) The purpose is to provide.
第1の発明は、光学系と、A/D変換部と、Dレンジ拡大部と、制御部と、を含む撮像装置である。
光学系は、露光量を調整する。A/D変換部は、光学系で取得されたアナログ信号をデジタル信号に変換する。Dレンジ拡大部は、デジタル信号の出力値をDレンジ拡大率により拡大する。制御部は、露光量を減少させる信号を生成するとともにDレンジ拡大率を増加させる信号を生成する。
この撮像装置では、Dレンジ拡大部により、A/D変換部でA/D変換された後の画像信号(デジタルの画像信号)の出力値が、Dレンジ拡大率で拡大される。また、この撮像装置では、制御部により、露光量を減少させる信号が生成されるとともにDレンジ拡大率を増加させる信号が生成され、それらの信号に基づいて、露光量およびDレンジ拡大率が制御される。これにより、この撮像装置では、露光量を減少させるとともに、Dレンジ拡大率を増大させることで、A/D変換された後の画像信号(デジタルの画像信号)の信号値が飽和することが防止でき、効果的にDレンジ拡大処理を行うことができる。
1st invention is an imaging device containing an optical system, an A / D conversion part, D range expansion part, and a control part.
The optical system adjusts the exposure amount. The A / D conversion unit converts an analog signal acquired by the optical system into a digital signal. The D range expansion unit expands the output value of the digital signal by the D range expansion rate. The control unit generates a signal for decreasing the exposure amount and a signal for increasing the D range expansion rate.
In this imaging device, the output value of the image signal (digital image signal) after A / D conversion by the A / D conversion unit is expanded by the D range expansion unit by the D range expansion unit. In this imaging apparatus, the control unit generates a signal that decreases the exposure amount and also generates a signal that increases the D range expansion rate. Based on these signals, the exposure amount and the D range expansion rate are controlled. Is done. Thus, in this imaging apparatus, the exposure value is reduced and the D range expansion rate is increased, thereby preventing the signal value of the image signal (digital image signal) after A / D conversion from being saturated. It is possible to effectively perform the D range expansion process.
このため、ダイナミックレンジの広いシーン(被写体)を撮影する場合(例えば、青空を背景にした逆光の人物の顔を撮影する場合)であっても、この撮像装置により取得される画像(取得画像)において高輝度部分(例えば、背景の空)が飽和しないような高Dレンジの画像を取得することができる。
第2の発明は、第1の発明であって、更に、拡大されたデジタル信号の値を所定のレンジ内の値に圧縮するDレンジ圧縮部を含む。
これにより、デジタル信号を所定のレンジに圧縮することができる。
第3の発明は、第1または第2の発明であって、更に、デジタル信号が形成する1枚の画像データの最大値を抽出するピーク検出部を含み、Dレンジ圧縮部は、最大値が所定のレンジの最大値となるよう圧縮する。
For this reason, even when shooting a scene (subject) with a wide dynamic range (for example, shooting a backlit person's face against a blue sky), an image (acquired image) acquired by this imaging device In this case, it is possible to acquire a high-D range image in which a high-luminance portion (for example, the sky in the background) is not saturated.
2nd invention is 1st invention, Comprising: The D range compression part which compresses the value of the expanded digital signal further to the value in a predetermined range is included.
Thereby, the digital signal can be compressed to a predetermined range.
3rd invention is 1st or 2nd invention, Comprising: The peak detection part which extracts the maximum value of the image data of 1 sheet which a digital signal forms is further included, D range compression part has maximum value Compresses to the maximum value in a given range.
これにより、効率的にDレンジ圧縮処理を行うことができる。
なお、ここで、「1枚の画像」とは、デジタル信号により表示装置に画像を表示させた場合おいて、1画面を構成する画像のことをいい、例えば、1フレーム分の画像や1フィールド分の画像がこれに相当する。
第4の発明は、第1から第3のいずれかの発明であって、制御部は、画像データの最大値に応じて露光量を調整する信号を生成する。
これにより、露光量を効率的に調整することができる。
第5の発明は、第1から第4のいずれかの発明であって、更に、デジタル信号が形成する1枚の画像データの所定領域の代表値を検出する代表値検出部を含む。そして、制御部は、代表値に応じて露光量を調整する信号を生成する。
Thereby, D range compression processing can be performed efficiently.
Here, “one image” refers to an image constituting one screen when an image is displayed on a display device by a digital signal. For example, an image for one frame or one field. The image of minutes corresponds to this.
A fourth invention is any one of the first to third inventions, wherein the control unit generates a signal for adjusting the exposure amount according to the maximum value of the image data.
Thereby, the amount of exposure can be adjusted efficiently.
A fifth invention is any one of the first to fourth inventions, and further includes a representative value detecting unit for detecting a representative value of a predetermined area of one piece of image data formed by the digital signal. Then, the control unit generates a signal for adjusting the exposure amount according to the representative value.
なお、この撮像装置において、「1枚の画像データ」の所定領域の代表値を検出することが好ましいが、これに限定されることはなく、「1枚の画像データの一部」(例えば、1枚の画像データにより構成される画像領域を分割した画像領域)の所定領域の代表値を検出するようにしてもよい。
第6の発明は、第1から第4のいずれかの発明であって、更に、デジタル信号が形成する1枚の画像データの所定の領域の代表値を検出する代表値検出部を含む。そして、制御部は、代表値に応じて拡大率を調整する信号を生成する。
第7の発明は、第1から第4のいずれかの発明であって、更に、デジタル信号が形成する画像データのうち顔領域に含まれるデジタル信号の値の代表値を抽出する顔検出処理部を含む。そして、Dレンジ拡大部は、代表値に応じてDレンジ拡大率を調整する。
In this imaging apparatus, it is preferable to detect a representative value of a predetermined area of “one image data”, but the present invention is not limited to this, and “a part of one image data” (for example, A representative value of a predetermined area of an image area obtained by dividing an image area constituted by one piece of image data may be detected.
A sixth invention is any one of the first to fourth inventions, and further includes a representative value detecting unit for detecting a representative value of a predetermined region of one piece of image data formed by the digital signal. Then, the control unit generates a signal for adjusting the enlargement ratio according to the representative value.
A seventh invention is any one of the first to fourth inventions, and further includes a face detection processing unit for extracting a representative value of a digital signal value included in a face area from image data formed by the digital signal. including. The D range expansion unit adjusts the D range expansion rate according to the representative value.
ここで、「顔領域」とは、デジタル信号が形成する画像上において、「顔」が表示されている画像領域のことをいう。
第8の発明は、第2から第7のいずれかの発明であって、Dレンジ圧縮部は、周囲明度検出部と、動的階調補正部と、を含む。周囲明度検出部は、所定の位置のデジタル信号の周囲明度値を抽出する。動的階調補正部は、所定の位置のデジタル信号の値を入力とし、所定の位置のデジタル信号を入力値としたとき、入力値を所定の位置のデジタル信号についての周囲明度値に応じて異なる出力値に変換する変換特性を用いて、所定の位置のデジタル信号の値を変換して出力する。
なお、ここで、「所定の位置のデジタル信号」とは、デジタル信号が形成する1枚の画像上において、所定の位置の画像(画素または画素ブロック)に対応する信号をいう。また、「所定の位置のデジタル信号についての周囲明度値」とは、デジタル信号が形成する1枚の画像上の「所定の位置」に対応する位置座標をP(x,y)としたとき、画像上のP(x,y)の周囲に存在する複数の画素(また画素ブロック)の明度値のことをいう。そして、「周囲明度値」は、例えば、P(x,y)の周囲に存在する複数の画素(または画素ブロック)の明度値の平均値や重付平均値等である。
Here, “face area” refers to an image area in which “face” is displayed on an image formed by a digital signal.
The eighth invention is any one of the second to seventh inventions, wherein the D-range compression unit includes an ambient lightness detection unit and a dynamic gradation correction unit. The ambient brightness detection unit extracts the ambient brightness value of the digital signal at a predetermined position. The dynamic gradation correction unit receives a value of a digital signal at a predetermined position as an input, and when the digital signal at a predetermined position is set as an input value, the dynamic gradation correction unit corresponds to the ambient lightness value for the digital signal at the predetermined position. Using a conversion characteristic for converting to a different output value, the value of the digital signal at a predetermined position is converted and output.
Here, the “digital signal at a predetermined position” refers to a signal corresponding to an image (pixel or pixel block) at a predetermined position on one image formed by the digital signal. In addition, the “ambient brightness value for a digital signal at a predetermined position” means that when a position coordinate corresponding to a “predetermined position” on one image formed by the digital signal is P (x, y), The lightness value of a plurality of pixels (or pixel blocks) existing around P (x, y) on the image. The “ambient brightness value” is, for example, an average value or a weighted average value of brightness values of a plurality of pixels (or pixel blocks) existing around P (x, y).
第9の発明は、第8の発明であって、変換特性は、所定の位置のデジタル信号の値と周囲明度値とが略等しい入力値となる範囲において、入力されたデジタル信号の値の変化量に対しての変換特性の出力値の変化量が、変換特性の入出力特性グラフにおいて所定の位置のデジタル信号の値に相当する点と原点とを通る直線の傾きによる変化量以上である。
この変換特性により、デジタル信号により形成される画像上の局所的な領域のコントラスト(局所コントラスト)を強調することができる。これにより、Dレンジ圧縮した場合であっても、コントラスト低下を効果的に抑制することができるデジタル信号を取得することができる。
第10の発明は、第8の発明であって、変換特性を、所定の位置のデジタル信号の値xと周囲明度値mとにより、2次元関数f(x,m)で表すとき、
変換特性は、m=xにおいて、
∂f(x,m)/∂x≧(f(x,m)/x)
なる関係を満たす変換特性である。
A ninth aspect of the invention is the eighth aspect of the invention, wherein the conversion characteristic is a change in the value of the input digital signal in a range where the value of the digital signal at a predetermined position and the ambient lightness value are substantially equal to each other. The amount of change in the output value of the conversion characteristic with respect to the amount is greater than or equal to the amount of change due to the slope of a straight line passing through the point corresponding to the value of the digital signal at a predetermined position and the origin in the input / output characteristic graph of the conversion characteristic.
With this conversion characteristic, it is possible to enhance the contrast (local contrast) of a local region on an image formed by a digital signal. Thereby, even if it is a case where D range compression is carried out, the digital signal which can suppress a contrast fall effectively can be acquired.
The tenth invention is the eighth invention, wherein the conversion characteristic is represented by a two-dimensional function f (x, m) by a digital signal value x at a predetermined position and an ambient lightness value m.
The conversion characteristics are as follows:
∂f (x, m) / ∂x ≧ (f (x, m) / x)
The conversion characteristics satisfying the following relationship.
この変換特性により、デジタル信号により形成される画像上の局所的な領域のコントラスト(局所コントラスト)を強調することができる。これにより、Dレンジ圧縮した場合であっても、コントラスト低下を効果的に抑制することができるデジタル信号を取得することができる。
第11の発明は、第8から第10のいずれかの発明であって、動的階調補正部は、デジタル信号の値と周囲明度値の値とに応じた出力値をデータとして保持する2次元のルックアップテーブルである。
第12の発明は、第11の発明であって、制御部は、露光量を減少させる信号とDレンジ拡大率を増加させる信号とを生成するとともに、ルックアップテーブルにDレンジ拡大率に応じた変換特性データを登録する。
With this conversion characteristic, it is possible to enhance the contrast (local contrast) of a local region on an image formed by a digital signal. Thereby, even if it is a case where D range compression is carried out, the digital signal which can suppress a contrast fall effectively can be acquired.
An eleventh aspect of the invention is any one of the eighth to tenth aspects of the invention, wherein the dynamic gradation correction unit holds an output value corresponding to the value of the digital signal and the value of the ambient lightness value as
The twelfth invention is the eleventh invention, wherein the control unit generates a signal for decreasing the exposure amount and a signal for increasing the D range expansion rate, and the lookup table corresponds to the D range expansion rate. Register conversion characteristic data.
第13の発明は、第8から第11のいずれかの発明であって、更に、Dレンジ拡大部によりDレンジ拡大されたデジタル信号を入力とし、入力されたデジタル信号のうち所定の値より大きい値を有するデジタル信号の値をDレンジ圧縮部の入力レンジ内の値に変換するレンジ値調整部を有する。
第14の発明は、第8から第11のいずれかの発明であって、更に、Dレンジ拡大部によりDレンジ拡大されたデジタル信号が形成する画像データのうちのデジタル信号の値の最大値がDレンジ圧縮部の入力レンジの最大値となるように、デジタル信号の値を調整するピーク調整部を含む。
第15の発明は、光学系と、光量調節部と、撮像部と、A/D変換部と、駆動部と、ダイナミックレンジ拡大部と、を備える撮像装置である。
A thirteenth aspect of the invention is any one of the eighth to eleventh aspects of the invention, in which a digital signal that has been D-range expanded by the D-range expanding unit is input, and is greater than a predetermined value among the input digital signals. A range value adjustment unit that converts the value of the digital signal having a value into a value within the input range of the D range compression unit is provided.
The fourteenth invention is the invention of any one of the eighth to eleventh inventions, wherein the maximum value of the value of the digital signal in the image data formed by the digital signal expanded by the D range by the D range expanding unit is A peak adjustment unit that adjusts the value of the digital signal so as to be the maximum value of the input range of the D range compression unit is included.
15th invention is an imaging device provided with an optical system, a light quantity adjustment part, an imaging part, an A / D conversion part, a drive part, and a dynamic range expansion part.
光学系は、被写体からの光を集光する。
光量調節部は、光学系に入射される光量を調節する。
撮像部は、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する。
A/D変換部は、撮像部から出力されたアナログの撮像画像をデジタル画像に変換する。
駆動部は、所定の露光時間を均等に分割した時間で複数回に分けて次々に撮像部を露光し、複数枚の撮像画像が得られるように撮像部を駆動する。
ダイナミックレンジ拡大部は、A/D変換部で複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を生成し、出力する。
The optical system collects light from the subject.
The light amount adjustment unit adjusts the amount of light incident on the optical system.
The imaging unit reads an image of a subject formed by light condensed by the optical system, and outputs it as an image signal that can form an image composed of pixels.
The A / D converter converts the analog captured image output from the imaging unit into a digital image.
The drive unit divides the predetermined exposure time evenly into multiple times, exposes the image capture unit one after another, and drives the image capture unit to obtain a plurality of captured images.
The dynamic range expansion unit expands the dynamic range by adding a plurality of digital images obtained by converting a plurality of captured images by the A / D conversion unit and expanding the dynamic range for each pixel. Is generated and output.
この撮像装置によれば、所定の露光時間を複数回に分けて次々に露光することによって露光時間を短くし、露光量を減少させることで、撮像部で得られる出力を小さくすることができる。これにより、得られる撮像画像は暗くなるため、被写体の明るい領域でもA/D変換の出力は飽和しにくくなる。また、この撮像装置では、複数回に分けて撮影して得た複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、その総和を算出することができる。このため、加算した出力の飽和を抑えつつ明るくし、暗くなった画像を、所定の露光時間で得られる画像と同じ明るさにすることができる。よって、この撮像装置では、S/N比の劣化を抑え、ダイナミックレンジの広い画像を得ることができる。
これにより、屋外で人物を逆光で撮影した場合であっても、人物の顔等の暗い領域を適切な明るさに補正しても、雲や空等の明るい領域が飽和していない画像を得ることができる撮像装置を提供することができる。
According to this imaging apparatus, it is possible to reduce the output obtained by the imaging unit by shortening the exposure time by dividing the predetermined exposure time into a plurality of times, and reducing the exposure amount. As a result, the obtained captured image becomes dark, and the output of the A / D conversion is not easily saturated even in a bright region of the subject. Further, in this imaging apparatus, a plurality of digital images obtained by capturing a plurality of times can be added by expanding the dynamic range for each pixel, and the sum can be calculated. For this reason, it is possible to make the image brightened and darkened while suppressing saturation of the added output, and to have the same brightness as the image obtained in the predetermined exposure time. Therefore, in this imaging device, it is possible to suppress the deterioration of the S / N ratio and obtain an image with a wide dynamic range.
As a result, even when a person is photographed outdoors in backlight, even if a dark area such as a person's face is corrected to an appropriate brightness, an image in which bright areas such as clouds and sky are not saturated is obtained. An imaging device that can be provided can be provided.
第16の発明は、第15の発明であって、ダイナミックレンジ拡大画像のダイナミックレンジを所定のダイナミックレンジに非線形に圧縮するダイナミックレンジ圧縮部をさらに備える。
これによれば、さらに、出力を映像信号のフォーマット(例えば、JPEG,MPEG等)で決められた出力に合わせることができ、表示装置の最白点を基準に決められている100%に出力を合わせることができる。
第17の発明は、第15または第16の発明であって、ダイナミックレンジ拡大部は、少なくとも入力ダイナミックレンジより大きい出力ダイナミックレンジを有している。
これによれば、さらに、ダイナミックレンジを拡大した出力を飽和させずに出力できる。
A sixteenth aspect of the present invention is the fifteenth aspect of the present invention, further comprising a dynamic range compression unit that nonlinearly compresses the dynamic range of the dynamic range expanded image to a predetermined dynamic range.
According to this, the output can be matched with the output determined by the format of the video signal (for example, JPEG, MPEG, etc.), and the output can be made to 100% determined based on the white point of the display device. Can be matched.
The seventeenth invention is the fifteenth or sixteenth invention, wherein the dynamic range expanding section has an output dynamic range that is at least larger than the input dynamic range.
According to this, an output with an expanded dynamic range can be output without being saturated.
第18の発明は、第16の発明であって、ダイナミックレンジ圧縮部は、画像信号についての周囲明度値に応じて変化する変換特性を用いてダイナミックレンジ拡大画像のダイナミックレンジを圧縮する。
これによれば、さらに、被写体の暗い領域と明るい領域とに適切な出力が得られる変換特性を用いることができ、1000%以上にダイナミックレンジを拡大した場合であってもその広いダイナミックレンジを視覚的に損なわずに100%以内に圧縮することが可能になる。
第19の発明は、第15から第18のいずれかの発明であって、光量調節部は、撮像部を複数回に分けて露光する前に、所定の露光時間において被写体の主要部で所定の明るさが得られるように光学系に入射される光量の調節を行う。
An eighteenth aspect of the invention is the sixteenth aspect of the invention, in which the dynamic range compression unit compresses the dynamic range of the dynamic range expanded image using conversion characteristics that change according to the ambient lightness value of the image signal.
According to this, it is possible to use a conversion characteristic that can obtain an appropriate output in a dark area and a bright area of the subject, and even when the dynamic range is expanded to 1000% or more, the wide dynamic range is visually recognized. It is possible to compress within 100% without any loss.
A nineteenth aspect of the invention is any one of the fifteenth to eighteenth aspects of the invention, in which the light amount adjusting unit is predetermined at a main part of the subject for a predetermined exposure time before the imaging unit is exposed in a plurality of times. The amount of light incident on the optical system is adjusted so that brightness is obtained.
これによれば、さらに、被写体の主要部で最適な明るさになるように光量の調節を行った上で、複数回に分けて露光を行うことができる。これにより、例えば、人物の顔を最適な明るさにした上で、空や雲等の明るい領域が飽和しないようにダイナミックレンジを拡大することができる。
第20の発明は、第15から第19のいずれかの発明であって、手振れ検出部をさらに備える。
手振れ検出部は、複数枚のデジタル画像のうち、異なる2枚のデジタル画像から手振れによる画像ずれの大きさとその方向を検出する。
そして、ダイナミックレンジ拡大部は、手振れ検出部で検出された画像ずれの大きさとその方向に応じて画像ずれをなくす方向にデジタル画像をずらして加算する。
According to this, it is possible to perform exposure in a plurality of times after adjusting the amount of light so that the main part of the subject has optimum brightness. Thus, for example, the dynamic range can be expanded so that a bright area such as the sky and clouds is not saturated after the human face is set to an optimal brightness.
A twentieth invention is any one of the fifteenth to nineteenth inventions, and further includes a camera shake detection unit.
The camera shake detection unit detects the magnitude and direction of image shift caused by camera shake from two different digital images among a plurality of digital images.
Then, the dynamic range expansion unit shifts and adds the digital image in a direction to eliminate the image shift according to the magnitude and direction of the image shift detected by the camera shake detection unit.
これによれば、さらに、撮像して得た複数枚のデジタル画像間における画像ずれを抑えることができ、手振れによる影響が小さい画像(露光時間を短くした画像)を有効に活用して手振れによる画像ずれを抑えたダイナミックレンジ拡大画像を得ることができる。
第21の発明は、第20の発明であって、被写体振れ検出部をさらに備える。
被写体振れ検出部は、複数枚のデジタル画像のうち、手振れによる画像ずれをなくした異なる2枚のデジタル画像を画素ごとに比較することによりデジタル画像上の局所領域の被写体振れを検出する。
そして、ダイナミックレンジ拡大部は、被写体振れ検出部で被写体振れが検出された場合、被写体振れがある画素を加算しない。
これによれば、さらに、被写体振れした局所領域の画素を除去でき、被写体振れを抑えた画像が得られる。なお、ダイナミックレンジ拡大部は、加算しない画素がある場合、光量調整するようにしてもよい。例えば、4つの画素のうち1つの画素のみ加算しない場合(つまり、3つの画素を加算する場合)、加算して求めた値に(4/3)を乗ずることで、ダイナミックレンジ拡大部が明るさ調整(画素値の調整)を行うようにしてもよい。
According to this, image shift between a plurality of digital images obtained by imaging can be suppressed, and an image caused by camera shake by effectively using an image (image with a short exposure time) that is less influenced by camera shake. It is possible to obtain an image with an expanded dynamic range in which the shift is suppressed.
A twenty-first invention is the twentieth invention, further comprising a subject shake detection unit.
The subject shake detection unit detects subject shake in a local region on the digital image by comparing, for each pixel, two different digital images in which image deviation due to camera shake is eliminated among a plurality of digital images.
Then, the dynamic range expansion unit does not add pixels with subject shake when the subject shake detection is detected by the subject shake detection unit.
According to this, the pixels in the local area where the subject shakes can be removed, and an image in which the subject shake is suppressed can be obtained. Note that the dynamic range expansion unit may adjust the amount of light when there are pixels that are not added. For example, when only one pixel out of four pixels is not added (that is, when three pixels are added), the value obtained by addition is multiplied by (4/3), so that the dynamic range expansion unit becomes brighter. You may make it perform adjustment (adjustment of a pixel value).
第22の発明は、第15から第19のいずれかの発明であって、被写体振れ検出部をさらに備える。
被写体振れ検出部は、複数枚のデジタル画像のうち、異なる2枚のデジタル画像を画素ごとに比較することによりデジタル画像上の局所領域の被写体振れを検出する。
そして、ダイナミックレンジ拡大部は、被写体振れ検出部で被写体振れが検出された場合、被写体振れがある画素を加算しない。
これによれば、さらに、被写体振れした局所領域の画素を除去でき、被写体振れを抑えた画像が得られる。
第23の発明は、第15から第19のいずれかの発明であって、被写体振れ検出部をさらに備える。
A twenty-second invention is any one of the fifteenth to nineteenth inventions, further comprising a subject shake detection unit.
The subject shake detection unit detects subject shake in a local region on the digital image by comparing two different digital images among the plurality of digital images for each pixel.
Then, the dynamic range expansion unit does not add pixels with subject shake when the subject shake detection is detected by the subject shake detection unit.
According to this, the pixels in the local area where the subject shakes can be removed, and an image in which the subject shake is suppressed can be obtained.
A twenty-third invention is any one of the fifteenth to nineteenth inventions, further comprising a subject shake detection unit.
被写体振れ検出部は、手振れ補正された複数枚のデジタル画像を取得し、取得された複数枚のデジタル画像のうち、異なる2枚のデジタル画像を画素ごとに比較することによりデジタル画像上の局所領域の被写体振れを検出する。
そして、ダイナミックレンジ拡大部は、被写体振れ検出部で被写体振れが検出された場合、被写体振れがある画素を加算しない。
これによれば、さらに、手振れ補正された複数枚のデジタル画像を有効に利用でき、手振れによる画像ずれをなくしたデジタル画像を比較することができる。
第24の発明は、第23の発明であって、被写体振れ検出部は、光学式の手振れ補正により手振れ補正された複数枚のデジタル画像を用いて、被写体振れを検出する。
これによれば、さらに、光学式の手振れ補正により手振れを抑えた複数枚のデジタル画像を有効に利用することができる。光学式の手振れ補正では、撮像部(撮像素子)の撮像エリア内に手振れ検出用の領域を設ける必要がないため、撮像部(撮像素子)の撮像エリアを有効に活用できる。
The subject shake detection unit acquires a plurality of digital images subjected to camera shake correction, and compares two different digital images among the acquired plurality of digital images for each pixel, thereby local regions on the digital image. Detects subject shake.
Then, the dynamic range expansion unit does not add pixels with subject shake when the subject shake detection is detected by the subject shake detection unit.
According to this, it is possible to effectively use a plurality of digital images that have undergone camera shake correction, and to compare digital images in which image shift due to camera shake is eliminated.
In a twenty-fourth aspect based on the twenty-third aspect, the subject shake detection unit detects subject shake using a plurality of digital images subjected to the shake correction by the optical shake correction.
According to this, it is possible to effectively use a plurality of digital images in which camera shake is suppressed by optical camera shake correction. In the optical camera shake correction, since it is not necessary to provide a camera shake detection area in the imaging area of the imaging unit (imaging device), the imaging area of the imaging unit (imaging device) can be used effectively.
第25の発明は、第20の発明であって、被写体振れ検出部と、座標変換部と、さらに備える。
被写体振れ検出部は、複数枚のデジタル画像のうち、手振れによる画像ずれをなくした異なる2枚のデジタル画像を画素ごとに比較することによりデジタル画像上の局所領域の被写体振れを検出する。
座標変換部は、被写体振れ検出部で被写体振れが検出された画素に対して被写体振れをなくすように座標を変換する。
そして、ダイナミックレンジ拡大部は、被写体振れ検出部で被写体振れが検出された画素に対しては座標変換部で変換された画素を加算する。
これによれば、さらに、被写体振れした局所領域の画素を補正し、被写体振れを抑えた画像が得られる。
A twenty-fifth aspect of the present invention is the twentieth aspect of the present invention, further comprising a subject shake detection unit and a coordinate conversion unit.
The subject shake detection unit detects subject shake in a local region on the digital image by comparing, for each pixel, two different digital images in which image deviation due to camera shake is eliminated among a plurality of digital images.
The coordinate conversion unit converts the coordinates so that the subject shake is eliminated for the pixel in which the subject shake is detected by the subject shake detection unit.
The dynamic range expansion unit adds the pixel converted by the coordinate conversion unit to the pixel in which the subject shake is detected by the subject shake detection unit.
This further corrects the pixels in the local area where the subject shakes, thereby obtaining an image in which the subject shake is suppressed.
第26の発明は、第25の発明であって、被写体振れ判断部をさらに備える。
被写体振れ判断部は、被写体振れをなくすことができるか否かを判断する。
そして、ダイナミックレンジ拡大部は、被写体振れ判断部が被写体振れをなくすことができないと判断した場合、被写体振れがある画素を加算しない。
これによれば、さらに、被写体の一部が検出できなくなった領域があっても対応することができる。例えば、被写体の手が被写体の背後に隠れても、その手の領域は画素を加算しないようにすることができる。
第27の発明は、光学系と、光量調節部と、撮像部と、A/D変換部と、駆動部と、ダイナミックレンジ拡大部と、を備える撮像装置である。
光学系は、被写体からの光を集光する。
A twenty-sixth aspect of the present invention is the twenty-fifth aspect of the present invention, further comprising a subject shake determination unit.
The subject shake determination unit determines whether the subject shake can be eliminated.
Then, when the subject shake determination unit determines that the subject shake cannot be eliminated, the dynamic range expansion unit does not add pixels with subject shake.
According to this, it is possible to cope with even a region where a part of the subject cannot be detected. For example, even if the subject's hand is hidden behind the subject, the region of the hand can be prevented from adding pixels.
A twenty-seventh aspect of the invention is an image pickup apparatus that includes an optical system, a light amount adjustment unit, an image pickup unit, an A / D conversion unit, a drive unit, and a dynamic range expansion unit.
The optical system collects light from the subject.
光量調節部は、光学系に入射される光量を調節する。
撮像部は、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する。
A/D変換部は、撮像部から出力されたアナログの撮像画像をデジタル画像に変換する。
駆動部は、A/D変換部の出力が飽和しないように撮像部を複数回に分けて次々に露光し、複数枚の撮像画像が得られるように撮像部を駆動する。
ダイナミックレンジ拡大部は、A/D変換部で複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力する。
The light amount adjustment unit adjusts the amount of light incident on the optical system.
The imaging unit reads an image of a subject formed by light condensed by the optical system, and outputs it as an image signal that can form an image composed of pixels.
The A / D converter converts the analog captured image output from the imaging unit into a digital image.
The drive unit divides the imaging unit into a plurality of times so that the output of the A / D conversion unit is not saturated, and sequentially exposes the imaging unit to drive a plurality of captured images.
The dynamic range expansion unit expands the dynamic range by adding a plurality of digital images obtained by converting a plurality of captured images by the A / D conversion unit and expanding the dynamic range for each pixel. Is output.
このような構成によれば、複数回に分けて次々に露光し、得られる撮像画像を暗くすることができるため、被写体の明るい領域でもA/D変換の出力は飽和しにくくなる。また、複数回に分けて撮影して得た複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、その総和を算出するため、加算した出力の飽和を抑えつつ明るくし、暗くなった画像を、所定の露光時間で得られる画像と同じ明るさにすることができる。よって、S/N比の劣化を抑え、ダイナミックレンジの広い画像を得ることができる。これにより、屋外で人物を逆光で撮影した場合であっても、人物の顔等の暗い領域を適切な明るさに補正しても、雲や空等の明るい領域が飽和していない画像を得ることができる撮像装置を提供することができる。
第28の発明は、被写体からの光を集光する光学系と、光学系に入射される光量を調節する光量調節部と、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、撮像部の出力をA/D変換するA/D変換部と、A/D変換部の出力値を調整するデジタル信号処理部と、を備える撮像装置に用いられる撮像方法であって、光量減少ステップと、ダイナミックレンジ拡大ステップと、を含む。
According to such a configuration, it is possible to perform exposure one after another in a plurality of times and darken the obtained captured image, so that the output of the A / D conversion is not easily saturated even in a bright region of the subject. In addition, multiple digital images obtained by taking multiple shots are added by expanding the dynamic range for each pixel, and the sum is calculated, so it becomes brighter and darker while suppressing saturation of the added output. The image can be as bright as the image obtained with a predetermined exposure time. Therefore, it is possible to suppress the deterioration of the S / N ratio and obtain an image with a wide dynamic range. As a result, even when a person is photographed outdoors in backlight, even if a dark area such as a person's face is corrected to an appropriate brightness, an image in which bright areas such as clouds and sky are not saturated is obtained. An imaging device that can be provided can be provided.
In a twenty-eighth aspect, an optical system for condensing light from a subject, a light amount adjusting unit for adjusting a light amount incident on the optical system, and an image of the subject formed by the light condensed by the optical system are read. An imaging unit that outputs an image signal that can form an image including pixels, an A / D conversion unit that performs A / D conversion on the output of the imaging unit, and a digital signal that adjusts an output value of the A / D conversion unit An imaging method used in an imaging apparatus including a processing unit, and includes a light amount reduction step and a dynamic range expansion step.
光量減少ステップでは、光量調整部を用いて光量を減少させる。ダイナミックレンジ拡大ステップでは、デジタル信号処理部を用いて、減少させた光量に応じた拡大率で、A/D変換部の出力のダイナミックレンジを線形に拡大する。
第29の発明は、被写体からの光を集光する光学系と、光学系に入射される光量を調節する光量調節部と、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、撮像部から出力されたアナログの撮像画像をデジタル画像に変換するA/D変換部と、を備える撮像装置に用いられる撮像方法であって、駆動ステップと、ダイナミックレンジ拡大ステップと、を備える。
駆動ステップでは、所定の露光時間を均等に分割した時間で複数回に分けて次々に撮像部を露光し、複数枚の撮像画像が得られるように撮像部を駆動する。ダイナミックレンジ拡大ステップでは、A/D変換部で複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を生成し、出力する。
In the light amount reduction step, the light amount is decreased using the light amount adjustment unit. In the dynamic range expansion step, the dynamic range of the output of the A / D conversion unit is linearly expanded using the digital signal processing unit at an expansion rate corresponding to the reduced light amount.
In a twenty-ninth aspect of the invention, an optical system for condensing light from a subject, a light amount adjusting unit for adjusting the amount of light incident on the optical system, and an image of the subject formed by the light collected by the optical system are read. Used in an imaging apparatus including an imaging unit that outputs an image signal that can form an image including pixels, and an A / D conversion unit that converts an analog captured image output from the imaging unit into a digital image. An imaging method includes a driving step and a dynamic range expansion step.
In the driving step, the imaging unit is exposed one after another by dividing the predetermined exposure time into a plurality of times, and the imaging unit is driven so that a plurality of captured images are obtained. In the dynamic range expansion step, a dynamic range expansion image in which the dynamic range is expanded by adding a plurality of digital images obtained by converting a plurality of captured images by the A / D conversion unit for each pixel. Is generated and output.
第30の発明は、被写体からの光を集光する光学系と、光学系に入射される光量を調節する光量調節部と、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、撮像部から出力されたアナログの撮像画像をデジタル画像に変換するA/D変換部と、を備える撮像装置に用いられる撮像方法であって、駆動ステップと、ダイナミックレンジ拡大ステップと、を備える。
駆動ステップでは、A/D変換部の出力が飽和しないように撮像部を複数回に分けて次々に露光し、複数枚の撮像画像が得られるように撮像部を駆動する。ダイナミックレンジ拡大ステップでは、A/D変換部で複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力する。
In a thirtieth aspect, an optical system for condensing light from a subject, a light amount adjusting unit for adjusting the amount of light incident on the optical system, and an image of the subject formed by the light collected by the optical system are read. , Used for an imaging apparatus including an imaging unit that outputs an image signal that can form an image including pixels, and an A / D conversion unit that converts an analog captured image output from the imaging unit into a digital image. An imaging method includes a driving step and a dynamic range expansion step.
In the driving step, the imaging unit is exposed to a plurality of times so that the output of the A / D conversion unit is not saturated, and the imaging unit is driven so that a plurality of captured images are obtained. In the dynamic range expansion step, a dynamic range expansion image in which the dynamic range is expanded by adding a plurality of digital images obtained by converting a plurality of captured images by the A / D conversion unit for each pixel. Is output.
第31の発明は、被写体からの光を集光する光学系と、光学系に入射される光量を調節する光量調節部と、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、撮像部の出力をA/D変換するA/D変換部と、A/D変換部の出力値を調整するデジタル信号処理部と、光量調整部とデジタル信号処理部とを制御する制御部と、を備える撮像装置の制御部で実行されるプログラムである。そして、このプログラムは、制御部に、光量調整部を用いて光量を減少させるための信号を生成させるステップと、デジタル信号処理部を用いて、減少させた量に応じた拡大率で、A/D変換部の出力のダイナミックレンジを線形に拡大させるための信号を生成させるダイナミックレンジ拡大ステップと、を実行させる。
第32の発明は、被写体からの光を集光する光学系と、光学系に入射される光量を調節する光量調節部と、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、撮像部から出力されたアナログの撮像画像をデジタル画像に変換するA/D変換部と、A/D変換部の出力値を調整するデジタル信号処理部と、光量調整部と撮像部とデジタル信号処理部とを制御する制御部と、を備える撮像装置の制御部で実行されるプログラムである。そして、このプログラムは、制御部に、所定の露光時間を均等に分割した時間で複数回に分けて次々に撮像部を露光し、複数枚の撮像画像が得られるように撮像部を駆動させるための信号を生成する駆動ステップと、A/D変換部で複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算させ、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を生成し、出力させるための信号を生成するダイナミックレンジ拡大ステップと、を実行させる。
In a thirty-first aspect, an optical system that collects light from a subject, a light amount adjustment unit that adjusts the amount of light incident on the optical system, and an image of the subject formed by the light collected by the optical system are read. An imaging unit that outputs an image signal that can form an image including pixels, an A / D conversion unit that performs A / D conversion on the output of the imaging unit, and a digital signal that adjusts an output value of the A / D conversion unit A program that is executed by a control unit of an imaging apparatus that includes a processing unit, and a control unit that controls a light amount adjustment unit and a digital signal processing unit. Then, the program causes the control unit to generate a signal for reducing the light amount using the light amount adjusting unit, and an enlargement ratio corresponding to the reduced amount using the digital signal processing unit. A dynamic range expansion step of generating a signal for linearly expanding the dynamic range of the output of the D conversion unit.
In a thirty-second invention, an optical system for condensing light from a subject, a light amount adjusting unit for adjusting the amount of light incident on the optical system, and an image of the subject formed by the light collected by the optical system are read. An imaging unit that outputs an image signal that can form an image composed of pixels, an A / D conversion unit that converts an analog captured image output from the imaging unit into a digital image, and an output of the A / D conversion unit A program executed by a control unit of an imaging apparatus including a digital signal processing unit that adjusts a value, and a control unit that controls a light amount adjustment unit, an imaging unit, and a digital signal processing unit. This program causes the control unit to drive the imaging unit so that a plurality of captured images can be obtained by exposing the imaging unit one after another by dividing the predetermined exposure time evenly into a plurality of times. A dynamic step that expands the dynamic range by adding a drive step for generating a signal of the image and adding a plurality of digital images obtained by converting a plurality of captured images by an A / D conversion unit for each pixel. A dynamic range expansion step for generating a signal for generating and outputting a range expansion image is executed.
第33の発明は、被写体からの光を集光する光学系と、光学系に入射される光量を調節する光量調節部と、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、撮像部の出力をA/D変換するA/D変換部と、を含む撮像装置に用いられる集積回路である。そして、この集積回路は、A/D変換部の出力のダイナミックレンジを線形に拡大するダイナミックレンジ拡大部と、拡大の度合いと相反する量で、光量調節部の光量を調節する制御部と、を備える。
第34の発明は、被写体からの光を集光する光学系と、光学系に入射される光量を調節する光量調節部と、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、撮像部から出力されたアナログの撮像画像をデジタル画像に変換するA/D変換部と、所定の露光時間を均等に分割した時間で複数回に分けて次々に撮像部を露光し、複数枚の撮像画像が得られるように撮像部を駆動する駆動部と、を含む撮像装置に用いられる集積回路である。そして、この集積回路は、A/D変換部で複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を生成し、出力するダイナミックレンジ拡大部、を備える。
In a thirty-third invention, an optical system for condensing light from a subject, a light amount adjusting unit for adjusting the amount of light incident on the optical system, and an image of the subject formed by the light collected by the optical system are read. An integrated circuit used in an imaging apparatus including an imaging unit that outputs an image signal that can form an image including pixels and an A / D conversion unit that performs A / D conversion on the output of the imaging unit. The integrated circuit includes: a dynamic range expansion unit that linearly expands the dynamic range of the output of the A / D conversion unit; and a control unit that adjusts the light amount of the light amount adjustment unit by an amount that is opposite to the degree of expansion. Prepare.
In a thirty-fourth aspect of the invention, an optical system for condensing light from the subject, a light amount adjusting unit for adjusting the amount of light incident on the optical system, and an image of the subject formed by the light collected by the optical system are read. An imaging unit that outputs an image signal that can form an image composed of pixels, an A / D conversion unit that converts an analog captured image output from the imaging unit into a digital image, and a predetermined exposure time evenly The integrated circuit is used in an imaging apparatus including a driving unit that drives the imaging unit so that a plurality of captured images are obtained by exposing the imaging unit one after another in a plurality of divided times. The integrated circuit expands the dynamic range by expanding the dynamic range for each pixel and adding a plurality of digital images obtained by converting a plurality of captured images by the A / D converter. A dynamic range expansion unit that generates and outputs an image;
第35の発明は、被写体からの光を集光する光学系と共に用いられる集積回路であって、光量調節部と、撮像部と、A/D変換部と、駆動部と、ダイナミックレンジ拡大部と、を備える。
光量調節部は、光学系に入射される光量を調節する。撮像部は、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する。A/D変換部は、撮像部から出力されたアナログの撮像画像をデジタル画像に変換する。駆動部は、A/D変換部の出力が飽和しないように撮像部を複数回に分けて次々に露光し、複数枚の撮像画像が得られるように撮像部を駆動する。ダイナミックレンジ拡大部は、A/D変換部で複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力する。
A thirty-fifth aspect of the invention is an integrated circuit used together with an optical system that collects light from a subject, a light amount adjustment unit, an imaging unit, an A / D conversion unit, a drive unit, a dynamic range expansion unit, .
The light amount adjustment unit adjusts the amount of light incident on the optical system. The imaging unit reads an image of a subject formed by light condensed by the optical system, and outputs it as an image signal that can form an image composed of pixels. The A / D converter converts the analog captured image output from the imaging unit into a digital image. The drive unit divides the imaging unit into a plurality of times so that the output of the A / D conversion unit is not saturated, and sequentially exposes the imaging unit to drive a plurality of captured images. The dynamic range expansion unit expands the dynamic range by adding a plurality of digital images obtained by converting a plurality of captured images by the A / D conversion unit and expanding the dynamic range for each pixel. Is output.
第36の発明は、撮像装置で用いられる画像処理プロセッサである。そして、この画像処理プロセッサは、記憶されたプログラムの命令に従い、A/D変換の出力値をDレンジ拡大率で拡大し、拡大された信号が形成する画像データの最大値に応じて出力値を調整し、調整された画像信号と画像信号の周囲明度値とに応じて、2次元のルックアップテーブルに保持された変換特性により、出力値を得る。 A thirty-sixth aspect of the present invention is an image processor used in the imaging apparatus. The image processor then expands the output value of the A / D conversion at the D range expansion rate according to the stored program instructions, and outputs the output value according to the maximum value of the image data formed by the expanded signal. The output value is obtained by the conversion characteristics held in the two-dimensional lookup table in accordance with the adjusted image signal and the ambient brightness value of the image signal.
本発明によれば、ダイナミックレンジの広いシーン(被写体)を撮影する場合(例えば、青空を背景にした逆光の人物の顔を撮影する場合)であっても、撮像画像(取得画像)において高輝度部分(例えば、背景の空)が飽和しないような高Dレンジの撮像画像を取得することができる撮像装置、撮像方法、プログラムおよび集積回路を提供することができる。 According to the present invention, even when shooting a scene (subject) with a wide dynamic range (for example, shooting a backlit person's face against a blue sky), the captured image (acquired image) has high brightness. It is possible to provide an imaging apparatus, an imaging method, a program, and an integrated circuit that can acquire a high-D range captured image in which a portion (eg, the sky in the background) is not saturated.
以下、本発明の実施形態における撮像装置について図面を参照しながら説明する。
[第1実施形態]
<1.1:撮像装置の構成>
図1は、撮像装置100の構成図である。
撮像装置100は、光学系1、アナログ信号処理部2、デジタル信号処理部3、および露光計7を備える。
光学系1は、被写体P1からの光を集光する撮像レンズ11と、撮像レンズ11で集光した被写体P1からの反射光の光量を調整する絞り12と、絞られた光量(絞り12により調整された光量)と蓄積時間とに応じて画像信号Aを出力する撮像部13とを備える。
アナログ信号処理部2は、相関二重サンプリング回路(CDS(Correlated Double Sampling))21と、A/D変換部23とを含む。
Hereinafter, an imaging device according to an embodiment of the present invention will be described with reference to the drawings.
[First Embodiment]
<1.1: Configuration of Imaging Device>
FIG. 1 is a configuration diagram of the
The
The
The analog
A/D変換部23は、アナログ画像(映像)信号を、例えば各画素が0〜4095の階調レベルを持つ12bitのデジタル画像(映像)信号(信号C)に変換して出力する。尚、図1では、撮像装置100は、説明便宜のため、GCA(Gain Control Amplifier)22を含んでいるが、GCA22は必須の構成ではない。また、GCAは、CDS(co−related double sampling)回路を夫君でいてもよい。
デジタル信号処理部3は、信号処理部31を含む。また、デジタル信号処理部3は、撮像装置100が撮像装置として一般的な機能を実現するためのフラッシュ発光制御部、コーデック部、カードI/F、表示部制御部等の処理部、およびこれら処理部の全部或いは一部の動作を制御する制御部34を有する。
The A /
The digital
なお、撮像装置100を構成する各機能機能ブロックは、図1に示すように、バスBusを介して接続されるものであってもよい。
(1.1.1:信号処理部31の構成)
図2は、信号処理部31の構成図である。
信号処理部31は、Dレンジ拡大処理部2000とDレンジ圧縮部2001を含む。
Dレンジ拡大処理部2000は、Dレンジ拡大部2002とレジスタ2004とを含む。
Dレンジ拡大部2002は、具体的にはデジタル乗算器である。アナログ信号処理部2の出力信号(信号C)に対し、設定されたDレンジ拡大率(例えば2倍、4倍等)で乗算し、乗算結果をレジスタ2004に格納する。尚、このDレンジ拡大率は、光学系に対する絞りの設定値の減少(以下、シャッタースピードの制御等による露光計で取得される受光量の減少を含む。)に対し増加する関係となる値を用いて、信号Mag1により設定される。例えば、絞り12の絞りの値が「1/2」である場合には「2」が、絞りの値が「1/4」である場合には「4」が、Dレンジ拡大率として設定される。
In addition, each functional function block which comprises the
(1.1.1: Configuration of the signal processing unit 31)
FIG. 2 is a configuration diagram of the
The
The D range
Specifically, the D
レジスタ2004は、A/D変換部23の出力精度(12ビット)をDレンジ拡大率の最大値(例えば8倍とする)で乗算した結果を、精度を失わないで保持する記憶部である。ここで、A/D変換部23の出力(信号C)が12ビットでDレンジ150%を表しているとすると、Dレンジ拡大率の最大値が8倍の場合、Dレンジ拡大した後の信号は15ビットで1200%になる。したがって、レジスタ2004は、理論上の乗算の最大値を保持することができる15ビットのレジスタ、あるいは、この精度のレジスタを1単位として複数の信号分(例えば画像1枚分(1フレーム分))用意したメモリにより実現される。
Dレンジ圧縮部2001は、このレジスタ2004に保持された乗算結果(信号D)を、所定の変換特性により変換して信号Eを出力する。この変換特性は、設定された光学系の絞りの量の値に対応した信号Mag2により決定される。
The
The D
図3を用いて、このDレンジ圧縮部2001が選択するレンジ圧縮の圧縮特性の一例を示す。
図3の横軸は、レジスタ2004の保持することのできる最大値を入力レンジの値として1200[%]として表現した場合における、入力信号Dのレンジ値([%])を示している。また、図3の縦軸は、信号Eの出力レベルの値[%]を示している。
L0〜Lmaxは、点P(80%)以下の入力値において、入出力が変化しない変換特性を有している。また、入力値が80%より大きい値に対しては入力信号の値に応じて出力信号Eの値が異なる出力値となる特性を有している。
尚、Dレンジ圧縮部2001は、前述の絞り12の絞り値が1倍として設定されている場合には、選択信号Mag2により変換特性としてL0を選択する。また、Dレンジ圧縮部2001は、絞り12の絞り値として「1/4」が設定される場合には、4倍のレンジまでを入力とする変換特性としてL1を選択し、絞り値として「1/8」が設定される場合には、8倍までの入力レンジを変換するLmaxを選択する。尚、図3において、L0の入力最大レンジ値(150%)からLmaxの入力最大レンジ(1200%)までの幅が、第1実施形態において拡大することのできるDレンジ(拡大されるDレンジ)の幅となる。
An example of compression characteristics of range compression selected by the D
The horizontal axis of FIG. 3 indicates the range value ([%]) of the input signal D when the maximum value that can be held by the
L0 to Lmax have conversion characteristics in which input / output does not change at an input value of point P (80%) or less. In addition, when the input value is greater than 80%, the output signal E has a different value depending on the value of the input signal.
Note that the D-
<1.2:撮像装置の動作>
以下、撮像装置100の動作について説明する。
撮像装置100において、制御部34が絞り12に所定の絞り値(例えば「1/8」)を設定する。この絞り値は露光計7の出力値やユーザの設定により事前に決定される。
制御部34は、制御信号Mag1によりDレンジ拡大部2002のDレンジ拡大率を8倍(値として絞り値「1/8」の逆数)を設定する。また、制御部34は、制御信号Mag2によりDレンジ圧縮部2001に変換特性としてLmaxを設定する。
撮像装置100において、撮像が開始されると、撮像部13では、絞り12の値(絞り値)に応じ信号Aが取得される。信号Aの値はアナログ信号処理部2によりA/D変換され、信号Cが出力される。信号Cは、図2の信号処理部31に入力され、予め設定されたDレンジ拡大率(8倍)により乗算された値である信号Dが出力される。出力された信号Dの値は、最大限レンジ1200%の範囲内での値であり、溢れることなくレジスタ2004に保持される。
<1.2: Operation of Imaging Device>
Hereinafter, the operation of the
In the
The
When imaging is started in the
最後に信号Dは、圧縮特性Lmaxにより信号Dの値に応じた出力信号Eの値に変換され、出力される。
以上の処理が、第1実施形態における撮像装置100および信号処理部31の処理である。
<1.3:撮像装置の効果>
撮像装置100の効果を、従来の撮像装置との比較により説明する。
(従来の撮像装置)
図4は、従来の撮像装置における信号処理部90(図4(a))とDレンジ圧縮のための変換特性(図4(b))を示す図である。図4の従来の信号処理部90では、本実施形態における信号処理部31のDレンジ拡大部2002及びレジスタ2004を有していない点、及び変換特性が固定でありかつ150%程度の入力値幅しか有さない点で、撮像装置100と相違している。
Finally, the signal D is converted into a value of the output signal E corresponding to the value of the signal D by the compression characteristic Lmax and output.
The above processing is the processing of the
<1.3: Effect of imaging device>
The effect of the
(Conventional imaging device)
FIG. 4 is a diagram illustrating a signal processing unit 90 (FIG. 4A) and a conversion characteristic (FIG. 4B) for D-range compression in a conventional imaging apparatus. The conventional
(従来技術1)
図5は、図4(b)の従来の撮像装置におけるDレンジの圧縮変換特性を用いて、所定の撮影シーンを従来の撮像装置でDレンジ圧縮した場合の信号の値の変化を示す説明図である。
図5の左側の図は、所定の撮像シーン201の構成を説明する図である。
点204は雲と空の領域に含まれる点、点202は顔の領域に含まれる所定の点、そして、領域203は主要被写体領域を示している。以下、雲と空の領域に含まれる点204が、シーン201において最明部の値を有するとして説明する。
撮像装置には、露光条件として、主要被写体領域203の出力信号値レベルが、出力信号の取りうるレンジ(150%)までに対して、70%の明るさになるように露光条件が調節されているとする(この露光条件を「露光条件1」とする)。
(Prior art 1)
FIG. 5 is an explanatory diagram showing a change in the value of a signal when the D range compression is performed on the predetermined shooting scene by the conventional imaging device using the compression conversion characteristic of the D range in the conventional imaging device of FIG. 4B. It is.
The diagram on the left side of FIG. 5 is a diagram for explaining the configuration of a
A
In the imaging apparatus, as the exposure condition, the exposure condition is adjusted so that the output signal value level of the main
この露光条件1では、点204の位置の信号の値は、本来500%の明るさであるため信号A(図1の点Aの信号。以下、同様。)の時点で信号値が飽和する。信号Aについてデジタル変換された信号Cによる画像は、どのように処理をしても空204(点204)の部分について飽和した値となる。これは、図5の右図に示す範囲RAの値については、後の処理で復元することは不可能であるからである。ここで、信号Aについて150%以下(範囲RB、範囲RC)の信号は、そのままの明るさで飽和されることなくA/D変換されて信号Cに変換される。その後、信号Cは、図4(b)に示す変換特性によりレンジ圧縮されることとなり、範囲RCに含まれる信号Cについては、適正な70%の明るさの値で信号Eとして出力されることになる。
しかしながら、(目的1)顔の部分202を適正な明るさ(例えば、70%の明るさ)にしつつも、(目的2)空と雲の領域の点204およびその付近の領域の値が飽和するのを防止することは実現できない。
Under this
However, (Purpose 1) The value of the
(従来技術2)
次に、信号Aを図3における範囲RA(光量150%以上の範囲)において飽和させないように露光量を制限する方法が考えられる。たとえば、前述の露光条件1に、更に撮像装置の光学系の露光量を「1/4」に絞った条件(この露光条件を露光条件2とする)にすることが考えられる。
この場合、図5の点204の信号Aの値は、125%となり最明部に対応する位置の信号Aであっても飽和していない信号を得ることができる。しかしながら、露光条件2で撮影した場合、(目的2)空と雲の部分204(点204)が飽和するのを防止すること、は実現できても、(目的1)顔の点202の明るさ適正な明るさ(例えば、70%の明るさ)とし出力信号Eを得ることができない。
(Prior art 2)
Next, a method of limiting the exposure amount so as not to saturate the signal A in the range RA in FIG. For example, it is conceivable that the
In this case, the value of the signal A at the
(従来技術3)
また、(従来技術2)で説明した露光条件2は、露光量不足の暗いシーンでの撮影をする場合の露光条件と類似の露光条件である。そこで、光量不足の暗いシーンでの撮影をする場合の露光条件で撮影され、取得された画像信号に対して適用される高感度撮影の技術を適用することが考えられる。
図6を用いて、この高感度撮影の際に用いられる電気的な増幅(アナログ信号処理部(GCA)での増幅)により、画像信号を処理する場合(これを「方法3」という。)の信号値の変化について説明する。
画像信号(信号A)において1/4露光(露光条件2)を適用すると、本来500%であった空と雲の部分204が、125%となり飽和しなくなる。図6の棒グラフ(信号B、信号C)(「信号B」は、図1のB点の信号に相当。「信号C」は、図1のC点の信号に相当。以下、同様。)では、増幅回路(CDS)22で4倍に増感される(信号B)ことにより、顔202の部分は所望の70%の明るさに復元されている。しかし、点204の信号値は500のA/D変換部23の入力最大値150%において飽和することになる。したがって、結局、図5の範囲RA(150%以上)に含まれる領域(例えば、飽和した空の部分)の信号は、A/D変換部23に入力される画像信号においては復元することはない。このため、(従来技術3)の方法を用いる場合であっても、(目的1)顔の点202を適正な明るさ(例えば、70%の明るさ)にしつつ、かつ、(目的2)空と雲の部分の点204あるいはその周囲領域の信号が飽和するのを防止することはできない。
(Prior art 3)
Further, the
With reference to FIG. 6, when an image signal is processed by electrical amplification (amplification by an analog signal processing unit (GCA)) used at the time of high-sensitivity imaging (this is referred to as “
When 1/4 exposure (exposure condition 2) is applied to the image signal (signal A), the sky and
このように、図4の従来の信号処理部90を有する従来の撮像装置では、前述した(従来技術1)〜(従来技術3)のいずれの方法を用いても(目的1)空の点204およびその周辺領域について飽和していない出力を得ること、および、(目的2)範囲RCに含まれる主要被写体付近の明るさを適正な明るさ(70%の明るさ)すること、の両方の目的を両立して解決することはできない。
(撮像装置100の効果)
図7を用いて、同じシーン201における撮像装置100の効果を説明する。
まず、従来技術2の方法および従来技術3の方法と同じく、撮像装置100において信号Aについての明るい部分(点204の空と雲の部分)が飽和しないように、予め露光条件2(絞り値「1/4」)が絞り12に設定される。この設定により最明部である空と雲の領域中の点204について、絞り値「1/4」の露光を適用することで、本来500%であった点204の信号の値は125%の値となり飽和しなくなる。
As described above, in the conventional imaging apparatus having the conventional
(Effect of the imaging device 100)
The effect of the
First, in the same way as the methods of the
次に、信号Aの値125%は、アナログ処理部では増幅されることなく信号値125%のままデジタル信号値(信号Cの信号値)に変換される。この信号Cの値(125%)は、Dレンジ拡大部2002により、乗算処理により4倍にされ(「1/4」の逆数)、値500%である信号Dとなる。
この信号Dの値(500%)は、拡大されたDレンジの範囲に含まれる値であるが図3の変換特性L1を用いて変換され信号E2((信号E2の信号値)=80+20×(500−80)/(600−80))となる。このように、撮像装置100では、(目的1)である最明部の点204(あるいはその周辺の領域)の信号の値が飽和するのを防止することが達成される。
また、顔202の点については、本来70%のレンジ値を有していても、信号Aにおいては17.5%の値になる。信号Aの値(17.5%)は、そのままの値でデジタル信号(信号Cの値にA/D変換される。この信号C(17.5%)は、Dレンジ拡大部2002により4倍され、信号Dの値として70%(=17.5×4)に復元される。信号Dにおいて、70%の値は、変換特性L1の変節点P点(80%)より小さい値であるので、信号DをDレンジ圧縮部2001により変換された信号Eも70%の値として出力される。
Next, the
The value (500%) of the signal D is a value included in the expanded range of the D range, but is converted using the conversion characteristic L1 of FIG. 500-80) / (600-80)). As described above, in the
Further, the point of the
つまり、撮像装置100では、(目的2)主要被写体の明るさをほぼ元の適正な明るさ(70%の明るさ)として出力を得ることが可能となる。
上述の通り、第1実施形態の撮像装置100は、あらかじめ絞り12に対して受光量が飽和しないように絞り12の絞り値を減少させる設定をする。その後、アナログからデジタルに変換された後のデジタル信号(信号C)に、種々の処理を行う。
特に、Dレンジ拡大率として、絞り12の絞り値の設定値(1倍、1/2倍、1/4倍)に対して反比例する関係となる値(1倍、2倍、4倍)を設定することにより、本来の露光条件1で取得された値と同じ値を復元する。さらに、この絞り値の値(1倍、1/2倍、1/4倍)に応じて、Dレンジ圧縮変換特性を選択しておくため、拡張されたDレンジ(150%〜1200%)内の信号Dの値についても、階調差をつけながら出力信号Eを得ることができる。
That is, in the
As described above, the
In particular, as the D range enlargement ratio, values (1 ×, 2 ×, 4 ×) that are inversely proportional to the set values (1 ×, 1/2 ×, 1/4 ×) of the aperture value of the
このように第1実施形態の撮像装置100によれば、(目的1)空や雲の領域の点のように明るい領域であっても飽和するのを防止すること、および、(目的2)顔の位置の点の明るさとして適切な明るさの出力を得ること、の両方の目的を満たす画像データを得る撮像装置を実現することができる。
<変形例1>
上述の実施形態では、事前に予め設定した絞りの量(露光量)に応じた値によりDレンジ圧縮部変換特性L0〜Lmaxを選択するとした。ここで、Dレンジ圧縮部2001は、画像全体の信号Dの最大値に応じてDレンジ圧縮特性Lnを選択するとしてもよい(変形例1)。
図8に、この変形例1の信号処理部31’の構成を示す。図8において、上述の実施形態と同じ処理部については同一の参照符号を用いる。この変形例1の信号処理部31’は、パラメータ決定部800を有する点のみが図2の信号処理部31と異なる。
As described above, according to the
<
In the above-described embodiment, the D-range compression unit conversion characteristics L0 to Lmax are selected based on a value corresponding to an aperture amount (exposure amount) set in advance. Here, the D
FIG. 8 shows the configuration of the
パラメータ決定部800は、ピーク検出部802を含み構成される。
まず、ピーク検出部802は、Dレンジ拡大処理部2000のレジスタ2004の保持する信号の値Dを1枚の画像分入力し、この1枚分の画像データのうち最大値(最明部の値)を抽出する。
さらに、抽出された最大値に対応する、変換特性を設定するためのパラメータMLnをDレンジ圧縮部2001に対し出力する。例えば、所定の画像全体についての最大値が500%の値である場合に、選択パラメータML2を出力する。
Dレンジ圧縮部2001は、パラメータ決定部800から出力された選択パラメータMLnに応じて、図9に示す対応する変換特性Ln(図中L2)を選択する。
図10を用いて、変形例1の効果について前述のシーンを用いて説明する。
The
First, the
Further, the parameter MLn for setting the conversion characteristic corresponding to the extracted maximum value is output to the D-
The D
The effect of the
最明部の空と雲204に対応する信号Dについては、値500%が出力される点までは、第1実施形態と同じである。
ここで、パラメータ決定部800は、複数の信号Dにより形成される1枚の画像データ(1フレーム分の画像データ)の最大値として500%を抽出し、パラメータML2を出力する。そして、このML2に応じて、Dレンジ圧縮部2001は、変換特性としてL2を選択し、レジスタ2004に保持された信号Dについて、L2を用いて変換して出力する。
ここで、信号Dの最明部の値500%は、入力レンジの最大値が500%である変換特性L2を用いて変換されるされる。よって、画像中の最大値500%の信号Dについては、信号Eの値として100%が出力される。前述の構成では、最大値である空と雲の領域の信号D(500%)については、信号Eの出力値は100%の値より小さく(80+20×(500−80)/(600−80)))変換されてしまうが、変形例1の図8の構成によれば、前述の(目的1)および(目的2)を実現するとともに、画像全体のピーク値が100%となる出力を得ることができる。
About the signal D corresponding to the sky and the
Here, the
Here, the
尚、パラメータ決定部800が抽出した画像データのための変換特性を同一の画像データの変換に適用するために、タイミング調整をおこなってもよい。例えば、1画面分の遅延器をDレンジ圧縮部2001の前に設けるようにしてもよい。
<変形例2>
更に、変形例1におけるパラメータ決定部800が検出した画像全体のピーク値に応じて、絞り部12に対して絞り量を設定すると共にDレンジ拡大率を設定するようにしてもよい(変形例2)。
変形例1では、絞り12に対する絞り値として、予め何らかの別の手段により設定された値(例えば「1/4」)を用いていた。そのため、前述のシーン201では最明部の信号Aの値は、撮像部13に保持される(撮像部13から出力される)信号Aの時点でレンジの最大値150%までを使うことはない(値125%までのレンジを使用している。)。これは、撮像タイミングのシーンに対してA/D変換の入力最大値(量子化精度)を十分活用せずに、デジタル信号Cを得ていることになる。
Note that timing adjustment may be performed in order to apply the conversion characteristics for the image data extracted by the
<
Furthermore, in accordance with the peak value of the entire image detected by the
In the first modification, a value (for example, “1/4”) set in advance by some other means is used as the aperture value for the
そこで、信号Dのピーク値が入力値のレンジの最大値になるよう絞り値を拡大し、露光量を増加させることにより、A/D変換部23の精度を有効に活用することができる。
図11に、この変形例2における信号処理部31’’の構成を示す。
ピーク検出部802’は、変形例1と同様に信号Dのピーク値に応じて変換特性L2を選択する信号(ML2)を出力する。
さらに、この変形例2のピーク検出部802’は、図11に示すように、光学系1の絞り量を制御するための設定信号X1と、Dレンジ拡大処理部に対しDレンジ拡大率の設定信号X2とを出力する。
まず、絞り12に対する設定信号X1は、信号Dのピーク値500%がA/D変換の入力最大値150%となるように絞り12を制御する信号((X1の信号値)=150/500(=0.3))である。
Therefore, the accuracy of the A /
FIG. 11 shows the configuration of the
The
Further, as shown in FIG. 11, the
First, the setting signal X1 for the
なお、図1に示すように、設定信号X1は、制御部34に入力され、制御部34が設定信号X1に基づいて、絞り12を制御するようにしてもよい。
また、設定信号X2は、絞りの量の逆数である500/150を、Dレンジ拡大率として設定するための信号である。即ち、X1とX2とは相反する量を用いて決定された値が用いられる。尚、設定信号X2は、ピーク値そのものであってもよいし、Dレンジ拡大率そのものであってもよい。
図12は、変形例2の効果を説明するものである。
この変形例2では、画像ピーク値(500%)は変更されないが、絞り12の絞り量(150/500)として大きくなった値が設定されるため、信号Aの値にA/D変換の入力最大値100%まで利用することができる。即ち、変形例2の撮像装置100では、変形例1の絞り12に予め1/4に設定した場合に比して、絞り値と拡大率との関係が改善されることにより、アナログ信号のピークの値がA/D変換の入力最大レンジ値となるため、A/D変換の量子化精度を最大限利用することができる。
As shown in FIG. 1, the setting signal X1 may be input to the
The setting signal X2 is a signal for setting 500/150, which is the reciprocal of the aperture amount, as the D range expansion rate. In other words, X1 and X2 are values determined by using opposite amounts. The setting signal X2 may be the peak value itself or the D range expansion rate itself.
FIG. 12 illustrates the effect of the second modification.
In the second modification, the image peak value (500%) is not changed, but since a larger value is set as the aperture amount (150/500) of the
<変形例3>
パラメータ決定部800は、変形例2のように画像全体の最大値を基準とするのではなく、一部の所定の領域(主要被写体領域)の代表値を基準としてDレンジ拡大率または絞りの絞り値(前述と同様、露光量の調整値を含む。)を導出するとしてもよい。さらに、撮像装置100において、この一部の領域の画像信号の代表値Fが一定の基準値になるように、絞り12の絞り量、または、Dレンジ拡大率を調整する構成としてもよい。
前述の第1実施形態1、変形例1、並びに変形例2に示したある時刻tkにおいて、この所定領域についての信号Dの最大値が70%の値が出力されるように絞り部12の絞り(3/10)またはDレンジ拡大率(10/3)が予め設定されていたとしても、時刻tkの後の撮像タイミングで、被写体周辺の光の差し具合等の変換により、所定の領域(例えば、被写体領域)の出力値が目標値の70%付近になるとは限らない。このような場合に適応させるために、変形例3の構成を用いることが有効である。
<
The
At a certain time tk shown in the
図13を用いて、この変形例3の構成を説明する。
図13に示すように、パラメータ決定部800’’’は、1枚の画像データ(1フレーム分の画像データ)におけるの所定の領域についての代表値(F1)を導出する代表値検出部1201を備える。ここで、所定の領域は事前に設定された画像の中央の領域である。尚、この所定の領域は、ユーザが指定した被写体を囲む領域であってもよい。この例では、代表値F1として、この所定の領域に含まれる画素位置に対応する信号Dの最大値が導出される。
代表値検出部1201は、この所定のタイミングで導出された代表値F1が、以降のタイミングで目標値に維持されるように、(A)光学系の絞り量の設定信号X1、または、(B)Dレンジ拡大部2002への設定信号X2のいずれかを出力する。
The configuration of the third modification will be described with reference to FIG.
As shown in FIG. 13, the
The representative value detection unit 1201 (A) the aperture value setting signal X1 of the optical system or (B so that the representative value F1 derived at the predetermined timing is maintained at the target value at the subsequent timing. ) One of the setting signals X2 to the D
ピーク検出部802は、1枚の画像全体のピーク値(P)に応じてDレンジ圧縮部2001において変換特性Lxを選択させるためのパラメータMLxを出力する。
(変形例3の効果)
図14を用いて、上述と同様のシーン201を用いて、変形例3の撮像装置100の動作と効果を説明する。
代表値検出部1201は、前述の通り、所定のタイミングにおいて、所定の領域について代表値70%を抽出しているとする。時刻tkのDレンジ拡大率には「10/3」が設定されている。また、絞り値には「3/10」が設定されている。
代表値検出部1201は、所定のタイミング時刻tnで撮像された画像データの中央領域(領域203)の代表値を導出する。具体的には、代表値50%が得られたとする。
The
(Effect of Modification 3)
The operation and effect of the
As described above, it is assumed that the representative
The representative
この代表値50%が、時刻tn+1における撮像データ(信号D)の同一領域において、目標とする適正値(目標値70%)として出力されるように、代表値検出部1201は、設定信号X1または設定信号X2のいずれかを出力する。
出力信号がX1である場合:
(A)光学系の絞り量の設定信号である場合、代表値検出部1201は、時刻tnの絞りの量の「70/50」倍となる絞り量を、新たに設定するための信号X1を設定する。
出力信号がX2である場合:
(B)Dレンジ拡大部2002への設定信号である場合、代表値検出部1201は、時刻t1のDレンジ拡大率の「70/50」倍となるDレンジ拡大率を設定するための信号X2をDレンジ拡大部2002へ出力する。
The representative
When the output signal is X1:
(A) In the case of an aperture setting signal for the optical system, the representative
When the output signal is X2:
(B) In the case of a setting signal for the D
図14の例では、(B)設定信号X2として、新たなDレンジ拡大率として「10/3×70/50」が選択されるように出力される例を示している。
この場合、時刻tn+1で取得された撮像データの中央領域の最大値(代表値検出部1201の出力)は、信号Aおよび信号Cにおいては、15%のままであるが、時刻tnのデータに基づいて更新されたDレンジ拡大率により15%×(10/3×70/50)=70%が信号Dの値として出力される。また、画像データ全体は時刻tnで取得された画像全体の信号Dのピーク値により、所定の変換特性Ln2により変換される。
この構成により、所定の領域の代表値が目標値70%の値に近づくよう維持される。したがって、例えば、連続する画像データ(動画像等)を保持する場合に、所定の領域の明度が、急峻に変化することなく追従することができる。
In the example of FIG. 14, (B) an example is output in which “10/3 × 70/50” is selected as the new D range expansion rate as the setting signal X2.
In this case, the maximum value (output of the representative value detection unit 1201) of the central region of the imaging data acquired at time tn + 1 remains 15% in the signal A and the signal C, but is based on the data at the time tn. Thus, 15% × (10/3 × 70/50) = 70% is output as the value of the signal D by the updated D range expansion rate. Further, the entire image data is converted by a predetermined conversion characteristic Ln2 based on the peak value of the signal D of the entire image acquired at time tn.
With this configuration, the representative value of the predetermined area is maintained so as to approach the target value of 70%. Therefore, for example, when continuous image data (moving image or the like) is held, it is possible to follow the brightness of the predetermined region without abrupt change.
また、図示しなかったがDレンジ圧縮に使われる変換特性は、画像全体の信号Dの最大値(P)に応じて決定される特性により圧縮するため、最明部の領域の信号ついてもその出力(信号E)が飽和することはない。
ここで、変形例3で、上述の(B)の場合、つまり、Dレンジ拡大率を更新する信号X2を生成することにした場合は、絞り12の機械的な設定遅延を生じずに、所定の領域(中央領域)の代表値(明るさ)が目標出力値70%となる出力信号Eを得ることができる。
また、逆に、この変形例3において、上述の(A)の場合、つまり、光学系の絞り量を変更する信号を生成することにした場合の信号A〜Eの変化を図15に示す。
この場合は、被写体の領域付近(上述の例では、領域203)において、撮像部13に蓄積されるアナログ信号Aの値が、新たな時刻のシーン(tn、tn+1)において、減少されているものの、変形例3の撮像装置では、時刻tn+1で、この撮像装置の露光量を、適切な(本来あるべき)露光量21%に設定することができる。これにより、変形例3の撮像装置では、撮像装置全体の系として、被写体を中心にした適切な露光量とDレンジ拡大率とが設定されることになる。
Although not shown, the conversion characteristic used for D range compression is compressed according to the characteristic determined according to the maximum value (P) of the signal D of the entire image. The output (signal E) is never saturated.
Here, in the third modification, in the case of (B) described above, that is, when the signal X2 for updating the D range expansion rate is to be generated, the predetermined setting without causing a mechanical setting delay of the
On the other hand, FIG. 15 shows changes in the signals A to E in the case of the above-described modification (A), that is, when a signal for changing the aperture amount of the optical system is generated in the third modification.
In this case, although the value of the analog signal A accumulated in the
尚、上述の説明では、代表値として所定の領域の信号Dにおける最大値を用いたが、目標とする指標(一部の所定領域の特徴量として適切な指標)に応じて、平均値、中央値、間引かれた値等を用いても良い。
<1.4:撮像方法>
また、第1実施形態(変形例1〜3を含む。以下、同様。)の撮像装置100および信号処理部31、31’、31’’または31’’’は、各種処理部を用いた一連の処理順からなる方法として実現されてもよい。
図16に示すフローチャートを用いて、本発明の第1実施形態の撮像方法(撮像装置100に用いられる撮像方法)における動作手順を説明する。
第1実施形態の撮像方法は、図示しない露出計の測定値または、ライブビューなどのために撮影した直前のシーン中の最明部の値から、撮影シーンのハイライトの部分が飽和しないよう撮像部(イメージセンサ)13への露光条件を設定する(S100)。
In the above description, the maximum value in the signal D of the predetermined area is used as the representative value. However, depending on the target index (appropriate index as the characteristic amount of some predetermined areas), the average value, the center A value, a thinned value, or the like may be used.
<1.4: Imaging method>
In addition, the
The operation procedure in the imaging method (imaging method used in the imaging apparatus 100) of the first embodiment of the present invention will be described using the flowchart shown in FIG.
The imaging method according to the first embodiment performs imaging so that the highlight portion of the shooting scene does not saturate from the measured value of an exposure meter (not shown) or the value of the brightest part in the scene immediately before shooting for live view or the like. The exposure conditions for the part (image sensor) 13 are set (S100).
次に、上記露光条件により撮影された撮像信号(画像信号)を撮像部(イメージセンサ)13から得る(S101)。
次に、A/D変換部23により上記撮像信号(画像信号)をデジタルの画像データに変換する(S102)。
次に、Dレンジ拡大部2002により、Dレンジ拡大処理と増感を同時に行なうことにより、主要被写体が所望の明るさ(例えば、70%の明るさ)になるように、線形的にDレンジを拡大する(S103)。
次に、撮影シーンの最明部のレベルに応じた変換特性により、拡大されたDレンジが所定のDレンジになるよう圧縮(Dレンジ圧縮)する(S104)。
このようにS100からS104までのステップで処理することにより、予め減少されて設定された露光量によっても主要被写体の部分が画像データとして所望の明るさになるよう復元しつつ、かつ、ハイライト部分が飽和しないで階調を保存できる撮像方法が実現できる。
Next, an imaging signal (image signal) photographed under the above exposure conditions is obtained from the imaging unit (image sensor) 13 (S101).
Next, the A /
Next, the D
Next, compression (D range compression) is performed so that the enlarged D range becomes a predetermined D range by using conversion characteristics according to the level of the brightest part of the shooting scene (S104).
By performing the processing in steps S100 to S104 in this way, the highlight portion is restored while the main subject portion is restored to the desired brightness as image data even with the exposure amount reduced and set in advance. An imaging method that can preserve gradation without saturation is realized.
また、本実施形態の撮像装置および撮像方法は、従来、光量が不足しない明るいシーンでは必要がないため実施されてこなかった(電気的な)、増幅を、あえて絞り量やシャッタ速度を調整することにより露光量を減じた上で、かつ、Dレンジ拡張処理と合わせて実施することにより本発明特有の効果を発揮するものである。
つまり、本発明は、従来、暗いシーンを撮影する場合に不利になると考えられていた露光条件に敢えて設定し、撮像部13により取得した画像信号をA/D変換した後で、デジタル処理によりDレンジ拡張することを行う。これにより、主要被写体部分をデジタルデータとしては所望の明るさにし、かつ、ハイライト部分あるいはハイライト付近の階調であっても飽和させない画像信号を取得することができる。
なお、本実施形態では、光学系1は撮像部13への露光量を制御できるものであれば、その構成は問わない。例えば、撮像レンズ11は1枚の構成としたが実際には複数枚のレンズ組でもよい。
In addition, the image pickup apparatus and the image pickup method of the present embodiment have not been performed because they are not necessary in a bright scene where the amount of light is not short (electrical), and the amplification and the aperture amount are intentionally adjusted. In this way, the effects specific to the present invention can be achieved by reducing the exposure amount and performing the process together with the D range expansion process.
That is, the present invention dares to set exposure conditions that are conventionally considered to be disadvantageous when shooting dark scenes, A / D converts the image signal acquired by the
In the present embodiment, the configuration of the
また、図示していないシャッタは、メカニカルシャッタおよび、撮像部(イメージセンサ)13の駆動タイミングにより光量を調節する電子シャッタのいずれでも良い。
また、A/D変換部23は、アナログ信号処理部2と独立した構成あるいはデジタル信号処理部3に含まれる構成でもよい。
また、撮像部(イメージセンサ)13は、CMOS方式など他の方式でもよく、その構成も、単板構成だけでなく3板構成でもよい。
また、Dレンジ拡大部2002は、デジタルで線形にDレンジ拡大できるものなら乗算器に限るものではなく、例えば、Dレンジ拡大率が最大8であるときは、入力値の精度より出力値の精度が3ビット高いLUT(ルックアップテーブル)などを用いるものであっても良い。また、Dレンジ拡大率が2のべき乗で表されるときはシフタ(ビットシフタ)を用いるものであってもよい。
The shutter (not shown) may be either a mechanical shutter or an electronic shutter that adjusts the amount of light according to the drive timing of the imaging unit (image sensor) 13.
Further, the A /
In addition, the imaging unit (image sensor) 13 may be of another type such as a CMOS type, and the configuration may be not only a single plate configuration but also a three plate configuration.
The D
また、Dレンジ圧縮部2001は、80%以下の明るさに相当する信号値については、Dレンジ圧縮せず80%以上の明るさに相当する信号値のみを圧縮するものとしたが、この形状に限定されるものではなく、入力値の最大値に応じて変化する圧縮特性によって変換するものであれば、どのようなDレンジ圧縮特性によりDレンジ圧縮を行うものであってもよい。
例えば、信号Dについて20%以下の入力値については、階調差を小さくするような変換であっても良い。変換特性は、被写体主要部付近のレンジの階調差を保つ、または、協調するように設定されることが望ましい。
また、変形例2において、撮影シーンの最明部の明るさを撮像部(イメージセンサ)13のDレンジ一杯(撮像部33から出力される画像信号の信号値のとり得る最大値)に一致させるようにDレンジ拡大処理を行う場合について説明したが、これに限定されることなく、撮像部13のDレンジに余裕を設けるようにしても良いし、実質画質劣化と認められない程度の飽和を許すように最明部の明るさと撮像部33のDレンジとの関係を設定しても良い。
The D
For example, an input value of 20% or less for the signal D may be converted so as to reduce the gradation difference. It is desirable that the conversion characteristics are set so as to maintain or cooperate with a gradation difference in the range near the main part of the subject.
In the second modification, the brightness of the brightest part of the shooting scene is made to match the full D range of the imaging unit (image sensor) 13 (the maximum value that the signal value of the image signal output from the imaging unit 33 can take). As described above, the case where the D range enlargement process is performed has been described. However, the present invention is not limited to this, and a margin may be provided in the D range of the
また、Dレンジ圧縮部2001は、必ずしもピーク検出部802の出力により設定しなくてもよく、前述の露光量補正値を撮像部(イメージセンサ)13の最大Dレンジに乗ずることにより概略値を求めることが出来、その値をDレンジ圧縮部316に設定するようにしてもよい。
[第2実施形態]
本発明の第2実施形態に係る撮像装置(カメラ)について以下説明する。
<2.1:撮像装置の構成>
本実施形態の撮像装置は、第1実施形態の撮像装置100の信号処理部31を、図17に示す信号処理部31Aに置換したもので、それ以外については、第1実施形態の撮像装置100と同様である。本実施形態の撮像装置において、第1実施形態に係る撮像装置100と同様の部分については、同じ符号を付し、説明を省略する。
The D
[Second Embodiment]
An imaging apparatus (camera) according to the second embodiment of the present invention will be described below.
<2.1: Configuration of imaging apparatus>
The imaging apparatus according to the present embodiment is obtained by replacing the
図17に、本実施形態の信号処理部31Aの構成を示す。
図17に示すように、信号処理部31Aは、第1実施形態に係る信号処理部31に、さらに、顔検出部(特徴画像領域検出部)1701と明度検出部1702を追加した構成となっている。信号処理部31Aにおいて、信号処理部31と同様の機能ブロック(図2と同じ番号を付した機能ブロック)については、説明を省略する。
顔検出部1701は、画像データ(画像信号)から形成される画像中の特徴量を解析し人間の顔の部分を検出し、画像上における、その座標や顔の範囲についての情報を明度検出部に出力する。
明度検出部1702は、顔検出部1701が出力する、画像上の顔の座標や顔の範囲の情報を用いて、その明度を検出する。
FIG. 17 shows a configuration of the
As illustrated in FIG. 17, the
The
The lightness detection unit 1702 detects the lightness by using the information on the face coordinates and face range on the image output from the
Dレンジ拡大部2002は、明度検出部1702からの出力および第1信号処理部311Aから出力される画像信号を入力とし、明度検出部1702が出力する顔の明度が適正な明度になるように、画像信号に対してDレンジ拡大処理を行う。
<2.2:撮像装置の動作>
次に、本実施形態に係る撮像装置の動作について、前述の図12を用いて説明する。
各部のDレンジについては第1実施形態と同様である場合について説明する。このため、図8も用いて説明する。
撮影シーンは前述と同じものとして説明する。第1実施形態では、顔などの主要被写体の部分202が撮像シーン201中央の主要被写体エリア203付近に存在するということを仮定して処理を行う撮像装置100について説明した。第1実施形態の撮像装置では、常に最適条件で処理することは難しい。本実施形態では、上記仮定を必要とせず、常に最適な条件で処理を実行することができる撮像装置について説明する。具体的には、本実施形態の撮像装置では、露光制御において、撮像シーン201中の最明部の値のみに基づいた露光制御を行う。
The D
<2.2: Operation of Imaging Device>
Next, the operation of the imaging apparatus according to the present embodiment will be described with reference to FIG.
The case where the D range of each part is the same as in the first embodiment will be described. Therefore, the description will be made with reference to FIG.
The shooting scene will be described as being the same as described above. In the first embodiment, the
以下、本実施形態の撮像装置の詳細について説明する。
制御部34は、図示しない露出計の測定値または、ライブビューなどのために撮像部(イメージセンサ)13で撮影し取得した直前のシーン中の最明部の値(空と雲の部分204に含まれる最明部の値)から、撮影する画像被写体シーンのハイライト部分が撮像部(イメージセンサ)13で飽和しないように露光量AP1を計算する。そして、実際の露光量の制御(絞り量とシャッタ速度の制御)は、露光量AP1を用いて行う。したがって、最明部である空と雲の部分204は、150%の明るさになるため、撮像部(イメージセンサ)13で飽和することはなく、撮像部13で取得される画像信号において信号値が飽和することはない。また、本実施形態の撮像装置において、この露光量AP1を用いて撮影すると人物の顔の部分202は、第1実施形態の場合と同様に、21%の明るさになる。
Hereinafter, details of the imaging apparatus of the present embodiment will be described.
The
顔検出部318は、A/D変換された画像データ(画像信号)が形成する画像を解析することにより、人間の顔の部分を検出し顔領域の画像上の座標を取得する。顔検出部318は、取得した顔領域の画像上の座標に関する情報を明度検出部319に出力する。
明度検出部319は、顔検出部318から出力された顔領域の画像上の座標をもとに、画像データ(画像信号)が形成する画像中の顔領域の平均明度を求める。この際、顔検出部318は、顔領域に含まれる髪や目など肌でない部分を除いて、顔領域の平均明度(この平均明度を「顔明度」とし、ここでは21%の明るさであるものとする)を求める。そして、明度検出部319は、顔明度を適正な明るさである70%の明るさにするDレンジ拡大率(70%/21%=3.33)を求め、Dレンジ拡大部2002に設定する。
Dレンジ拡大部2002は、明度検出部319により設定されたDレンジ拡大率に基づいて、画像信号に対してDレンジ拡大処理を行う。つまり、主要被写体202が21%×10/3=70%の明るさになり、空と雲の部分204が150%×10/3=500%の明るさになるように、画像信号に対してDレンジ拡大処理が、Dレンジ拡大部2002により実行される。そして、Dレンジ拡大部2002は、Dレンジ拡大処理した画像信号をレジスタ2004に出力する。
The face detection unit 318 analyzes the image formed by the A / D converted image data (image signal), thereby detecting a human face part and acquiring the coordinates of the face region on the image. The face detection unit 318 outputs information on the acquired coordinates of the face region on the image to the brightness detection unit 319.
The brightness detection unit 319 obtains the average brightness of the face area in the image formed by the image data (image signal) based on the coordinates on the image of the face area output from the face detection unit 318. At this time, the face detection unit 318 excludes non-skin portions such as hair and eyes contained in the face area, and sets the average brightness of the face area (this average brightness is “face brightness”, which is 21% brightness here). Suppose). Then, the lightness detection unit 319 obtains a D range expansion ratio (70% / 21% = 3.33) that sets the facial lightness to a brightness of 70%, which is an appropriate brightness, and sets it in the D
The D
また、Dレンジ拡大部2002と、その結果(Dレンジ拡大された画像信号)を保持するレジスタ2004とにおいて、画像信号は、1200%の明るさに相当する信号値まで飽和することはない。このため、本実施形態に係る撮像装置では、主要被写体202の部分を適正な明るさにすることと、空と雲の部分204が飽和するのを防止することと、の両方を実現することができる。
なお、Dレンジ圧縮部2001の動作については、第1実施形態と同様であるため省略する。
以上の通り、本実施形態によると、第1実施形態と比べて高精度に顔の部分を望みの明るさに維持しつつ、ハイライト部分の階調を飽和させずに残すことができる撮像装置(カメラ)を実現することができる。
In addition, in the D
Note that the operation of the D-
As described above, according to the present embodiment, an imaging device capable of maintaining the face portion at a desired brightness with higher accuracy than the first embodiment and leaving the gradation of the highlight portion without being saturated. (Camera) can be realized.
なお、顔検出部318は、学習を用いたパターンマッチング等により顔の輪郭や口、目、鼻の配置から顔の部分を検出する手法や、肌色などの色情報を用いて顔の部分を検出する手法他、公知の様々なアルゴリズムのものを使用することが可能である。
[第3実施形態]
本発明の第3実施形態における撮像装置(カメラ)のDレンジ圧縮部2001について説明する。前述の実施形態において、Dレンジ圧縮部2001は、図2に示すような特性の非線形の変換特性(入力レンジ値80%より大きい点と小さい点において変節点を有する変換特性)を用いてDレンジ圧縮処理を行うとした。このような手法により、Dレンジ拡大部2002で拡大された広範囲なDレンジ(例えば、1000%のDレンジ)を有効に活用することができ、撮像装置による取得画像において、顔の部分などを望みの明るさに維持し、かつ広範囲なDレンジに渡るハイライト領域の階調変化を飽和させずに残すことが可能になる。
Note that the face detection unit 318 detects a face part by using a method of detecting the face part from the face outline, mouth, eye, and nose arrangement by pattern matching using learning, or color information such as skin color. It is possible to use various known algorithms in addition to the above method.
[Third Embodiment]
The D-
しかし、図2のDレンジ圧縮部2001は、80%以下の明るさに相当する信号値についてはDレンジ圧縮させず、80%から1200%の明るさに相当する信号値を80%から100%の明るさに相当する信号値に圧縮する特性を用いてDレンジ圧縮処理を行う。このため、このDレンジ圧縮処理により、高範囲のハイライト領域の階調性を残すことは可能であるが、ハイライト領域では、Dレンジ圧縮処理の入出力特性曲線(図2では直線)の傾きが非常に小さくなるため、コントラストが非常に低くなる。図2では、ハイライト領域のDレンジ圧縮処理の入出力特性曲線の傾きが、
(100−80)/(1200−80)=0.0176
であり、傾きが0.0176と高圧縮率に至っている。
言い換えると、Dレンジ圧縮部2001が、Dレンジを圧縮すればするほど、ハイライト領域のDレンジ圧縮処理の入出力特性曲線の傾きが小さくなる。この結果、ハイライト領域において階調変化は残るが、階調変換後の階調値(信号値)の変化が小さすぎ、結果的に飽和している画像と大差がない出力値しか得られない(取得画像を観察したとき飽和しているように見える)画像しか取得できないという原理的な課題を有している。(図3に示すDR圧縮変換特性によるDR圧縮変換処理を、数100%以下の領域において適用した場合、ハイライト領域のDレンジ圧縮処理の入出力特性曲線の傾きはそれ程小さくならないので、この手法でも従来の飽和(取得画像においてハイライト部分が飽和する現象)と比べて有意な効果があることは言うまでもない。)
この原理的な課題を打破できる技術として、画像中の位置ごとに導出される空間信号周囲の明度の値によりこの位置の階調特性を変化させるという技術がある。国際公開公報第WO2005/027041号は、その一例であり、この文献には、画像中の処理すべき着目画素を囲む周辺領域のヒストグラムをとり、その分布からその着目画素に適用する階調カーブを決める手法や、画像中の処理すべき着目画素を囲む周辺領域の平均的な明るさを求め、周辺の明るさに応じてその着目画素に適用する階調カーブを決める手法などが開示されている。この技術は、入力信号が既に飽和していないことが前提であり、この技術単独では本発明の効果が得られるものではない。
However, the D
(100-80) / (1200-80) = 0.176
And the inclination is as high as 0.0176.
In other words, the more the D
As a technique capable of overcoming this fundamental problem, there is a technique of changing the gradation characteristics at this position according to the brightness value around the spatial signal derived for each position in the image. International Publication No. WO2005 / 027041 is an example thereof. In this document, a histogram of a peripheral region surrounding a target pixel to be processed in an image is taken. A method for determining the average brightness of the peripheral area surrounding the target pixel to be processed in an image and a method for determining a gradation curve to be applied to the target pixel according to the peripheral brightness are disclosed. . This technique is based on the premise that the input signal is not already saturated, and the effect of the present invention cannot be obtained by this technique alone.
この技術を本発明の撮像装置(カメラ)のDレンジ圧縮部2001に導入すると前述の課題であるDレンジ圧縮に伴うハイライト部のコントラストの低下の極めて少ない撮像装置(カメラ)が実現できる。即ち、Dレンジ拡大部2002が拡大し作成したハイDレンジの画像情報を、ほとんど人間の知覚上ではロスを感じさせないように、100%以内の低Dレンジ情報に変換することが可能になり、本発明のDレンジ拡大技術の効果を最大化することができる。
以下、本実施形態に係る撮像装置について説明する。
<3.1:撮像装置の構成>
本実施形態の撮像装置は、前述の実施形態に係る撮像装置のDレンジ圧縮部2001の構成を図18に示す構成にしたものである。それ以外については、前述の実施形態と同様である。本実施形態の撮像装置において、前述の実施形態と同様の部分については、同じ符号を付し、説明を省略する。
When this technique is introduced into the D-
Hereinafter, the imaging apparatus according to the present embodiment will be described.
<3.1 Configuration of Imaging Device>
The imaging apparatus according to the present embodiment has the configuration illustrated in FIG. 18 as the configuration of the D
Dレンジ圧縮部2001は、図18に示すように、周囲明度検出部3161および動的階調補正部3162を備える。
周囲明度検出部3161は、レジスタ2004から出力される個々の画像信号を入力とし、画像信号が形成する画像において、処理すべき画素(着目画素)についての周囲の領域の明るさ(画素値)の代表値(例えば平均値など)を検出する。そして、周囲明度検出部は、検出した代表値を動的階調補正部3162に出力する。
動的階調補正部3162は、レジスタ2004から出力される画像信号および周囲明度検出部3161から出力される代表値を入力とし、周囲明度検出部3161の出力に応じてDレンジ圧縮カーブが変化する階調補正特性により、画像信号に対して、動的に階調補正処理を行う。つまり、動的階調補正部3162での階調補正処理は、画像中の位置(各々の空間的な位置(または、領域ごとに導出される周囲明度値))により、階調特性が変化する処理である。そして、動的階調補正部3162は、Dレンジ圧縮処理した画像信号を第2信号処理部317Bに出力する。
As shown in FIG. 18, the D-
The ambient
The dynamic
なお、ここで、第1信号処理部311Aは、アナログ信号処理部2から出力される画像信号を入力とし、アナログ信号処理部2から出力される画像信号に対して、ホワイトバランス補正、画素補間、色補正、ノイズリダクション、輪郭強調等の処理を行い、Dレンジ拡大部2002に出力する。なお、ここで、ホワイトバランス補正処理、画素補間処理、色補正処理、ノイズリダクション処理、輪郭強調処理等の処理は、第2信号処理部317Bで実行させてもよい。つまり、ホワイトバランス補正、画素補間、色補正、ノイズリダクション、輪郭強調等の処理は、第1信号処理部311Aおよび第2信号処理部317Bのいずれかにより実行されればよく、処理の順序や各処理の第1信号処理部311Aおよび第2信号処理部317Bへの割り当ては様々であってよい。
<3.2:撮像装置の動作>
次に、本実施形態の撮像装置の動作について説明する。Dレンジ圧縮部2001以外の部分の動作については、前述の実施形態と同様であるため、説明を省略する。
Here, the first
<3.2: Operation of Imaging Device>
Next, the operation of the imaging apparatus according to the present embodiment will be described. Since the operation of the parts other than the D
図19を用いて、本実施形態におけるDレンジ圧縮部2001の動作について説明する。
Dレンジ圧縮部2001、着目画素(処理対象の画素)の周囲の明るさにより選択される5本の階調カーブ(階調変換特性曲線)(図19に示す5つの階調カーブ)を有している。
図19に示すように、着目画素の周囲が最も暗い場合の曲線をa、着目画素の周囲が最も明るい場合の曲線をc、両者の中間の曲線をbとしている。説明のために、Dレンジ圧縮部2001が有している階調変換特性曲線を5本としているが、これに限定されることはない。実際には、数10本の階調変換特性曲線を有し、実質的に連続と見なせる本数の階調変換特性曲線を有するDレンジ圧縮部2001により、画像信号に対して階調変換処理を行うことが望ましい。
The operation of the D
The D-
As shown in FIG. 19, the curve when the periphery of the pixel of interest is the darkest is a, the curve when the periphery of the pixel of interest is the brightest is c, and the curve between the two is b. For the sake of explanation, the D-
ここで、画像中で着目画素の周囲が暗いところ(例えば図5の領域203など)に相当する画像信号を、Dレンジ圧縮部2001により処理する場合、階調変換特性曲線aが適用されることになるため、人の顔の部分に相当する画像信号は、70%程度の適正な明るさに相当する階調値(信号値)に階調変換されることになる。また、画像中で着目画素の周囲が非常に明るいところ(例えば図5の領域204など)に相当する画像信号を、Dレンジ圧縮部316により処理する場合、階調変換特性曲線cが適用されることになるため、空と雲の部分204に相当する画像信号を階調変換特性曲線cにより階調変換した画像信号は、十分な階調数とその周囲領域の画素信号の値に対し十分なコントラスト(傾き)を有するものとなる。つまり、このように、Dレンジ圧縮部2001で処理することにより、本実施形態の撮像装置では、(1)明るい領域については明るいレンジの値についての入出力特性の傾きが大きく、暗い領域については、(2)暗い領域の入出力特性変換の傾きが大きく設定されることにより、人間の知覚において(非常に)自然で高品位な画像(画像信号)を得ることが出来る。
Here, when an image signal corresponding to a dark area around the target pixel in the image (for example, the
この手法は、人間の視覚特性を利用したもので、視覚処理と呼ばれる。視覚処理は、人間が目で見る際の視覚特性である、(1)明るい領域は感度を下げて見る、(2)暗い領域は感度を上げてみることになる。即ち、所定の位置の明るさの知覚において、信号としての出力値が明るいか暗いかに関わらず、周囲領域との相対的な対比量が重要な要素である、という視覚上の特性を考慮した処理である。このため、本実施形態の撮像装置で視覚処理を用いて処理して取得した画像は、不自然に見えずに広範囲のDレンジを効果的に圧縮したものとなる。
本発明の第3実施形態の撮像装置によると、Dレンジ拡大部312におけるDレンジを数1000%などの1000%以上のDレンジに拡大した場合でも、その広いDレンジの信号値を、人間の視覚特性上損なわずに100%以内のDレンジに圧縮することが可能になる。
This method uses human visual characteristics and is called visual processing. Visual processing is a visual characteristic when a human sees with eyes. (1) A bright area is viewed with reduced sensitivity, and (2) a dark area is increased with sensitivity. In other words, in the perception of brightness at a given position, processing that takes into account the visual characteristics that the relative contrast amount with the surrounding area is an important factor regardless of whether the output value as a signal is bright or dark It is. For this reason, an image acquired by processing using visual processing with the imaging apparatus of the present embodiment is an image obtained by effectively compressing a wide D range without looking unnatural.
According to the imaging apparatus of the third embodiment of the present invention, even when the D range in the D range expansion unit 312 is expanded to a D range of 1000% or more such as several thousand%, the signal value of the wide D range is It becomes possible to compress to the D range within 100% without impairing the visual characteristics.
<3.3:撮像装置の効果>
次に、実際に撮像装置(カメラ)を用いて撮影した画像を用いて、本実施形態の撮像装置の効果を説明する。
図20(A)は、主要被写体である人物の顔が適切な明るさになるよう露光制御した従来のカメラ処理による画像であり、図20(B)は本発明の本実施形態のDレンジ圧縮部316を第2実施形態の信号処理部31に導入した撮像装置において撮影した画像である。
図20(A)および図20(B)は、水車などの日陰で暗い部分の明るさは、ほぼ同じであり、顔の明るさもほぼ同じである。しかし、空と雲の部分や太陽光が服に反射する部分については、図20(A)では飽和して白飛びしているのに対し、図20(B)では連続的な階調変化が維持されているだけでなく、空と雲の輪郭や周囲領域とのコントラストも維持されて自然な仕上がりの画像が得られている。
<3.3: Effect of Imaging Device>
Next, the effect of the imaging apparatus of this embodiment will be described using an image actually captured using the imaging apparatus (camera).
FIG. 20A is an image by conventional camera processing in which exposure control is performed so that the face of a person who is a main subject has appropriate brightness, and FIG. 20B is a D range compression according to the present embodiment of the present invention. It is the image image | photographed in the imaging device which introduced the part 316 to the
In FIG. 20A and FIG. 20B, the brightness of a shaded and dark part such as a water wheel is almost the same, and the brightness of the face is also the same. However, the sky and clouds and the portion where sunlight reflects on clothes are saturated and whitened in FIG. 20A, whereas in FIG. 20B, there are continuous gradation changes. In addition to being maintained, the contours of the sky and clouds and the contrast between the surrounding areas are also maintained, and a natural finished image is obtained.
また、空の色についても、図20(A)では白飛びし色が無くなっているのに対し、図20(B)では青空が再現されている。このように、本実施形態のDレンジ圧縮部2001により画像信号を処理することで、Dレンジ拡大部2002が拡大した広いDレンジを有効に生かしながら100%の狭いDレンジに自然にDレンジ圧縮することができることがわかる。
なお、本実施形態では、図18の構成のDレンジ圧縮部2001を用いて説明したが、本発明はこの構成に限るものではなく、画像の空間的な位置毎の着目画素について、(この所定の着目画素の周囲明度値)に応じて入出力変換特性を変化させることができるものであれば、他の構成をとるものであってもよい。たとえば、本発明のDレンジ圧縮部316の構成として、周囲領域との対比量を各々計算する、Retinex理論による技術や局所的なヒストグラム均等化処理などの実質的に同様の視覚特性上の対比効果が得られる公知な技術を応用しつつ、これらをDレンジ圧縮に用いた構成とすることも出来る。
Also, with respect to the sky color, in FIG. 20A, the whiteout color disappears, whereas in FIG. 20B, the blue sky is reproduced. In this way, by processing the image signal by the D
Although the present embodiment has been described using the D-
また、動的階調補正部3162は、周囲明度値に応じて階調変換特性曲線を計算により導出、あるいは、出力値を計算により導出するのではなく、予めデータとして保持する2次元LUTを用いて実装されてもよい。
図21は、この2次元LUTに登録されるデータの特性を例示する図である。
図21は、Dレンジ圧縮部2001に対し入力Dレンジが800%(図21では、「8.0」で示す。以下、同様。)まで拡張された場合に適用される2次元LUTのDレンジ圧縮の変換特性のデータの例を示している。
図中、矢印(k)で示す破線は、この2次元LUTによる画像の明るさの変換特性を示しており、この特性はカメラのKnee特性に合わせている。この変換特性(波線kで示す変換特性)は、動的階調補正部3162に、周囲明度値と入力値とが等しい値で入力された場合に出力される値を示している。
In addition, the dynamic
FIG. 21 is a diagram illustrating characteristics of data registered in the two-dimensional LUT.
FIG. 21 shows the D range of the two-dimensional LUT applied when the input D range is expanded to 800% (indicated by “8.0” in FIG. 21; the same applies hereinafter) to the D
In the figure, a broken line indicated by an arrow (k) indicates a conversion characteristic of image brightness by the two-dimensional LUT, and this characteristic matches the Knee characteristic of the camera. This conversion characteristic (conversion characteristic indicated by a dashed line k) indicates a value that is output when the ambient lightness value and the input value are input to the dynamic
また、図中、実線の各曲線が前述した視覚特性(周囲の明るさに対して変化する特性)を利用した変換特性である。この視覚特性を利用した変換特性において、前述したのと同様に、着目画素の周囲が最も暗い場合に適用される曲線が曲線aであり、着目画素の周囲が最も明るい場合に適用される曲線が曲線cである。
ここで、周囲明度値が小さい(暗い)場合ほど、左側の曲線が用いられる。これは、自然画においては暗い領域ほど、入力値が小さいレンジにおいてコントラストが保たれるように変換されることを意味する。前述の通り、人間は所定の画素の値につき、絶対的な明るさを知覚するのではなく、暗い領域なら暗い領域に閉じた範囲での相対的な明るさの比を、各画素についての明るさとして知覚するためである。
図22に、この点を詳細に説明するための図を示す。
Also, in the figure, each solid curve is a conversion characteristic using the visual characteristics described above (characteristics that vary with ambient brightness). In the conversion characteristic using this visual characteristic, as described above, the curve applied when the periphery of the pixel of interest is the darkest is the curve a, and the curve applied when the periphery of the pixel of interest is the brightest. Curve c.
Here, as the ambient lightness value is smaller (darker), the left curve is used. This means that the darker region in the natural image is converted so that the contrast is maintained in the range where the input value is small. As described above, humans do not perceive absolute brightness for a given pixel value, but in the case of a dark area, the relative brightness ratio in a range closed to a dark area is determined by the brightness for each pixel. This is for perception.
FIG. 22 shows a diagram for explaining this point in detail.
入力値が80%(0.8以上)の領域(空と雲の領域)について、空の領域内の点の周辺領域(局所的な領域)は、空の領域内の点と同様に明るい値を有する領域である。したがって、当該領域(空と雲の領域)において、入力値と周囲領域の明度値とは略等しい値となる。そこで、この変換特性は、入力値と周囲明度値とが略等しい範囲(図中、付近A、付近B、付近C)の入力に対して、破線K上の各点(図中、付近A、付近B、付近C)でのコントラスト比が保たれるように(付近A、B、およびCにおいて、変換曲線a、b、およびcの傾きが、カメラのKnee特性により定義される曲線K(図22では折れ線)の傾きより大きい傾きとなるように)、各曲線(曲線a〜c)が設定される。
尚、図22に示すように、Knee特性により定義される曲線Kと変換曲線a〜cとの各交差点の付近(図中、円で示した付近)における変換曲線の傾きは、視覚的なコントラストを維持しつつダイナミックレンジを圧縮する目的から原点を通る直線の傾きにあわせているが、図23に示すよう、さらにコントラストを強める目的で明るい領域での階調変換特性の傾きが急峻となるように変換曲線(階調変換曲線)を設定してもよい。
For an area where the input value is 80% (0.8 or more) (sky and cloud area), the area around the point in the sky area (local area) is bright as the points in the sky area It is an area | region which has. Therefore, in the region (sky and cloud region), the input value and the brightness value of the surrounding region are substantially equal. Therefore, this conversion characteristic is that each point on the broken line K (near A, N in the figure) with respect to the input in a range where the input value and the ambient lightness value are substantially equal (Near A, Neighbor B, Neighbor C in the figure). The curve K defined by the Knee characteristic of the camera is used so that the contrast ratio in the vicinity B, vicinity C) is maintained (in the vicinity A, B, and C, the slopes of the conversion curves a, b, and c are Each curve (curves a to c) is set so that the slope is larger than the slope of the broken line in FIG.
Note that, as shown in FIG. 22, the slope of the conversion curve in the vicinity of each intersection (the vicinity indicated by a circle in the figure) between the curve K defined by the Knee characteristic and the conversion curves a to c is a visual contrast. In order to compress the dynamic range while maintaining image quality, it is adjusted to the slope of the straight line passing through the origin. However, as shown in FIG. 23, the slope of gradation conversion characteristics in a bright region is steep so as to further increase the contrast. A conversion curve (tone conversion curve) may be set.
尚、また、このLUT上に登録される変換特性データは、選択信号MLn(絞り値)に応じて外部から各々データとして登録されるものであってもよい。この場合の撮像装置の構成例を図24に示す。
この場合に登録されるプロファイルは、入力レンジが400%(4.0)の場合、図25に示す特性を実現するものとなり、入力レンジが200%(2.0)の場合、図26に示す特性を実現するものとなる。
また、Dレンジ拡大率毎にプロファイルを複数設けるのではなく、図27に示すように、撮像装置にレンジ値調整部2601を設け、2次元LUT3162は、1つのプロファイルのみを有する構成としてもよい。つまり、入力値が80%以上の入力の信号値(信号Dの信号値)に対しては、レンジ値調整部2601によりレンジ値を調整し、レンジ値が調整された後の信号値(信号D1の信号値)を2次元LUT3162に入力して処理するようにしてもよい。
The conversion characteristic data registered on the LUT may be registered as data from the outside according to the selection signal MLn (aperture value). A configuration example of the imaging apparatus in this case is shown in FIG.
The profile registered in this case realizes the characteristics shown in FIG. 25 when the input range is 400% (4.0), and is shown in FIG. 26 when the input range is 200% (2.0). Realize the characteristics.
Further, instead of providing a plurality of profiles for each D range expansion rate, as shown in FIG. 27, a range
例えば、2次元LUT3162に、1倍用のプロファイル(入力レンジに対する出力レンジの比が1倍である変換特性を実現するプロファイル)を設定している場合について説明する。そして、レジスタ2004から出力される信号の出力レンジが「4.0」であり、2次元LUTの入力レンジが「1.0」である場合について説明する。
この場合、レンジ値調整部2601は、「0.8」より大きい値の入力値(信号Dの信号値)に対して、Dレンジ拡大された後の信号Dの入力値Dとし、レンジ値調整部2601の出力値をDoutとすると、
Dout=0.8+0.2×(D−0.8)/(4.0−0.8)
により求めた値Doutを、レンジ値調整部2601から出力するようにしてもよい。
また、図27に示すように、2次元LUTに8倍のプロファイル(入力レンジに対する出力レンジの比が8倍である変換特性を実現するプロファイル)を登録した場合であって、レジスタ2004から出力される信号の出力レンジが「4.0」であり、2次元LUTの入力レンジが「8.0」である場合、レンジ値調整部2701は、4.0倍にDレンジ拡大された後の信号Dの入力値Dとし、レンジ値調整部2601の出力値をDoutとすると、
Dout=0.8+7.2×(D−0.8)/(4.0−0.8) (D>0.8)
により求めた値Doutを、レンジ値調整部2701から出力するようにしてもよい。
For example, a case will be described in which a two-
In this case, the range
Dout = 0.8 + 0.2 × (D−0.8) / (4.0−0.8)
The value Dout obtained by the above may be output from the range
Further, as shown in FIG. 27, when a profile of 8 times (a profile that realizes a conversion characteristic in which the ratio of the output range to the input range is 8 times) is registered in the two-dimensional LUT, it is output from the
Dout = 0.8 + 7.2 × (D−0.8) / (4.0−0.8) (D> 0.8)
The value Dout obtained by the above may be output from the range
なお、図27に示すように、レンジ値調整部2701は、信号Mag2に基づいて、レンジ調整を行うようにするとよい。
さらに、図28に示すように、Dレンジ拡大後の信号Dの1枚分の画像データ(1フレーム分の画像データ)中のピーク値を検出し、この値に応じて、Dレンジ拡大部2002がDレンジ拡大処理を行った後、取得された最大値Xが2次元LUT3162の入力レンジに戻るように、80%(0.8)より大きい入力値を最大値(Pmax)で調整してもよい。例えば、2次元LUT3162に8倍のレンジのプロファイル(入力レンジに対する出力レンジの比が8倍である変換特性を実現するプロファイル)を登録する場合には、ピーク調整部2801は、その入力値をDとし、その出力値をDoutとしたとき、
Dout=0.8+7.2×(D−0.8)/(Pmax−0.8)
により求めた値Doutを、ピーク調整部2801から出力するようにしてもよい。
As illustrated in FIG. 27, the range
Further, as shown in FIG. 28, the peak value in the image data (image data for one frame) of the signal D after the D range expansion is detected, and the D
Dout = 0.8 + 7.2 × (D−0.8) / (Pmax−0.8)
The value Dout obtained by the above may be output from the
また、図28に示すように、ピーク調整部2801は、信号Mag2に基づいて、ピーク調整を行うようにするとよい。
尚、上述例においては、2次元LUT3162の入力値の最大値を「8.0」(800%)までの入力値として説明したが、同様の特性(「0.8」より大きい入力値に対し入力値と周囲輝度値とが等しい点において、入出力変換係数(入出力変換曲線)の傾きがKnee特性から決定される曲線の傾きより大きい)傾向を有するものであれば、「16.0」(1600%レンジ)、「32.0」(3200%レンジ)等まで拡張できることは言うまでもない。
尚、また、2次元LUT3162に登録されるデータ(出力データ)は、必ずしも入力値および周囲明度値に対する出力値そのものでなくても、出力値を導出するための係数であってもよい。
As shown in FIG. 28, the
In the above-described example, the maximum input value of the two-
The data (output data) registered in the two-
また、周囲明度検出部3161が扱う画像上の周辺領域のサイズは、効果に応じて、その領域の大きさが設定されるものであり、視覚効果を得るためには、周辺領域(周辺画素の領域)は、ある程度の大きさの領域に設定することが好ましい。例えば、対象とする画像の大きさがXGA(1024×768)では、周辺領域(周辺画素の領域)を80画素×80画素以上の大きさの領域に設定するのが好ましい。
また、周囲明度検出部3161において、着目画素(処理対象画素)の周囲情報を得るために用いられる低域空間フィルタとして、アンシャープ信号の生成に通常用いられるFIR(Finite Impulse Response)型の低域空間フィルタ、あるいはIIR(Infinite Impulse Response)型の低域空間フィルタなどを用いてもよい。また、図30に示すように、代表値検出部3163を設け、画像データの一部の領域に対し、局所コントラストの効果を調整するようにしてもよい。
In addition, the size of the peripheral area on the image handled by the ambient
Further, in the ambient
[第4実施形態]
次に、本発明の第4実施形態に係る撮像装置について説明する。
本発明の第4実施形態における撮像装置は、光量調節機能を持つ光学系によって結像された被写体の像を撮像素子で読み取るときに、A/D変換部の出力が飽和しないように撮像素子を複数回に分けて次々に露光(短時間露光)することで、複数枚のサブフレームの撮像画像を撮像素子から得る。そして、A/D変換部でこの複数枚のサブフレームの撮像画像をA/D変換し、変換された複数枚のサブフレームの画像を画素ごとにダイナミックレンジ(以下、「Dレンジ」と記す)拡張して加算することを特徴とする。
これによれば、複数回に分けて撮像素子を次々に露光し、撮像素子から得られる各サブフレームの撮像画像を暗くすることができるため、被写体の明るい領域でもA/D変換の出力は飽和しにくくなる。また、複数回に分けて撮影して得た複数枚のサブフレームの画像を画素ごとにDレンジ拡張して加算し、その総和を算出することができるため、加算した出力の飽和を抑えつつ明るくすることができる。よって、本実施形態の撮像装置により、S/N比の劣化を抑え、Dレンジの広い画像を得ることができる。これにより、本実施形態の撮像装置では、屋外で人物を逆光で撮影した場合であっても、人物の顔等の暗い領域を適切な明るさに補正しても、雲や空等の明るい領域が飽和していない画像を得ることができる。
[Fourth Embodiment]
Next, an imaging apparatus according to a fourth embodiment of the present invention will be described.
The image pickup apparatus according to the fourth embodiment of the present invention uses an image pickup element so that the output of the A / D conversion unit is not saturated when an image of a subject formed by an optical system having a light amount adjustment function is read by the image pickup element. By performing exposure (short time exposure) one after another in a plurality of times, captured images of a plurality of subframes are obtained from the image sensor. The A / D conversion unit A / D converts the captured images of the plurality of subframes, and the converted plurality of subframe images have a dynamic range (hereinafter referred to as “D range”) for each pixel. It is characterized by being expanded and added.
According to this, it is possible to expose the image sensor one after another in multiple steps and darken the captured image of each sub-frame obtained from the image sensor, so that the output of the A / D conversion is saturated even in a bright region of the subject It becomes difficult to do. In addition, since a plurality of sub-frame images obtained by shooting in multiple times can be added by extending the D range for each pixel and summed up, it is possible to brighten while suppressing saturation of the added output. can do. Therefore, the image pickup apparatus of the present embodiment can suppress the deterioration of the S / N ratio and obtain an image with a wide D range. As a result, in the imaging apparatus of the present embodiment, even when a person is photographed outdoors in backlight, even if a dark area such as a person's face is corrected to an appropriate brightness, a bright area such as a cloud or sky Can be obtained.
<4.1:撮像装置の構成>
まず、図31〜図33を用いて、本発明の第4実施形態における撮像装置400の構成について説明する。図31は本実施形態における撮像装置400の構成を示すブロック図、図32は本実施形態における撮像装置400の動作を時系列に説明するタイミングチャート、図33は撮像装置400のDレンジ拡大部411の構成を示すブロック図である。分割して露光する分割回数は必要なDレンジの拡大率に応じて設定するが、ここでは、説明を容易にするため、分割回数を4回にした例について説明する。
図31に示したように、本実施形態における撮像装置400は、レンズ等の光学系402と光学系402の背部(後段)に設けられた入射光量を調整する絞り部403とを有する光学系416と、光学系416によって結像された被写体P2の光学像を電気信号に変換するCCDやCMOS等の撮像素子(撮像部)404と、撮像素子(撮像部)404から出力されるアナログの撮像画像をデジタルの画像に変換するA/D変換部405と、を備える。また、撮像装置400は、利用者の操作指示を入力する操作部407と、操作部407から設定に応じて撮像装置全体を統括制御するシステム制御部408と、システム制御部408からの指令信号に基づいて光学系416と、撮像素子404およびA/D変換部405を駆動制御する駆動部406と、を備える。さらに、撮像装置400は、A/D変換部405で変換して得たれた赤(以下、「R」と記す)、緑(以下、「G」と記す)および青(以下、「B」と記す)の画像(画像信号)からDレンジを拡大したDレンジ拡大画像(画像信号)を生成する画像処理部410と、画像処理部410で処理された画像(画像信号により形成される画像)を表示する表示部414と、画像処理部410で処理された画像を記憶する記憶部415と、を備えている。
<4.1: Configuration of Imaging Device>
First, the configuration of the
As illustrated in FIG. 31, the
光学系416は、光学系402と絞り部403とを有し、被写体P2の光学像を撮像素子(撮像部)404に結像させる。
光学系402は、公知のレンズ等を備える。
また、絞り部403は、後述する露光条件設定部409により、撮像素子404を複数回に分けて露光する前に、被写体の主要部(例えば、人物の顔等の部分)で所定の明るさが得られるように所定の露光時間に応じた入射光量の調節を行う。このように、光学系416は、光学系402と絞り部403とで光量調節機能を実現している。
撮像素子404は、同一感度の画素がアレイ上に配列され、絞り部403によって光量調節された入射光量を所定の露光時間受光し、入射光量と所定の露光時間の積で決定される露光量に比例した撮像信号(画像信号)を出力する。
The
The
In addition, the
The
A/D変換部405は、撮像素子404から出力されるアナログの撮像画像(アナログの画像信号)をデジタルの画像(デジタルの画像信号)に変換する。
駆動部406は、システム制御部408からの指令信号に基づいて光学系402、絞り部403、撮像素子404およびA/D変換部405を駆動制御する。
システム制御部408は、プログラムに従って所定の処理機能を実行するCPU(中央処理装置)、プログラムやデータを格納した読み出し専用の記憶デバイスであるROM(リードオンリメモリ)、データを読み書き可能に一時記憶するメモリであるRAM(ランダムアクセスメモリ)を備えている。
操作部407は、利用者が設定した撮影モード等の設定を、後述するシステム制御部408に出力する。利用者が設定する撮影モードは、例えば、被写体を撮影する撮影シーンに応じて設定されるモードであって、この撮影モードには、例えば、屋内用撮影モード、屋外用撮影モード、スポーツ用撮影モード、ポートレート用撮影モードおよび風景用撮影モードなどがある。特に、屋外用の撮影モードにより撮影する場合、入射光量のDレンジが広いため、逆光等で暗くなっている被写体領域(人物の顔等の領域)での明るさを適切な明るさに調整した場合であっても、明るい被写体領域(例えば、雲や空等の領域)での出力が飽和しないように、撮像装置で処理する必要がある。
The A /
The driving
The
The
システム制御部408は、露光条件設定部409を有しており、A/D変換部405から出力されるRGB画像信号を取り込んで、露光条件設定部409により、適切な露光条件を算出する。具体的には、システム制御部408は、被写体の主要部で所定の明るさ(適切な明るさ)が得られるように露光条件を、露光条件設定部409により決定する。システム制御部408は、決定した露光条件に従って駆動部406で適切な光量調節を行うための指令信号を、駆動部406に出力する。また、システム制御部408は、操作部407での設定に応じて撮像装置400全体を統括制御する。
露光条件設定部409は、システム制御部408に設けられ、例えば、撮影する前のプレビュー時に、A/D変換部405から出力されるRGB画像の1画面分(RGB画像信号により形成されるRGB画像の1画面分のデータ)を内部のメモリ(図示せず)に仮に取り込み、被写体P2の主要な領域に対して、適切な明るさの出力値が得られるように露光条件を算出する。例えば、画像出力Dレンジ100%(出力画像信号のDレンジが0%〜100%の明るさに対応する信号値をとるDレンジ)に対して人物の顔領域で70%の明るさになるように、撮像装置400の露光条件を設定する。
The
The exposure
画像処理部410は、A/D変換部405から出力されるRGBの画像信号に対してDレンジを拡大する処理を行うDレンジ拡大部411と、Dレンジ拡大部411で拡大されたDレンジ拡大画像(Dレンジ拡大画像信号)のDレンジを所定のDレンジに圧縮するDレンジ圧縮部412と、を備える。さらに、画像処理部410は、表示部414および記憶部415に適合する信号フォーマット(例えば、NTSC、JPEG、MPEG等)に合わせて信号処理する信号処理部413を備えている。
表示部414は、例えば、撮像装置400の本体の背面等に設けられており、カラー液晶装置等の表示装置を有している。表示部414は、画像処理部410で処理された画像信号により形成される画像を、カラー液晶装置等の表示装置に表示する。
記憶部415は、信号処理部413により処理された画像(画像信号)を記憶する。記憶部415としては、ハードディスク装置(HDD)や半導体メモリなどの公知の記録媒体から選択したものを用いることができる。
The
The
The
<4.2:撮像装置の動作>
次に、本実施形態の撮像装置400における主な動作を時系列に説明する。
まず、図32(a)に示すように、駆動部406は、周期Tとする同期信号(A)に基づいて、撮像素子404および画像処理部410を制御する制御信号(B)を出力する。ここで、後述するように、被写体P2の主要部の領域が適切な明るさになるように(C)に示す露光時間t0での露光条件を設定する。例えば、主要部が人物の顔であれば、出力Dレンジ100%に対して、当該主要部(人物の顔の部分)の明るさが70%の明るさになるように、撮像装置400の露光条件を設定する。この露光条件に合わせて絞り部403により撮像素子404に入射される光量が調節される。また、A/D変換部405の出力は、出力の余裕を持たせて150%まで飽和しないように設定されている。つまり、この設定により、A/D変換部405から出力される画像信号において、150%の明るさに相当する信号値までは飽和しない。
<4.2: Operation of Imaging Device>
Next, main operations in the
First, as illustrated in FIG. 32A, the
また、撮像装置400は、静止画を撮影する場合には、周期T(フレーム周期)の間に実行される処理を1回だけ行い、動画像を撮影する場合には、撮影時間に応じて周期Tの間に実行される処理を必要な回数だけ繰り返し行う。
ここでは、複数回に分けて次々に露光し、順次に得られる各画像をサブフレームとして説明し、A/D変換する前をサブフレームの撮像画像(以下、サブフレームの撮像画像を、単に「撮像画像」と記す。また、この「撮像画像」を形成する画像信号を「撮像画像信号」と記す。)、A/D変換した後をサブフレームの画像(サブフレームの画像を、単に「画像」と記す。また、このサブフレームの画像を形成する画像信号を「デジタル画像信号」と記す。)とする。また、動画、静止画を撮影する場合も、同様とする。
次に、図32(b)に示すように、駆動部406は、A/D変換部405の出力の余裕をさらに大きくするため、露光時間t0を4分割した時間t1で撮像素子404を露光する。ここで、露光時間t0=4×t1である。露光時間の制御は、例えば、撮像素子404の電子シャッタ機能を使い、駆動部406により撮像素子404に対する露光時間を制御することで実行される。
Further, the
Here, a plurality of exposures are performed one after another, and each image obtained sequentially is described as a subframe. Before A / D conversion, a subframe captured image (hereinafter, a subframe captured image is simply referred to as “ The image signal forming this “captured image” is referred to as “captured image signal”), and after A / D conversion, the subframe image (subframe image is simply referred to as “image”). In addition, an image signal that forms an image of this subframe is referred to as a “digital image signal”. The same applies to shooting moving images and still images.
Next, as shown in FIG. 32B, the
次に、(B)に従い、各露光時間t1の露光で撮像して得られたアナログの撮像画像(撮像画像信号)は、制御信号(C)に示す時間t2の間にA/D変換部405でデジタル画像信号に変換され、画像処理部410に転送される。
画像処理部410は、A/D変換部405から転送された画像を各メモリ(画像記憶部)に記憶する。そして、各メモリに記憶されている画像の同じアドレスにある画像データをそれぞれ画素ごとに読み出し、Dレンジ拡張して加算し、(E)に示すDレンジ拡大画像102を得る。
この露光時間t1で露光して得られる撮像画像は、露光時間t0で露光して得られる撮像画像と比較すると露光時間が短いため、撮像画像の出力値(撮像画像信号の信号値)は小さくなる。よって、各撮像画像の出力をA/D変換したときに出力の余裕が拡大する。よって、撮像素子404で複数回に分けて撮像され、A/D変換部405で変換された4枚の画像をDレンジ拡張して加算し、その総和を算出することで露光時間t0のときの撮像画像と同じ出力値を得ることができる。その結果、露光時間t0のときの撮像画像と同じS/N比を確保することができる。
Next, according to (B), an analog captured image (captured image signal) obtained by imaging at each exposure time t 1 is A / D converted during a time t 2 indicated by the control signal (C). The digital image signal is converted by the
The
Since the captured image obtained by exposure with the exposure time t 1 is shorter in exposure time than the captured image obtained by exposure with the exposure time t 0 , the output value of the captured image (signal value of the captured image signal) is Get smaller. Therefore, the output margin increases when the output of each captured image is A / D converted. Therefore, when the exposure time t 0 is obtained by expanding the D range and adding the four images captured by the
さらに、撮像装置400では、露光時間t1で露光して得られた4枚の撮像画像を4枚の画像にA/D変換し、この4枚の画像を画素ごとにDレンジ拡張して加算することで、さらに、Dレンジを拡大したDレンジ拡大画像が得られるという格別の効果が得られる。
具体的には、露光時間t1で得られる露光量が減少したことにより、撮像素子404から出力される各撮像画像の出力値を小さくすることで、A/D変換部405での飽和レベルに対してt0/t1倍の余裕ができる。このため、A/D変換後の出力は飽和しにくくなる。
なお、撮像装置400において、A/D変換部405の出力が飽和しないように撮像素子404を複数回に分けて次々に露光し、A/D変換部405で撮像素子404から得られた複数枚の撮像画像を複数枚の画像に変換し、変換された複数枚の画像を画素ごとにDレンジ拡張して加算しても、同様の原理によって、Dレンジを拡大したDレンジ拡大画像を得ることができる。
Further, in the
Specifically, by reducing the exposure value obtained at the exposure time t 1 , the output value of each captured image output from the
Note that in the
(4.2.1:Dレンジ拡大部411の詳細について)
次に、図33〜図35を用いて、本実施形態の撮像装置400におけるDレンジ拡大部411について詳細に説明する。
図33はDレンジ拡大部411の構成を示すブロック図、図34は本実施形態の撮像装置400におけるDレンジ拡大部411を説明するための説明図、図35は本実施形態の撮像装置400で撮影される被写体P2の撮影状態を説明する説明図である。
Dレンジ拡大部411は、図33に示すように、A/D変換部405から出力される各画像(R、GおよびB画像を含む)を、それぞれ記憶する画像記憶部431a〜431dと、画像記憶部431a〜431dに記憶された画像を画素ごとにDレンジ拡張して加算する加算部430とを備える。
(4.2.1: Details of D range expansion unit 411)
Next, the D
FIG. 33 is a block diagram showing the configuration of the D-
As shown in FIG. 33, the D
例えば、加算部430は、Dレンジを拡張するために、ビット拡張した加算器を利用することができる。A/D変換部405の出力が10ビットで、露光時間が4分割される場合には、A/D変換部405の出力ビット数に2ビット拡張した上で12ビットの加算器を利用することで、Dレンジ拡張した加算器を構成できる。なお、ビット拡張は2ビットに限定されない。予め、分割回数に応じて拡張する。例えば、分割回数が8回であれば3ビット以上拡張すればよく、同様に、分割回数が16回であれば4ビット以上拡張、2回であれば1ビット以上拡張すればよい。
図34は、Dレンジ変換特性を示すグラフである。
図34に示すように、例えば、露光時間t0で入射光量が150%の明るさに相当する光量であるとき、A/D変換部405の出力が飽和レベル(150%の明るさに相当するレベル)となるように絞り部403により調整する。このときの露光時間t1は、t1=t0÷4となる。
For example, the
FIG. 34 is a graph showing the D range conversion characteristics.
As shown in FIG. 34, for example, when the exposure light amount is a light amount corresponding to a brightness of 150% at the exposure time t 0 , the output of the A /
このため、同じ入射光量でも、露光時間t1となるため、撮像素子404から得られる撮像画像(撮像画像信号)の出力値は37.5%の明るさに相当する値に減少し、そのA/D変換後の出力値(図34の入出力特性直線L105参照)も37.5%の明るさに相当する信号値に減少する。よって、撮像装置400は、A/D変換部405の出力の飽和レベル(150%の明るさに相当するレベル)に対して4倍の余裕がある。これにより、撮像装置400において、露光時間t1としたとき、A/D変換部405の出力は入射光量が600%(4×150%)に相当する光量になるまで飽和しない。このため、例えば、人物の顔領域を70%の明るさに調整しても、空と雲等の領域は500%の明るさであるため、Dレンジを拡大した出力は飽和しない。
さらに、A/D変換部405によりA/D変換された画像を画像記憶部431a〜431cにそれぞれ記憶し、記憶されている画像に対して加算部430は画素ごとにDレンジ拡張して加算する。これにより、加算部430でDレンジを0〜600%までにDレンジを拡大したDレンジ拡大画像(図34の入出力特性直線L102参照)を得ることができる。
For this reason, even with the same amount of incident light, the exposure time t 1 is obtained, so that the output value of the captured image (captured image signal) obtained from the
Further, the images A / D converted by the A /
(4.2.2:Dレンジ拡大の効果)
次に、図35を用いて、このDレンジが拡大されたときの効果について説明する。
屋外で被写体を撮影した場合に、被写体の領域によって入射光量が大きく変化する。例えば、被写体P2が逆光で撮影されて取得された撮影画像106の場合、被写体P2の顔領域108は暗くなる。この被写体P2の暗い顔領域108を適切な明るさ、例えば、Dレンジ拡大した出力で70%の明るさに補正すると、明るい領域、例えば空と雲の領域107は、通常で500%以上の明るさとなる。A/D変換部405の出力が150%で飽和する撮像装置を用いて処理する場合、このような撮像装置により取得した画像において、空と雲の領域107は、階調が飽和してしまい、忠実に再現することができない。
一方、本実施形態の撮像装置400では、Dレンジ拡大部411により、A/D変換後の画像信号に対して、飽和させることなくDレンジを0〜600%に拡大しているため、撮像装置400により取得される画像信号において信号値は飽和しない。これにより、撮像装置400で取得した画像において、空や雲の領域(通常500%以上の明るさなる領域)が飽和(階調飽和)することなく、自然な階調値を有する画像領域として再現される。
(4.2.2: Effect of D range expansion)
Next, the effect when the D range is expanded will be described with reference to FIG.
When a subject is photographed outdoors, the amount of incident light varies greatly depending on the region of the subject. For example, in the case of the captured
On the other hand, in the
(4.2.3:Dレンジ圧縮部412について)
次に、図35および図36を用いて撮像装置400のDレンジ圧縮部412について詳細に説明する。図36はDレンジ圧縮部412を説明するための説明図である。
Dレンジ圧縮部412では、Dレンジ拡大された信号(図34の入出力特性直線L102により階調変換された信号)に対して、出力を、Dレンジ100%に抑えるために、大きな入力(大きな入力信号値)に対して出力(出力値)をDレンジ圧縮する。このときに、撮影される被写体P2の顔の領域108で適切な明るさを確保しつつ、明るい領域での大きな入力(大きな信号値)に対してより圧縮する度合いを高める。例えば、被写体P2の顔の領域108を適切な明るさ、例えば、出力が70%の明るさに相当する値になるようにする。ここでは、顔の領域108(70%の明るさ)の近傍で出力がリニアに(線形的に)変化するように(70%前後の明るさを有する画素の階調値が線形的に階調変換されるように)、図36の点S(出力80%)までリニアな変換特性直線103に従った出力とし、図36の点Sから点Qまでの出力は、点Sから点Rに折れ曲がる曲線104(knee特性をもたせた曲線)の勾配でDレンジ圧縮する。これにより、600%に拡大された画像信号のDレンジは100%のDレンジに圧縮される。
(4.2.3: D-range compression unit 412)
Next, the D
In the D-
さらに、Dレンジ圧縮部412は、knee特性をもたせた曲線によるDレンジ圧縮以外の他のDレンジ圧縮方法を用いるものであってもよい。他のDレンジ圧縮方法については後述する。
このように、撮像装置400では、画像信号のDレンジを拡大した後で所定のDレンジに縮小することで、例えば、屋外のように入力光量が大きく変化する場合にも、A/D変換部405の出力を飽和させない画像信号を得ることができる。したがって、撮像装置400では、被写体の明るい領域に対しても、被写体の暗い領域に対しても適切なDレンジに出力範囲(撮像装置400により取得(出力)される画像信号の信号値のとり得る範囲)を抑えることができる。
(4.2.3:撮像装置の動作の手順)
次に、図37に示すフローチャートを用いて、本実施形態の撮像装置400における動作の手順を説明する。
Furthermore, the D
As described above, in the
(4.2.3: Operation procedure of imaging apparatus)
Next, an operation procedure in the
ステップS100では、撮像装置400は、撮像素子404を所定の露光時間t0で露光したとき、被写体の主要な領域で適切な明るさが得られるように絞り部403で光量を調節する。
ステップS102では、所定の露光時間t0を均等に分割した時間で4回に分けて撮像素子404を次々に露光し、4枚のアナログの撮像画像を撮像素子404から得る。
ステップS104では、A/D変換部405で4枚のアナログの撮像画像をA/D変換し、4枚のデジタルの画像に変換する。
ステップS106では、A/D変換部5で変換して得られた4枚のデジタルの画像を画素ごとにDレンジ拡大部411でDレンジ拡張して加算し、Dレンジを拡大したDレンジ拡大画像102を得る。
At step S100, the
In step S <b> 102, the
In step S104, the four analog captured images are A / D converted by the A /
In step S106, four digital images obtained by conversion by the A / D conversion unit 5 are D-range expanded by the D-
このように、撮像装置400において、ステップS100を実行することにより、例えば、複数回に分けて露光する前に、画像中の人物の顔が適切な明るさになるように所定の露光時間t0に応じた光量調節を行う。その上で、撮像装置400において、ステップS102〜S106を実行することで、Dレンジ拡大画像を得ることができる。
なお、S100〜S106のステップにおいて行う処理は、以下の処理であってもよい。
すなわち、撮像素子404を4回に分けて短時間(高速シャッタ)で露光してA/D変換部405の出力が飽和しないように撮像素子404を駆動し、撮像素子404で4回に分けて撮像して得た4枚のアナログの撮像画像をA/D変換部405によって4枚のデジタルの画像に変換する。そして、変換された4枚の画像を画素ごとにDレンジ拡張して加算し、Dレンジを拡大したDレンジ拡大画像を得る。
In this manner, by performing step S100 in the
The processing performed in steps S100 to S106 may be the following processing.
That is, the
このような処理によっても、同様に、撮像装置400において、S/N比の劣化を抑え、かつ、Dレンジを拡大したDレンジ拡大画像を得ることができる。
≪変形例≫
次に、図38〜図40を用いてDレンジを圧縮する変形例について説明する。
前述のDレンジ圧縮部412では、図36に示すような特性の非線形の階調カーブを用いてDレンジを圧縮していた。このような手法により、Dレンジ拡大部411で拡大された600%の広範囲なDレンジを有効に活用し、顔等を望みの明るさに維持しながら、かつ広範囲なDレンジに渡るハイライト領域の階調性を飽和させずに残すことが可能になる。
しかし、図36に示すように、Dレンジ圧縮部412で用いられるDレンジ圧縮変換特性(階調変換特性)は、0〜80%の明るさに相当する階調値についてはDレンジ圧縮せず、80〜600%の明るさに相当する階調値を80〜100%の明るさに相当する階調値にDレンジ圧縮する特性である。そのため、高範囲のハイライト領域の階調性を残すことは可能であるが、ハイライト領域では、入出力の傾き(Dレンジ圧縮変換特性曲線の傾き)が非常に小さくなるため、コントラストが非常に低くなる。
Also by such processing, similarly, in the
≪Modification≫
Next, the modification which compresses D range is demonstrated using FIGS. 38-40.
The D
However, as shown in FIG. 36, the D range compression conversion characteristic (gradation conversion characteristic) used in the D
言い換えると、Dレンジ圧縮部12がDレンジを拡大すればするほど、ハイライト領域のDレンジ圧縮処理の入出力特性曲線の傾きが小さくなる。この結果、ハイライト領域において、階調変化は残るが、階調変換後の階調値(信号値)の変化が小さすぎ、結果的に従来技術により取得される飽和している画像と大差がない(取得画像を観察したとき飽和しているように見える)画像しか取得できないという原理的な課題を有している。なお、図36に示すDR圧縮変換特性によるDR圧縮変換処理を、数100%以下の領域において適用した場合、ハイライト領域のDレンジ圧縮処理の入出力特性曲線の傾きはそれ程小さくならないので、この手法でも従来の飽和(取得画像においてハイライト部分が飽和する現象)と比べて有意な効果があることは言うまでもない。
この原理的な課題を打破できる技術として、画像中の位置に応じて階調特性を変化させるという技術がある。国際公開公報第WO2005/027041号は、その一例であり、この文献には、画像中の処理すべき着目画素を囲む周辺領域のヒストグラムをとり、その分布からその着目画素に適用する階調カーブを決める手法や、画像中の処理すべき着目画素を囲む周辺領域の平均的な明るさを求め、周辺の明るさに応じてその着目画素に適用する階調カーブを決める手法等が開示されている。
In other words, the more the D
As a technique that can overcome this fundamental problem, there is a technique that changes the gradation characteristics according to the position in the image. International Publication No. WO2005 / 027041 is an example thereof. In this document, a histogram of a peripheral region surrounding a target pixel to be processed in an image is taken. A method for determining the average brightness of a peripheral region surrounding a target pixel to be processed in an image and a method for determining a gradation curve to be applied to the target pixel according to the peripheral brightness are disclosed. .
Dレンジ圧縮部412において、この技術を導入することで、前述の課題であるDレンジ圧縮に伴うコントラストの低下が極めて少ない撮像装置400を実現することができる。すなわち、Dレンジ拡大部411が拡大したハイDレンジの画像情報を、ほとんどロスなしに100%以内の低Dレンジ情報に変換することが可能になり、本発明のDレンジ拡大技術の効果を最大化することができる。
≪視覚処理を用いたDレンジ圧縮処理≫
次に、図38を用いて前述の技術を使用した場合のDレンジ圧縮部412について説明する。図38はDレンジ圧縮部412の構成を示すブロック図である。
図38に示すように、Dレンジ圧縮部412は、処理すべき画素(着目画素)の周囲の明るさの代表値(例えば平均値等)を検出する周囲明度検出部4121と、周囲明度検出部4121の出力に応じてDレンジ圧縮カーブが変化する動的階調補正部4122と、を備えている。
By introducing this technique in the D
≪D-range compression using visual processing≫
Next, the D
As shown in FIG. 38, the D-
図39は、Dレンジ圧縮部101の動作を説明する説明図である。
Dレンジ圧縮部412は、着目画素(処理対象の画素)の周囲の明るさにより選択される5本の階調カーブ(階調変換特性曲線)(図12に示す5つの階調カーブ)を有している。図39に示すように、着目画素の周囲が最も暗い場合の曲線をa、着目画素の周囲が最も明るい場合の曲線をc、両者の中間の曲線をbとしている。説明のために、Dレンジ圧縮部412が有している曲線を5本としているが、これに限定されることはない。実際には数10本の階調変換特性曲線を有し、実質的に連続と見なせる本数の階調変換特性曲線を有するDレンジ圧縮部412により、画像信号に対して階調変換処理を行うことが望ましい。
ここで、画像中の着目画素の周囲が暗いところ(例えば図35の領域108等)に相当する画像信号を、Dレンジ圧縮部412により処理する場合、階調変換特性曲線aが適用されることになるため、人の顔の部分(領域)に相当する画像信号は、70%程度の適正な明るさに相当する階調値(信号値)に階調変換されることになる。また、画像中で着目画素の周囲が非常に明るいところ(例えば図35の領域107等)に相当する画像信号を、Dレンジ圧縮部412により処理する場合、階調変換特性曲線cが適用されることになるため、空と雲の領域でも十分な階調数とコントラストを有するものとなる。つまり、このように、Dレンジ圧縮部412で処理することにより、本実施形態の撮像装置では、非常に自然で高品位な画像を得ることができる。
FIG. 39 is an explanatory diagram for explaining the operation of the D-range compression unit 101.
The D-
Here, when an image signal corresponding to a dark area around the pixel of interest in the image (for example, the
この手法は、人間の視覚特性を利用したもので、視覚処理と呼ばれる。視覚処理は、人間が目で見る際の視覚特性である、明るい領域は感度を下げて見、暗い領域は感度を上げてみるという特性を考慮した処理である。このため、本実施形態の撮像装置で視覚処理を用いて処理して取得した画像は、不自然に見えずに広範囲のDレンジを効果的に圧縮したものとなる。
本発明の第3実施形態の撮像装置によると、Dレンジ拡大部312におけるDレンジを3200%などの1000%以上のDレンジに拡大した場合でも、その広いDレンジを視覚的に損なわずに100%以内のDレンジに圧縮することが可能になる。
<4.3:撮像装置の効果>
次に、図40を用いて実際に撮像装置(カメラ)を用いて、本実施形態の撮像装置の効果を説明する。
This method uses human visual characteristics and is called visual processing. The visual processing is processing that takes into consideration the characteristics of human eyes when viewing with the eyes, that is, a bright region is viewed with reduced sensitivity and a dark region is viewed with increased sensitivity. For this reason, an image acquired by processing using visual processing with the imaging apparatus of the present embodiment is an image obtained by effectively compressing a wide D range without looking unnatural.
According to the imaging apparatus of the third embodiment of the present invention, even when the D range in the D range expansion unit 312 is expanded to a D range of 1000% or more such as 3200%, the wide D range is not visually impaired. It becomes possible to compress to D range within%.
<4.3: Effect of imaging device>
Next, the effect of the imaging apparatus of this embodiment will be described using an imaging apparatus (camera) actually with reference to FIG.
図40(a)は、主要被写体である人物の顔が適切な明るさになるように露光制御した従来のカメラ処理による画像であり図40(b)は、Dレンジ圧縮部412を備える撮像装置400で処理した画像である。
図40(a)と図40(b)は、水車などの日陰で暗い部分の明るさは、ほぼ同じであり、顔の明るさもほぼ同じである。しかし、空と雲の部分や太陽光が服に反射する部分については、図40(a)では飽和して白飛びしているのに対し、図40(b)では連続的な階調変化が維持されているだけでなく、雲と空の輪郭やコントラストも維持されており、自然な仕上がりの画像が得られている。
また、空の色についても、図40(a)では白飛びし色が無くなっているのに対し、図40(b)では青空が再現されている。このように、本実施形態のDレンジ圧縮部412は、Dレンジ拡大部411が拡大した広いDレンジを有効に生かしながら100%の狭いDレンジに自然に圧縮することができることが分かる。
FIG. 40A is an image obtained by conventional camera processing in which exposure control is performed so that the face of a person who is a main subject has appropriate brightness, and FIG. 40B is an imaging device including a D-
In FIG. 40A and FIG. 40B, the brightness of shaded and dark parts such as a water wheel is almost the same, and the brightness of the face is also the same. However, the sky and clouds and the part where sunlight reflects on the clothes are saturated and whitened in FIG. 40A, whereas in FIG. 40B, there are continuous gradation changes. In addition to being maintained, the outline and contrast of the clouds and sky are also maintained, resulting in a natural finished image.
Also, with respect to the sky color, in FIG. 40A, the whiteout color disappears, whereas in FIG. 40B, the blue sky is reproduced. Thus, it can be seen that the D
以上のように、本実施形態の撮像装置400では、露光時間t0で露光したときに被写体の主要な領域で適切な明るさを得るように光量調節した後、この露光時間t0を均等に4分割した時間t1で露光し、撮像素子404から4枚の撮像画像を取得する。このため、撮像装置400では、各撮像画像の出力値を1/4と小さくし、A/D変換部405の出力で4倍の余裕を得ることができる。さらに、撮像装置400では、暗くなった画像を明るくするために、4枚の画像を画素ごとにDレンジ拡張して加算することで、露光時間t0で撮像して得られる画像と同じ明るさにすることができる。これにより、撮像装置400では、S/N比を劣化させることなく、Dレンジが拡大したDレンジ拡大画像を得ることができる。
また、撮像装置400では、Dレンジ拡大部411で画像信号のDレンジを拡大した後で、Dレンジ圧縮部412で画像中の位置に応じて階調特性を変化させながらDレンジを100%以内に圧縮する。このため、Dレンジ拡大部411におけるDレンジを1200%などの1000%以上のDレンジに拡大した場合でも、その広いDレンジを視覚的に損なわずに100%以内のDレンジに圧縮することができる。
As described above, in the
Further, in the
なお、上記では、説明を容易にするために露光時間t0を4分割にし、露光時間t1で4回に分けて露光を行う場合について説明したが、分割回数はこれに限定さられるものでない。例えば、必要なDレンジの拡大率に応じて分割の数を2回にしても、16回にしてもよく、さらに、必要に応じて分割数を増減するようにしてもよい。なお、2分割にすればDレンジを2倍(300%)に拡大することができ、16分割にすればDレンジを16倍(2400%)に拡大することができる。このように、必要となるDレンジに応じて、分割数を増減させるようにすればよい。分割回数をN(Nは自然数)とした場合には、Dレンジの拡大率はN倍となり、出力を0〜N×(A/D変換部405の出力の飽和レベル(%))にまで拡大することができる。撮像装置400において、露光時間t0を均等に2回以上分けるようにして前述の処理を実行すれば、前述の効果を発揮することができる。
In the above, description to facilitate exposure time t 0 to the divided into four, a case has been described in which exposure is performed four times with an exposure time t 1, number of divisions is not intended to be limited to . For example, the number of divisions may be two or six according to the required D range enlargement ratio, and the number of divisions may be increased or decreased as necessary. If divided into two, the D range can be expanded twice (300%), and if divided into 16, the D range can be expanded to 16 times (2400%). Thus, the number of divisions may be increased or decreased according to the required D range. When the number of divisions is N (N is a natural number), the expansion rate of the D range is N times, and the output is expanded to 0 to N × (saturation level (%) of the output of the A / D conversion unit 405). can do. In the
[第5実施形態]
次に、図41〜図43を用いて、本発明の第5実施形態について説明する。
そして、第5実施形態の撮像装置により、操作者の手振れによる画像間の画像ずれを補正し、画質を向上させる方法について説明する。
第5実施形態の撮像装置は、第4実施形態の撮像装置400において、Dレンジ拡大部411を図41に示すDレンジ拡大部511に置換したものである。第5実施形態の撮像装置において、第4実施形態の撮像装置400と同様の部分については、同じ符号を付し、説明を省略する。
まず、図41〜図43を用いて本発明の第5実施形態の撮像装置のDレンジ拡大部511について説明する。
[Fifth Embodiment]
Next, a fifth embodiment of the present invention will be described with reference to FIGS.
A method for improving the image quality by correcting the image shift between images due to the hand shake of the operator using the imaging apparatus according to the fifth embodiment will be described.
The imaging device of the fifth embodiment is obtained by replacing the D
First, the D
図41は、本実施形態の撮像装置のDレンジ拡大部511の構成を示すブロック図、図42は手振れの処理について説明する説明図、図43は手振れ検出部542〜544を説明する説明図である。
第4実施形態の撮像装置400のDレンジ拡大部411では、分割して露光したときに得られる被写体P2の4枚の画像を画素ごとにDレンジ拡張して加算していた。本実施形態の撮像装置Dレンジ拡大部511は、この4枚の画像を画素ごとにDレンジ拡張して加算するときに、本実施形態の撮像装置を操作している者(以下、「操作者」と記す)の手振れによって発生する画像間の画像ずれを検出し、この画像ずれを抑えた画像を得ることができるようにしたものである。
このために、Dレンジ拡大部511は、A/D変換部405から出力される各画像(R、GおよびB画像を含む)を制御信号のタイミングに従って記憶する画像記憶部531a〜531dと、画像記憶部531a〜531dに記憶された各画像から操作者の手振れによる画像ずれの大きさとその方向を検出する手振れ検出部542〜544と、画像ずれの大きさから手振れの有無を判断する手振れ判断部545と、手振れ判断部545によって手振れがあると判断された場合には画像ずれをなくす方向の補正値を算出し、補正値に応じて制御信号のタイミングに従って画像をずらして加算する加算部541と、を備えている。
41 is a block diagram illustrating a configuration of the D
In the D
For this purpose, the D
手振れ検出部542は、画像記憶部531a、531bに記憶されている2枚の画像を比較し、画像ずれの大きさとその方向を検出する。同様に、手振れ検出部543は、画像記憶部531b、531cに記憶されている2枚の画像を比較して画像ずれの大きさとその方向を検出し、手振れ検出部544は、画像記憶部531c、531dに記憶されている2枚の画像を比較して画像ずれの大きさとその方向を検出する。
加算部541は、手振れ判断部545により、画像記憶部531a、531bに記憶されている2枚の画像を処理するときは手振れ検出部542で検出された画像ずれの大きさとその方向に応じて補正値を算出する。同様に、加算部541は、画像記憶部531b、531cに記憶されている2枚の画像を処理するときは手振れ検出部543で検出された画像ずれの大きさとその方向に応じて補正値を算出し、画像記憶部531c、531dに記憶されている2枚の画像を処理するときは手振れ検出部543で検出された画像ずれの大きさとその方向に加え、手振れ検出部544で検出された画像ずれの大きさとその方向に応じて補正値を算出する。
The camera
When the camera
次に、図42を用いて、手振れ処理について説明する。
ここでは、上下方向と左右方向は同様な処理となるため、説明を容易にするために上下方向の手振れによる画像ずれについて説明する。
図42(a)は、時刻t−1〜t+2に分割して露光したときに撮像して取得された画像の状態を示す図である。なお、ここで時刻tを基準時刻とし、時刻t−1とは、時刻tに取得されるフレーム画像(画像B)の1フレーム前のフレーム画像を取得した時刻をいい、時刻t+1とは、時刻tに取得されるフレーム画像の1フレーム後のフレーム画像を取得する時刻をいうものとする。また、時刻t+N、t−N(Nは任意の自然数)も同様である。
また、基準画像(図42の画像Bに相当。)としては、画像振れを合わせる観点からできるだけ撮像装置により撮影した時刻(シャッターを押した瞬間の時刻)の画像を選択することが望ましく、基準画像が時系列の中心となるように、時間的に前後する画像をDレンジ拡大部511の画像記憶部531a〜531dに記憶することが望ましい。ここでは、図42に示すように、時刻tの画像Bを基準画像とし、画像Bの基準Hに対する画像A、画像Cおよび画像Dの画像ずれを説明する。
Next, camera shake processing will be described with reference to FIG.
Here, since the vertical direction and the horizontal direction are the same processing, image displacement due to vertical camera shake will be described for ease of explanation.
FIG. 42A is a diagram illustrating a state of an image captured and acquired when the exposure is divided and performed at times t-1 to t + 2. Here, the time t is a reference time, the time t−1 is the time when the frame image one frame before the frame image (image B) acquired at the time t is acquired, and the time t + 1 is the time Let t denote the time to acquire the frame image one frame after the acquired frame image. The same applies to times t + N and t-N (N is an arbitrary natural number).
Further, as the reference image (corresponding to the image B in FIG. 42), it is desirable to select an image at the time taken by the imaging device (the time when the shutter is pressed) as much as possible from the viewpoint of adjusting image shake. Is preferably stored in the
図42(a)に示すように、時刻t−1で取得された画像Aは画像Bに対してΔh1だけ下側に画像がずれている。同様に、時刻t+2で取得された画像Dは画像Bに対してΔh2だけ上側に画像がずれている。時刻t+1で取得された画像Cは画像Bに対して画像ずれしていない。
図42(b)に図示するように、このような手振れによる画像ずれがあった場合には、手振れ検出部542は、画像Bと画像Aとを比較し、下側への画像ずれの大きさ「Δh1」を検出する。手振れ判断部545は、この画像ずれの大きさが所定の値Cより大きいか否かにより手振れの有無を判断する。加算部541は、手振れ判断部545が手振れありと判断(Δh1>C)した場合には、上側方向に画像Aの座標のずれを補正する補正値(Δh1)を加えた座標にある画素の値を加算する。
As shown in FIG. 42A, the image A acquired at time t−1 is shifted downward from the image B by Δh1. Similarly, the image D acquired at time t + 2 is shifted upward from the image B by Δh2. The image C acquired at time t + 1 is not shifted from the image B.
As illustrated in FIG. 42B, when there is an image shift due to such a camera shake, the camera
同様に、手振れ検出部543は、画像Bと画像Cとを比較し、手振れ判断部45が手振れなしと判断((画像ずれの大きさ)=0<C)した場合には、加算部541は、画像Bの座標と同じ座標にある画像Cの画素を加算する。
また、手振れ検出部544は、画像Cと画像Dとを比較し、上側への画像ずれの大きさ「Δh2」を検出する。手振れ判断部545は、この画像ずれの大きさが所定の値Cより大きいか否かにより手振れの有無を判断する。
加算部541は、手振れ判断部545が手振れありと判断(Δh2>C)した場合には、下側方向に画像Dの座標のずれを補正するように補正値(Δh2+0)を減じた座標にある画素の値を加算する。ここで、加算部541は、画像Dの画像ずれを補正するときに、画像Bに対する画像Cの画像ずれも加えた座標で補正して加算する。また、加算部541は、対象とする画素が領域外にある場合には加算を行わない。
Similarly, the camera
Further, the camera shake detection unit 544 compares the image C and the image D, and detects the magnitude “Δh2” of the upward image shift. The camera
When the camera
これにより、加算部541は、画像Bに対して画像ずれをなくした画像A、画像Cおよび画像Dの各画素をDレンジ拡張して加算することができ、本実施形態の撮像装置を操作している利用者の手振れによっておこる画像の画像ずれの影響を除くことができる。
なお、図43に示すように、手振れ検出部542は、画像記憶部531a、531bに記憶されている画像A、Bを比較するときに、全体の画像領域の中から所定の領域545a〜545fを設定し、画像Aの所定の領域545a〜545fを対応する画像Bの所定の領域546a〜546fと比較するようにし、領域ごとの比較によって得られた画像ずれの大きさとその方向Δhave1〜Δhave6を平均したものを加算部541に設定する補正値としてもよい。このとき、小数点以下の値が発生した場合には、小数点以下の割合に応じて、隣接する上下左右斜めにある画素の値と着目している画素とを補間処理する。なお、小数点以下の値は四捨五入して画像ずれの補正値を算出してもよい。これにより、比較する演算量を削減し、処理時間を短縮することができる。また、ハードウェアの規模を削減することができる。
As a result, the adding
As shown in FIG. 43, the camera
また、手振れ検出部543、544も同様に処理することができる。
以上のように、本実施形態の撮像装置では、Dレンジ拡大部511により、操作者の手振れによって発生する画像の画像ずれをなくした後、画像A〜Dの各画素をDレンジ拡張して加算することができるので、第4実施形態の撮像装置400における効果に加えて、さらに、手振れによる画像ずれを抑え、Dレンジを拡大したDレンジ拡大画像を得ることができる。
具体的には、本実施形態の撮像装置では、4回に分けて露光されるため、撮像素子404から得られた各撮像画像では露光時間が1/4に短縮され、操作者の手振れによる画像ずれも1/4に小さくなっている。また、被写体の動きによる被写体振れも同様に1/4に小さくなっている。本実施形態の撮像装置では、この4枚の各撮像画像をA/D変換部405で変換した後、手振れ検出部542〜544で得られた画像ずれの大きさとその方向に応じて、手振れによる画像ずれをなくす方向に各画像をずらして加算する。よって、従来のように複数回に分けないで露光する場合の画像と比較して、本実施形態の撮像装置では、手振れによる画像ずれを小さくすることができる。
The camera
As described above, in the imaging apparatus according to the present embodiment, the D
Specifically, in the imaging apparatus according to the present embodiment, exposure is performed in four steps, so that each captured image obtained from the
なお、上記では、画像間の比較によって画像ずれを検出することで手振れを検出する場合について説明したが、これに限定されることはなく、本実施形態の撮像装置において、例えば、ジャイロによって手振れの大きさとその方向を検出し、この手振れの大きさとその方向に応じて手振れによる画像ずれをなくす方向に画像をずらした後、画像A〜Dの各画素をDレンジ拡張して加算するようにしてもよい。
また、手振れ検出部542〜544では、画像A〜DのG成分から画像ずれの大きさとその方向を検出するようにしてもよい。
また、加算部541で、手振れ検出部542〜544で検出される画像ずれの大きさがない場合、画像ずれ「0」として処理するようにすれば、手振れ判断部545を省略することも可能である。この場合、加算部541は、手振れ検出部542〜544で検出された画像ずれの大きさとその方向に応じて画像ずれをなくす方向に画像をずらして加算するだけでよい。
In the above description, the case where the camera shake is detected by detecting the image shift by the comparison between the images has been described. However, the present invention is not limited to this. For example, in the imaging apparatus according to the present embodiment, the camera shake is detected by the gyro. The size and its direction are detected, and the image is shifted in a direction that eliminates the image shift caused by the camera shake according to the size and direction of the camera shake, and then each pixel of the images A to D is extended by the D range and added. Also good.
Further, the camera
In addition, if there is no image shift detected by the
[第6実施形態]
次に、図44および図45を用いて、本発明の第6実施形態について説明する。
第6実施形態の撮像装置は、第4実施形態の撮像装置400において、Dレンジ拡大部411を図44に示すDレンジ拡大部611に置換したものである。第6実施形態の撮像装置において、第4実施形態の撮像装置400と同様の部分については、同じ符号を付し、説明を省略する。
図44は、本実施形態の撮像装置のDレンジ拡大部611の構成を示すブロック図である。図45は、手振れおよび被写体振れの処理について説明する説明図である。
第5実施形態の撮像装置におけるDレンジ拡大部511では、操作者の手振れによる画像ずれをなくす方向に画像をずらして加算するようにし、手振れによる画像ずれの影響を抑えた画像を得るようにした。本実施形態の撮像装置におけるDレンジ拡大部611では、さらに、手振れに加えて被写体P2の動きによる画像の振れ(以下、「被写体振れ」と記す)を抑えた画像を得るようにしたものである。
[Sixth Embodiment]
Next, a sixth embodiment of the present invention will be described using FIG. 44 and FIG.
The imaging device of the sixth embodiment is obtained by replacing the D
FIG. 44 is a block diagram illustrating a configuration of the D
In the D
このために、図44に示すように、Dレンジ拡大部611は、A/D変換部405から出力されるRGBの画像を記憶する画像記憶部631a〜631dと、画像記憶部631a〜631dに記憶された画像から手振れによる画像ずれを検出する手振れ検出部642〜644と、画像ずれの大きさから手振れの有無を判断する手振れ判断部645と、を備える。また、Dレンジ拡大部611は、画像記憶部631a〜631dに記憶された2枚の画像を画素ごとに比較することにより局所領域の被写体振れの有無を検出する被写体振れ検出部652〜654と、手振れ検出部642〜644によって手振れが検出された場合には画像ずれをなくす方向の補正値を算出し、補正値に応じて画像信号をずらして加算する一方で、被写体振れ検出部652〜654で被写体振れが検出された場合には被写体振れのある画素を加算しない加算部651と、を備える。
For this purpose, as shown in FIG. 44, the D
被写体振れ検出部652は、手振れ検出部642から得られる画像ずれの大きさとその方向に応じて画像をずらした後で画像記憶部631a、631bに記憶されている2枚の画像を画素ごとに比較し、被写体振れのある画素を検出する。同様に、被写体振れ検出部653は、手振れ検出部643から得られる画像ずれの大きさに応じて画像をずらした後で画像記憶部631b、631cに記憶されている2枚の画像を画素ごとに比較して被写体振れのある画素を検出し、被写体振れ検出部654は手振れ検出部644から得られる画像ずれの大きさに応じて画像をずらした後で画像記憶部631c、631dに記憶されている2枚の画像を画素ごとに比較して被写体振れのある画素を検出する。
次に、図45を用いて、手振れおよび被写体振れの処理について説明する。
ここでは、上下方向と左右方向は同様な処理となるため、説明を容易にするために上下方向の手振れによる画像ずれについて説明する。
The subject
Next, processing for camera shake and subject shake will be described with reference to FIG.
Here, since the vertical direction and the horizontal direction are the same processing, image displacement due to vertical camera shake will be described for ease of explanation.
図45(a)は、時刻t−1〜t+2に分割して露光したときに撮像して取得された画像信号の状態を示す図である。ここでは、画像Bの基準Hに対して画像A、画像Cおよび画像Dの画像ずれを説明する。
図45(a)に示すように、時刻t−1で取得された画像Aは画像Bに対してΔh1だけ下側に画像がずれている。同様に、時刻t+2で取得された画像Dは画像Bに対してΔh2だけ上側に画像がずれている。時刻t+1で取得された画像Cは画像Bに対して画像ずれしていない。
このような手振れによる画像ずれがあった場合には、図45(b)に示すように、Dレンジ拡大部611は、まず、分割して露光して得た4枚の画像における手振れを、第5実施形態のDレンジ拡大部611と同じ様に、手振れ検出部642〜644で検出された画像ずれの大きさとその方向に応じた補正値により画像ずれをなくした後、被写体振れ検出部652〜654により、画像A〜Dの隣り合う画像のうち、選択された2枚の画像間で画素ごとに比較し、画素ごとに被写体振れの領域の有無を検出し、手振れおよび被写体ずれの有無に応じて画像A〜Dを加算する。ここで図45(b)に示す領域X、Yは被写体振れが検出された領域である。
FIG. 45A is a diagram illustrating a state of an image signal obtained by capturing an image when the exposure is divided and performed at times t-1 to t + 2. Here, the image shift of the images A, C, and D with respect to the reference H of the image B will be described.
As shown in FIG. 45A, the image A acquired at time t−1 is shifted downward from the image B by Δh1. Similarly, the image D acquired at time t + 2 is shifted upward from the image B by Δh2. The image C acquired at time t + 1 is not shifted from the image B.
When there is an image shift due to such camera shake, as shown in FIG. 45 (b), the D-
なお、局所的な被写体P2の動きの検出は、このように2枚のサブフレーム画像の差分で画素ごとに直接に比較するだけでなく、LPF(Low Pass Filter)を通した後の画像により、着目画素を含む少し広めの領域を比較することで行うようにしてもよい。また、パターンマッチングによって比較することで、局所的な被写体P2の動きを検出するようにしてもよい。
加算部651は、被写体振れ検出部652〜654から被写体の動きがある局所領域(例えば領域X、領域Y)の座標(画像上の座標)を取得し、この被写体振れがある領域X、Yでは手振れの画像ずれをなくした後の画素の加算を行わない。一方、加算部651は、被写体振れが検出されなかった領域では、手振れの画像ずれをなくした後の画素の加算を行う。
The local motion of the subject P2 is not only directly compared for each pixel based on the difference between the two subframe images as described above, but also by an image after passing through an LPF (Low Pass Filter). You may make it carry out by comparing the slightly wider area | region containing a pixel of interest. Further, a local movement of the subject P2 may be detected by comparison by pattern matching.
The adding
加算を行わない画像がある場合、加算部651は、加算した画像の数に応じた明度調整を行う。例えば、図45(b)に示すように、画像Aと画像Dの局所領域では被写体振れが発生しているため、その局所領域では画像Bと画像Cの画素が加算される。このため、明るさが2/4になるため、4/2倍に明るさを調整する。同様に、加算される画像が3枚の場合には明るさが3/4になるため、4/3倍に明るさを調整する。なお、この明るさ調整処理は、必ずしも加算部651で行う必要はなく、例えば、信号処理部413で行うようにしてもよい。
これにより、被写体振れがある領域X、Y以外の領域では画素をDレンジ拡張して加算するため、手振れおよび被写体振れのない画像信号が得られる。
以上のように、本実施形態の撮像装置では、Dレンジ拡大部611により被写体振れを考慮した処理を実行するので、第5実施形態の撮像装置のDレンジ拡大部511の効果に加え、さらに、被写体振れのない画像信号を得ることができる。
When there is an image to which no addition is performed, the
As a result, in the regions other than the regions X and Y where the subject shakes, the pixels are expanded by adding the D range, and an image signal free from camera shake and subject shake is obtained.
As described above, in the imaging apparatus according to the present embodiment, the D
また、本実施形態の撮像装置では、露光時間を均等に4分割したことで、A/D変換後の各画像での手振れの程度を同じにでき、手振れによる画像ずれをなくすときに、露光時間の違いによる画像ずれ量の影響を排除できる。このように、本実施形態の撮像装置では、撮像素子404を短時間露光(高速シャッタ)で利用することで、手振れおよび被写体振れを抑えた画像を得ることができる。
なお、本実施形態の撮像装置では、画像間の比較によって手振れを検出し、手振れによる画像ずれをなくす方向に画像をずらした後、被写体振れを検出するようにしたが、これに限定されることはない。例えば、三脚等の固定した台に設置したような場合で手振れによる画像ずれがないときには、本実施形態の撮像装置において、手振れ補正のない画像間を比較し、被写体振れを検出してもよい。
Further, in the imaging apparatus of the present embodiment, the exposure time is equally divided into four, so that the degree of camera shake in each image after A / D conversion can be made the same, and the exposure time can be eliminated when image shift due to camera shake is eliminated. It is possible to eliminate the influence of the image shift amount due to the difference. As described above, in the imaging apparatus according to the present embodiment, an image in which camera shake and subject shake are suppressed can be obtained by using the
In the imaging apparatus according to the present embodiment, camera shake is detected by comparing between images and the image is shifted in a direction that eliminates image shift due to camera shake, and then the subject shake is detected. However, the present invention is limited to this. There is no. For example, when there is no image shift due to camera shake when the camera is installed on a fixed base such as a tripod, the image pickup apparatus according to the present embodiment may detect image blur by comparing between images without camera shake correction.
また、本実施形態の撮像装置において、光学式の手振れ補正を使って、予め手振れ補正された複数枚の画像から上述の手法により被写体振れを検出するようにしてもよい。この場合、上述した効果と同様の効果を発揮することができ、本実施形態の撮像装置において、予め手振れ補正された複数枚の画像を有効に利用できる。この光学式の手振れ補正を活用した場合には、撮像素子4の撮像エリア内に手振れ検出用の領域を設ける必要がないため、撮像素子404の撮像エリアを有効に活用できる。
[第7実施形態]
次に、図46および図47を用いて、本発明の第7実施形態について説明する。
第7実施形態の撮像装置は、第4実施形態の撮像装置400において、Dレンジ拡大部411を図46に示すDレンジ拡大部711に置換したものである。第7実施形態の撮像装置において、第4実施形態の撮像装置400と同様の部分については、同じ符号を付し、説明を省略する。
In the imaging apparatus according to the present embodiment, subject shake may be detected from a plurality of images that have been shake-corrected in advance using the above-described method using optical camera shake correction. In this case, the same effects as those described above can be exhibited, and a plurality of images that have been subjected to camera shake correction in advance can be effectively used in the imaging apparatus of the present embodiment. When this optical camera shake correction is used, it is not necessary to provide a camera shake detection area in the image pickup area of the
[Seventh Embodiment]
Next, a seventh embodiment of the present invention will be described with reference to FIGS. 46 and 47. FIG.
The imaging device of the seventh embodiment is obtained by replacing the D
図46は本実施形態の撮像装置のDレンジ拡大部711の構成を示すブロック図である。図47は、手振れおよび被写体振れの処理について説明する説明図である。
第6実施形態の撮像装置のDレンジ拡大部611では、手振れによる画像ずれを補正する手振れ処理、被写体振れがある領域を除去する被写体振れの処理を行い、Dレンジ拡張して加算するときに、被写体振れをしている局所領域の画像信号を加算しないようにしていた。本実施形態の撮像装置におけるDレンジ拡大部711では、さらに、手振れに加えて被写体振れをしている局所領域の画像信号を除去せずに、手振れおよび被写体振れを抑えた画像信号を得るようにしたものである。
このために、図46に示すように、Dレンジ拡大部711は、A/D変換部405から出力されるRGBの画像を記憶する画像記憶部731a〜731dと、画像記憶部731a〜731dに記憶された画像から手振れによる画像ずれを検出する手振れ検出部742〜744と、画像ずれの大きさから手振れの有無を判断する手振れ判断部745と、を備える。また、Dレンジ拡大部711は、画像記憶部31a〜31dに記憶された2枚の画像を画素ごとに比較することにより局所領域の被写体振れの有無を検出する被写体振れ検出部752〜754と、局所領域の被写体振れがある画素に対して被写体振れをなくすように座標を変換する座標変換部762〜764と、を備える。さらに、Dレンジ拡大部711は、手振れ検出部742〜744によって手振れが検出された場合には画像ずれをなくす方向の補正値を算出し、補正値に応じて画像をずらして加算する一方で、被写体振れが検出された場合には座標変換部762〜764から出力される被写体振れのない画素を加算しない加算部761と、を備える。
FIG. 46 is a block diagram illustrating a configuration of the D
In the D
For this purpose, as shown in FIG. 46, the D
さらに、Dレンジ拡大部711は、被写体振れが検出された場合には、被写体振れが検出された局所領域の差を判断し、座標変換部762〜764が被写体振れをなくすことができるか否かを判断する被写体振れ判断部755を備える。
被写体振れ判断部755が被写体振れをなくすことができないと判断した場合、加算部761は、画素を加算しないようにし、一方、被写体振れ判断部755が被写体振れをなくすことができると判断した場合、加算部761は、座標変換部762〜764から出力される被写体振れのない画素を加算する。
このように、本実施形態の撮像装置のDレンジ拡大部711では、被写体振れ判断部755により、被写体振れが検出された局所領域の差を判断することで、被写体の一部が検出できなくなった領域があっても対応することができる。例えば、被写体の手が被写体の背後に隠れても、その手の領域は画素を加算しないようにすることができる。
Furthermore, when the subject shake is detected, the D
When the subject
As described above, in the D
座標変換部762は、手振れ検出部742から得られる画像ずれの大きさとその方向に応じて画像をずらした後、画像記憶部731aに記憶されている画像信号の被写体振れが検出された画素を座標変換する。同様に、座標変換部763は、手振れ検出部743から得られる画像ずれの大きさとその方向に応じて画像をずらした後、画像記憶部731cに記憶されている画像の被写体振れが検出された画素を座標変換する。また、同様に、座標変換部764は、手振れ検出部744から得られる画像ずれの大きさとその方向に応じて画像をずらした後、画像記憶部731dに記憶されている画像の被写体振れが検出された画素を座標変換する。
次に、図47を用いて、手振れおよび被写体振れの処理について説明する。
ここでは、上下方向と左右方向は同様な処理となるため、説明を容易にするために上下方向の手振れによる画像ずれについて説明する。
The coordinate
Next, processing for camera shake and subject shake will be described with reference to FIG.
Here, since the vertical direction and the horizontal direction are the same processing, image displacement due to vertical camera shake will be described for ease of explanation.
図47(a)に示すように、時刻t−1で取得された画像Aは画像Bに対してΔh1だけ下側に画像がずれている。同様に、時刻t+2で取得された画像Dは画像Bに対してΔh2だけ上側に画像がずれている。時刻t+1で取得された画像Cは画像Bに対して画像ずれしていない。
このような手振れによる画像ずれがあった場合には、図47(b)に示すように、Dレンジ拡大部60は、まず、分割して露光された被写体P2の4枚の画像の手振れを、第5実施形態の撮像装置のDレンジ拡大部511と同様に、手振れ検出部742〜744で検出された画像ずれの大きさとその方向に応じた補正値によりずれをなくした後、被写体振れ検出部752〜754により、画像A〜Dの隣り合う画像のうち、選択された2枚の画像間について画素ごとに比較し、画素ごとに被写体振れの領域の有無を検出し、手振れおよび被写体ずれの有無に応じて画像A〜Dを加算する。ここで、図47(b)に示す領域X、Yは、被写体振れが検出された領域である。
As shown in FIG. 47A, the image A acquired at time t−1 is shifted downward from the image B by Δh1. Similarly, the image D acquired at time t + 2 is shifted upward from the image B by Δh2. The image C acquired at time t + 1 is not shifted from the image B.
When there is an image shift due to such a camera shake, as shown in FIG. 47B, the D range enlargement unit 60 first performs a camera shake of four images of the subject P2 that are divided and exposed. Similar to the D
座標変換部762〜764は、被写体振れ検出部752〜754によって検出された被写体振れを検出した局所領域(領域Xおよび領域Y)について、画素ごとにアフィン変換による移動、回転処理を行い、被写体振れを補正した出力を加算部761に出力する。
なお、被写体振れ判断部755が、座標変換部762〜764の出力を判断し、被写体振れをなくすことができないと判断した場合には、加算部761は座標変換された画素を加算しないようにする。例えば、被写体P2の手が被写体P2自身の背後に隠れてしまい、手が検出できない場合等である。また、被写体P2の腕や顔等の一部が障害物に隠れた場合でも同様である。このように、座標変換部762〜764で変換して画像をずらしても重ねることができない場合には、加算部761は、座標変換された画像信号を加算しない。
The coordinate
When the subject
以上のように、本実施形態の撮像装置によれば、本発明の第6実施形態における撮像装置のDレンジ拡大部611の効果に加え、さらに、局所領域の被写体振れがある画素に対して被写体振れをなくした後で画像A〜Dの各画素をDレンジ拡張して加算することができる。また、本実施形態の撮像装置によれば、被写体振れがあった場合でも、手振れおよび被写体振れを抑えて、Dレンジを拡大したDレンジ拡大画像を得ることができる。なお、本実施形態の撮像装置では、第6実施形態と同様に加算された画像の枚数に応じて明るさ調整を行う。
[他の実施形態]
本発明の第4〜第7実施形態の説明では、通常のカメラで用いられる映像γ処理については省略して説明している。これは、説明を簡単にし、発明内容の理解を容易にすることを目的としているもので、本発明に本質的な影響のない映像γ処理についての説明を省略したものである。したがって、本発明が映像γ処理なしの構成に限定されるものではない。また、本発明の効果は映像γ処理が存在する場合であっても全く同様である。
As described above, according to the imaging apparatus of the present embodiment, in addition to the effects of the D
[Other Embodiments]
In the description of the fourth to seventh embodiments of the present invention, the video γ processing used in a normal camera is omitted. This is for the purpose of simplifying the explanation and facilitating the understanding of the contents of the invention, and omitting the explanation of the video γ processing that has no substantial influence on the present invention. Therefore, the present invention is not limited to a configuration without video γ processing. The effect of the present invention is exactly the same even when the video γ processing exists.
また、前述の各実施の形態で説明した機能ブロックは、他のカメラ信号処理機能と一体として集積回路などを用いたハードウェアにより実施してもよいし、集積回路の中に備えられた中央処理装置(以下、「CPU」という)を用いて組み込みソフトウェアで実視されてもよい。また、独立したコンピュータのアプリケーションソフトウエアとして実施されてもよい。上記各種機能をソフトウェアおよびハードウェアの混在処理により実現してもよい。
まず、前述の各種機能をハードウェアで実施する場合は、各実施の形態での各機能を個別に集積回路としてもよいし、一部またはすべてを含むように1チップ化された集積回路としてもよい。例えば、集積回路は、光学系416と、撮像素子404と、A/D変換部405と、被写体の主要部で最適な明るさが得られるように所定の露光時間t0に応じた光量の調節を行う光量調節部とを備えた撮像装置に用いる集積回路の場合には、前述したのと同様に所定の露光時間t0を均等に分割した時間t1で4回に分けて次々に露光し、4枚の撮像画像が得られるように撮像素子404を駆動する駆動部406と、A/D変換部405で4枚の撮像画像を変換して得られた4枚の画像を画素ごとにDレンジ拡張して加算し、Dレンジを拡大したDレンジ拡大画像を出力するDレンジ拡大部411(あるいは511、611、711)と、を備えている。
In addition, the functional blocks described in the above embodiments may be implemented by hardware using an integrated circuit or the like integrated with other camera signal processing functions, or a central processing provided in the integrated circuit. A device (hereinafter referred to as a “CPU”) may be used to realize the embedded software. Further, it may be implemented as application software of an independent computer. You may implement | achieve the said various functions by the mixed process of software and hardware.
First, when the above-described various functions are implemented by hardware, each function in each embodiment may be individually integrated circuits, or may be an integrated circuit integrated into one chip so as to include a part or all of them. Good. For example, the integrated circuit adjusts the amount of light according to a predetermined exposure time t 0 so that optimum brightness can be obtained in the
また、集積回路は、A/D変換部405の出力が飽和しないように撮像素子404を4回に分けて次々に露光し、4枚の撮像画像が得られるように撮像素子404を駆動する駆動部406と、A/D変換部405で4枚の撮像画像を変換して得られた4枚の画像を画素ごとにDレンジ拡張して加算し、Dレンジを拡大したDレンジ拡大画像を出力するDレンジ拡大部411(あるいは511、611、711)とを備えるようにしてもよい。
これにより、S/N比の劣化を抑え、Dレンジの広い画像信号が得られる集積回路を実現することができる。なお、露光の分割の回数は4回に限定されるものでない。必要なDレンジに応じて、N回(N>1)(Nは自然数)に分けて露光し、後でその分割して撮像された画像を画素ごとにDレンジ拡張して加算すればよい。
なお、ここでの集積回路とは、LSIに限らず、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
In addition, the integrated circuit is configured to drive the
Thereby, it is possible to realize an integrated circuit that can suppress the deterioration of the S / N ratio and obtain an image signal with a wide D range. Note that the number of exposure divisions is not limited to four. Depending on the required D range, the exposure may be performed N times (N> 1) (N is a natural number), and the divided and captured images may be added after extending the D range for each pixel.
The integrated circuit here is not limited to an LSI, and may be referred to as an IC, a system LSI, a super LSI, or an ultra LSI depending on the degree of integration.
また、集積回路は、専用回路または汎用プロセッサーで実現してもよい。たとえば、半導体チップを製造した後、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、集積回路内部のセルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩または派生する別技術による集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。たとえば、バイオ技術の進歩により、バイオコンピュータの適用などが考えられる。
また、アプリケーションソフトウエアは、ディスク等に格納されて配布される形態のみ成らずネットワークを通じてダウンロードする形態のものでもよい。
また、前述の手振れおよび被写体振れの処理では、上下方向について処理する場合を例に説明したが、これに限定されるものではない。同様に、左右方向について処理するようにしてもよい。さらに、回転方向について処理するようにしてもよい。
The integrated circuit may be realized by a dedicated circuit or a general-purpose processor. For example, an FPGA (Field Programmable Gate Array) that can be programmed after manufacturing a semiconductor chip, or a reconfigurable processor that can reconfigure the connection and setting of cells inside the integrated circuit may be used.
Further, if integrated circuit technology comes out as a result of advances in semiconductor technology or other derived technology, it is naturally also possible to carry out function block integration using this technology. For example, biocomputers may be applied due to advances in biotechnology.
Further, the application software is not limited to a form stored and distributed on a disk or the like, but may be a form downloaded via a network.
In the above-described camera shake and subject shake processing, the case of processing in the vertical direction has been described as an example, but the present invention is not limited to this. Similarly, processing in the left-right direction may be performed. Furthermore, you may make it process about a rotation direction.
また、前述の実施形態において、フレーム単位の処理を行う場合について説明したが、これに限定されることはなく、例えば、フィールド単位の処理を行うようにしてもよい。
また、前述の実施形態において、画像記憶部(431a〜431d、531a〜531d、631a〜631d、731a〜731d)は、別々の機能ブロックであるものとして説明したが、これに限定されることはなく、例えば、共通のメモリをアドレスで分割して使用することで実現させてもよい。
また、前述の実施形態において、静止画を撮影するデジタルカメラを例にとって説明した部分があるが、これに限定されることはなく、動画を撮影するビデオカメラであっても、メカニカルシャッタが電子シャッタに替わる以外は同様であり、本発明は、ビデオカメラに利用することも可能である。
Further, in the above-described embodiment, the case where the processing in units of frames has been described, but the present invention is not limited to this, and for example, processing in units of fields may be performed.
In the above-described embodiment, the image storage units (431a to 431d, 531a to 531d, 631a to 631d, and 731a to 731d) have been described as separate functional blocks, but the present invention is not limited thereto. For example, it may be realized by dividing and using a common memory.
Further, in the above-described embodiment, there is a portion described by taking a digital camera for taking a still image as an example, but the present invention is not limited to this, and a mechanical shutter is an electronic shutter even in a video camera for taking a moving image. It is the same except that it is replaced, and the present invention can also be used for a video camera.
また、本発明の各実施の形態における撮像装置は、静止した被写体を撮影するスチルカメラまたは動いている被写体を撮像するビデオカメラ等のデジタルカメラ、被写体を監視する監視カメラ、撮像機能を備えた携帯電話、撮像機能を備えた情報機器、撮像用集積回路等に応用することができる。
なお、本発明の具体的な構成は、前述の各実施の形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
[付記]
本発明は、次のように表現することも可能である。
[第1付記]
(付記1)
電子的に被写体を撮影する撮像装置であって、
光量調節機能を有する光学系と、
前記光学系が結像する像を読み取るイメージセンサと、
前記イメージセンサの出力をA/D変換するA/D変換器と、
前記A/D変換器の出力のダイナミックレンジを線形に拡大するダイナミックレンジ拡大手段と、
を備える撮像装置。
(付記2)
電子的に被写体を撮影する撮像装置であって、
光量調節機能を有する光学系と、
前記光学系が結像する像を読み取るイメージセンサと、
前記イメージセンサの出力をA/D変換するA/D変換器と、
前記A/D変換器の出力のダイナミックレンジを線形に拡大するダイナミックレンジ拡大手段と、
前記ダイナミックレンジ拡大手段の出力を所定のダイナミックレンジに非線形に圧縮するダイナミックレンジ圧縮手段と、
を備える撮像装置。
(付記3)
前記ダイナミックレンジ拡大手段は、入力の感度をデジタルで高める増幅手段を有し、
前記増幅手段の出力を飽和させずに通過させることにより線形にダイナミックレンジ拡大を行うことを特徴とする、
付記1または付記2に記載の撮像装置。
(付記4)
前記ダイナミックレンジ圧縮手段は、画像中の最明部の明度レベルに応じて変換特性を変化させる非線形圧縮であることを特徴とする、
付記2または付記3に記載の撮像装置。
(付記5)
前記ダイナミックレンジ圧縮手段は、画像の空間的な位置に応じて異なる変換特性を用いて圧縮することを特徴とする、
付記2、付記3または付記4に記載の撮像装置。
(付記6)
前記ダイナミックレンジ圧縮手段は、処理すべき画素の周囲の明るさに応じて異なる変換特性を用いて圧縮することを特徴とする、
付記2、付記3または付記4に記載の撮像装置。
(付記7)
電子的に被写体を撮影する撮像方法であって、
撮影シーンのハイライトが飽和しないようイメージセンサへの露光条件を設定するステップと、
前記イメージセンサの出力をデジタルの画像データに変換するステップと、
前記画像データ中の主要被写体が所望の明るさになるように線形にダイナミックレンジを拡大するステップと、
前記拡大されたダイナミックレンジが所定のダイナミックレンジになるよう非線形に圧縮するステップと、
を備える撮像方法。
(付記8)
ダイナミックレンジを非線形に圧縮する前記ステップは、画像データ中の最明部のレベルに応じた変換特性で圧縮するものであることを特徴とする、
付記7に記載の撮像方法。
(付記9)
ダイナミックレンジを非線形に圧縮する前記ステップは、画像データ中の空間的な位置に応じて異なる変換特性を用いて圧縮するものであることを特徴とする、
付記7に記載の撮像方法。
(付記10)
光量調節機能を有する光学系とイメージセンサとA/D変換器とを有する撮像装置に用いる撮像用集積回路であって、
前記A/D変換器の出力のダイナミックレンジを線形に拡大するダイナミックレンジ拡大手段と、
前記ダイナミックレンジ拡大手段の出力を所定のダイナミックレンジに非線形に圧縮するダイナミックレンジ圧縮手段と、
を備える撮像用集積回路。
(付記11)
前記ダイナミックレンジ拡大手段は、入力の感度をデジタルで高める増幅手段を有し、
前記増幅手段の出力を飽和させずに通過させることにより線形にダイナミックレンジ拡大を行うことを特徴とする、
付記10に記載の撮像用集積回路。
(付記12)
前記ダイナミックレンジ圧縮手段は、画像中の最明部の明度レベルに応じて変換特性を変化させる非線形圧縮であることを特徴とする、
付記10または付記11に記載の撮像用集積回路。
(付記13)
前記ダイナミックレンジ圧縮手段は、画像の空間的な位置に応じて異なる変換特性を用いて圧縮することを特徴とする、
付記10、付記11または付記12に記載の撮像用集積回路。
(付記14)
光量調節機能を有する光学系とイメージセンサとA/D変換器とを有する撮像装置に用いる撮像用プログラムであって、
前記イメージセンサの出力をデジタルの画像データに変換するステップと、
前記画像データ中の主要被写体が所望の明るさになるように線形にダイナミックレンジを拡大するステップと、
前記拡大されたダイナミックレンジが所定のダイナミックレンジになるよう非線形に圧縮するステップと、
を備える撮像用プログラム。
In addition, the imaging device according to each embodiment of the present invention includes a digital camera such as a still camera that captures a stationary subject or a video camera that captures a moving subject, a monitoring camera that monitors the subject, and a mobile phone equipped with an imaging function. The present invention can be applied to a telephone, an information device having an imaging function, an imaging integrated circuit, and the like.
The specific configuration of the present invention is not limited to the above-described embodiments, and various changes and modifications can be made without departing from the spirit of the invention.
[Appendix]
The present invention can also be expressed as follows.
[First note]
(Appendix 1)
An imaging device for electronically photographing a subject,
An optical system having a light amount adjustment function;
An image sensor for reading an image formed by the optical system;
An A / D converter for A / D converting the output of the image sensor;
Dynamic range expanding means for linearly expanding the dynamic range of the output of the A / D converter;
An imaging apparatus comprising:
(Appendix 2)
An imaging device for electronically photographing a subject,
An optical system having a light amount adjustment function;
An image sensor for reading an image formed by the optical system;
An A / D converter for A / D converting the output of the image sensor;
Dynamic range expanding means for linearly expanding the dynamic range of the output of the A / D converter;
Dynamic range compression means for nonlinearly compressing the output of the dynamic range expansion means to a predetermined dynamic range;
An imaging apparatus comprising:
(Appendix 3)
The dynamic range expansion unit has an amplification unit that digitally increases the sensitivity of the input,
The dynamic range is expanded linearly by allowing the output of the amplification means to pass without being saturated,
The imaging apparatus according to
(Appendix 4)
The dynamic range compression means is non-linear compression that changes conversion characteristics in accordance with the lightness level of the brightest part in the image,
The imaging apparatus according to
(Appendix 5)
The dynamic range compression means compresses using different conversion characteristics depending on the spatial position of the image,
The imaging apparatus according to
(Appendix 6)
The dynamic range compression means compresses using different conversion characteristics according to the brightness around the pixel to be processed,
The imaging apparatus according to
(Appendix 7)
An imaging method for photographing a subject electronically,
Setting the exposure conditions for the image sensor so that the highlight of the shooting scene is not saturated;
Converting the output of the image sensor into digital image data;
Linearly expanding the dynamic range so that the main subject in the image data has a desired brightness;
Compressing nonlinearly so that the expanded dynamic range becomes a predetermined dynamic range;
An imaging method comprising:
(Appendix 8)
The step of compressing the dynamic range in a non-linear manner is characterized in that the dynamic range is compressed with a conversion characteristic according to the level of the brightest part in the image data.
The imaging method according to
(Appendix 9)
The step of compressing the dynamic range in a non-linear manner is characterized in that the dynamic range is compressed using different conversion characteristics depending on the spatial position in the image data.
The imaging method according to
(Appendix 10)
An integrated circuit for imaging used in an imaging apparatus having an optical system having a light amount adjustment function, an image sensor, and an A / D converter,
Dynamic range expanding means for linearly expanding the dynamic range of the output of the A / D converter;
Dynamic range compression means for nonlinearly compressing the output of the dynamic range expansion means to a predetermined dynamic range;
An integrated circuit for imaging comprising:
(Appendix 11)
The dynamic range expansion unit has an amplification unit that digitally increases the sensitivity of the input,
The dynamic range is expanded linearly by allowing the output of the amplification means to pass without being saturated,
The integrated circuit for imaging according to
(Appendix 12)
The dynamic range compression means is non-linear compression that changes conversion characteristics in accordance with the lightness level of the brightest part in the image,
The integrated circuit for imaging according to
(Appendix 13)
The dynamic range compression means compresses using different conversion characteristics depending on the spatial position of the image,
The imaging integrated circuit according to
(Appendix 14)
An imaging program used for an imaging apparatus having an optical system having a light amount adjustment function, an image sensor, and an A / D converter,
Converting the output of the image sensor into digital image data;
Linearly expanding the dynamic range so that the main subject in the image data has a desired brightness;
Compressing nonlinearly so that the expanded dynamic range becomes a predetermined dynamic range;
An imaging program comprising:
[第2付記]
(付記1)
光量調節機能を持つ光学部と、
前記光学部によって結像された被写体の像を読み取る撮像素子と、
前記撮像素子から出力されたアナログの撮像画像をデジタルの画像に変換するA/D変換部と、
所定の露光時間を均等に分割した時間で複数回に分けて次々に露光し、複数枚の撮像画像が得られるように前記撮像素子を駆動する駆動部と、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚の画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大部と、
を備えることを特徴とする、
撮像装置。
(付記2)
前記ダイナミックレンジ拡大画像のダイナミックレンジを所定のダイナミックレンジに非線形に圧縮するダイナミックレンジ圧縮部をさらに備えることを特徴とする、
付記1に記載の撮像装置。
(付記3)
前記ダイナミックレンジ拡大部において、少なくとも入力ダイナミックレンジより大きな出力ダイナミックレンジを有することを特徴とする、
付記1または付記2に記載の撮像装置。
(付記4)
前記ダイナミックレンジ圧縮部は、画像の空間的な位置に応じて変化する変換特性を用いて前記ダイナミックレンジ拡大画像のダイナミックレンジを圧縮することを特徴とする、
付記2に記載の撮像装置。
(付記5)
前記撮像素子を複数回に分けて露光する前に、
前記所定の露光時間において前記被写体の主要部で所定の明るさが得られるように光量の調節が行われることを特徴とする、
付記1から付記4のいずれか1項に記載の撮像装置。
(付記6)
前記複数枚の画像のうち、異なる2枚の画像から手振れによる画像ずれの大きさとその方向を検出する手振れ検出部を備え、
前記ダイナミックレンジ拡大部は、前記手振れ検出部で検出された前記画像ずれの大きさとその方向に応じて前記画像ずれをなくす方向に前記画像をずらして加算することを特徴とする、
付記1から付記5のいずれか1項に記載の撮像装置。
(付記7)
前記複数枚の画像のうち、前記手振れによる画像ずれをなくした異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出部を備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ検出部で前記被写体振れが検出された場合には前記被写体振れがある画素を加算しないことを特徴とする、
付記6に記載の撮像装置。
(付記8)
前記複数枚の画像のうち、異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出部を備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ検出部で前記被写体振れが検出された場合には前記被写体振れがある画素を加算しないことを特徴とする、
付記1から付記5のいずれか1項に記載の撮像装置。
(付記9)
手振れ補正された複数枚の画像を取得し、取得された前記複数枚の画像のうち、異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出部を備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ検出部で前記被写体振れが検出された場合には前記被写体振れがある画素を加算しないことを特徴とする、
付記1から付記5のいずれか1項に記載の撮像装置。
(付記10)
前記手振れ補正が光学式の手振れ補正であることを特徴とする、
付記9に記載の撮像装置。
(付記11)
前記複数枚の画像のうち、前記手振れによる画像ずれをなくした異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出部と、
前記被写体振れ検出部で前記被写体振れが検出された画素に対して前記被写体振れをなくすように座標を変換する座標変換部と、
を備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ検出部で前記被写体振れが検出された画素に対しては前記座標変換部で変換された画素を加算するようにしたことを特徴とする、
付記6に記載の撮像装置。
(付記12)
前記被写体振れをなくすことができるか否かを判断する被写体振れ判断部を備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ判断部が前記被写体振れをなくすことができないと判断した場合には前記被写体振れがある画素を加算しないことを特徴とする、
付記11に記載の撮像装置。
(付記13)
光量調節機能を持つ光学部と、
前記光学部によって結像された被写体の像を読み取る撮像素子と、
前記撮像素子から出力されたアナログの撮像画像をデジタルの画像に変換するA/D変換部と、
前記A/D変換部の出力が飽和しないように前記撮像素子を複数回に分けて次々に露光し、複数枚の撮像画像が得られるように前記撮像素子を駆動する駆動部と、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚の画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大部と、
を備えることを特徴とする、
撮像装置。
(付記14)
光量調節機能を持つ光学部と、
前記光学部によって結像された被写体の像を読み取る撮像素子と、
前記撮像素子から出力されたアナログの撮像画像をデジタルの画像に変換するA/D変換部と、
前記撮像素子を複数回に分けて次々に露光し、複数枚の撮像画像が得られるように前記撮像素子を駆動する駆動部と、
前記A/D変換部で変換して得られた複数枚の画像のうち、異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出部と、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた前記複数枚の画像を画素ごとに加算する加算部と、
を備え、
前記加算部は、前記被写体振れ検出部で前記被写体振れが検出された場合には前記被写体振れがある画素を加算しないようにすることを特徴とする、
撮像装置。
(付記15)
付記1から付記14のいずれか1項に記載の撮像装置を備えるデジタルカメラ。
(付記16)
光量調節機能を持つ光学部と、前記光学部によって結像された被写体の像を読み取る撮像素子と、前記撮像素子から出力されたアナログの撮像画像をデジタルの画像に変換するA/D変換部と、前記被写体の主要部で所定の明るさが得られるように所定の露光時間に応じた光量の調節を行う光量調節部と、を備える撮像装置に用いる撮像用集積回路であって、
前記所定の露光時間を均等に分割した時間で複数回に分けて次々に露光し、複数枚の撮像画像が得られるように前記撮像素子を駆動する駆動部と、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚の画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大部と、
を備えることを特徴とする、
撮像用集積回路。
(付記17)
光量調節機能を持つ光学部と、前記光学部によって結像された被写体の像を読み取る撮像素子と、前記撮像素子から出力されたアナログの撮像画像をデジタルの画像に変換するA/D変換部と、前記撮像素子を駆動する駆動部と、を備える撮像装置に用いる撮像方法であって、
前記被写体の主要部で所定の明るさが得られるように所定の露光時間に応じた光量の調節を行う光量調節ステップと、
前記所定の露光時間を均等に分割した時間で複数回に分けて次々に露光し、複数枚の撮像画像が得られるように前記撮像素子を前記駆動部で駆動する駆動ステップと、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚の画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大ステップと、
を備えることを特徴とする、
撮像方法。
(付記18)
前記ダイナミックレンジ拡大画像のダイナミックレンジを所定のダイナミックレンジに非線形に圧縮するダイナミックレンジ圧縮ステップをさらに備えることを特徴とする、
付記17に記載の撮像方法。
(付記19)
前記ダイナミックレンジ拡大ステップにおいて、少なくとも入力ダイナミックレンジより大きな出力ダイナミックレンジを有することを特徴とする、
付記17または付記18に記載の撮像方法。
(付記20)
前記ダイナミックレンジ圧縮ステップにおいて、画像の空間的な位置に応じて変化する変換特性を用いて前記ダイナミックレンジ拡大画像のダイナミックレンジを圧縮することを特徴とする、
付記18に記載の撮像方法。
(付記21)
前記複数枚の画像のうち、異なる2枚の画像から手振れによる画像ずれの大きさとその方向を検出する手振れ検出ステップを備え、
前記ダイナミックレンジ拡大ステップにおいて、手振れ検出ステップにおいて検出された前記画像ずれの大きさとその方向に応じて前記画像ずれをなくす方向に前記画像をずらして加算することを特徴とする、
付記17から付記20のいずれか1項に記載の撮像方法。
(付記22)
前記複数枚の画像のうち、画像の手振れによる画像ずれをなくした異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出ステップを備え、
前記ダイナミックレンジ拡大ステップでは、前記被写体振れが検出された場合には、前記被写体振れがある画素を加算しないことを特徴とする、
付記21に記載の撮像方法。
(付記23)
前記複数枚の画像のうち、異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出ステップを備え、
前記ダイナミックレンジ拡大ステップは、前記被写体振れ検出ステップで前記被写体振れが検出された場合には前記被写体振れがある画素を加算しないことを特徴とする、
付記17から付記20のいずれか1項に記載の撮像方法。
(付記24)
手振れ補正された複数枚の画像を取得し、取得された前記複数枚の画像のうち、異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出ステップを備え、
前記ダイナミックレンジ拡大ステップは、前記被写体振れ検出ステップで前記被写体振れが検出された場合には前記被写体振れがある画素を加算しないことを特徴とする、
付記17から付記20のいずれか1項に記載の撮像方法。
(付記25)
前記手振れ補正が光学式の手振れ補正であることを特徴とする、
付記24に記載の撮像方法。
(付記26)
前記複数枚の画像のうち、前記手振れによる画像ずれをなくした異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出ステップと、
前記被写体振れ検出ステップで前記被写体振れが検出された画素に対して前記被写体振れをなくすように座標を変換する座標変換ステップと、を備え、
前記ダイナミックレンジ拡大ステップは、前記被写体振れ検出ステップで前記被写体振れが検出された画素に対しては前記座標変換ステップで変換された画素を加算するようにしたことを特徴とする、
付記21に記載の撮像方法。
(付記27)
前記被写体振れをなくすことができるか否かを判断する被写体振れ判断ステップを備え、
前記ダイナミックレンジ拡大ステップは、前記被写体振れ判断ステップが前記被写体振れをなくすことができないと判断した場合には前記被写体振れがある画素を加算しないことを特徴とする、
付記26に記載の撮像方法。
(付記28)
光量調節機能を持つ光学部と、前記光学部によって結像された被写体の像を読み取る撮像素子と、前記撮像素子から出力されたアナログの撮像画像をデジタルの画像に変換するA/D変換部と、前記撮像素子を駆動する駆動部と、を備える撮像装置に用いる撮像方法であって、
前記A/D変換部の出力が飽和しないように前記撮像素子を複数回に分けて次々に露光し、複数枚の撮像画像が得られるように前記撮像素子を前記駆動部で駆動する駆動ステップと、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚の画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大ステップと、
を備えることを特徴とする、
撮像方法。
(付記29)
光量調節機能を持つ光学部と、前記光学部によって結像された被写体の像を読み取る撮像素子と、前記撮像素子から出力されたアナログの撮像画像をデジタルの画像に変換するA/D変換部と、を備える撮像装置に用いる撮像方法であって、
前記撮像素子を複数回に分けて次々に露光し、複数枚の撮像画像が得られるように前記撮像素子を前記駆動部で駆動する駆動ステップと、
前記A/D変換部で変換して得られた複数枚の画像のうち、異なる2枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出ステップと、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた前記複数枚の画像を画素ごとに加算する加算ステップと、
を備え、
前記加算ステップにおいて、前記被写体振れ検出ステップで前記被写体振れが検出された場合には前記被写体振れがある画素を加算しないようにすることを特徴とする、
撮像方法。
[Second note]
(Appendix 1)
An optical unit with a light intensity adjustment function;
An image sensor for reading an image of a subject formed by the optical unit;
An A / D converter that converts an analog captured image output from the image sensor into a digital image;
A drive unit that drives the image sensor so that a plurality of captured images are obtained by sequentially exposing a plurality of times by dividing the predetermined exposure time into a plurality of times;
A dynamic range that outputs a dynamic range expanded image obtained by expanding a dynamic range for each pixel and adding a plurality of images obtained by converting the plurality of captured images by the A / D conversion unit, and adding the dynamic range. An enlarged section,
Characterized by comprising,
Imaging device.
(Appendix 2)
A dynamic range compression unit that nonlinearly compresses the dynamic range of the dynamic range expanded image to a predetermined dynamic range,
The imaging apparatus according to
(Appendix 3)
In the dynamic range expansion section, it has an output dynamic range larger than at least the input dynamic range,
The imaging apparatus according to
(Appendix 4)
The dynamic range compression unit compresses the dynamic range of the dynamic range expanded image using a conversion characteristic that changes according to a spatial position of the image,
The imaging apparatus according to
(Appendix 5)
Before exposing the image sensor in multiple times,
The amount of light is adjusted so that a predetermined brightness is obtained in a main part of the subject during the predetermined exposure time,
The imaging apparatus according to any one of
(Appendix 6)
A camera shake detector for detecting the magnitude and direction of image shift due to camera shake from two different images among the plurality of images;
The dynamic range expansion unit shifts and adds the image in a direction to eliminate the image shift according to the magnitude and direction of the image shift detected by the camera shake detection unit,
The imaging apparatus according to any one of
(Appendix 7)
A subject shake detection unit that detects subject shake in a local region by comparing, for each pixel, two different images in which the image shift due to hand shake is eliminated among the plurality of images;
The dynamic range expansion unit does not add pixels with the subject shake when the subject shake detection unit detects the subject shake.
The imaging apparatus according to appendix 6.
(Appendix 8)
A subject shake detection unit that detects subject shake in a local region by comparing two different images among the plurality of images for each pixel;
The dynamic range expansion unit does not add pixels with the subject shake when the subject shake detection unit detects the subject shake.
The imaging apparatus according to any one of
(Appendix 9)
A subject shake detection unit that obtains a plurality of images subjected to camera shake correction and detects subject shake in a local region by comparing two different images among the obtained images for each pixel. ,
The dynamic range expansion unit does not add pixels with the subject shake when the subject shake detection unit detects the subject shake.
The imaging apparatus according to any one of
(Appendix 10)
The camera shake correction is an optical camera shake correction,
The imaging apparatus according to appendix 9.
(Appendix 11)
A subject shake detection unit that detects subject shake in a local region by comparing, for each pixel, two different images in which the image shift due to camera shake is eliminated among the plurality of images;
A coordinate conversion unit that converts coordinates so as to eliminate the subject shake with respect to a pixel in which the subject shake is detected by the subject shake detection unit;
With
The dynamic range expansion unit adds the pixels converted by the coordinate conversion unit to the pixels where the subject shake is detected by the subject shake detection unit,
The imaging apparatus according to appendix 6.
(Appendix 12)
A subject shake determination unit for determining whether or not the subject shake can be eliminated;
The dynamic range expansion unit does not add pixels with the subject shake when the subject shake judgment unit determines that the subject shake cannot be eliminated.
The imaging apparatus according to
(Appendix 13)
An optical unit with a light intensity adjustment function;
An image sensor for reading an image of a subject formed by the optical unit;
An A / D converter that converts an analog captured image output from the image sensor into a digital image;
A drive unit that drives the imaging device so that a plurality of captured images are obtained by exposing the imaging device in a plurality of times so that the output of the A / D conversion unit is not saturated;
A dynamic range that outputs a dynamic range expanded image obtained by expanding a dynamic range for each pixel and adding a plurality of images obtained by converting the plurality of captured images by the A / D conversion unit, and adding the dynamic range. An enlarged section,
Characterized by comprising,
Imaging device.
(Appendix 14)
An optical unit with a light intensity adjustment function;
An image sensor for reading an image of a subject formed by the optical unit;
An A / D converter that converts an analog captured image output from the image sensor into a digital image;
A drive unit that drives the image sensor so that a plurality of captured images are obtained by exposing the image sensor in a plurality of times one after another, and
A subject shake detection unit that detects subject shake in a local region by comparing two different images for each pixel among a plurality of images obtained by conversion by the A / D conversion unit;
An addition unit that adds the plurality of images obtained by converting the plurality of captured images in the A / D conversion unit for each pixel;
With
The addition unit is configured not to add pixels having the subject shake when the subject shake is detected by the subject shake detection unit.
Imaging device.
(Appendix 15)
A digital camera comprising the imaging device according to any one of
(Appendix 16)
An optical unit having a light amount adjustment function, an image sensor that reads an image of a subject formed by the optical unit, and an A / D converter that converts an analog captured image output from the image sensor into a digital image; An imaging integrated circuit for use in an imaging apparatus, comprising: a light amount adjustment unit that adjusts a light amount according to a predetermined exposure time so that a predetermined brightness is obtained in a main part of the subject,
A drive unit that drives the image sensor so that a plurality of captured images are obtained by sequentially exposing the predetermined exposure time by dividing the predetermined exposure time into a plurality of times.
A dynamic range that outputs a dynamic range expanded image obtained by expanding a dynamic range for each pixel and adding a plurality of images obtained by converting the plurality of captured images by the A / D conversion unit, and adding the dynamic range. An enlarged section,
Characterized by comprising,
Integrated circuit for imaging.
(Appendix 17)
An optical unit having a light amount adjustment function, an image sensor that reads an image of a subject formed by the optical unit, and an A / D converter that converts an analog captured image output from the image sensor into a digital image; An imaging method used for an imaging apparatus comprising: a drive unit that drives the imaging element;
A light amount adjustment step for adjusting a light amount according to a predetermined exposure time so that a predetermined brightness can be obtained in a main part of the subject;
A drive step of driving the image sensor with the drive unit so that a plurality of captured images are obtained by sequentially exposing the predetermined exposure time by dividing the predetermined exposure time into a plurality of times;
A dynamic range that outputs a dynamic range expanded image obtained by expanding a dynamic range for each pixel and adding a plurality of images obtained by converting the plurality of captured images by the A / D conversion unit, and adding the dynamic range. Enlargement step,
Characterized by comprising,
Imaging method.
(Appendix 18)
A dynamic range compression step for nonlinearly compressing the dynamic range of the dynamic range expanded image to a predetermined dynamic range,
The imaging method according to appendix 17.
(Appendix 19)
In the dynamic range expansion step, it has an output dynamic range larger than at least the input dynamic range,
The imaging method according to appendix 17 or appendix 18.
(Appendix 20)
In the dynamic range compression step, the dynamic range of the dynamic range expanded image is compressed using a conversion characteristic that changes according to the spatial position of the image,
The imaging method according to appendix 18.
(Appendix 21)
A camera shake detection step for detecting the magnitude and direction of image shift caused by camera shake from two different images among the plurality of images;
In the dynamic range expansion step, the image is shifted and added in a direction to eliminate the image shift according to the magnitude and direction of the image shift detected in the camera shake detection step.
The imaging method according to any one of appendix 17 to appendix 20.
(Appendix 22)
A subject shake detection step of detecting subject shake in a local region by comparing, for each pixel, two different images in which image deviation due to image shake is eliminated among the plurality of images,
In the dynamic range expansion step, when the subject shake is detected, a pixel having the subject shake is not added.
The imaging method according to
(Appendix 23)
A subject shake detection step of detecting subject shake in a local region by comparing two different images among the plurality of images for each pixel;
The dynamic range expansion step does not add pixels having the subject shake when the subject shake is detected in the subject shake detection step.
The imaging method according to any one of appendix 17 to appendix 20.
(Appendix 24)
A subject shake detection step of obtaining a plurality of images subjected to camera shake correction and detecting subject shake in a local region by comparing two different images among the obtained images for each pixel; ,
The dynamic range expansion step does not add pixels having the subject shake when the subject shake is detected in the subject shake detection step.
The imaging method according to any one of appendix 17 to appendix 20.
(Appendix 25)
The camera shake correction is an optical camera shake correction,
The imaging method according to attachment 24.
(Appendix 26)
A subject shake detection step of detecting subject shake in a local region by comparing, for each pixel, two different images in which the image shift caused by hand shake is eliminated among the plurality of images;
A coordinate conversion step of converting coordinates so as to eliminate the subject shake with respect to the pixels in which the subject shake is detected in the subject shake detection step,
In the dynamic range expansion step, the pixel converted in the coordinate conversion step is added to the pixel in which the subject shake is detected in the subject shake detection step.
The imaging method according to
(Appendix 27)
A subject shake determination step for determining whether or not the subject shake can be eliminated;
The dynamic range expansion step does not add pixels with the subject shake when the subject shake judgment step judges that the subject shake cannot be eliminated.
27. The imaging method according to appendix 26.
(Appendix 28)
An optical unit having a light amount adjustment function, an image sensor that reads an image of a subject formed by the optical unit, and an A / D converter that converts an analog captured image output from the image sensor into a digital image; An imaging method used for an imaging apparatus comprising: a drive unit that drives the imaging element;
A driving step of driving the imaging device with the driving unit so that a plurality of captured images are obtained by exposing the imaging device in a plurality of times so that the output of the A / D conversion unit is not saturated; ,
A dynamic range that outputs a dynamic range expanded image obtained by expanding a dynamic range for each pixel and adding a plurality of images obtained by converting the plurality of captured images by the A / D conversion unit, and adding the dynamic range. Enlargement step,
Characterized by comprising,
Imaging method.
(Appendix 29)
An optical unit having a light amount adjustment function, an image sensor that reads an image of a subject formed by the optical unit, and an A / D converter that converts an analog captured image output from the image sensor into a digital image; An imaging method for use in an imaging device comprising:
A step of driving the image pickup device with the drive unit so that the image pickup device is exposed to one after another in a plurality of times and a plurality of picked-up images are obtained;
A subject shake detection step of detecting subject shake in a local region by comparing two different images for each pixel among a plurality of images obtained by conversion by the A / D converter;
An adding step of adding, for each pixel, the plurality of images obtained by converting the plurality of captured images in the A / D conversion unit;
With
In the adding step, when the subject shake is detected in the subject shake detection step, the pixel having the subject shake is not added.
Imaging method.
本発明に係る撮像装置、撮像方法、撮像用集積回路および撮像用プログラムによれば、自然界の広いDレンジの画像を飽和させずに撮影し、従来の狭いDレンジのディスプレイで自然に見える画像を得ることができ、さらに、S/N比の劣化を抑えることができるため、デジタルスティルカメラだけでなく、ビデオカメラ、携帯電話内蔵のカメラ、監視カメラ、セキュリティカメラ、ロボットの目など画像を撮影する多くの撮像機器や、デジタルスティルカメラ用のRAW現像ソフトやフォトレタッチソフトなどのアプリケーションソフトに利用することができる。 According to the imaging apparatus, the imaging method, the imaging integrated circuit, and the imaging program according to the present invention, an image of a wide D range in the natural world is captured without being saturated, and an image that looks natural on a conventional narrow D range display is obtained. In addition to digital still cameras, video cameras, mobile phone built-in cameras, surveillance cameras, security cameras, robot eyes, etc. can be taken because the S / N ratio degradation can be suppressed. It can be used for many imaging devices and application software such as RAW development software and photo retouching software for digital still cameras.
P1、P2 被写体
100、400 撮像装置
11、402 撮像レンズ
12、403 絞り部
416 光学系
13、404 撮像部(撮像素子)
2 アナログ信号処理部
3 デジタル信号処理部
22 GCA(Gain Control Amplifier)
23、405 A/D変換部
31、31A、31’、31’’、31’’’ 信号処理部
32、415 記憶部(メモリ)
34 制御部
35 表示部制御部
414 表示部
2000 Dレンジ拡大処理部
2001、312、412 Dレンジ圧縮部
2002 Dレンジ拡大部
2004 レジスタ
800、800’、800’’’ パラメータ決定部
802、802’ ピーク検出部
1201 代表値検出部
315 Dレンジ設定部
316 Dレンジ拡大部
1701 顔検出部(特徴画像領域検出部)
1702 明度検出部
314 ピーク検出部
315 Dレンジ設定部
3161 周囲明度検出部
3162 動的階調補正部
406 駆動部
407 操作部
408 システム制御部
409 露光条件設定部
410 画像処理部
411,511,611,711 Dレンジ拡大部
412 Dレンジ圧縮部
413 信号処理部
14 表示部
15 記憶部
416 光学系
430,541,651,761 加算部
431a〜431d,531a〜531d,631a〜631d,731a〜731d 画像記憶部
542〜544、642〜644、742〜744 手振れ検出部
745 手振れ判断部
652〜654、752〜754 被写体振れ検出部
755 被写体振れ判断部
762〜764 座標変換部
4121 動的階調補正部
4122 周囲明度検出部
P1,
2 Analog
23, 405 A /
34 control unit 35 display
1702
Claims (36)
前記光学系で取得されたアナログ信号をデジタル信号に変換するA/D変換部と、
前記デジタル信号の出力値をDレンジ拡大率により拡大するDレンジ拡大部と、
前記露光量を減少させる信号を生成するとともに前記Dレンジ拡大率を増加させる信号を生成する制御部と、
を含む撮像装置。 An optical system for adjusting the exposure amount;
An A / D converter that converts an analog signal acquired by the optical system into a digital signal;
A D range expansion unit that expands the output value of the digital signal by a D range expansion rate;
A control unit for generating a signal for decreasing the exposure amount and generating a signal for increasing the D range expansion rate;
An imaging apparatus including:
請求項1記載の撮像装置。 Furthermore, a D range compression unit that compresses the value of the enlarged digital signal to a value within a predetermined range,
The imaging device according to claim 1.
前記Dレンジ圧縮部は、前記最大値が前記所定のレンジの最大値となるよう圧縮する、
請求項1または2のいずれかに記載の撮像装置。 Furthermore, a peak detection unit that extracts the maximum value of one piece of image data formed by the digital signal is included,
The D range compression unit compresses the maximum value to be the maximum value of the predetermined range;
The imaging device according to claim 1.
請求項1乃至3のいずれかに記載の撮像装置。 The control unit generates a signal for adjusting an exposure amount according to the maximum value;
The imaging device according to claim 1.
前記制御部は、前記代表値に応じて前記露光量を調整する信号を生成する、
請求項1から4のいずれかに記載の撮像装置。 And a representative value detecting unit for detecting a representative value of a predetermined area of one piece of image data formed by the digital signal,
The control unit generates a signal for adjusting the exposure amount according to the representative value;
The imaging device according to claim 1.
前記制御部は、前記代表値に応じて前記拡大率を調整する信号を生成する、
請求項1から4のいずれかに記載の撮像装置。 And a representative value detecting unit for detecting a representative value of a predetermined area of one piece of image data formed by the digital signal,
The control unit generates a signal for adjusting the enlargement ratio according to the representative value.
The imaging device according to claim 1.
前記Dレンジ拡大部は、前記代表値に応じて前記Dレンジ拡大率を調整する、
請求項1から4のいずれかに記載の撮像装置。 Furthermore, a face detection processing unit for extracting a representative value of the value of the digital signal included in the face area from the image data formed by the digital signal,
The D range expansion unit adjusts the D range expansion rate according to the representative value.
The imaging device according to claim 1.
所定の位置のデジタル信号の周囲明度値を抽出する周囲明度検出部と、
前記所定の位置のデジタル信号の値を入力とし、前記所定の位置のデジタル信号を入力値としたとき、前記入力値を前記所定の位置のデジタル信号についての周囲明度値に応じて異なる出力値に変換する変換特性を用いて、前記所定の位置のデジタル信号の値を変換して出力する動的階調補正部と、
を含む、
請求項2乃至7のいずれかに記載の撮像装置。 The D range compression unit
An ambient brightness detector for extracting the ambient brightness value of the digital signal at a predetermined position;
When the value of the digital signal at the predetermined position is an input and the digital signal at the predetermined position is an input value, the input value is changed to an output value that differs depending on the ambient lightness value for the digital signal at the predetermined position. A dynamic gradation correction unit that converts and outputs the value of the digital signal at the predetermined position using conversion characteristics to be converted;
including,
The imaging device according to claim 2.
請求項8記載の撮像装置。 The conversion characteristic is the range of the conversion characteristic with respect to the amount of change in the value of the input digital signal in a range where the value of the digital signal at the predetermined position and the ambient lightness value are approximately equal input values. The amount of change in the output value is equal to or greater than the amount of change due to the slope of the straight line passing through the point corresponding to the digital signal value at the predetermined position and the origin in the input / output characteristic graph of the conversion characteristic.
The imaging device according to claim 8.
前記変換特性は、m=xにおいて、
∂f(x,m)/∂x≧(f(x,m)/x)
なる関係を満たす変換特性である、
請求項8記載の撮像装置。 When the conversion characteristic is represented by a two-dimensional function f (x, m) by the value x of the digital signal at the predetermined position and the ambient lightness value m,
The conversion characteristic is as follows:
∂f (x, m) / ∂x ≧ (f (x, m) / x)
Is a conversion characteristic that satisfies the relationship
The imaging device according to claim 8.
請求項8から10のいずれかに記載の撮像装置。 The dynamic gradation correction unit is a two-dimensional lookup table that holds output values corresponding to the digital signal values and the ambient lightness value values as data.
The imaging device according to claim 8.
請求項11記載の撮像装置。 The control unit generates a signal for decreasing the exposure amount and a signal for increasing the D range expansion rate, and registers conversion characteristic data corresponding to the D range expansion rate in the lookup table.
The imaging device according to claim 11.
請求項8から11のいずれかに記載の撮像装置。 Further, the digital signal having the D range expanded by the D range expanding unit is input, and the value of the digital signal having a value larger than a predetermined value among the input digital signals is input to the input range of the D range compressing unit. Having a range value adjustment unit for converting to a value within
The imaging device according to claim 8.
請求項8から11のいずれかに記載の撮像装置。 Further, the maximum value of the value of the digital signal among the image data formed by the digital signal expanded by the D range by the D range expansion unit becomes the maximum value of the input range of the D range compression unit. Includes a peak adjuster that adjusts the value of the digital signal,
The imaging device according to claim 8.
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部から出力されたアナログの撮像画像をデジタル画像に変換するA/D変換部と、
所定の露光時間を均等に分割した時間で複数回に分けて次々に前記撮像部を露光し、複数枚の前記撮像画像が得られるように前記撮像部を駆動する駆動部と、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を生成し、出力するダイナミックレンジ拡大部と、
を備える撮像装置。 An optical system that collects light from the subject;
A light amount adjustment unit for adjusting the amount of light incident on the optical system;
An imaging unit that reads an image of the subject formed by the light condensed by the optical system and outputs an image signal that can form an image including pixels;
An A / D converter that converts an analog captured image output from the imaging unit into a digital image;
A drive unit that drives the imaging unit so as to obtain a plurality of the captured images by exposing the imaging unit one after another by dividing the predetermined exposure time into a plurality of times at equal intervals;
A plurality of digital images obtained by converting the plurality of captured images in the A / D conversion unit are expanded by adding a dynamic range for each pixel to generate a dynamic range expanded image in which the dynamic range is expanded; An output dynamic range expansion section;
An imaging apparatus comprising:
請求項15に記載の撮像装置。 A dynamic range compression unit that nonlinearly compresses the dynamic range of the dynamic range expanded image to a predetermined dynamic range;
The imaging device according to claim 15.
請求項15または請求項16に記載の撮像装置。 The dynamic range expansion unit has an output dynamic range that is at least larger than the input dynamic range,
The imaging device according to claim 15 or claim 16.
請求項16に記載の撮像装置。 The dynamic range compression unit compresses the dynamic range of the dynamic range expanded image using a conversion characteristic that changes according to an ambient lightness value for the image signal.
The imaging device according to claim 16.
請求項15から請求項18のいずれか1項に記載の撮像装置。 The light amount adjustment unit adjusts the amount of light incident on the optical system so that a predetermined brightness is obtained at a main part of the subject during the predetermined exposure time before the imaging unit is exposed to a plurality of times. Make adjustments,
The imaging device according to any one of claims 15 to 18.
前記ダイナミックレンジ拡大部は、前記手振れ検出部で検出された前記画像ずれの大きさとその方向に応じて前記画像ずれをなくす方向に前記デジタル画像をずらして加算する、
請求項15から請求項19のいずれか1項に記載の撮像装置。 A camera shake detection unit for detecting the magnitude and direction of image shift due to camera shake from two different digital images among the plurality of digital images;
The dynamic range expansion unit shifts and adds the digital image in a direction to eliminate the image shift according to the magnitude and direction of the image shift detected by the camera shake detection unit.
The imaging device according to any one of claims 15 to 19.
前記複数枚のデジタル画像のうち、前記手振れによる画像ずれをなくした異なる2枚の前記デジタル画像を画素ごとに比較することにより前記デジタル画像上の局所領域の被写体振れを検出する被写体振れ検出部をさらに備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ検出部で前記被写体振れが検出された場合、前記被写体振れがある画素を加算しない、
請求項20に記載の撮像装置。 The camera shake detection unit generates a plurality of digital images by shifting the image in a direction that eliminates image shift due to camera shake according to the output from the sensor,
A subject shake detection unit that detects subject shake in a local region on the digital image by comparing, for each pixel, two different digital images in which the image shift due to the hand shake is eliminated among the plurality of digital images. In addition,
The dynamic range expansion unit does not add pixels with the subject shake when the subject shake detection unit detects the subject shake;
The imaging device according to claim 20.
前記ダイナミックレンジ拡大部は、前記被写体振れ検出部で前記被写体振れが検出された場合、前記被写体振れがある画素を加算しない、
請求項15から請求項19のいずれか1項に記載の撮像装置。 A subject shake detection unit for detecting subject shake in a local area on the digital image by comparing two different digital images among the plurality of digital images for each pixel;
The dynamic range expansion unit does not add pixels with the subject shake when the subject shake detection unit detects the subject shake;
The imaging device according to any one of claims 15 to 19.
前記ダイナミックレンジ拡大部は、前記被写体振れ検出部で前記被写体振れが検出された場合、前記被写体振れがある画素を加算しない、
請求項15から請求項19のいずれか1項に記載の撮像装置。 A plurality of digital images subjected to camera shake correction are acquired, and among the acquired digital images, two different digital images are compared for each pixel, thereby subject shake in a local region on the digital image. A subject shake detection unit for detecting
The dynamic range expansion unit does not add pixels with the subject shake when the subject shake detection unit detects the subject shake;
The imaging device according to any one of claims 15 to 19.
請求項23に記載の撮像装置。 The subject shake detection unit detects the subject shake using the plurality of digital images subjected to the shake correction by the optical shake correction;
The imaging device according to claim 23.
前記被写体振れ検出部で前記被写体振れが検出された画素に対して前記被写体振れをなくすように座標を変換する座標変換部と、
をさらに備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ検出部で前記被写体振れが検出された画素に対しては前記座標変換部で変換された画素を加算する、
請求項20に記載の撮像装置。 A subject shake detection unit for detecting subject shake in a local area on the digital image by comparing, for each pixel, two different digital images in which the image shift due to the hand shake is eliminated among the plurality of digital images; ,
A coordinate conversion unit that converts coordinates so as to eliminate the subject shake with respect to a pixel in which the subject shake is detected by the subject shake detection unit;
Further comprising
The dynamic range expansion unit adds the pixels converted by the coordinate conversion unit to the pixels where the subject shake is detected by the subject shake detection unit,
The imaging device according to claim 20.
前記ダイナミックレンジ拡大部は、前記被写体振れ判断部が前記被写体振れをなくすことができないと判断した場合、前記被写体振れがある画素を加算しない、
請求項25に記載の撮像装置。 A subject shake determination unit that determines whether or not the subject shake can be eliminated;
The dynamic range expansion unit does not add pixels with the subject shake when the subject shake judgment unit determines that the subject shake cannot be eliminated;
The imaging device according to claim 25.
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部から出力されたアナログの撮像画像をデジタル画像に変換するA/D変換部と、
前記A/D変換部の出力が飽和しないように前記撮像部を複数回に分けて次々に露光し、複数枚の前記撮像画像が得られるように前記撮像部を駆動する駆動部と、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚の前記デジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大部と、
を備える撮像装置。 An optical system that collects light from the subject;
A light amount adjustment unit for adjusting the amount of light incident on the optical system;
An imaging unit that reads an image of the subject formed by the light condensed by the optical system and outputs an image signal that can form an image including pixels;
An A / D converter that converts an analog captured image output from the imaging unit into a digital image;
A drive unit that drives the imaging unit so that a plurality of the captured images are obtained by exposing the imaging unit in a plurality of times so that the output of the A / D conversion unit is not saturated;
The A / D conversion unit converts the plurality of captured images and adds the plurality of digital images obtained by expanding the dynamic range for each pixel and outputs a dynamic range expanded image in which the dynamic range is expanded. A dynamic range expansion section;
An imaging apparatus comprising:
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部の出力をA/D変換するA/D変換部と、
A/D変換部の出力値を調整するデジタル信号処理部と、
を備える撮像装置に用いられる撮像方法であって、
前記光量調整部を用いて前記光量を減少させる光量減少ステップと、
前記デジタル信号処理部を用いて、前記減少させた光量に応じた拡大率で、前記A/D変換部の出力のダイナミックレンジを線形に拡大するダイナミックレンジ拡大ステップと、
を含む撮像方法。 An optical system that collects light from the subject;
A light amount adjustment unit for adjusting the amount of light incident on the optical system;
An imaging unit that reads an image of the subject formed by the light condensed by the optical system and outputs an image signal that can form an image including pixels;
An A / D converter for A / D converting the output of the imaging unit;
A digital signal processing unit for adjusting an output value of the A / D conversion unit;
An imaging method used for an imaging apparatus comprising:
A light amount reduction step for reducing the light amount using the light amount adjustment unit;
Using the digital signal processing unit, a dynamic range expansion step for linearly expanding the dynamic range of the output of the A / D conversion unit at an expansion rate according to the reduced light amount;
An imaging method including:
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部から出力されたアナログの撮像画像をデジタル画像に変換するA/D変換部と、
を備える撮像装置に用いられる撮像方法であって、
所定の露光時間を均等に分割した時間で複数回に分けて次々に前記撮像部を露光し、複数枚の前記撮像画像が得られるように前記撮像部を駆動する駆動ステップと、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を生成し、出力するダイナミックレンジ拡大ステップと、
を備える撮像方法。 An optical system that collects light from the subject;
A light amount adjustment unit for adjusting the amount of light incident on the optical system;
An imaging unit that reads an image of the subject formed by the light condensed by the optical system and outputs an image signal that can form an image including pixels;
An A / D converter that converts an analog captured image output from the imaging unit into a digital image;
An imaging method used for an imaging apparatus comprising:
A drive step of driving the imaging unit so that a plurality of the captured images are obtained by exposing the imaging unit one after another by dividing the predetermined exposure time into a plurality of times evenly divided times;
A plurality of digital images obtained by converting the plurality of captured images in the A / D conversion unit are expanded by adding a dynamic range for each pixel to generate a dynamic range expanded image in which the dynamic range is expanded; Dynamic range expansion step to output,
An imaging method comprising:
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部から出力されたアナログの撮像画像をデジタル画像に変換するA/D変換部と、
を備える撮像装置に用いられる撮像方法であって、
前記A/D変換部の出力が飽和しないように前記撮像部を複数回に分けて次々に露光し、複数枚の前記撮像画像が得られるように前記撮像部を駆動する駆動ステップと、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚の前記デジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大ステップと、
を備える撮像方法。 An optical system that collects light from the subject;
A light amount adjustment unit for adjusting the amount of light incident on the optical system;
An imaging unit that reads an image of the subject formed by the light condensed by the optical system and outputs an image signal that can form an image including pixels;
An A / D converter that converts an analog captured image output from the imaging unit into a digital image;
An imaging method used for an imaging apparatus comprising:
A driving step of driving the imaging unit so that a plurality of the captured images are obtained by exposing the imaging unit in a plurality of times so that the output of the A / D conversion unit is not saturated;
The A / D conversion unit converts the plurality of captured images and adds the plurality of digital images obtained by expanding the dynamic range for each pixel and outputs a dynamic range expanded image in which the dynamic range is expanded. Dynamic range expansion step,
An imaging method comprising:
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部の出力をA/D変換するA/D変換部と、
A/D変換部の出力値を調整するデジタル信号処理部と、
前記光量調整部と前記デジタル信号処理部とを制御する制御部と、
を備える撮像装置の制御部で実行されるプログラムであって、
前記制御部に、
前記光量調整部を用いて前記光量を減少させるための信号を生成させるステップと、
前記デジタル信号処理部を用いて、前記減少させた量に応じた拡大率で、前記A/D変換部の出力のダイナミックレンジを線形に拡大させるための信号を生成させるダイナミックレンジ拡大ステップと、
を実行させるプログラム。 An optical system that collects light from the subject;
A light amount adjustment unit for adjusting the amount of light incident on the optical system;
An imaging unit that reads an image of the subject formed by the light condensed by the optical system and outputs an image signal that can form an image including pixels;
An A / D converter for A / D converting the output of the imaging unit;
A digital signal processing unit for adjusting an output value of the A / D conversion unit;
A control unit that controls the light amount adjustment unit and the digital signal processing unit;
A program executed by a control unit of an imaging apparatus comprising:
In the control unit,
Generating a signal for reducing the amount of light using the light amount adjustment unit;
A dynamic range expansion step of generating a signal for linearly expanding the dynamic range of the output of the A / D conversion unit at an expansion rate according to the reduced amount using the digital signal processing unit;
A program that executes
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部から出力されたアナログの撮像画像をデジタル画像に変換するA/D変換部と、
A/D変換部の出力値を調整するデジタル信号処理部と、
前記光量調整部と前記撮像部と前記デジタル信号処理部とを制御する制御部と、
を備える撮像装置の制御部で実行されるプログラムであって、
前記制御部に、
所定の露光時間を均等に分割した時間で複数回に分けて次々に前記撮像部を露光し、複数枚の前記撮像画像が得られるように前記撮像部を駆動させるための信号を生成する駆動ステップと、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算させ、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を生成し、出力させるための信号を生成するダイナミックレンジ拡大ステップと、
を実行させるためのプログラム。 An optical system that collects light from the subject;
A light amount adjustment unit for adjusting the amount of light incident on the optical system;
An imaging unit that reads an image of the subject formed by the light condensed by the optical system and outputs an image signal that can form an image including pixels;
An A / D converter that converts an analog captured image output from the imaging unit into a digital image;
A digital signal processing unit for adjusting an output value of the A / D conversion unit;
A control unit that controls the light amount adjustment unit, the imaging unit, and the digital signal processing unit;
A program executed by a control unit of an imaging apparatus comprising:
In the control unit,
Driving step of generating a signal for driving the imaging unit so that a plurality of the captured images are obtained by exposing the imaging unit one after another by dividing the predetermined exposure time into a plurality of times at equal intervals. When,
A plurality of digital images obtained by converting the plurality of captured images in the A / D conversion unit are expanded and added for each pixel to generate a dynamic range expanded image in which the dynamic range is expanded; A dynamic range expansion step for generating a signal for output;
A program for running
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部の出力をA/D変換するA/D変換部と、
を含む撮像装置に用いられる集積回路であって、
前記A/D変換部の出力のダイナミックレンジを線形に拡大するダイナミックレンジ拡大部と、
前記拡大の度合いと相反する量で、前記光量調節部の光量を調節する制御部と、
を備える集積回路。 An optical system that collects light from the subject;
A light amount adjustment unit for adjusting the amount of light incident on the optical system;
An imaging unit that reads an image of the subject formed by the light condensed by the optical system and outputs an image signal that can form an image including pixels;
An A / D converter for A / D converting the output of the imaging unit;
An integrated circuit used in an imaging device including:
A dynamic range expansion unit that linearly expands the dynamic range of the output of the A / D conversion unit;
A control unit for adjusting the light amount of the light amount adjustment unit by an amount opposite to the degree of expansion;
An integrated circuit comprising:
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部から出力されたアナログの撮像画像をデジタル画像に変換するA/D変換部と、
所定の露光時間を均等に分割した時間で複数回に分けて次々に前記撮像部を露光し、複数枚の前記撮像画像が得られるように前記撮像部を駆動する駆動部と、
を含む撮像装置に用いられる集積回路であって、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、
ダイナミックレンジを拡大したダイナミックレンジ拡大画像を生成し、出力するダイナミックレンジ拡大部、を備える集積回路。 An optical system that collects light from the subject;
A light amount adjustment unit for adjusting the amount of light incident on the optical system;
An imaging unit that reads an image of the subject formed by the light condensed by the optical system and outputs an image signal that can form an image including pixels;
An A / D converter that converts an analog captured image output from the imaging unit into a digital image;
A drive unit that drives the imaging unit so as to obtain a plurality of the captured images by exposing the imaging unit one after another by dividing the predetermined exposure time into a plurality of times at equal intervals;
An integrated circuit used in an imaging device including:
The A / D conversion unit adds a plurality of digital images obtained by converting the plurality of captured images by expanding the dynamic range for each pixel,
An integrated circuit including a dynamic range expansion unit that generates and outputs a dynamic range expansion image in which a dynamic range is expanded.
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部から出力されたアナログの撮像画像をデジタル画像に変換するA/D変換部と、
前記A/D変換部の出力が飽和しないように前記撮像部を複数回に分けて次々に露光し、複数枚の前記撮像画像が得られるように前記撮像部を駆動する駆動部と、
前記A/D変換部で前記複数枚の撮像画像を変換して得られた複数枚の前記デジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大部と、
を備える集積回路。 An integrated circuit used with an optical system that collects light from a subject,
A light amount adjustment unit for adjusting the amount of light incident on the optical system;
An imaging unit that reads an image of the subject formed by the light condensed by the optical system and outputs an image signal that can form an image including pixels;
An A / D converter that converts an analog captured image output from the imaging unit into a digital image;
A drive unit that drives the imaging unit so that a plurality of the captured images are obtained by exposing the imaging unit in a plurality of times so that the output of the A / D conversion unit is not saturated;
The A / D conversion unit converts the plurality of captured images and adds the plurality of digital images obtained by expanding the dynamic range for each pixel and outputs a dynamic range expanded image in which the dynamic range is expanded. A dynamic range expansion section;
An integrated circuit comprising:
前記画像処理プロセッサは、記憶されたプログラムの命令に従い、
A/D変換の出力値をDレンジ拡大率で拡大し、
拡大された信号が形成する画像データの最大値に応じて出力値を調整し、
調整された信号と前記信号に対する周囲明度値とに応じて、2次元のルックアップテーブルに保持された変換特性により、出力値を得る、
画像処理プロセッサ。 An image processor used in an imaging apparatus,
The image processor is in accordance with stored program instructions,
Expand the output value of A / D conversion with the D range expansion rate,
Adjust the output value according to the maximum value of the image data formed by the enlarged signal,
According to the adjusted signal and the ambient brightness value for the signal, an output value is obtained by the conversion characteristic held in the two-dimensional lookup table.
Image processor.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008032218A JP5133085B2 (en) | 2007-04-18 | 2008-02-13 | Imaging apparatus and imaging method |
US12/104,115 US8144214B2 (en) | 2007-04-18 | 2008-04-16 | Imaging apparatus, imaging method, integrated circuit, and storage medium |
US13/222,274 US20110317032A1 (en) | 2007-04-18 | 2011-08-31 | Imaging apparatus, imaging method, integrated circuit, and storage medium |
US13/222,313 US8488029B2 (en) | 2007-04-18 | 2011-08-31 | Imaging apparatus, imaging method, integrated circuit, and storage medium |
US13/915,827 US8711255B2 (en) | 2007-04-18 | 2013-06-12 | Visual processing apparatus and visual processing method |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007109891 | 2007-04-18 | ||
JP2007109890 | 2007-04-18 | ||
JP2007109890 | 2007-04-18 | ||
JP2007109891 | 2007-04-18 | ||
JP2008032218A JP5133085B2 (en) | 2007-04-18 | 2008-02-13 | Imaging apparatus and imaging method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012127285A Division JP5412553B2 (en) | 2007-04-18 | 2012-06-04 | Visual processing device and visual processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008289120A true JP2008289120A (en) | 2008-11-27 |
JP5133085B2 JP5133085B2 (en) | 2013-01-30 |
Family
ID=40148381
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008032218A Expired - Fee Related JP5133085B2 (en) | 2007-04-18 | 2008-02-13 | Imaging apparatus and imaging method |
JP2012127285A Expired - Fee Related JP5412553B2 (en) | 2007-04-18 | 2012-06-04 | Visual processing device and visual processing method |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012127285A Expired - Fee Related JP5412553B2 (en) | 2007-04-18 | 2012-06-04 | Visual processing device and visual processing method |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP5133085B2 (en) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011119944A (en) * | 2009-12-02 | 2011-06-16 | Canon Inc | Imaging apparatus and method of controlling the same |
WO2013145765A1 (en) * | 2012-03-30 | 2013-10-03 | 株式会社ニコン | Image pickup unit, image pickup device and image pickup control program |
WO2014181743A1 (en) * | 2013-05-07 | 2014-11-13 | 株式会社デンソー | Image processing device and image processing method |
KR20150024846A (en) * | 2012-06-29 | 2015-03-09 | 소니 주식회사 | Image processing device and method |
JPWO2013054607A1 (en) * | 2011-10-14 | 2015-03-30 | 株式会社モルフォ | Image processing apparatus, image processing method, image processing program, and recording medium |
JP2015136087A (en) * | 2014-01-20 | 2015-07-27 | オリンパス株式会社 | Imaging apparatus and imaging method |
US9129414B2 (en) | 2011-10-14 | 2015-09-08 | Morpho, Inc. | Image compositing apparatus, image compositing method, image compositing program, and recording medium |
KR101613532B1 (en) | 2009-11-11 | 2016-04-19 | 엘지이노텍 주식회사 | camera module |
JP2016146650A (en) * | 2016-03-14 | 2016-08-12 | オリンパス株式会社 | Imaging apparatus and imaging method, and display device and display method |
JP2017005373A (en) * | 2015-06-05 | 2017-01-05 | キヤノン株式会社 | Imaging device and control method therefor |
JP2017011367A (en) * | 2015-06-17 | 2017-01-12 | キヤノン株式会社 | Imaging apparatus and control method of the same |
JP2017034351A (en) * | 2015-07-29 | 2017-02-09 | キヤノン株式会社 | Imaging apparatus and control method therefor, program, and storage medium |
JP2018074285A (en) * | 2016-10-26 | 2018-05-10 | 株式会社デンソー | Imaging apparatus |
JP2018525853A (en) * | 2015-08-19 | 2018-09-06 | グーグル エルエルシー | Smart image sensor with integrated memory and processor |
JP2019110538A (en) * | 2014-05-16 | 2019-07-04 | パナソニックIpマネジメント株式会社 | Luminance conversion method, luminance conversion device, and video display device |
US10708565B2 (en) | 2014-05-16 | 2020-07-07 | Panasonic Intellectual Property Management Co., Ltd. | Method for converting luminance range of picture signal |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101805629B1 (en) * | 2013-05-07 | 2017-12-07 | 삼성전자주식회사 | Method and apparatus for processing image according to a condition of the image |
JP6840247B2 (en) * | 2017-08-18 | 2021-03-10 | 富士フイルム株式会社 | Imaging device, control method of imaging device, and control program of imaging device |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05115045A (en) * | 1990-10-08 | 1993-05-07 | Olympus Optical Co Ltd | Exposure control circuit for picture input device |
JP2007020071A (en) * | 2005-07-11 | 2007-01-25 | Casio Comput Co Ltd | Imaging apparatus, imaging method, and program |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2323100A3 (en) * | 2005-10-12 | 2012-03-21 | Panasonic Corporation | Visual processing apparatus, display apparatus, visual processing method, program and integrated circuit |
-
2008
- 2008-02-13 JP JP2008032218A patent/JP5133085B2/en not_active Expired - Fee Related
-
2012
- 2012-06-04 JP JP2012127285A patent/JP5412553B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05115045A (en) * | 1990-10-08 | 1993-05-07 | Olympus Optical Co Ltd | Exposure control circuit for picture input device |
JP2007020071A (en) * | 2005-07-11 | 2007-01-25 | Casio Comput Co Ltd | Imaging apparatus, imaging method, and program |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101613532B1 (en) | 2009-11-11 | 2016-04-19 | 엘지이노텍 주식회사 | camera module |
JP2011119944A (en) * | 2009-12-02 | 2011-06-16 | Canon Inc | Imaging apparatus and method of controlling the same |
JPWO2013054607A1 (en) * | 2011-10-14 | 2015-03-30 | 株式会社モルフォ | Image processing apparatus, image processing method, image processing program, and recording medium |
US9626750B2 (en) | 2011-10-14 | 2017-04-18 | Morpho, Inc. | Image processing method for a composite image and image processing device, image processing program, and recording medium therefor |
US9129414B2 (en) | 2011-10-14 | 2015-09-08 | Morpho, Inc. | Image compositing apparatus, image compositing method, image compositing program, and recording medium |
US9571767B2 (en) | 2012-03-30 | 2017-02-14 | Nikon Corporation | Imaging unit, imaging apparatus, and computer readable medium storing thereon an imaging control program |
US11082646B2 (en) | 2012-03-30 | 2021-08-03 | Nikon Corporation | Imaging unit, imaging apparatus, and computer readable medium storing thereon an imaging control program |
US9967480B2 (en) | 2012-03-30 | 2018-05-08 | Nikon Corporation | Imaging unit, imaging apparatus, and computer readable medium storing thereon an imaging control program |
WO2013145765A1 (en) * | 2012-03-30 | 2013-10-03 | 株式会社ニコン | Image pickup unit, image pickup device and image pickup control program |
US10652485B2 (en) | 2012-03-30 | 2020-05-12 | Nikon Corporation | Imaging unit, imaging apparatus, and computer readable medium storing thereon an imaging control program |
US11743608B2 (en) | 2012-03-30 | 2023-08-29 | Nikon Corporation | Imaging unit, imaging apparatus, and computer readable medium storing thereon an imaging control program |
JPWO2014002901A1 (en) * | 2012-06-29 | 2016-05-30 | ソニー株式会社 | Image processing apparatus and recording medium |
KR102161017B1 (en) * | 2012-06-29 | 2020-09-29 | 소니 주식회사 | Image processing device and at least one computer readable storage medium |
JP2018023154A (en) * | 2012-06-29 | 2018-02-08 | サターン ライセンシング エルエルシーSaturn Licensing LLC | Image processing device and recording medium |
KR20150024846A (en) * | 2012-06-29 | 2015-03-09 | 소니 주식회사 | Image processing device and method |
WO2014181743A1 (en) * | 2013-05-07 | 2014-11-13 | 株式会社デンソー | Image processing device and image processing method |
JP2014219790A (en) * | 2013-05-07 | 2014-11-20 | 株式会社デンソー | Image processor and image processing method |
US9800881B2 (en) | 2013-05-07 | 2017-10-24 | Denso Corporation | Image processing apparatus and image processing method |
JP2015136087A (en) * | 2014-01-20 | 2015-07-27 | オリンパス株式会社 | Imaging apparatus and imaging method |
US10708565B2 (en) | 2014-05-16 | 2020-07-07 | Panasonic Intellectual Property Management Co., Ltd. | Method for converting luminance range of picture signal |
JP2019110538A (en) * | 2014-05-16 | 2019-07-04 | パナソニックIpマネジメント株式会社 | Luminance conversion method, luminance conversion device, and video display device |
US11057600B2 (en) | 2014-05-16 | 2021-07-06 | Panasonic Intellectual Property Management Co., Ltd. | Method for converting luminance range of picture signal |
US11375168B2 (en) | 2014-05-16 | 2022-06-28 | Panasonic Intellectual Property Management Co., Ltd. | Method for converting luminance range of picture signal |
JP2017005373A (en) * | 2015-06-05 | 2017-01-05 | キヤノン株式会社 | Imaging device and control method therefor |
JP2017011367A (en) * | 2015-06-17 | 2017-01-12 | キヤノン株式会社 | Imaging apparatus and control method of the same |
JP2017034351A (en) * | 2015-07-29 | 2017-02-09 | キヤノン株式会社 | Imaging apparatus and control method therefor, program, and storage medium |
JP2018525853A (en) * | 2015-08-19 | 2018-09-06 | グーグル エルエルシー | Smart image sensor with integrated memory and processor |
US10547779B2 (en) | 2015-08-19 | 2020-01-28 | Google Llc | Smart image sensor having integrated memory and processor |
JP2016146650A (en) * | 2016-03-14 | 2016-08-12 | オリンパス株式会社 | Imaging apparatus and imaging method, and display device and display method |
JP2018074285A (en) * | 2016-10-26 | 2018-05-10 | 株式会社デンソー | Imaging apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP5412553B2 (en) | 2014-02-12 |
JP2012209951A (en) | 2012-10-25 |
JP5133085B2 (en) | 2013-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5133085B2 (en) | Imaging apparatus and imaging method | |
US8488029B2 (en) | Imaging apparatus, imaging method, integrated circuit, and storage medium | |
JP5171434B2 (en) | Imaging apparatus, imaging method, program, and integrated circuit | |
US10021313B1 (en) | Image adjustment techniques for multiple-frame images | |
US8228397B2 (en) | Image sensing apparatus and image processing method | |
JP4803284B2 (en) | Image processing apparatus and image processing program | |
US20100302405A1 (en) | Image sensing apparatus and image processing method | |
JP2007067907A (en) | Image pickup apparatus, image pickup method, and image pickup program; and image processor, image processing method, and image processing program | |
JP2012205244A (en) | Image processing device and method of controlling the same | |
CN110266954B (en) | Image processing method, image processing device, storage medium and electronic equipment | |
JP6624889B2 (en) | Video processing apparatus, video processing method, and video processing program | |
JP2012010048A (en) | Image signal processing device | |
JP4999871B2 (en) | Imaging apparatus and control method thereof | |
JP2014179920A (en) | Imaging apparatus, control method thereof, program, and storage medium | |
JP2010183460A (en) | Image capturing apparatus and method of controlling the same | |
JP5335964B2 (en) | Imaging apparatus and control method thereof | |
KR101923162B1 (en) | System and Method for Acquisitioning HDRI using Liquid Crystal Panel | |
JP6786273B2 (en) | Image processing equipment, image processing methods, and programs | |
JP2008219230A (en) | Imaging apparatus, and image processing method | |
JP6831493B2 (en) | Imaging equipment, imaging methods, and programs | |
JP6157274B2 (en) | Imaging apparatus, information processing method, and program | |
JP2010183461A (en) | Image capturing apparatus and method of controlling the same | |
JP2017068513A (en) | Image processing device and method thereof, program, and storage medium | |
JP2007235421A (en) | Imaging apparatus | |
JP2018181070A (en) | Image processing device and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110118 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120403 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120604 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121016 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121107 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151116 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5133085 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |