JP2017050893A - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP2017050893A
JP2017050893A JP2016231225A JP2016231225A JP2017050893A JP 2017050893 A JP2017050893 A JP 2017050893A JP 2016231225 A JP2016231225 A JP 2016231225A JP 2016231225 A JP2016231225 A JP 2016231225A JP 2017050893 A JP2017050893 A JP 2017050893A
Authority
JP
Japan
Prior art keywords
image data
exposure
image
exposure condition
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016231225A
Other languages
Japanese (ja)
Other versions
JP6222335B2 (en
Inventor
義史 笹井
Yoshifumi Sasai
義史 笹井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2016231225A priority Critical patent/JP6222335B2/en
Publication of JP2017050893A publication Critical patent/JP2017050893A/en
Application granted granted Critical
Publication of JP6222335B2 publication Critical patent/JP6222335B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To reduce random noise generated in a wide dynamic range image.SOLUTION: An imaging device includes an imaging part for generating image data imaged on a first exposure condition, and image data imaged on a second exposure condition on which an exposure amount is smaller than an exposure amount by the first exposure condition, and an image processing part for generating composite image data obtained by compositing image data obtained by compositing a plurality of pieces of image data picked up on the first exposure condition and image data picked up on the second exposure condition. The image processing part changes the number of a plurality of pieces of image data during compositing the plurality of pieces of image data picked up on the first exposure condition with the sensitivity of the imaging part.SELECTED DRAWING: Figure 2

Description

本発明は、複数回の撮像により取得した複数枚の画像を合成して1枚の合成画像を得る撮像装置に関するものである。   The present invention relates to an imaging apparatus that combines a plurality of images acquired by a plurality of imaging operations to obtain a single composite image.

従来、ダイナミックレンジの広い画像(以下「広ダイナミックレンジ画像」と称す)を生成するために、露光量を変えて撮像した同一被写体の複数の画像を、例えば加算平均による合成をして1枚の合成画像を得る撮像装置が知られている(特許文献1)。この撮像装置の画像合成手段は、標準より多い露光量で得られた画像データを低輝度側のデータとし、標準の露光量で得られた画像データを高輝度側のデータとし、標準より少ない露光量で得られた画像データを超高輝度側のデータとして、全てもしくは任意の組み合わせで画像データを合成している。   Conventionally, in order to generate an image with a wide dynamic range (hereinafter referred to as a “wide dynamic range image”), a plurality of images of the same subject picked up with different exposure amounts are combined by, for example, addition averaging to form one image An imaging apparatus that obtains a composite image is known (Patent Document 1). The image synthesizing means of this image pickup device uses image data obtained with an exposure amount larger than the standard as data on the low luminance side, and image data obtained with the standard exposure amount as data on the high luminance side. The image data obtained by the amount is combined as the data on the ultra-high brightness side, or the image data is synthesized in any combination.

特開平7−135599号公報Japanese Unexamined Patent Publication No. 7-135599

ところで、CCDやCMOSイメージセンサ等の撮像素子は、高出力(低ISO感度)のときに固定パターンノイズが生じやすく、また、低出力(高ISO感度)のときには光ショットノイズ等のランダムノイズが生じやすい。固定パターンノイズは、ある程度条件が同じであれば値が推測できるノイズであるため、画像処理等で軽減することができるのに対し、ランダムノイズは不特定の位置に発生するため画像処理等での軽減が難しい。   By the way, an image sensor such as a CCD or CMOS image sensor tends to generate fixed pattern noise at high output (low ISO sensitivity), and random noise such as light shot noise at low output (high ISO sensitivity). Cheap. Fixed pattern noise is a noise whose value can be estimated if the conditions are the same to some extent, so it can be reduced by image processing, etc., whereas random noise occurs at unspecified positions, so image processing, etc. Mitigation is difficult.

本発明は、上記課題を解決するために、広ダイナミックレンジ画像に生じるランダムノイズを低減するように工夫した撮像装置を提供することを目的とする。   In order to solve the above problems, an object of the present invention is to provide an imaging device devised to reduce random noise generated in a wide dynamic range image.

本発明の一態様では、撮像装置は、第1の露光条件で撮像した画像データと、前記第1の露光条件による露光量よりも露光量が少なくなる第2の露光条件で撮像した画像データとを生成する撮像部と;前記第1の露光条件で撮像された複数の画像データを合成した画像データと、前記第2の露光条件で撮像された画像データとを合成した合成画像データを生成する画像処理部と;を備え、前記画像処理部は、前記第1の露光条件で撮像された複数の画像データを合成するときの前記複数の画像データの数を、前記撮像部の感度により変更する。あるいは、撮像装置は、第1の露光条件で撮像した画像データと、前記第1の露光条件による露光量よりも露光量が少なくなる第2の露光条件で撮像した画像データとを生成する撮像部と;前記第1の露光条件で撮像された複数の画像データを合成した画像データと、前記第2の露光条件で撮像された複数の画像データを合成した画像データとを合成した合成画像データを生成する画像処理部と;を備え、前記画像処理部は、前記第1の露光条件で撮像された複数の画像データを合成するときの前記複数の画像データの数と、前記第2の露光条件で撮像された複数の画像データを合成するときの前記複数の画像データの数とを、前記撮像部の感度により変更する。あるいは、撮像装置は、第1の露光条件で撮像した画像データと、前記第1の露光条件による露光量よりも露光量が少なくなる第2の露光条件で撮像した画像データとを生成する撮像部と;前記撮像部の感度が所定値よりも高い場合、前記第1の露光条件で撮像された複数の画像データを合成した画像データと、前記第2の露光条件で撮像された複数の画像データを合成した画像データとを合成した合成画像データを生成する画像処理部と;を備える。
本発明の別態様では、撮像装置は、第1の露光条件で撮像した画像データと、前記第1の露光条件による露光量よりも露光量が少なくなる第2の露光条件で撮像した画像データとを生成する撮像部と;前記撮像部の感度が所定値よりも高い場合、前記第1の露光条件で撮像された複数の画像データを合成した画像データと、前記第2の露光条件で撮像された画像データとを合成した合成画像データを生成する画像処理部と;を備える。
本発明の別態様では、撮像装置は、第1の露光条件で撮像した画像データと、前記第1の露光条件よりも露光量が少ない第2の露光条件で撮像した画像データとを生成する撮像部と;前記第1の露光条件で撮像された複数の画像データを合成した画像データと、前記第2の露光条件で撮像された複数の画像データを合成した画像データとを合成した合成画像データを生成する画像処理部と;を備える。あるいは、撮像装置は、第1の露光条件で撮像した画像データと、前記第1の露光条件よりも露光量が少ない第2の露光条件で撮像した画像データとを生成する撮像部と;前記第2の露光条件で撮像された複数の画像データを合成した画像データと、前記第1の露光条件で撮像された画像データとを合成した合成画像データを生成する画像処理部と;を備え、前記画像処理部は、前記第2の露光条件で撮像された複数の画像データを合成するときの前記複数の画像データの数を、前記撮像部の感度により変更する。
本発明の別態様では、撮像装置は、撮像素子の感度を設定する設定手段と;前記撮像素子により同一被写体を異なる露光量で撮像して生成した複数枚の本処理用画像データを合成して1枚の広ダイナミックレンジ画像データを生成する本処理合成手段と;前記設定手段で設定される感度が閾値未満の低感度の場合、前記被写体を標準露光よりも少ない露光量で複数回撮像して生成した複数枚の前処理用画像データを合成して1枚のノイズ軽減用画像データを生成し、前記ノイズ軽減用画像データを前記本処理用画像データのうちの最も露光量が低い露光条件で撮像した画像データとして出力する前処理合成手段と;を備える。
In one aspect of the present invention, the imaging apparatus captures image data captured under a first exposure condition, and image data captured under a second exposure condition in which the exposure amount is smaller than the exposure amount according to the first exposure condition. A composite image data obtained by combining image data obtained by combining a plurality of image data picked up under the first exposure condition and image data picked up under the second exposure condition An image processing unit, and the image processing unit changes the number of the plurality of image data when combining the plurality of image data captured under the first exposure condition according to sensitivity of the imaging unit. . Alternatively, the imaging apparatus generates image data captured under the first exposure condition and image data captured under the second exposure condition in which the exposure amount is smaller than the exposure amount based on the first exposure condition. Combined image data obtained by combining image data obtained by combining a plurality of image data captured under the first exposure condition and image data obtained by combining a plurality of image data captured under the second exposure condition. An image processing unit for generating the image processing unit, wherein the image processing unit includes the number of the plurality of image data when combining the plurality of image data captured under the first exposure condition, and the second exposure condition. The number of the plurality of pieces of image data when combining the plurality of pieces of image data picked up in (1) is changed according to the sensitivity of the image pickup unit. Alternatively, the imaging apparatus generates image data captured under the first exposure condition and image data captured under the second exposure condition in which the exposure amount is smaller than the exposure amount based on the first exposure condition. And when the sensitivity of the imaging unit is higher than a predetermined value, image data obtained by combining a plurality of image data captured under the first exposure condition and a plurality of image data captured under the second exposure condition An image processing unit that generates synthesized image data obtained by synthesizing the image data obtained by synthesizing the image data.
In another aspect of the present invention, the imaging apparatus includes image data captured under a first exposure condition, and image data captured under a second exposure condition in which the exposure amount is smaller than the exposure amount according to the first exposure condition. An imaging unit for generating image data; when the sensitivity of the imaging unit is higher than a predetermined value, image data obtained by combining a plurality of image data captured under the first exposure condition and the second exposure condition An image processing unit that generates combined image data obtained by combining the image data.
In another aspect of the present invention, the imaging device generates image data captured under a first exposure condition and image data captured under a second exposure condition having a smaller exposure amount than the first exposure condition. A combined image data obtained by combining image data obtained by combining a plurality of image data imaged under the first exposure condition and image data obtained by combining a plurality of image data imaged under the second exposure condition. And an image processing unit for generating. Alternatively, the imaging device generates image data captured under a first exposure condition and image data captured under a second exposure condition with a smaller exposure amount than the first exposure condition; An image processing unit that generates composite image data obtained by combining image data obtained by combining a plurality of image data captured under the exposure condition 2 and image data captured under the first exposure condition, The image processing unit changes the number of the plurality of image data when combining the plurality of image data captured under the second exposure condition, depending on the sensitivity of the imaging unit.
In another aspect of the present invention, the imaging apparatus combines setting means for setting the sensitivity of the imaging device; and a plurality of main processing image data generated by imaging the same subject with different exposure amounts by the imaging device. A main image synthesizing unit for generating a single wide dynamic range image data; and when the sensitivity set by the setting unit is a low sensitivity less than a threshold, the subject is imaged a plurality of times with an exposure amount smaller than the standard exposure The plurality of generated preprocessing image data are combined to generate one noise reduction image data, and the noise reduction image data is exposed under the exposure condition with the lowest exposure amount of the main processing image data. Preprocessing synthesis means for outputting as captured image data.

前処理合成手段は、前処理用画像データを取得するための撮像回数を、低感度と判定した範囲のうちの低感度程、撮像回数が増えるように、感度に応じて変更するのが望ましい。   It is desirable that the preprocessing combining unit changes the number of times of imaging for acquiring the preprocessing image data according to the sensitivity so that the number of times of imaging increases as the sensitivity decreases in the range determined to be low sensitivity.

前処理合成手段としては、前処理用画像データの中から所定条件に基づいて基準画像データを決める決定部と;前記基準画像データを基準として前記前処理用画像データの位置合わせ処理を行う位置合わせ処理手段と;で構成するのが、高画質な画像が得られるため好適である。   The preprocessing composition means includes: a determination unit that determines reference image data based on a predetermined condition from preprocessing image data; and alignment that performs alignment processing of the preprocessing image data using the reference image data as a reference It is preferable to use the processing means; because a high-quality image can be obtained.

また、前処理合成手段としては、設定手段で設定される感度が閾値を超える高感度の場合、複数枚の本処理用画像データを構成する、最も露光量が低い露光条件で撮像した短時間露光画像データ、標準の露光条件で撮像した標準露光画像データ、及び最も露光量が高い露光条件で撮像した長時間露光データのそれぞれを、複数枚の前処理用画像データを合成して作るのが、高感度撮影時に生じ易いランダムノイズを軽減することができるため好適である。   In addition, as the pre-processing synthesis means, when the sensitivity set by the setting means is high sensitivity exceeding the threshold value, the short-time exposure imaged under the exposure condition with the lowest exposure amount constituting a plurality of main processing image data Each of image data, standard exposure image data imaged under standard exposure conditions, and long-time exposure data imaged under the exposure conditions with the highest exposure amount is created by combining a plurality of preprocessing image data. This is preferable because random noise that is likely to occur during high-sensitivity imaging can be reduced.

この場合、短時間露光画像データ用の前処理用画像データを取得するための撮像回数を「A」、前記標準露光画像データ用の前処理用画像データを取得するための撮像回数を「B」、及び前記長時間露光データ用の前処理用画像データを取得するための撮像回数を「C」とすると、A>B>Cの関係を満足するのが望ましい。   In this case, the number of times of imaging for acquiring pre-processing image data for short-time exposure image data is “A”, and the number of times of imaging for acquiring pre-processing image data for standard exposure image data is “B”. If the number of times of imaging for acquiring the pre-processing image data for the long-time exposure data is “C”, it is desirable that the relationship of A> B> C is satisfied.

この場合、前処理合成手段は、前処理用画像データを取得するための撮像回数を、高感度と判定した範囲のうちの高感度程、撮像回数が増えるように、感度に応じて変更するのが好適である。   In this case, the preprocessing synthesis unit changes the number of times of imaging for acquiring the preprocessing image data according to the sensitivity so that the number of times of imaging increases as the sensitivity increases in the range determined to be high sensitivity. Is preferred.

本発明では、本処理用画像データのうちの最も露光量が低い露光条件で撮像した画像データを、複数回撮像して得た前処理用画像データを合成して作るので、ランダムノイズを確実に軽減することができる。   In the present invention, the image data captured under the exposure condition with the lowest exposure amount among the image data for main processing is created by combining the pre-processing image data obtained by imaging a plurality of times. Can be reduced.

本発明を用いた電子カメラの電気的概略を示すブロック図である。It is a block diagram which shows the electrical outline of the electronic camera using this invention. 画像処理回路の詳しい構成を示すブロック図である。It is a block diagram which shows the detailed structure of an image processing circuit. 位置合わせ処理の構成を示すブロック部である。It is a block part which shows the structure of the alignment process. 合成撮影モードの動作手順を示すフローチャートである。It is a flowchart which shows the operation | movement procedure of composite imaging | photography mode. 高感度時の動作手順を示すフローチャート図である。It is a flowchart figure which shows the operation | movement procedure at the time of high sensitivity. 図5で説明した動作手順の続きを示すフローチャート図である。FIG. 6 is a flowchart showing a continuation of the operation procedure described in FIG. 5. 低感度の範囲における短時間露光画像データの取得枚数を変えた例を示す説明図である。It is explanatory drawing which shows the example which changed the acquisition number of the short-time exposure image data in the range of a low sensitivity. 高感度の範囲における短時間露光、標準露光、及び長時間露光との各画像データの取得枚数をそれぞれ変えた例を示す説明図である。It is explanatory drawing which shows the example which each changed the acquisition number of each image data with the short time exposure in the range of high sensitivity, standard exposure, and long time exposure.

本発明の撮像装置の一実施形態として電子カメラを説明する。電子カメラは、1回のシャッタレリーズに応答して、撮像素子により異なる露光量で撮像して得た複数枚の画像データを合成して1枚の広ダイナミックレンジ画像データを生成する合成撮影モードを有する。   An electronic camera will be described as an embodiment of the imaging apparatus of the present invention. In response to one shutter release, the electronic camera has a composite shooting mode in which a plurality of pieces of image data obtained by imaging with different exposure amounts by an image sensor are combined to generate one wide dynamic range image data. Have.

電子カメラ10は、図1に示すうに、レンズ光学系11、絞り12,メカシャッタ13、撮像素子14、AFETG(アナログフロントエンド・タイミングジェネレータ)15、レンズ駆動部16、絞り駆動部17、シャッタ駆動部18、AE・AF回路19、制御部20、操作部21、LCD22、画像処理回路23、RAM24、ROM25、VRAM26、不揮発生メモリ27、メモリスロット28、及び外部メモリ29等で構成される。   As shown in FIG. 1, the electronic camera 10 includes a lens optical system 11, an aperture 12, a mechanical shutter 13, an image sensor 14, an AFETG (analog front-end timing generator) 15, a lens driving unit 16, an aperture driving unit 17, and a shutter driving unit. 18, an AE / AF circuit 19, a control unit 20, an operation unit 21, an LCD 22, an image processing circuit 23, a RAM 24, a ROM 25, a VRAM 26, a nonvolatile raw memory 27, a memory slot 28, an external memory 29, and the like.

レンズ駆動部16は、レンズ光学系11の変倍及び合焦動作を行う。絞り駆動部17は、絞り12を駆動する。シャッタ駆動部18は、メカシャッタ13を駆動する。撮像素子14は、レンズ光学系11、及び絞り12を介して結像される被写体像を光電変換するCCDやCMOS等のイメージセンサである。   The lens driving unit 16 performs zooming and focusing operations of the lens optical system 11. The aperture driving unit 17 drives the aperture 12. The shutter drive unit 18 drives the mechanical shutter 13. The image sensor 14 is an image sensor such as a CCD or CMOS that photoelectrically converts a subject image formed through the lens optical system 11 and the diaphragm 12.

AFETG15は、TG(タイミングジェネレータ)30、V−driver(垂直駆動部)31、及びAFE(アナログフロントエンド)32で構成される。   The AFET G15 includes a TG (timing generator) 30, a V-driver (vertical drive unit) 31, and an AFE (analog front end) 32.

TG30は、V−driver31を介して画像信号の読み出しタイミングを撮像素子14に与える。AFE32は、撮像素子14から読み出されるアナログの画像信号のノイズ除去やアナログゲインアップにより増幅を行った後、A/D変換してデジタルの画像データに変換し、変換した画像データをAE・AF回路19と画像処理回路23に出力する。   The TG 30 gives the readout timing of the image signal to the image sensor 14 via the V-driver 31. The AFE 32 amplifies the analog image signal read from the image sensor 14 by removing noise or increasing the analog gain, and then A / D converts it to digital image data. The converted image data is converted into an AE / AF circuit. 19 and the image processing circuit 23.

AE・AF回路19は、画像データのコントラスト情報に基づいてフォーカスを制御するAF(オートフォーカス)情報、及び画像データに基づいて最適なAE(オートエクスポージャ)情報やホワイトバランス情報をそれぞれ取り出して制御部20に送る。制御部20は、AF情報、AE情報、及びホワイトバランス情報に基づいてレンズ駆動部17、絞り駆動部17、及び画像処理回路23等を制御する。   The AE / AF circuit 19 extracts and controls AF (autofocus) information for controlling focus based on contrast information of image data, and optimum AE (auto exposure) information and white balance information based on image data. Send to part 20. The control unit 20 controls the lens driving unit 17, the aperture driving unit 17, the image processing circuit 23, and the like based on the AF information, the AE information, and the white balance information.

画像処理回路23は、ホワイトバランス処理、圧縮符号化、復号処理、画像合成処理等が含まれる。VRAM26は、LCD22に表示するための画像メモリである。LCD22には、撮像された画像の表示、カメラの各種設定のメニューや撮影モードの表示が行われる。   The image processing circuit 23 includes white balance processing, compression encoding, decoding processing, image composition processing, and the like. The VRAM 26 is an image memory for displaying on the LCD 22. The LCD 22 displays a captured image, a menu of various camera settings, and a shooting mode.

メモリスロット28には、外部メモリ29が着脱自在に接続される。外部メモリ29には、画像処理回路23で生成される圧縮符号化された画像データが保存される。   An external memory 29 is detachably connected to the memory slot 28. The external memory 29 stores the compressed and encoded image data generated by the image processing circuit 23.

RAM24は、制御部20や画像処理回路23のワークエリアとして使用される。ROM25には、制御部20が実行するプログラムが格納されている。不揮発性メモリ27は、電子カメラ10の各種の調整データや、ユーザによって設定された撮影モードや感度(ISO感度)等を格納する。   The RAM 24 is used as a work area for the control unit 20 and the image processing circuit 23. The ROM 25 stores a program executed by the control unit 20. The non-volatile memory 27 stores various adjustment data of the electronic camera 10, a shooting mode and sensitivity (ISO sensitivity) set by the user, and the like.

制御部20は、ROM25に記憶されているプログラムに従って動作するCPU(中央演算処理部)を中心に構成され、電子カメラ10の各部を制御する。例えば、制御部20は、撮像素子14の画像信号を読み出す指示をAFETG15のTG30に与え、撮像素子14から読み出した画像信号を、AFE32を介して画像処理回路23に入力し、画像処理回路23でその時点の撮影モードに対応する処理等を実行した後に、処理済みの画像データを、バス33を介して外部メモリ29に記録するように制御する。   The control unit 20 is configured around a CPU (central processing unit) that operates according to a program stored in the ROM 25 and controls each unit of the electronic camera 10. For example, the control unit 20 gives an instruction to read the image signal of the image sensor 14 to the TG 30 of the AFETG 15, inputs the image signal read from the image sensor 14 to the image processing circuit 23 via the AFE 32, and the image processing circuit 23 After the processing corresponding to the shooting mode at that time is executed, the processed image data is controlled to be recorded in the external memory 29 via the bus 33.

操作部21は、感度設定部、モード設定部、シャッタボタン、及び電源ボタン等で構成されており、これらは制御部20に操作信号や設定信号を送る。感度設定部は、撮像素子14の感度(ISO感度)を複数段階に変更するための操作部である。感度は、予め任意の感度に定められている。   The operation unit 21 includes a sensitivity setting unit, a mode setting unit, a shutter button, a power button, and the like, which send operation signals and setting signals to the control unit 20. The sensitivity setting unit is an operation unit for changing the sensitivity (ISO sensitivity) of the image sensor 14 in a plurality of stages. Sensitivity is set to an arbitrary sensitivity in advance.

制御部20は、AE・AF回路19から被写体輝度情報を得ると、感度と被写体輝度とで決まる適正露出に近づくように、その時点に設定されている感度に対応したプログラム線図に従って標準の露光量(絞り値とシャッター速度値で求まる露光量)を決定する。   When the control unit 20 obtains the subject luminance information from the AE / AF circuit 19, the standard exposure is performed according to the program diagram corresponding to the sensitivity set at that time so as to approach the appropriate exposure determined by the sensitivity and the subject luminance. The amount (exposure amount obtained from the aperture value and shutter speed value) is determined.

モード設定部は、合成撮影モード、通常撮影モード、及び再生モードのうちのいずれか一つを択一的に選択する操作部である。合成撮影モードは、撮像素子14により同一被写体を、異なる露光量で撮像して生成した複数枚の本処理用画像データを合成して1枚の広ダイナミックレンジ画像データを得るモードである。   The mode setting unit is an operation unit that selectively selects any one of the composite shooting mode, the normal shooting mode, and the playback mode. The composite shooting mode is a mode in which a single wide dynamic range image data is obtained by combining a plurality of main processing image data generated by imaging the same subject with different exposure amounts by the image sensor 14.

合成撮影モードの時には、撮像素子14の蓄積時間を可変する電子シャッタと絞り17の組み合わせで露光量を制御する。なお、シャッタ速度としては、電子シャッタの代わりに、例えばメカシャッタ13の開閉で決定してもよいし、露光の最初のタイミングを電子シャッタで取り、露光終了をメカシャッタ13で決定してもよい。   In the composite shooting mode, the exposure amount is controlled by a combination of an electronic shutter that changes the accumulation time of the image sensor 14 and the diaphragm 17. The shutter speed may be determined by, for example, opening / closing the mechanical shutter 13 instead of the electronic shutter, or the exposure timing may be determined by the electronic shutter, and the end of exposure may be determined by the mechanical shutter 13.

通常撮影モードは、標準の露出量で撮像素子14により1回撮像して1枚の画像データを生成するモードである。再生モードは、外部メモリ29に記録した画像データをLCD22に再生するモードである。   The normal shooting mode is a mode in which one image is generated by the image sensor 14 with a standard exposure amount and one image data is generated. The reproduction mode is a mode in which image data recorded in the external memory 29 is reproduced on the LCD 22.

制御部20は、図2に示すように、感度判定部35、及びカウンタ36を有する。感度判定部35は、撮影時に感度設定部に設定されている設定感度を認識するとともに、認識した感度を予め決められている閾値とを比較して高感度か低感度かを判定する。カウンタ36は、画像データの取り込み回数をカウントする。制御部20は、感度判定部35で判定した感度に応じて、アナログの画像データをAFE32のアナログゲインアップで増幅するときの度合いを変更する。   As illustrated in FIG. 2, the control unit 20 includes a sensitivity determination unit 35 and a counter 36. The sensitivity determination unit 35 recognizes the set sensitivity set in the sensitivity setting unit at the time of shooting and compares the recognized sensitivity with a predetermined threshold value to determine whether the sensitivity is high or low. The counter 36 counts the number of times image data has been captured. The control unit 20 changes the degree at which the analog image data is amplified by increasing the analog gain of the AFE 32 according to the sensitivity determined by the sensitivity determination unit 35.

画像処理回路23は、振分け部37、前処理合成部38、及び本処理合成部39を備えている。振分け部37は、画像データを前処理合成部38と本処理合成部39に振り分けるものであり、この振り分け処理は、高感度又は低感度の時の前処理用の画像データか本処理用の画像データかに基づいて制御部20により制御される。   The image processing circuit 23 includes a distribution unit 37, a preprocessing composition unit 38, and a main processing composition unit 39. The distribution unit 37 distributes the image data to the pre-processing synthesis unit 38 and the main-processing synthesis unit 39, and this distribution processing is either pre-processing image data at high sensitivity or low sensitivity or an image for main processing. It is controlled by the control unit 20 based on the data.

本処理合成部39は、合成撮影モードの時に、異なる露光量で撮像した複数枚の本処理用画像データを合成して1枚の広ダイナミックレンジ画像データを生成する処理を行う。本処理用画像データは、例えば、短時間露光画像データ、標準露光画像データ、及び長時間露光画像データで構成されている。短時間露光画像データは、撮像素子14により標準より少ない露光量で撮像して生成した画像データである。標準露光画像データは、撮像素子14により標準の露光量で撮像して生成した画像データである。長時間露光画像データは、撮像素子14により標準よりも多い露光量で撮像して生成した画像データである。   The main processing composition unit 39 performs processing for generating one wide dynamic range image data by combining a plurality of main processing image data captured with different exposure amounts in the composite photographing mode. The image data for processing is composed of, for example, short exposure image data, standard exposure image data, and long exposure image data. The short-time exposure image data is image data generated by capturing an image with an exposure amount smaller than the standard by the image sensor 14. The standard exposure image data is image data generated by imaging with a standard exposure amount by the image sensor 14. The long-exposure image data is image data generated by imaging with an exposure amount larger than the standard by the image sensor 14.

前処理合成部38は、合成撮影モードの時に低感度と判定した場合、ランダムノイズを軽減するために、撮像素子14により標準よりも少ない露光量で撮像して生成した複数枚の前処理用画像データを合成して1枚のノイズ軽減用画像データを生成し、ノイズ軽減用画像データを本処理用画像データのうちの短時間露光画像データとして本処理合成部39に出力する。   When the preprocessing composition unit 38 determines that the sensitivity is low in the composite photographing mode, a plurality of preprocessing images generated by imaging with an exposure amount smaller than the standard by the imaging device 14 in order to reduce random noise. The data is synthesized to generate one piece of noise reduction image data, and the noise reduction image data is output to the main processing synthesis unit 39 as short exposure image data of the main processing image data.

また、前処理合成部38は、合成撮影モードの時に高感度と判定した場合、撮像素子14により標準よりも少ない露光量で撮像して生成した複数枚の画像データを1枚の画像データに合成したものを短時間露光画像データとし、また、標準の露光量で撮像して生成した複数枚の画像データを1枚の画像データに合成したものを標準露光画像データとし、さらに、標準よりも多い露光量で撮像して生成した複数枚の画像データを1枚の画像データに合成したものを長時間露光画像データとしてそれぞれ本処理合成部39に出力する。   In addition, when it is determined that the sensitivity is high in the composite shooting mode, the preprocessing combining unit 38 combines a plurality of pieces of image data generated by imaging with an exposure amount smaller than the standard by the image sensor 14 into one piece of image data. The short-exposure image data is used as the short-exposure image data, and a plurality of pieces of image data generated by imaging with the standard exposure amount are combined into one image data, and the standard exposure image data is used. A combination of a plurality of pieces of image data generated by imaging with an exposure amount and one piece of image data is output to the processing composition unit 39 as long-time exposure image data.

前処理及び本処理合成部38,39は、バッファメモリ40,44、位置合わせ処理41,45、及び画像合成43,47をそれぞれ備えている。バッファメモリ40,44は、複数の画像データを一時的に記憶する。位置合わせ処理41,45は、各画像データを比較して、各画像データの位置が一致するように座標を修正する処理を行う。画像合成43,47は、修正した座標の情報に基づいて各画像データを加算した後に、画像データの枚数で除算する平均化処理を行って1枚の画像データを生成する。   The preprocessing and main processing synthesis units 38 and 39 include buffer memories 40 and 44, alignment processing 41 and 45, and image synthesis 43 and 47, respectively. The buffer memories 40 and 44 temporarily store a plurality of image data. The alignment processes 41 and 45 perform a process of comparing the image data and correcting the coordinates so that the positions of the image data match. The image compositing 43 and 47 add each image data based on the corrected coordinate information, and then perform an averaging process of dividing by the number of image data to generate one piece of image data.

位置合わせ処理41,45は、図3に示すように、評価部48、決定部49、及び位置合わせ部50で構成されている。評価部48は、所定の条件、例えば画像データのレベル(明るさ)、コントラスト、及び空間周波数の高周波成分とのうちの少なくとも1つを求めて各画像データを評価する。この場合、画像データの白黒レベルが飽和レベルに達していない画像データのうちの最も明るい画像データほど、又は最もコントラスト値が高い画像データほど、あるいは最も高周波成分が多い画像データほど評価値を高くする。   As shown in FIG. 3, the alignment processes 41 and 45 include an evaluation unit 48, a determination unit 49, and an alignment unit 50. The evaluation unit 48 evaluates each image data by obtaining at least one of a predetermined condition, for example, a level (brightness) of image data, a contrast, and a high frequency component of spatial frequency. In this case, the evaluation value is increased as the brightest image data among the image data whose monochrome level of the image data does not reach the saturation level, the image data with the highest contrast value, or the image data with the highest high-frequency component. .

なお、代わりに、各画像データから主要被写体を検出し、検出した主要被写体の動き量が小さい程評価値を高くする条件や、フォーカス状態、主要被写体の変形度合い等の評価で基準の画像データを決めても良い。   Instead, the main subject is detected from each image data, and the reference image data is obtained by evaluating the condition that the evaluation value is increased as the detected amount of movement of the main subject is smaller, the focus state, the degree of deformation of the main subject, etc. You can decide.

決定部49は、評価部48で求めた各画像データの評価値に基づいて最も合成に適した画像データを基準画像データとして決定する。位置合わせ部50は、基準画像データを基準として残りの画像データに対して座標位置が一致するように位置合わせ処理を行う。これにより、画像合成43,47で合成される画像データは、画質が向上する。なお、評価部48で、各画像データの評価をした後に、評価値が予め決めた閾値よりも低い場合には、その画像データを合成に使用しないように選択する処理を行うようにしてもよい。   The determination unit 49 determines the image data most suitable for synthesis based on the evaluation value of each image data obtained by the evaluation unit 48 as the reference image data. The alignment unit 50 performs alignment processing so that the coordinate position matches the remaining image data with reference to the reference image data. Thereby, the image quality of the image data synthesized by the image synthesis 43 and 47 is improved. Note that, after the evaluation unit 48 evaluates each image data, if the evaluation value is lower than a predetermined threshold value, a process of selecting the image data not to be used for composition may be performed. .

次に上記構成の作用を、図4を参照しながら説明する。撮像素子14の感度は、初期値、例えばISO感度「400」に予め設定されている。撮影者は、広ダイナミックレンジ画像を撮影する場合には、合成撮影モードを選択する。   Next, the operation of the above configuration will be described with reference to FIG. The sensitivity of the image sensor 14 is set in advance to an initial value, for example, ISO sensitivity “400”. The photographer selects the composite shooting mode when shooting a wide dynamic range image.

制御部20は、1回のシャッヤレリーズに応答して、その時点の標準露光量を決定し(S−1)、また、その時点の撮影モードを確認し(S−2)、さらに、合成撮影モードの場合には、その時点で設定されている感度が閾値未満か否かを判定する(S−3)。例えば、設定感度がISO感度「50」で、閾値がISO感度「600」である場合には設定感度が低感度であると判定する。   In response to one shutter release, the control unit 20 determines the standard exposure amount at that time (S-1), confirms the shooting mode at that time (S-2), and further combines. In the case of the shooting mode, it is determined whether or not the sensitivity set at that time is less than a threshold value (S-3). For example, when the set sensitivity is ISO sensitivity “50” and the threshold is ISO sensitivity “600”, it is determined that the set sensitivity is low.

制御部20は、低感度と判定した場合、標準より少ない露光量、例えば「−1EV」の露光補正をした露光量に設定して撮像素子14で連写的に撮像することで複数枚、例えば5枚の前処理用画像データを取得し(S−4)、振分け部37を制御して5枚の前処理用画像データを前処理合成部38のバッファメモリ40に取り込む。   When it is determined that the sensitivity is low, the control unit 20 sets an exposure amount that is smaller than the standard exposure amount, for example, an exposure amount that has been corrected for exposure of “−1 EV”, and continuously captures images by the image sensor 14, for example, Five pieces of preprocessing image data are acquired (S-4), and the distribution unit 37 is controlled to fetch the five pieces of preprocessing image data into the buffer memory 40 of the preprocessing composition unit 38.

前処理合成部38は、制御部20からカウントアップに応答する信号を受け取ることで、バッファメモリ40から5枚の前処理用画像データを順に読み出し、各前処理用画像データについて評価部48で予め決めた条件に基づいて評価を行い、評価結果に基づいて基準の画像データを決定部49で決定し(S−5)、位置合わせ部50で基準の画像データに基づいて残りの画像データに対して位置合わせ処理を行い(S−6)、その後に画像合成43で、基準画像データに対して位置合わせ処理済みの画像データを順に加算平均化処理により合成をして本処理用の短時間露光画像データを生成し(S−7)、短時間露光画像データを本処理合成部39のバッファメモリ44に出力する。   The preprocessing synthesis unit 38 receives a signal responding to the count-up from the control unit 20 and sequentially reads out the five preprocessing image data from the buffer memory 40, and the evaluation unit 48 preliminarily reads each preprocessing image data. Evaluation is performed based on the determined conditions, reference image data is determined by the determination unit 49 based on the evaluation result (S-5), and the registration unit 50 determines the remaining image data based on the reference image data. Then, alignment processing is performed (S-6), and then image composition 43 synthesizes the image data that has undergone alignment processing with respect to the reference image data in order by addition averaging processing, and performs short exposure for this processing. Image data is generated (S-7), and the short-time exposure image data is output to the buffer memory 44 of the processing composition unit 39.

なお、5枚の前処理用画像データを取得する時には、制御部20は、カウンタ36を初期化し(S−8)、カウンタ36で短時間露光での撮像回数をカウントし(S−9)、その撮像回数が予め決められた回数に達したか否かを判定する(S−10)。   Note that when acquiring five pieces of preprocessing image data, the control unit 20 initializes the counter 36 (S-8), and counts the number of times of imaging in short exposure with the counter 36 (S-9). It is determined whether the number of times of imaging has reached a predetermined number (S-10).

引き続き制御部20は、標準の露光量に変えて1枚撮像して本処理用の標準露光画像データを生成し(S−11)、振分け部37を制御して標準露光画像データを本処理合成部39のバッファメモリ44に取り込み、引き続き、標準より多い露光量、例えば「+1EV」の露光補正をした露光量に設定して1枚撮像して本処理用の長時間露光画像データを生成し(S−12)、長時間露光画像データをバッファメモリ44に取り込む。   Subsequently, the control unit 20 changes the standard exposure amount to capture one image and generates standard exposure image data for main processing (S-11), and controls the distribution unit 37 to combine the standard exposure image data with the main processing composition. Then, the image is taken into the buffer memory 44 of the unit 39 and subsequently set to an exposure amount that is larger than the standard exposure amount, for example, “+1 EV” exposure correction, and one image is taken to generate long-exposure image data for this processing ( S-12) The long-time exposure image data is taken into the buffer memory 44.

本処理合成部39は、短時間露光画像データ、標準露光画像データ、及び長時間露光画像データとの3つの本処理用画像データがバッファメモリ44に取り込まれることに応答して、位置合わせ処理45で前述した位置合わせ処理41と同じ処理を行って基準の画像データを決定し(S−13)、基準の画像データに対して残りの画像データについてそれぞれ位置合わせ処理を行って(S−14)、基準の画像データに対して位置合わせ処理済みの画像データを加算平均化処理により順に合成をして広ダイナミックレンジ画像データを生成し(S−15)、広ダイナミックレンジ画像データを外部メモリ29に記録する。低感度判定での合成撮影モードで得られる広ダイナミックレンジ画像は、白とびや黒つぶれの発生を抑えることに加えて、低感度撮影で生じ易いランダムノイズを低減した画像になる。   In response to the three main processing image data, that is, the short-exposure image data, the standard exposure image data, and the long-exposure image data, being fetched into the buffer memory 44, the main processing composition unit 39 performs the alignment processing 45. The reference image data is determined by performing the same process as the alignment process 41 described above (S-13), and the remaining image data is aligned with the reference image data (S-14). Then, the image data that has undergone the alignment processing with respect to the reference image data is sequentially combined by the averaging process to generate wide dynamic range image data (S-15), and the wide dynamic range image data is stored in the external memory 29. Record. The wide dynamic range image obtained in the composite shooting mode with low sensitivity determination is an image in which random noise that is likely to occur in low sensitivity shooting is reduced in addition to suppressing the occurrence of overexposure and underexposure.

次に、感度判定部35が図4(S―3)の判定において例えば設定感度がISO[800]の場合、設定感度が閾値を超えるため、高感度であると判定する。この場合、図5に示すように、制御部20は、標準より少ない露光量、例えば「−1EV」の露光補正をした露光量に設定して撮像素子14で連写的に撮像することで複数枚、例えば6枚の前処理用画像データを取得し(S−16)、振分け部37を制御して6枚の前処理用画像データを前処理合成部38のバッファメモリ40に取り込む。   Next, for example, when the setting sensitivity is ISO [800] in the determination of FIG. 4 (S-3), the sensitivity determination unit 35 determines that the sensitivity is high because the setting sensitivity exceeds the threshold. In this case, as shown in FIG. 5, the control unit 20 sets the exposure amount smaller than the standard, for example, the exposure amount corrected for exposure of “−1 EV”, and captures a plurality of images by continuously shooting with the image sensor 14. 6 pieces of pre-processing image data, for example, 6 sheets are acquired (S-16), and the distribution unit 37 is controlled to fetch the 6 pieces of pre-processing image data into the buffer memory 40 of the pre-processing composition unit 38.

前処理合成部38は、制御部20から短時間露光での撮影回数がカウントアップすることに応答して、バッファメモリ40から6枚の前処理用画像データを順に読み出し、前述した同じ処理を位置合わせ処理41、及び画像合成43で行って(S−17)、本処理用の短時間露光画像データを生成し(S−18)、短時間露光画像データを本処理合成部39のバッファメモリ44に出力する。   The preprocessing composition unit 38 sequentially reads the six pieces of preprocessing image data from the buffer memory 40 in response to the increase in the number of shootings in the short exposure from the control unit 20, and performs the same processing as described above. This is performed in the alignment process 41 and the image composition 43 (S-17) to generate short-exposure image data for the main process (S-18), and the short-exposure image data is stored in the buffer memory 44 of the main process composition unit 39. Output to.

引き続き制御部20は、標準の露光量に設定して撮像素子14で連写的に撮像することで、短時間露光で撮像する枚数よりも少ない複数枚、例えば4枚の前処理用画像データを取得し(S−19)、振分け部37を制御して4枚の前処理用画像データを前処理合成部38のバッファメモリ40に取り込む。   Subsequently, the control unit 20 sets the standard exposure amount and continuously captures images with the image sensor 14, thereby obtaining a plurality of pre-processing image data, for example, four images, which are smaller than the number of images to be captured with short exposure. (S-19), the distribution unit 37 is controlled, and the four preprocessing image data are taken into the buffer memory 40 of the preprocessing composition unit 38.

前処理合成部38は、制御部20から標準露光での撮影回数がカウントアップすることに応答して、バッファメモリ40から4枚の前処理用画像データを順に読み出し、前述した同じ処理を位置合わせ処理41、及び画像合成43で行って(S−20)、本処理用の標準露光画像データを生成し(S−21)、標準露光画像データを本処理合成部39のバッファメモリ44に出力する。   In response to the increase in the number of shootings with standard exposure from the control unit 20, the preprocessing composition unit 38 sequentially reads four preprocessing image data from the buffer memory 40 and aligns the same processing described above. The processing 41 and the image composition 43 are performed (S-20) to generate standard exposure image data for the main processing (S-21), and the standard exposure image data is output to the buffer memory 44 of the main processing composition section 39. .

引き続き制御部20は、図6に示すように、標準よりも多い露光量、例えば「+1EV」の露出補正をした露光量に設定して撮像素子14で連写的に撮像することで、標準露光で撮像する枚数よりも少ない複数枚、例えば2枚の前処理用画像データを取得し(S−22)、振分け部37を制御して2枚の前処理用画像データを前処理合成部38のバッファメモリ40に取り込む。   Subsequently, as shown in FIG. 6, the control unit 20 sets the exposure amount larger than the standard exposure amount, for example, the exposure amount corrected for exposure of “+1 EV”, and continuously captures images with the image sensor 14, so that the standard exposure is performed. A plurality of, for example, two pieces of preprocessing image data, which are smaller than the number of images to be picked up, are acquired (S-22), and the distribution unit 37 is controlled so that the two pieces of preprocessing image data are obtained by the preprocessing composition unit 38. Capture to buffer memory 40.

前処理合成部38は、制御部20から標準露光での撮影回数がカウントアップすることに応答して、バッファメモリ40から2枚の前処理用画像データを順に読み出し、前述した同じ処理を位置合わせ処理41、及び画像合成43で行って(S−23)、本処理用の長時間露光画像データを生成し(S−24)、長時間露光画像データを本処理合成部39のバッファメモリ44に出力する。   In response to the increase in the number of shootings with standard exposure from the control unit 20, the preprocessing composition unit 38 sequentially reads two preprocessing image data from the buffer memory 40 and aligns the same processing described above. The processing 41 and the image composition 43 are performed (S-23) to generate long exposure image data for the main processing (S-24), and the long exposure image data is stored in the buffer memory 44 of the main processing composition section 39. Output.

そして、図4(S−13〜S−15)で説明したように、本処理合成部39は、3つの本処理用画像データがバッファメモリ44に取り込まれることに応答して、位置合わせ処理45で基準の画像データを決定し(S−25)、基準の画像データに対して残りの画像データについてそれぞれ位置合わせ処理を行って(S−26)、基準の画像データに対して位置合わせ処理済みの画像データを加算平均化処理により順に合成をして広ダイナミックレンジ画像データを生成し(S−27)、広ダイナミックレンジ画像データを外部メモリ29に記録する。高感度判定で生成した広ダイナミックレンジ画像は、白とびや黒つぶれの発生を抑えることに加えて、高感度撮影時に生じ易いランダムノイズを低減した画像になる。   Then, as described in FIG. 4 (S-13 to S-15), the main processing composition unit 39 responds to the three main processing image data being taken into the buffer memory 44, and the alignment processing 45. In step S-25, the reference image data is determined (S-25), the remaining image data is aligned with respect to the reference image data (S-26), and the reference image data is aligned. The image data is sequentially synthesized by the addition averaging process to generate wide dynamic range image data (S-27), and the wide dynamic range image data is recorded in the external memory 29. The wide dynamic range image generated by the high sensitivity determination is an image in which random noise that is likely to occur during high sensitivity shooting is reduced in addition to suppressing the occurrence of overexposure and blackout.

なお、制御部20は、広ダイナミックレンジ画像データを記録した後に、バッファメモリ40,44をクリアする制御を行うことが望ましい。   Note that the control unit 20 desirably performs control to clear the buffer memories 40 and 44 after recording the wide dynamic range image data.

また、上記実施形態では、感度に応じて決められた撮影枚数、露出補正値は、前述した数値に限らないことはいうまでもない。例えば図7に示すように、設定感度が閾値未満の範囲において、設定感度が低感度程、短時間露光画像データの取得枚数を増やすのが好適である。また、例えば図8に示すように、設定感度が閾値を超える範囲において設定感度が高感度程、短時間露光、標準露光、及び長時間露光との各画像データの取得枚数をそれぞれ増やすのが好適である。なお、短時間露光、標準露光、及び長時間露光との各画像データの取得枚数を順にA、B、Cとすると、A>B>Cの関係を保つように、各画像データの取得枚数を変更するのが好適である。   Further, in the above embodiment, it goes without saying that the number of shots and the exposure correction value determined according to the sensitivity are not limited to the above-described numerical values. For example, as shown in FIG. 7, it is preferable to increase the number of acquired short-time exposure image data as the setting sensitivity is lower in the range where the setting sensitivity is less than the threshold. Further, for example, as shown in FIG. 8, it is preferable to increase the number of acquired image data for each of the short time exposure, the standard exposure, and the long time exposure as the set sensitivity is higher in a range where the set sensitivity exceeds the threshold. It is. If the number of acquired image data for short-time exposure, standard exposure, and long-time exposure is A, B, and C in order, the acquired number of image data is set so as to maintain the relationship of A> B> C. It is preferable to change.

手動で設定する場合には、操作部にカーソルボタンやOKボタン等の変更操作部を設け、これら操作部を用いて、例えば低感度と判定した時における短時間露光での撮影枚数、及び高感度における短時間露光での撮影枚数、標準露光での撮影枚数、長時間露光での撮影枚数を各々設定すればよい。   In the case of manual setting, a change operation unit such as a cursor button or an OK button is provided in the operation unit, and using these operation units, for example, the number of shots taken in a short exposure when determined as low sensitivity, and high sensitivity The number of shots taken with short exposure, the number of shots taken with standard exposure, and the number of shots taken with long exposure may be set.

上記実施形態では、短時間露光、標準露光、及び長時間露光との3つの画像データを合成して広ダイナミックレンジ画像を生成しているが、本発明ではこれに限らず、露光の異なる2つの画像データを合成して、又は超低時間露光や超長時間露光の画像データを追加した4つ以上の画像データを合成して広ダイナミックレンジ画像を生成してもよい。   In the embodiment described above, a wide dynamic range image is generated by synthesizing three image data of the short exposure, the standard exposure, and the long exposure. However, the present invention is not limited to this, and two exposures with different exposures are generated. A wide dynamic range image may be generated by synthesizing image data or by synthesizing four or more image data to which image data of ultra-low time exposure or ultra-long time exposure is added.

上記実施形態では、低感度と判定した時には、最初に前処理用画像を短時間露光で複数回撮像し、次に標準露光での撮像、最後に長時間露光での撮像の順としているが、本発明ではその順に限らず、例えば逆の順、あるいは最初に標準露光での撮像し、次に短時間露光で複数回撮像、最後に長時間露光での撮像の順にしてもよい。   In the above embodiment, when it is determined that the sensitivity is low, first the pre-processing image is imaged a plurality of times with short exposure, then imaging with standard exposure, and finally imaging with long exposure, In the present invention, the order is not limited to the above order. For example, imaging may be performed in the reverse order, or first in standard exposure, then multiple times in short exposure, and finally in long exposure.

また、高感度と判定した時も同様に、短時間露光画像データ用の前処理用画像データを取得するために撮像する期間、標準露光画像データ用の前処理用画像データを取得するための撮像期間、及び長時間露光データ用の前処理用画像データを取得するための撮像期間の順はいずれの順でもよい。   Similarly, when it is determined that the sensitivity is high, the imaging period for acquiring the preprocessing image data for the short exposure image data, the imaging period for acquiring the preprocessing image data for the standard exposure image data, The order of the period and the imaging period for acquiring the preprocessing image data for the long exposure data may be any order.

上記実施形態では、画像データを取得する毎に位置合わせ処理をして合成しているが、先に全ての撮像を行って画像データをRAMに記録しておき、撮影完了後にRAMから合成対象の画像データを読み出して合成していくように構成してもよい。また、先に全ての撮像を行って画像データをフラッシュメモリ等に記録しておき、予め画像処理ソフトを電子カメラ等にインストールしておき、撮影後にそのソフトを実行して撮像した複数枚の画像データを合成するようにしてもよい。   In the above-described embodiment, each time image data is acquired, alignment processing is performed and combined. However, all imaging is performed first and image data is recorded in the RAM. You may comprise so that image data may be read and synthesize | combined. In addition, all images are taken first and image data is recorded in a flash memory or the like, and image processing software is installed in an electronic camera or the like in advance. You may make it synthesize | combine data.

さらに、上記実施形態では本発明を電子カメラ10に使用して説明しているが、本発明ではこれに限らず、ビデオカメラやテレビカメラ等に使用することができる。   Furthermore, although the present invention has been described using the electronic camera 10 in the above embodiment, the present invention is not limited to this and can be used for a video camera, a television camera, and the like.

14 撮像素子
12 絞り
13 メカシャッタ
15 AFETG
23 画像処理回路
38 前処理合成部
39 本処理合成部
14 Image sensor 12 Aperture 13 Mechanical shutter 15 AFETG
23 Image processing circuit 38 Pre-processing synthesis unit 39 Main processing synthesis unit

Claims (4)

第1の露光条件で撮像した画像データと、前記第1の露光条件による露光量よりも露光量が少なくなる第2の露光条件で撮像した画像データとを生成する撮像部と、
前記第1の露光条件で撮像された複数の画像データを合成した画像データと、前記第2の露光条件で撮像された画像データとを合成した合成画像データを生成する画像処理部とを備え、
前記画像処理部は、前記第1の露光条件で撮像された複数の画像データを合成するときの前記複数の画像データの数を、前記撮像部の感度により変更する撮像装置。
An imaging unit that generates image data captured under a first exposure condition and image data captured under a second exposure condition in which an exposure amount is smaller than an exposure amount according to the first exposure condition;
An image processing unit that generates image data obtained by synthesizing a plurality of image data captured under the first exposure condition and image data captured under the second exposure condition;
The image processing unit is an imaging apparatus that changes the number of the plurality of pieces of image data when combining the plurality of pieces of image data captured under the first exposure condition according to sensitivity of the imaging unit.
前記画像処理部で合成する前記複数の画像データの数を、前記撮像部の感度が高いほど多くする請求項1に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the number of the plurality of image data to be synthesized by the image processing unit is increased as the sensitivity of the imaging unit is higher. 第1の露光条件で撮像した画像データと、前記第1の露光条件による露光量よりも露光量が少なくなる第2の露光条件で撮像した画像データとを生成する撮像部と、
前記第1の露光条件で撮像された複数の画像データを合成した画像データと、前記第2の露光条件で撮像された複数の画像データを合成した画像データとを合成した合成画像データを生成する画像処理部とを備え、
前記画像処理部は、前記第1の露光条件で撮像された複数の画像データを合成するときの前記複数の画像データの数と、前記第2の露光条件で撮像された複数の画像データを合成するときの前記複数の画像データの数とを、前記撮像部の感度により変更する撮像装置。
An imaging unit that generates image data captured under a first exposure condition and image data captured under a second exposure condition in which an exposure amount is smaller than an exposure amount according to the first exposure condition;
Generating composite image data by combining image data obtained by combining a plurality of image data imaged under the first exposure condition and image data obtained by combining the plurality of image data imaged under the second exposure condition; An image processing unit,
The image processing unit combines the number of the plurality of image data when combining the plurality of image data captured under the first exposure condition and the plurality of image data captured under the second exposure condition. An image pickup apparatus that changes the number of the plurality of pieces of image data at the time of performing depending on the sensitivity of the image pickup unit.
第1の露光条件で撮像した画像データと、前記第1の露光条件による露光量よりも露光量が少なくなる第2の露光条件で撮像した画像データとを生成する撮像部と、
前記撮像部の感度が所定値よりも高い場合、前記第1の露光条件で撮像された複数の画像データを合成した画像データと、前記第2の露光条件で撮像された複数の画像データを合成した画像データとを合成した合成画像データを生成する画像処理部と、
を備える撮像装置。
An imaging unit that generates image data captured under a first exposure condition and image data captured under a second exposure condition in which an exposure amount is smaller than an exposure amount according to the first exposure condition;
When the sensitivity of the image pickup unit is higher than a predetermined value, the image data obtained by combining the plurality of image data picked up under the first exposure condition and the plurality of image data picked up under the second exposure condition are combined. An image processing unit that generates composite image data obtained by combining the image data that has been processed;
An imaging apparatus comprising:
JP2016231225A 2016-11-29 2016-11-29 Imaging device Active JP6222335B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016231225A JP6222335B2 (en) 2016-11-29 2016-11-29 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016231225A JP6222335B2 (en) 2016-11-29 2016-11-29 Imaging device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015246384A Division JP6052379B2 (en) 2015-12-17 2015-12-17 Imaging device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017194837A Division JP6519625B2 (en) 2017-10-05 2017-10-05 Imaging device

Publications (2)

Publication Number Publication Date
JP2017050893A true JP2017050893A (en) 2017-03-09
JP6222335B2 JP6222335B2 (en) 2017-11-01

Family

ID=58280438

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016231225A Active JP6222335B2 (en) 2016-11-29 2016-11-29 Imaging device

Country Status (1)

Country Link
JP (1) JP6222335B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007013270A (en) * 2005-06-28 2007-01-18 Olympus Corp Imaging apparatus
JP2007049227A (en) * 2005-08-05 2007-02-22 Canon Inc Image processing apparatus and method thereof
US20080253758A1 (en) * 2007-04-13 2008-10-16 Choon Hwee Yap Image processing method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007013270A (en) * 2005-06-28 2007-01-18 Olympus Corp Imaging apparatus
JP2007049227A (en) * 2005-08-05 2007-02-22 Canon Inc Image processing apparatus and method thereof
US20080253758A1 (en) * 2007-04-13 2008-10-16 Choon Hwee Yap Image processing method

Also Published As

Publication number Publication date
JP6222335B2 (en) 2017-11-01

Similar Documents

Publication Publication Date Title
JP5857444B2 (en) Imaging device
JP4404823B2 (en) Imaging device
US8368771B2 (en) Generating a synthesized image from a plurality of images
JP5411842B2 (en) Imaging device
US9210333B2 (en) Image capturing apparatus for generating composite image and control method thereof
US9277135B2 (en) Image-pickup apparatus, control method for the same, and non-transitory computer-readable storage medium
US7245318B2 (en) Imaging apparatus that corrects an imbalance in output levels of image data
JP2013258444A (en) Image processing device, image processing method, and program
US9892497B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP4606486B2 (en) Image processing apparatus and photographing apparatus
JP2006262220A (en) Imaging apparatus
JP2012239076A (en) Imaging device and method
JP2009213032A (en) Wide dynamic range image formation processing apparatus
JP6242129B2 (en) Imaging device, control method thereof, and control program
JP6222335B2 (en) Imaging device
JP6052379B2 (en) Imaging device
JP6769519B2 (en) Imaging device
JP7081635B2 (en) Image processing equipment
JP6519625B2 (en) Imaging device
JP2015080157A (en) Image processing device, image processing method and program
JP2005142953A (en) Digital image pickup apparatus
JP6990988B2 (en) Control method of image pickup device and image sensor
JP2014027460A (en) Imaging apparatus, camera system, control method of imaging apparatus, program and storage medium
JP6849351B2 (en) Image processing equipment, image processing methods, and programs
JP2014022992A (en) Imaging apparatus and imaging method

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20170323

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170323

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170327

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170918

R150 Certificate of patent or registration of utility model

Ref document number: 6222335

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250