JP2017050893A - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP2017050893A JP2017050893A JP2016231225A JP2016231225A JP2017050893A JP 2017050893 A JP2017050893 A JP 2017050893A JP 2016231225 A JP2016231225 A JP 2016231225A JP 2016231225 A JP2016231225 A JP 2016231225A JP 2017050893 A JP2017050893 A JP 2017050893A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- exposure
- image
- exposure condition
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、複数回の撮像により取得した複数枚の画像を合成して1枚の合成画像を得る撮像装置に関するものである。 The present invention relates to an imaging apparatus that combines a plurality of images acquired by a plurality of imaging operations to obtain a single composite image.
従来、ダイナミックレンジの広い画像(以下「広ダイナミックレンジ画像」と称す)を生成するために、露光量を変えて撮像した同一被写体の複数の画像を、例えば加算平均による合成をして1枚の合成画像を得る撮像装置が知られている(特許文献1)。この撮像装置の画像合成手段は、標準より多い露光量で得られた画像データを低輝度側のデータとし、標準の露光量で得られた画像データを高輝度側のデータとし、標準より少ない露光量で得られた画像データを超高輝度側のデータとして、全てもしくは任意の組み合わせで画像データを合成している。 Conventionally, in order to generate an image with a wide dynamic range (hereinafter referred to as a “wide dynamic range image”), a plurality of images of the same subject picked up with different exposure amounts are combined by, for example, addition averaging to form one image An imaging apparatus that obtains a composite image is known (Patent Document 1). The image synthesizing means of this image pickup device uses image data obtained with an exposure amount larger than the standard as data on the low luminance side, and image data obtained with the standard exposure amount as data on the high luminance side. The image data obtained by the amount is combined as the data on the ultra-high brightness side, or the image data is synthesized in any combination.
ところで、CCDやCMOSイメージセンサ等の撮像素子は、高出力(低ISO感度)のときに固定パターンノイズが生じやすく、また、低出力(高ISO感度)のときには光ショットノイズ等のランダムノイズが生じやすい。固定パターンノイズは、ある程度条件が同じであれば値が推測できるノイズであるため、画像処理等で軽減することができるのに対し、ランダムノイズは不特定の位置に発生するため画像処理等での軽減が難しい。 By the way, an image sensor such as a CCD or CMOS image sensor tends to generate fixed pattern noise at high output (low ISO sensitivity), and random noise such as light shot noise at low output (high ISO sensitivity). Cheap. Fixed pattern noise is a noise whose value can be estimated if the conditions are the same to some extent, so it can be reduced by image processing, etc., whereas random noise occurs at unspecified positions, so image processing, etc. Mitigation is difficult.
本発明は、上記課題を解決するために、広ダイナミックレンジ画像に生じるランダムノイズを低減するように工夫した撮像装置を提供することを目的とする。 In order to solve the above problems, an object of the present invention is to provide an imaging device devised to reduce random noise generated in a wide dynamic range image.
本発明の一態様では、撮像装置は、第1の露光条件で撮像した画像データと、前記第1の露光条件による露光量よりも露光量が少なくなる第2の露光条件で撮像した画像データとを生成する撮像部と;前記第1の露光条件で撮像された複数の画像データを合成した画像データと、前記第2の露光条件で撮像された画像データとを合成した合成画像データを生成する画像処理部と;を備え、前記画像処理部は、前記第1の露光条件で撮像された複数の画像データを合成するときの前記複数の画像データの数を、前記撮像部の感度により変更する。あるいは、撮像装置は、第1の露光条件で撮像した画像データと、前記第1の露光条件による露光量よりも露光量が少なくなる第2の露光条件で撮像した画像データとを生成する撮像部と;前記第1の露光条件で撮像された複数の画像データを合成した画像データと、前記第2の露光条件で撮像された複数の画像データを合成した画像データとを合成した合成画像データを生成する画像処理部と;を備え、前記画像処理部は、前記第1の露光条件で撮像された複数の画像データを合成するときの前記複数の画像データの数と、前記第2の露光条件で撮像された複数の画像データを合成するときの前記複数の画像データの数とを、前記撮像部の感度により変更する。あるいは、撮像装置は、第1の露光条件で撮像した画像データと、前記第1の露光条件による露光量よりも露光量が少なくなる第2の露光条件で撮像した画像データとを生成する撮像部と;前記撮像部の感度が所定値よりも高い場合、前記第1の露光条件で撮像された複数の画像データを合成した画像データと、前記第2の露光条件で撮像された複数の画像データを合成した画像データとを合成した合成画像データを生成する画像処理部と;を備える。
本発明の別態様では、撮像装置は、第1の露光条件で撮像した画像データと、前記第1の露光条件による露光量よりも露光量が少なくなる第2の露光条件で撮像した画像データとを生成する撮像部と;前記撮像部の感度が所定値よりも高い場合、前記第1の露光条件で撮像された複数の画像データを合成した画像データと、前記第2の露光条件で撮像された画像データとを合成した合成画像データを生成する画像処理部と;を備える。
本発明の別態様では、撮像装置は、第1の露光条件で撮像した画像データと、前記第1の露光条件よりも露光量が少ない第2の露光条件で撮像した画像データとを生成する撮像部と;前記第1の露光条件で撮像された複数の画像データを合成した画像データと、前記第2の露光条件で撮像された複数の画像データを合成した画像データとを合成した合成画像データを生成する画像処理部と;を備える。あるいは、撮像装置は、第1の露光条件で撮像した画像データと、前記第1の露光条件よりも露光量が少ない第2の露光条件で撮像した画像データとを生成する撮像部と;前記第2の露光条件で撮像された複数の画像データを合成した画像データと、前記第1の露光条件で撮像された画像データとを合成した合成画像データを生成する画像処理部と;を備え、前記画像処理部は、前記第2の露光条件で撮像された複数の画像データを合成するときの前記複数の画像データの数を、前記撮像部の感度により変更する。
本発明の別態様では、撮像装置は、撮像素子の感度を設定する設定手段と;前記撮像素子により同一被写体を異なる露光量で撮像して生成した複数枚の本処理用画像データを合成して1枚の広ダイナミックレンジ画像データを生成する本処理合成手段と;前記設定手段で設定される感度が閾値未満の低感度の場合、前記被写体を標準露光よりも少ない露光量で複数回撮像して生成した複数枚の前処理用画像データを合成して1枚のノイズ軽減用画像データを生成し、前記ノイズ軽減用画像データを前記本処理用画像データのうちの最も露光量が低い露光条件で撮像した画像データとして出力する前処理合成手段と;を備える。
In one aspect of the present invention, the imaging apparatus captures image data captured under a first exposure condition, and image data captured under a second exposure condition in which the exposure amount is smaller than the exposure amount according to the first exposure condition. A composite image data obtained by combining image data obtained by combining a plurality of image data picked up under the first exposure condition and image data picked up under the second exposure condition An image processing unit, and the image processing unit changes the number of the plurality of image data when combining the plurality of image data captured under the first exposure condition according to sensitivity of the imaging unit. . Alternatively, the imaging apparatus generates image data captured under the first exposure condition and image data captured under the second exposure condition in which the exposure amount is smaller than the exposure amount based on the first exposure condition. Combined image data obtained by combining image data obtained by combining a plurality of image data captured under the first exposure condition and image data obtained by combining a plurality of image data captured under the second exposure condition. An image processing unit for generating the image processing unit, wherein the image processing unit includes the number of the plurality of image data when combining the plurality of image data captured under the first exposure condition, and the second exposure condition. The number of the plurality of pieces of image data when combining the plurality of pieces of image data picked up in (1) is changed according to the sensitivity of the image pickup unit. Alternatively, the imaging apparatus generates image data captured under the first exposure condition and image data captured under the second exposure condition in which the exposure amount is smaller than the exposure amount based on the first exposure condition. And when the sensitivity of the imaging unit is higher than a predetermined value, image data obtained by combining a plurality of image data captured under the first exposure condition and a plurality of image data captured under the second exposure condition An image processing unit that generates synthesized image data obtained by synthesizing the image data obtained by synthesizing the image data.
In another aspect of the present invention, the imaging apparatus includes image data captured under a first exposure condition, and image data captured under a second exposure condition in which the exposure amount is smaller than the exposure amount according to the first exposure condition. An imaging unit for generating image data; when the sensitivity of the imaging unit is higher than a predetermined value, image data obtained by combining a plurality of image data captured under the first exposure condition and the second exposure condition An image processing unit that generates combined image data obtained by combining the image data.
In another aspect of the present invention, the imaging device generates image data captured under a first exposure condition and image data captured under a second exposure condition having a smaller exposure amount than the first exposure condition. A combined image data obtained by combining image data obtained by combining a plurality of image data imaged under the first exposure condition and image data obtained by combining a plurality of image data imaged under the second exposure condition. And an image processing unit for generating. Alternatively, the imaging device generates image data captured under a first exposure condition and image data captured under a second exposure condition with a smaller exposure amount than the first exposure condition; An image processing unit that generates composite image data obtained by combining image data obtained by combining a plurality of image data captured under the
In another aspect of the present invention, the imaging apparatus combines setting means for setting the sensitivity of the imaging device; and a plurality of main processing image data generated by imaging the same subject with different exposure amounts by the imaging device. A main image synthesizing unit for generating a single wide dynamic range image data; and when the sensitivity set by the setting unit is a low sensitivity less than a threshold, the subject is imaged a plurality of times with an exposure amount smaller than the standard exposure The plurality of generated preprocessing image data are combined to generate one noise reduction image data, and the noise reduction image data is exposed under the exposure condition with the lowest exposure amount of the main processing image data. Preprocessing synthesis means for outputting as captured image data.
前処理合成手段は、前処理用画像データを取得するための撮像回数を、低感度と判定した範囲のうちの低感度程、撮像回数が増えるように、感度に応じて変更するのが望ましい。 It is desirable that the preprocessing combining unit changes the number of times of imaging for acquiring the preprocessing image data according to the sensitivity so that the number of times of imaging increases as the sensitivity decreases in the range determined to be low sensitivity.
前処理合成手段としては、前処理用画像データの中から所定条件に基づいて基準画像データを決める決定部と;前記基準画像データを基準として前記前処理用画像データの位置合わせ処理を行う位置合わせ処理手段と;で構成するのが、高画質な画像が得られるため好適である。 The preprocessing composition means includes: a determination unit that determines reference image data based on a predetermined condition from preprocessing image data; and alignment that performs alignment processing of the preprocessing image data using the reference image data as a reference It is preferable to use the processing means; because a high-quality image can be obtained.
また、前処理合成手段としては、設定手段で設定される感度が閾値を超える高感度の場合、複数枚の本処理用画像データを構成する、最も露光量が低い露光条件で撮像した短時間露光画像データ、標準の露光条件で撮像した標準露光画像データ、及び最も露光量が高い露光条件で撮像した長時間露光データのそれぞれを、複数枚の前処理用画像データを合成して作るのが、高感度撮影時に生じ易いランダムノイズを軽減することができるため好適である。 In addition, as the pre-processing synthesis means, when the sensitivity set by the setting means is high sensitivity exceeding the threshold value, the short-time exposure imaged under the exposure condition with the lowest exposure amount constituting a plurality of main processing image data Each of image data, standard exposure image data imaged under standard exposure conditions, and long-time exposure data imaged under the exposure conditions with the highest exposure amount is created by combining a plurality of preprocessing image data. This is preferable because random noise that is likely to occur during high-sensitivity imaging can be reduced.
この場合、短時間露光画像データ用の前処理用画像データを取得するための撮像回数を「A」、前記標準露光画像データ用の前処理用画像データを取得するための撮像回数を「B」、及び前記長時間露光データ用の前処理用画像データを取得するための撮像回数を「C」とすると、A>B>Cの関係を満足するのが望ましい。 In this case, the number of times of imaging for acquiring pre-processing image data for short-time exposure image data is “A”, and the number of times of imaging for acquiring pre-processing image data for standard exposure image data is “B”. If the number of times of imaging for acquiring the pre-processing image data for the long-time exposure data is “C”, it is desirable that the relationship of A> B> C is satisfied.
この場合、前処理合成手段は、前処理用画像データを取得するための撮像回数を、高感度と判定した範囲のうちの高感度程、撮像回数が増えるように、感度に応じて変更するのが好適である。 In this case, the preprocessing synthesis unit changes the number of times of imaging for acquiring the preprocessing image data according to the sensitivity so that the number of times of imaging increases as the sensitivity increases in the range determined to be high sensitivity. Is preferred.
本発明では、本処理用画像データのうちの最も露光量が低い露光条件で撮像した画像データを、複数回撮像して得た前処理用画像データを合成して作るので、ランダムノイズを確実に軽減することができる。 In the present invention, the image data captured under the exposure condition with the lowest exposure amount among the image data for main processing is created by combining the pre-processing image data obtained by imaging a plurality of times. Can be reduced.
本発明の撮像装置の一実施形態として電子カメラを説明する。電子カメラは、1回のシャッタレリーズに応答して、撮像素子により異なる露光量で撮像して得た複数枚の画像データを合成して1枚の広ダイナミックレンジ画像データを生成する合成撮影モードを有する。 An electronic camera will be described as an embodiment of the imaging apparatus of the present invention. In response to one shutter release, the electronic camera has a composite shooting mode in which a plurality of pieces of image data obtained by imaging with different exposure amounts by an image sensor are combined to generate one wide dynamic range image data. Have.
電子カメラ10は、図1に示すうに、レンズ光学系11、絞り12,メカシャッタ13、撮像素子14、AFETG(アナログフロントエンド・タイミングジェネレータ)15、レンズ駆動部16、絞り駆動部17、シャッタ駆動部18、AE・AF回路19、制御部20、操作部21、LCD22、画像処理回路23、RAM24、ROM25、VRAM26、不揮発生メモリ27、メモリスロット28、及び外部メモリ29等で構成される。
As shown in FIG. 1, the
レンズ駆動部16は、レンズ光学系11の変倍及び合焦動作を行う。絞り駆動部17は、絞り12を駆動する。シャッタ駆動部18は、メカシャッタ13を駆動する。撮像素子14は、レンズ光学系11、及び絞り12を介して結像される被写体像を光電変換するCCDやCMOS等のイメージセンサである。
The
AFETG15は、TG(タイミングジェネレータ)30、V−driver(垂直駆動部)31、及びAFE(アナログフロントエンド)32で構成される。 The AFET G15 includes a TG (timing generator) 30, a V-driver (vertical drive unit) 31, and an AFE (analog front end) 32.
TG30は、V−driver31を介して画像信号の読み出しタイミングを撮像素子14に与える。AFE32は、撮像素子14から読み出されるアナログの画像信号のノイズ除去やアナログゲインアップにより増幅を行った後、A/D変換してデジタルの画像データに変換し、変換した画像データをAE・AF回路19と画像処理回路23に出力する。
The TG 30 gives the readout timing of the image signal to the
AE・AF回路19は、画像データのコントラスト情報に基づいてフォーカスを制御するAF(オートフォーカス)情報、及び画像データに基づいて最適なAE(オートエクスポージャ)情報やホワイトバランス情報をそれぞれ取り出して制御部20に送る。制御部20は、AF情報、AE情報、及びホワイトバランス情報に基づいてレンズ駆動部17、絞り駆動部17、及び画像処理回路23等を制御する。
The AE /
画像処理回路23は、ホワイトバランス処理、圧縮符号化、復号処理、画像合成処理等が含まれる。VRAM26は、LCD22に表示するための画像メモリである。LCD22には、撮像された画像の表示、カメラの各種設定のメニューや撮影モードの表示が行われる。
The
メモリスロット28には、外部メモリ29が着脱自在に接続される。外部メモリ29には、画像処理回路23で生成される圧縮符号化された画像データが保存される。
An
RAM24は、制御部20や画像処理回路23のワークエリアとして使用される。ROM25には、制御部20が実行するプログラムが格納されている。不揮発性メモリ27は、電子カメラ10の各種の調整データや、ユーザによって設定された撮影モードや感度(ISO感度)等を格納する。
The
制御部20は、ROM25に記憶されているプログラムに従って動作するCPU(中央演算処理部)を中心に構成され、電子カメラ10の各部を制御する。例えば、制御部20は、撮像素子14の画像信号を読み出す指示をAFETG15のTG30に与え、撮像素子14から読み出した画像信号を、AFE32を介して画像処理回路23に入力し、画像処理回路23でその時点の撮影モードに対応する処理等を実行した後に、処理済みの画像データを、バス33を介して外部メモリ29に記録するように制御する。
The
操作部21は、感度設定部、モード設定部、シャッタボタン、及び電源ボタン等で構成されており、これらは制御部20に操作信号や設定信号を送る。感度設定部は、撮像素子14の感度(ISO感度)を複数段階に変更するための操作部である。感度は、予め任意の感度に定められている。
The
制御部20は、AE・AF回路19から被写体輝度情報を得ると、感度と被写体輝度とで決まる適正露出に近づくように、その時点に設定されている感度に対応したプログラム線図に従って標準の露光量(絞り値とシャッター速度値で求まる露光量)を決定する。
When the
モード設定部は、合成撮影モード、通常撮影モード、及び再生モードのうちのいずれか一つを択一的に選択する操作部である。合成撮影モードは、撮像素子14により同一被写体を、異なる露光量で撮像して生成した複数枚の本処理用画像データを合成して1枚の広ダイナミックレンジ画像データを得るモードである。
The mode setting unit is an operation unit that selectively selects any one of the composite shooting mode, the normal shooting mode, and the playback mode. The composite shooting mode is a mode in which a single wide dynamic range image data is obtained by combining a plurality of main processing image data generated by imaging the same subject with different exposure amounts by the
合成撮影モードの時には、撮像素子14の蓄積時間を可変する電子シャッタと絞り17の組み合わせで露光量を制御する。なお、シャッタ速度としては、電子シャッタの代わりに、例えばメカシャッタ13の開閉で決定してもよいし、露光の最初のタイミングを電子シャッタで取り、露光終了をメカシャッタ13で決定してもよい。
In the composite shooting mode, the exposure amount is controlled by a combination of an electronic shutter that changes the accumulation time of the
通常撮影モードは、標準の露出量で撮像素子14により1回撮像して1枚の画像データを生成するモードである。再生モードは、外部メモリ29に記録した画像データをLCD22に再生するモードである。
The normal shooting mode is a mode in which one image is generated by the
制御部20は、図2に示すように、感度判定部35、及びカウンタ36を有する。感度判定部35は、撮影時に感度設定部に設定されている設定感度を認識するとともに、認識した感度を予め決められている閾値とを比較して高感度か低感度かを判定する。カウンタ36は、画像データの取り込み回数をカウントする。制御部20は、感度判定部35で判定した感度に応じて、アナログの画像データをAFE32のアナログゲインアップで増幅するときの度合いを変更する。
As illustrated in FIG. 2, the
画像処理回路23は、振分け部37、前処理合成部38、及び本処理合成部39を備えている。振分け部37は、画像データを前処理合成部38と本処理合成部39に振り分けるものであり、この振り分け処理は、高感度又は低感度の時の前処理用の画像データか本処理用の画像データかに基づいて制御部20により制御される。
The
本処理合成部39は、合成撮影モードの時に、異なる露光量で撮像した複数枚の本処理用画像データを合成して1枚の広ダイナミックレンジ画像データを生成する処理を行う。本処理用画像データは、例えば、短時間露光画像データ、標準露光画像データ、及び長時間露光画像データで構成されている。短時間露光画像データは、撮像素子14により標準より少ない露光量で撮像して生成した画像データである。標準露光画像データは、撮像素子14により標準の露光量で撮像して生成した画像データである。長時間露光画像データは、撮像素子14により標準よりも多い露光量で撮像して生成した画像データである。
The main processing composition unit 39 performs processing for generating one wide dynamic range image data by combining a plurality of main processing image data captured with different exposure amounts in the composite photographing mode. The image data for processing is composed of, for example, short exposure image data, standard exposure image data, and long exposure image data. The short-time exposure image data is image data generated by capturing an image with an exposure amount smaller than the standard by the
前処理合成部38は、合成撮影モードの時に低感度と判定した場合、ランダムノイズを軽減するために、撮像素子14により標準よりも少ない露光量で撮像して生成した複数枚の前処理用画像データを合成して1枚のノイズ軽減用画像データを生成し、ノイズ軽減用画像データを本処理用画像データのうちの短時間露光画像データとして本処理合成部39に出力する。
When the
また、前処理合成部38は、合成撮影モードの時に高感度と判定した場合、撮像素子14により標準よりも少ない露光量で撮像して生成した複数枚の画像データを1枚の画像データに合成したものを短時間露光画像データとし、また、標準の露光量で撮像して生成した複数枚の画像データを1枚の画像データに合成したものを標準露光画像データとし、さらに、標準よりも多い露光量で撮像して生成した複数枚の画像データを1枚の画像データに合成したものを長時間露光画像データとしてそれぞれ本処理合成部39に出力する。
In addition, when it is determined that the sensitivity is high in the composite shooting mode, the
前処理及び本処理合成部38,39は、バッファメモリ40,44、位置合わせ処理41,45、及び画像合成43,47をそれぞれ備えている。バッファメモリ40,44は、複数の画像データを一時的に記憶する。位置合わせ処理41,45は、各画像データを比較して、各画像データの位置が一致するように座標を修正する処理を行う。画像合成43,47は、修正した座標の情報に基づいて各画像データを加算した後に、画像データの枚数で除算する平均化処理を行って1枚の画像データを生成する。
The preprocessing and main
位置合わせ処理41,45は、図3に示すように、評価部48、決定部49、及び位置合わせ部50で構成されている。評価部48は、所定の条件、例えば画像データのレベル(明るさ)、コントラスト、及び空間周波数の高周波成分とのうちの少なくとも1つを求めて各画像データを評価する。この場合、画像データの白黒レベルが飽和レベルに達していない画像データのうちの最も明るい画像データほど、又は最もコントラスト値が高い画像データほど、あるいは最も高周波成分が多い画像データほど評価値を高くする。
As shown in FIG. 3, the alignment processes 41 and 45 include an
なお、代わりに、各画像データから主要被写体を検出し、検出した主要被写体の動き量が小さい程評価値を高くする条件や、フォーカス状態、主要被写体の変形度合い等の評価で基準の画像データを決めても良い。 Instead, the main subject is detected from each image data, and the reference image data is obtained by evaluating the condition that the evaluation value is increased as the detected amount of movement of the main subject is smaller, the focus state, the degree of deformation of the main subject, etc. You can decide.
決定部49は、評価部48で求めた各画像データの評価値に基づいて最も合成に適した画像データを基準画像データとして決定する。位置合わせ部50は、基準画像データを基準として残りの画像データに対して座標位置が一致するように位置合わせ処理を行う。これにより、画像合成43,47で合成される画像データは、画質が向上する。なお、評価部48で、各画像データの評価をした後に、評価値が予め決めた閾値よりも低い場合には、その画像データを合成に使用しないように選択する処理を行うようにしてもよい。
The
次に上記構成の作用を、図4を参照しながら説明する。撮像素子14の感度は、初期値、例えばISO感度「400」に予め設定されている。撮影者は、広ダイナミックレンジ画像を撮影する場合には、合成撮影モードを選択する。
Next, the operation of the above configuration will be described with reference to FIG. The sensitivity of the
制御部20は、1回のシャッヤレリーズに応答して、その時点の標準露光量を決定し(S−1)、また、その時点の撮影モードを確認し(S−2)、さらに、合成撮影モードの場合には、その時点で設定されている感度が閾値未満か否かを判定する(S−3)。例えば、設定感度がISO感度「50」で、閾値がISO感度「600」である場合には設定感度が低感度であると判定する。
In response to one shutter release, the
制御部20は、低感度と判定した場合、標準より少ない露光量、例えば「−1EV」の露光補正をした露光量に設定して撮像素子14で連写的に撮像することで複数枚、例えば5枚の前処理用画像データを取得し(S−4)、振分け部37を制御して5枚の前処理用画像データを前処理合成部38のバッファメモリ40に取り込む。
When it is determined that the sensitivity is low, the
前処理合成部38は、制御部20からカウントアップに応答する信号を受け取ることで、バッファメモリ40から5枚の前処理用画像データを順に読み出し、各前処理用画像データについて評価部48で予め決めた条件に基づいて評価を行い、評価結果に基づいて基準の画像データを決定部49で決定し(S−5)、位置合わせ部50で基準の画像データに基づいて残りの画像データに対して位置合わせ処理を行い(S−6)、その後に画像合成43で、基準画像データに対して位置合わせ処理済みの画像データを順に加算平均化処理により合成をして本処理用の短時間露光画像データを生成し(S−7)、短時間露光画像データを本処理合成部39のバッファメモリ44に出力する。
The
なお、5枚の前処理用画像データを取得する時には、制御部20は、カウンタ36を初期化し(S−8)、カウンタ36で短時間露光での撮像回数をカウントし(S−9)、その撮像回数が予め決められた回数に達したか否かを判定する(S−10)。
Note that when acquiring five pieces of preprocessing image data, the
引き続き制御部20は、標準の露光量に変えて1枚撮像して本処理用の標準露光画像データを生成し(S−11)、振分け部37を制御して標準露光画像データを本処理合成部39のバッファメモリ44に取り込み、引き続き、標準より多い露光量、例えば「+1EV」の露光補正をした露光量に設定して1枚撮像して本処理用の長時間露光画像データを生成し(S−12)、長時間露光画像データをバッファメモリ44に取り込む。
Subsequently, the
本処理合成部39は、短時間露光画像データ、標準露光画像データ、及び長時間露光画像データとの3つの本処理用画像データがバッファメモリ44に取り込まれることに応答して、位置合わせ処理45で前述した位置合わせ処理41と同じ処理を行って基準の画像データを決定し(S−13)、基準の画像データに対して残りの画像データについてそれぞれ位置合わせ処理を行って(S−14)、基準の画像データに対して位置合わせ処理済みの画像データを加算平均化処理により順に合成をして広ダイナミックレンジ画像データを生成し(S−15)、広ダイナミックレンジ画像データを外部メモリ29に記録する。低感度判定での合成撮影モードで得られる広ダイナミックレンジ画像は、白とびや黒つぶれの発生を抑えることに加えて、低感度撮影で生じ易いランダムノイズを低減した画像になる。
In response to the three main processing image data, that is, the short-exposure image data, the standard exposure image data, and the long-exposure image data, being fetched into the buffer memory 44, the main processing composition unit 39 performs the
次に、感度判定部35が図4(S―3)の判定において例えば設定感度がISO[800]の場合、設定感度が閾値を超えるため、高感度であると判定する。この場合、図5に示すように、制御部20は、標準より少ない露光量、例えば「−1EV」の露光補正をした露光量に設定して撮像素子14で連写的に撮像することで複数枚、例えば6枚の前処理用画像データを取得し(S−16)、振分け部37を制御して6枚の前処理用画像データを前処理合成部38のバッファメモリ40に取り込む。
Next, for example, when the setting sensitivity is ISO [800] in the determination of FIG. 4 (S-3), the
前処理合成部38は、制御部20から短時間露光での撮影回数がカウントアップすることに応答して、バッファメモリ40から6枚の前処理用画像データを順に読み出し、前述した同じ処理を位置合わせ処理41、及び画像合成43で行って(S−17)、本処理用の短時間露光画像データを生成し(S−18)、短時間露光画像データを本処理合成部39のバッファメモリ44に出力する。
The
引き続き制御部20は、標準の露光量に設定して撮像素子14で連写的に撮像することで、短時間露光で撮像する枚数よりも少ない複数枚、例えば4枚の前処理用画像データを取得し(S−19)、振分け部37を制御して4枚の前処理用画像データを前処理合成部38のバッファメモリ40に取り込む。
Subsequently, the
前処理合成部38は、制御部20から標準露光での撮影回数がカウントアップすることに応答して、バッファメモリ40から4枚の前処理用画像データを順に読み出し、前述した同じ処理を位置合わせ処理41、及び画像合成43で行って(S−20)、本処理用の標準露光画像データを生成し(S−21)、標準露光画像データを本処理合成部39のバッファメモリ44に出力する。
In response to the increase in the number of shootings with standard exposure from the
引き続き制御部20は、図6に示すように、標準よりも多い露光量、例えば「+1EV」の露出補正をした露光量に設定して撮像素子14で連写的に撮像することで、標準露光で撮像する枚数よりも少ない複数枚、例えば2枚の前処理用画像データを取得し(S−22)、振分け部37を制御して2枚の前処理用画像データを前処理合成部38のバッファメモリ40に取り込む。
Subsequently, as shown in FIG. 6, the
前処理合成部38は、制御部20から標準露光での撮影回数がカウントアップすることに応答して、バッファメモリ40から2枚の前処理用画像データを順に読み出し、前述した同じ処理を位置合わせ処理41、及び画像合成43で行って(S−23)、本処理用の長時間露光画像データを生成し(S−24)、長時間露光画像データを本処理合成部39のバッファメモリ44に出力する。
In response to the increase in the number of shootings with standard exposure from the
そして、図4(S−13〜S−15)で説明したように、本処理合成部39は、3つの本処理用画像データがバッファメモリ44に取り込まれることに応答して、位置合わせ処理45で基準の画像データを決定し(S−25)、基準の画像データに対して残りの画像データについてそれぞれ位置合わせ処理を行って(S−26)、基準の画像データに対して位置合わせ処理済みの画像データを加算平均化処理により順に合成をして広ダイナミックレンジ画像データを生成し(S−27)、広ダイナミックレンジ画像データを外部メモリ29に記録する。高感度判定で生成した広ダイナミックレンジ画像は、白とびや黒つぶれの発生を抑えることに加えて、高感度撮影時に生じ易いランダムノイズを低減した画像になる。
Then, as described in FIG. 4 (S-13 to S-15), the main processing composition unit 39 responds to the three main processing image data being taken into the buffer memory 44, and the
なお、制御部20は、広ダイナミックレンジ画像データを記録した後に、バッファメモリ40,44をクリアする制御を行うことが望ましい。
Note that the
また、上記実施形態では、感度に応じて決められた撮影枚数、露出補正値は、前述した数値に限らないことはいうまでもない。例えば図7に示すように、設定感度が閾値未満の範囲において、設定感度が低感度程、短時間露光画像データの取得枚数を増やすのが好適である。また、例えば図8に示すように、設定感度が閾値を超える範囲において設定感度が高感度程、短時間露光、標準露光、及び長時間露光との各画像データの取得枚数をそれぞれ増やすのが好適である。なお、短時間露光、標準露光、及び長時間露光との各画像データの取得枚数を順にA、B、Cとすると、A>B>Cの関係を保つように、各画像データの取得枚数を変更するのが好適である。 Further, in the above embodiment, it goes without saying that the number of shots and the exposure correction value determined according to the sensitivity are not limited to the above-described numerical values. For example, as shown in FIG. 7, it is preferable to increase the number of acquired short-time exposure image data as the setting sensitivity is lower in the range where the setting sensitivity is less than the threshold. Further, for example, as shown in FIG. 8, it is preferable to increase the number of acquired image data for each of the short time exposure, the standard exposure, and the long time exposure as the set sensitivity is higher in a range where the set sensitivity exceeds the threshold. It is. If the number of acquired image data for short-time exposure, standard exposure, and long-time exposure is A, B, and C in order, the acquired number of image data is set so as to maintain the relationship of A> B> C. It is preferable to change.
手動で設定する場合には、操作部にカーソルボタンやOKボタン等の変更操作部を設け、これら操作部を用いて、例えば低感度と判定した時における短時間露光での撮影枚数、及び高感度における短時間露光での撮影枚数、標準露光での撮影枚数、長時間露光での撮影枚数を各々設定すればよい。 In the case of manual setting, a change operation unit such as a cursor button or an OK button is provided in the operation unit, and using these operation units, for example, the number of shots taken in a short exposure when determined as low sensitivity, and high sensitivity The number of shots taken with short exposure, the number of shots taken with standard exposure, and the number of shots taken with long exposure may be set.
上記実施形態では、短時間露光、標準露光、及び長時間露光との3つの画像データを合成して広ダイナミックレンジ画像を生成しているが、本発明ではこれに限らず、露光の異なる2つの画像データを合成して、又は超低時間露光や超長時間露光の画像データを追加した4つ以上の画像データを合成して広ダイナミックレンジ画像を生成してもよい。 In the embodiment described above, a wide dynamic range image is generated by synthesizing three image data of the short exposure, the standard exposure, and the long exposure. However, the present invention is not limited to this, and two exposures with different exposures are generated. A wide dynamic range image may be generated by synthesizing image data or by synthesizing four or more image data to which image data of ultra-low time exposure or ultra-long time exposure is added.
上記実施形態では、低感度と判定した時には、最初に前処理用画像を短時間露光で複数回撮像し、次に標準露光での撮像、最後に長時間露光での撮像の順としているが、本発明ではその順に限らず、例えば逆の順、あるいは最初に標準露光での撮像し、次に短時間露光で複数回撮像、最後に長時間露光での撮像の順にしてもよい。 In the above embodiment, when it is determined that the sensitivity is low, first the pre-processing image is imaged a plurality of times with short exposure, then imaging with standard exposure, and finally imaging with long exposure, In the present invention, the order is not limited to the above order. For example, imaging may be performed in the reverse order, or first in standard exposure, then multiple times in short exposure, and finally in long exposure.
また、高感度と判定した時も同様に、短時間露光画像データ用の前処理用画像データを取得するために撮像する期間、標準露光画像データ用の前処理用画像データを取得するための撮像期間、及び長時間露光データ用の前処理用画像データを取得するための撮像期間の順はいずれの順でもよい。 Similarly, when it is determined that the sensitivity is high, the imaging period for acquiring the preprocessing image data for the short exposure image data, the imaging period for acquiring the preprocessing image data for the standard exposure image data, The order of the period and the imaging period for acquiring the preprocessing image data for the long exposure data may be any order.
上記実施形態では、画像データを取得する毎に位置合わせ処理をして合成しているが、先に全ての撮像を行って画像データをRAMに記録しておき、撮影完了後にRAMから合成対象の画像データを読み出して合成していくように構成してもよい。また、先に全ての撮像を行って画像データをフラッシュメモリ等に記録しておき、予め画像処理ソフトを電子カメラ等にインストールしておき、撮影後にそのソフトを実行して撮像した複数枚の画像データを合成するようにしてもよい。 In the above-described embodiment, each time image data is acquired, alignment processing is performed and combined. However, all imaging is performed first and image data is recorded in the RAM. You may comprise so that image data may be read and synthesize | combined. In addition, all images are taken first and image data is recorded in a flash memory or the like, and image processing software is installed in an electronic camera or the like in advance. You may make it synthesize | combine data.
さらに、上記実施形態では本発明を電子カメラ10に使用して説明しているが、本発明ではこれに限らず、ビデオカメラやテレビカメラ等に使用することができる。
Furthermore, although the present invention has been described using the
14 撮像素子
12 絞り
13 メカシャッタ
15 AFETG
23 画像処理回路
38 前処理合成部
39 本処理合成部
14
23
Claims (4)
前記第1の露光条件で撮像された複数の画像データを合成した画像データと、前記第2の露光条件で撮像された画像データとを合成した合成画像データを生成する画像処理部とを備え、
前記画像処理部は、前記第1の露光条件で撮像された複数の画像データを合成するときの前記複数の画像データの数を、前記撮像部の感度により変更する撮像装置。 An imaging unit that generates image data captured under a first exposure condition and image data captured under a second exposure condition in which an exposure amount is smaller than an exposure amount according to the first exposure condition;
An image processing unit that generates image data obtained by synthesizing a plurality of image data captured under the first exposure condition and image data captured under the second exposure condition;
The image processing unit is an imaging apparatus that changes the number of the plurality of pieces of image data when combining the plurality of pieces of image data captured under the first exposure condition according to sensitivity of the imaging unit.
前記第1の露光条件で撮像された複数の画像データを合成した画像データと、前記第2の露光条件で撮像された複数の画像データを合成した画像データとを合成した合成画像データを生成する画像処理部とを備え、
前記画像処理部は、前記第1の露光条件で撮像された複数の画像データを合成するときの前記複数の画像データの数と、前記第2の露光条件で撮像された複数の画像データを合成するときの前記複数の画像データの数とを、前記撮像部の感度により変更する撮像装置。 An imaging unit that generates image data captured under a first exposure condition and image data captured under a second exposure condition in which an exposure amount is smaller than an exposure amount according to the first exposure condition;
Generating composite image data by combining image data obtained by combining a plurality of image data imaged under the first exposure condition and image data obtained by combining the plurality of image data imaged under the second exposure condition; An image processing unit,
The image processing unit combines the number of the plurality of image data when combining the plurality of image data captured under the first exposure condition and the plurality of image data captured under the second exposure condition. An image pickup apparatus that changes the number of the plurality of pieces of image data at the time of performing depending on the sensitivity of the image pickup unit.
前記撮像部の感度が所定値よりも高い場合、前記第1の露光条件で撮像された複数の画像データを合成した画像データと、前記第2の露光条件で撮像された複数の画像データを合成した画像データとを合成した合成画像データを生成する画像処理部と、
を備える撮像装置。 An imaging unit that generates image data captured under a first exposure condition and image data captured under a second exposure condition in which an exposure amount is smaller than an exposure amount according to the first exposure condition;
When the sensitivity of the image pickup unit is higher than a predetermined value, the image data obtained by combining the plurality of image data picked up under the first exposure condition and the plurality of image data picked up under the second exposure condition are combined. An image processing unit that generates composite image data obtained by combining the image data that has been processed;
An imaging apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016231225A JP6222335B2 (en) | 2016-11-29 | 2016-11-29 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016231225A JP6222335B2 (en) | 2016-11-29 | 2016-11-29 | Imaging device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015246384A Division JP6052379B2 (en) | 2015-12-17 | 2015-12-17 | Imaging device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017194837A Division JP6519625B2 (en) | 2017-10-05 | 2017-10-05 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017050893A true JP2017050893A (en) | 2017-03-09 |
JP6222335B2 JP6222335B2 (en) | 2017-11-01 |
Family
ID=58280438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016231225A Active JP6222335B2 (en) | 2016-11-29 | 2016-11-29 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6222335B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007013270A (en) * | 2005-06-28 | 2007-01-18 | Olympus Corp | Imaging apparatus |
JP2007049227A (en) * | 2005-08-05 | 2007-02-22 | Canon Inc | Image processing apparatus and method thereof |
US20080253758A1 (en) * | 2007-04-13 | 2008-10-16 | Choon Hwee Yap | Image processing method |
-
2016
- 2016-11-29 JP JP2016231225A patent/JP6222335B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007013270A (en) * | 2005-06-28 | 2007-01-18 | Olympus Corp | Imaging apparatus |
JP2007049227A (en) * | 2005-08-05 | 2007-02-22 | Canon Inc | Image processing apparatus and method thereof |
US20080253758A1 (en) * | 2007-04-13 | 2008-10-16 | Choon Hwee Yap | Image processing method |
Also Published As
Publication number | Publication date |
---|---|
JP6222335B2 (en) | 2017-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5857444B2 (en) | Imaging device | |
JP4404823B2 (en) | Imaging device | |
US8368771B2 (en) | Generating a synthesized image from a plurality of images | |
JP5411842B2 (en) | Imaging device | |
US9210333B2 (en) | Image capturing apparatus for generating composite image and control method thereof | |
US9277135B2 (en) | Image-pickup apparatus, control method for the same, and non-transitory computer-readable storage medium | |
US7245318B2 (en) | Imaging apparatus that corrects an imbalance in output levels of image data | |
JP2013258444A (en) | Image processing device, image processing method, and program | |
US9892497B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
JP4606486B2 (en) | Image processing apparatus and photographing apparatus | |
JP2006262220A (en) | Imaging apparatus | |
JP2012239076A (en) | Imaging device and method | |
JP2009213032A (en) | Wide dynamic range image formation processing apparatus | |
JP6242129B2 (en) | Imaging device, control method thereof, and control program | |
JP6222335B2 (en) | Imaging device | |
JP6052379B2 (en) | Imaging device | |
JP6769519B2 (en) | Imaging device | |
JP7081635B2 (en) | Image processing equipment | |
JP6519625B2 (en) | Imaging device | |
JP2015080157A (en) | Image processing device, image processing method and program | |
JP2005142953A (en) | Digital image pickup apparatus | |
JP6990988B2 (en) | Control method of image pickup device and image sensor | |
JP2014027460A (en) | Imaging apparatus, camera system, control method of imaging apparatus, program and storage medium | |
JP6849351B2 (en) | Image processing equipment, image processing methods, and programs | |
JP2014022992A (en) | Imaging apparatus and imaging method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20170323 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20170323 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170327 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170918 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6222335 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |