JP2013085040A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2013085040A JP2013085040A JP2011222271A JP2011222271A JP2013085040A JP 2013085040 A JP2013085040 A JP 2013085040A JP 2011222271 A JP2011222271 A JP 2011222271A JP 2011222271 A JP2011222271 A JP 2011222271A JP 2013085040 A JP2013085040 A JP 2013085040A
- Authority
- JP
- Japan
- Prior art keywords
- image
- synthesis
- image data
- gain
- synthesizing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims description 39
- 239000000203 mixture Substances 0.000 claims abstract description 12
- 230000015572 biosynthetic process Effects 0.000 claims description 74
- 238000003786 synthesis reaction Methods 0.000 claims description 74
- 238000012937 correction Methods 0.000 claims description 39
- 239000002131 composite material Substances 0.000 claims description 38
- 238000000034 method Methods 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 29
- 230000002194 synthesizing effect Effects 0.000 claims description 26
- 238000003384 imaging method Methods 0.000 claims description 25
- 238000011156 evaluation Methods 0.000 description 19
- 238000007781 pre-processing Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Studio Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
【構成】シャッタボタン28shが全押しされると、CPU26は、最適露光量,過大露光量および過小露光量に対応する3フレームの画像を取得し、2フレーム目および3フレーム目の画像データのヒストグラムを参照してシフト量SFT_SおよびゲインGN_Sを算出する。3つの露光量に対応して取得された3フレームの画像データは、算出されたシフト量SFT_SおよびゲインGN_Sを参照して縮小状態で合成される。シフト量SFT_SおよびゲインGN_Sは、合成縮小画像データのヒストグラムを参照して補正される。3つの露光量に対応して取得された3フレームの画像データは、補正後のシフト量SFT_CおよびゲインGN_Cを参照して合成される。
【効果】画像合成性能が向上する。
【選択図】図2
【効果】画像合成性能が向上する。
【選択図】図2
Description
この発明は、画像処理装置に関し、特に互いに異なる複数の露光設定にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像に基づいて合成画像を作成する、画像処理装置に関する。
この種の装置の一例が、特許文献1に開示されている。この背景技術によれば、適正露光による標準画像が撮影され、撮影された標準画像のヒストグラムがヒストグラム処理部によって取得される。ダイナミックレンジ拡大判定部は取得されたヒストグラムに基づいてダイナミックレンジ拡大の必要性を判定し、拡大の必要があれば異なる露光のための撮影パラメータがパラメータ決定部によって決定される。撮像素子制御部は、決定された撮影パラメータに基づいて2回目の撮影を行い、非標準画像を取得する。広ダイナミックレンジ画像は、こうして取得された標準画像および非標準画像を合成することで作成される。なお、拡大の必要がなければ、2回目の撮影は中止され、標準画像のみが出力される。
しかし、背景技術では、標準画像と非標準画像を合成するにあたって標準画像および/または非標準画像のヒストグラムが参照されることはなく、画像合成性能に限界がある。
それゆえに、この発明の主たる目的は、画像合成性能を高めることができる、画像処理装置を提供することである。
この発明に従う画像処理装置(10:実施例で相当する参照符号。以下同じ)は、互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得手段(S31, S35, S39)、取得手段によって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出手段(S47, S51)、取得手段によって取得された複数の画像を算出手段によって算出された合成係数を参照して合成する第1合成手段(S45, S49, S53)、算出手段によって算出された合成係数の値を第1合成手段によって作成された合成画像の輝度特性を参照して補正する補正手段(S55~S61)、および取得手段によって取得された複数の画像を補正手段によって補正された値を有する合成係数を参照して合成する第2合成手段(S63~S65)を備える。
好ましくは、第1合成手段は、複数の画像の各々の解像度を低減して複数の低減画像を作成する低減手段(S45)、および低減手段によって作成された複数の低減画像に合成処理を施す合成処理手段(S49, S53)を含む。
好ましくは、取得手段によって取得される複数の画像は、適正露光量に対応する第1画像,過大露光量に対応する第2画像および過小露光量に対応する第3画像を含み、算出手段は、第2画像の輝度分布を低輝度側にシフトさせる第1シフト量を合成係数の一部として算出する第1シフト量算出手段(S47)、および第3画像の輝度分布を高輝度側に引き伸ばす第1ゲインを合成係数の他の一部として算出する第1ゲイン算出手段(S51)を含む。
さらに好ましくは、補正手段は、合成画像の輝度分布を低輝度側にシフトさせる第2シフト量を算出する第2シフト量算出手段(S55)、および合成画像の輝度分布を高輝度側に引き伸ばす第2ゲインを算出する第2ゲイン算出手段(S57)を含む。
より好ましくは、補正手段は、第2シフト量算出手段によって算出された第2シフト量を第1シフト量算出手段によって算出された第1シフト量に加算して得られる第3シフト量を合成係数の一部として算出する第3シフト量算出手段(S59)、および第2ゲイン算出手段によって算出された第2ゲインを第1ゲイン算出手段によって算出された第1ゲインに掛け算して得られる第3ゲインを合成係数の他の一部として算出する第3ゲイン量算出手段(S61)をさらに含む。
好ましくは、撮像面で捉えられたシーンを表す画像を出力する撮像手段(16)がさらに備えられ、取得手段によって取得される画像は撮像手段から出力された画像に相当する。
この発明に従う画像合成プログラムは、画像処理装置(10)のプロセッサ(26)に、互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得ステップ(S31, S35, S39)、取得ステップによって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出ステップ(S47, S51)、取得ステップによって取得された複数の画像を算出ステップによって算出された合成係数を参照して合成する第1合成ステップ(S45, S49, S53)、算出ステップによって算出された合成係数の値を第1合成ステップによって作成された合成画像の輝度特性を参照して補正する補正ステップ(S55~S61)、および取得ステップによって取得された複数の画像を補正ステップによって補正された値を有する合成係数を参照して合成する第2合成ステップ(S63~S65)を実行させるための、画像合成プログラムである。
この発明に従う画像合成方法は、画像処理装置(10)によって実行される画像合成方法であって、互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得ステップ(S31, S35, S39)、取得ステップによって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出ステップ(S47, S51)、取得ステップによって取得された複数の画像を算出ステップによって算出された合成係数を参照して合成する第1合成ステップ(S45, S49, S53)、算出ステップによって算出された合成係数の値を第1合成ステップによって作成された合成画像の輝度特性を参照して補正する補正ステップ(S55~S61)、および取得ステップによって取得された複数の画像を補正ステップによって補正された値を有する合成係数を参照して合成する第2合成ステップ(S63~S65)を備える。
この発明に従う外部制御プログラムは、メモリ(44)に保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える画像処理装置(10)に供給される外部制御プログラムであって、互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得ステップ(S31, S35, S39)、取得ステップによって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出ステップ(S47, S51)、取得ステップによって取得された複数の画像を算出ステップによって算出された合成係数を参照して合成する第1合成ステップ(S45, S49, S53)、算出ステップによって算出された合成係数の値を第1合成ステップによって作成された合成画像の輝度特性を参照して補正する補正ステップ(S55~S61)、および取得ステップによって取得された複数の画像を補正ステップによって補正された値を有する合成係数を参照して合成する第2合成ステップ(S63~S65)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
この発明に従う画像処理装置(10)は、外部制御プログラムを取り込む取り込み手段(46)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(44)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(26)を備える画像処理装置であって、外部制御プログラムは、互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得ステップ(S31, S35, S39)、取得ステップによって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出ステップ(S47, S51)、取得ステップによって取得された複数の画像を算出ステップによって算出された合成係数を参照して合成する第1合成ステップ(S45, S49, S53)、算出ステップによって算出された合成係数の値を第1合成ステップによって作成された合成画像の輝度特性を参照して補正する補正ステップ(S55~S61)、および取得ステップによって取得された複数の画像を補正ステップによって補正された値を有する合成係数を参照して合成する第2合成ステップ(S63~S65)を内部制御プログラムと協働して実行するプログラムに相当する。
この発明によれば、合成係数は、取得された複数の画像に基づいて算出され、この合成係数を参照して作成された合成画像に基づいて補正される。取得された複数の画像の合成処理は、補正後の合成画像を参照して再度実行される。これによって、画像合成性能が向上する。
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
以下、この発明の実施の形態を図面を参照しながら説明する。
[基本的構成]
[基本的構成]
図1を参照して、この実施例の画像合成装置は、基本的に次のように構成される。取得手段1は、互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する。算出手段2は、取得手段1によって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する。第1合成手段3は、取得手段1によって取得された複数の画像を算出手段2によって算出された合成係数を参照して合成する。補正手段4は、算出手段2によって算出された合成係数の値を第1合成手段3によって作成された合成画像の輝度特性を参照して補正する。第2合成手段5は、取得手段1によって取得された複数の画像を補正手段4によって補正された値を有する合成係数を参照して合成する。
このように、合成係数は、取得された複数の画像に基づいて算出され、この合成係数を参照して作成された合成画像に基づいて補正される。取得された複数の画像の合成処理は、補正後の合成画像を参照して再度実行される。これによって、画像合成性能が向上する。
[実施例]
[実施例]
図2を参照して、この実施例のディジタルカメラ10は、ドライバ18aおよび18bによってそれぞれ駆動されるフォーカスレンズ12および絞りユニット14を含む。これらの部材を経た光学像は、イメージャ16の撮像面に照射され、光電変換を施される。これによって、光学像に対応する電荷が生成される。
電源が投入されると、CPU26は、動画取り込み処理を実行するべく、撮像タスクの下で露光動作および電荷読み出し動作の繰り返しをドライバ18cに命令する。ドライバ18cは、図示しないSG(Signal Generator)から周期的に発生する垂直同期信号Vsyncに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージャ16からは、読み出された電荷に基づく生画像データが周期的に出力される。
前処理回路20は、イメージャ16から出力された生画像データにディジタルクランプ,画素欠陥補正,ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路30を通してSDRAM32の生画像エリア32a(図3参照)に書き込まれる。
後処理回路34は、生画像エリア32aに格納された生画像データをメモリ制御回路30を通して読み出し、読み出された生画像データに色分離処理,白バランス調整処理およびYUV変換処理を施す。これによって生成されたYUV形式の画像データは、メモリ制御回路30によってSDRAM32のYUV画像エリア32b(図3参照)に書き込まれる。
LCDドライバ36は、YUV画像エリア32bに格納された画像データをメモリ制御回路30を通して繰り返し読み出し、読み出された画像データに基づいてLCDモニタ38を駆動する。この結果、撮像面で捉えられたシーンを表すリアルタイム動画像(スルー画像)がモニタ画面に表示される。
図4を参照して、撮像面の中央には評価エリアEVAが割り当てられる。評価エリアEVAは水平方向および垂直方向の各々において16分割され、256個の分割エリアが評価エリアEVAを形成する。また、図2に示す前処理回路20は、上述した処理に加えて、生画像データを簡易的にRGBデータに変換する簡易RGB変換処理を実行する。
AE評価回路22は、前処理回路20によって生成されたRGBデータのうち評価エリアEVAに属するRGBデータを、垂直同期信号Vsyncが発生する毎に積分する。これによって、256個の積分値つまり256個のAE評価値が、垂直同期信号Vsyncに応答してAE評価回路22から出力される。AF評価回路24は、前処理回路20によって生成されたRGBデータのうち評価エリアEVAに属するRGBデータの高周波成分を、垂直同期信号Vsyncが発生する毎に積分する。これによって、256個の積分値つまり256個のAF評価値が、垂直同期信号Vsyncに応答してAF評価回路24から出力される。
キー入力装置28に設けられたシャッタボタン28shが非操作状態にあるとき、CPU26は、AE評価回路22から出力された256個のAE評価値に基づいて簡易AE処理を実行し、適正EV値を算出する。算出された適正EV値を定義する絞り量および露光時間はドライバ18bおよび18cに設定され、これによってスルー画像の明るさが大まかに調整される。
シャッタボタン28shが半押しされると、CPU26は、AE評価値を参照した厳格AE処理を実行し、最適EV値を算出する。算出された最適EV値を定義する絞り量および露光時間もまたドライバ18bおよび18cに設定され、これによってスルー画像の明るさが厳格に調整される。CPU26はまた、AF評価回路24から出力された256個のAF評価値に基づいてAF処理を実行する。フォーカスレンズ12は合焦点の探索のためにドライバ18aによって光軸方向に移動し、これによって発見された合焦点に配置される。この結果、スルー画像の鮮鋭度が向上する。
撮像モードは、モード切換えスイッチ28mdによって通常モードおよびHDR(High Dynamic Range)モードの間で切り換えられる。
通常モードが選択された状態でシャッタボタン28shが全押しされると、CPU26は、静止画取り込み処理を1回だけ実行する。この結果、シャッタボタン28shが全押しされた時点のシーンを表す1フレームの画像データがYUV画像エリア32bから静止画像エリア32c(図3参照)に退避される。
HDRモードが選択された状態でシャッタボタン28shが全押しされると、CPU26は、互いに異なる3つの露光量にそれぞれ対応する3フレームの画像データを静止画像エリア32cに取り込み、取り込まれた3フレームの画像データに基づいて1フレームの合成画像データを作成する(詳細は後述)。合成画像データは、ワークエリア32d(図3参照)で作成され、その後に静止画像エリア32cに戻される。
こうして1フレームの静止画像データまたは合成画像データが得られると、CPU26は、記録処理を実行するべく、対応する命令をメモリI/F40に与える。メモリI/F40は、静止画像エリア32cに格納された1フレームの画像データをメモリ制御回路30を通して読み出し、読み出された画像データをファイル形式で記録媒体42に記録する。
HDR処理ではまず、シャッタボタン28shの全押しの後にイメージャ16から出力された生画像データに基づくYUV形式の画像データ(=1フレーム目の画像データ)が、YUV画像エリア32bから静止画像エリア32cに退避される。
次に、撮像面の露光量が最適EV値に相当する露光量のα倍を示すように露光設定(=絞り量および/または露光時間)が変更され、変更後にイメージャ16から出力された生画像データに基づくYUV形式の画像データ(=2フレーム目の画像データ)がYUV画像エリア32bから静止画像エリア32cに退避される。
続いて、撮像面の露光量が最適EV値に相当する露光量の1/α倍を示すように露光設定(=絞り量および/または露光時間)が変更され、変更後にイメージャ16から出力された生画像データに基づくYUV形式の画像データ(=3フレーム目の画像データ)がYUV画像エリア32bから静止画像エリア32cに退避される。
こうして得られた3フレームの画像データは共通のシーンを表し、たとえば図5(A)〜図5(C)に示すヒストグラムを示す。図5(A)に示すヒストグラムは1フレーム目の画像データの輝度分布を示し、図5(B)に示すヒストグラムは2フレーム目の画像データの輝度分布を示し、図5(C)に示すヒストグラムは3フレーム目の画像データの輝度分布を示す。
3フレームの画像データが静止画像エリア32に確保されると、1フレーム目の画像データによって表される画像と2フレーム目の画像データによって表される画像との間の位置ずれがオフセットOFST12として検出され、1フレーム目の画像データによって表される画像と3フレーム目の画像データによって表される画像との間の位置ずれがオフセットOFST13として検出される。
静止画像エリア32cに退避された1フレーム目〜3フレーム目の画像データは続いて、ワークエリア32dに複製され、かつ個別に縮小される。これによって、1フレーム目〜3フレーム目の縮小画像データがワークエリア32d上に得られる。
3フレームの縮小画像データが作成されると、2フレーム目の縮小画像データのヒストグラムが検出され、検出されたヒストグラムに基づいてシフト量SFT_Sが算出される。算出されたシフト量SFT_Sは、1フレーム目の縮小画像データと2フレーム目の縮小画像データとの間でのヒストグラムの位置ずれを抑制するための係数に相当する。
1フレーム目の縮小画像データのヒストグラムが図6(A)に示す特性を有し、2フレーム目の縮小画像データのヒストグラムが図6(B)に破線で示す特性を有する場合、シフト量SFT_Sを参照して低輝度側にシフトされた2フレーム目の縮小画像データのヒストグラムは図6(B)に実線で示す特性を有することとなる。
1フレーム目の縮小画像データおよび2フレーム目の縮小画像データは、上述の要領で算出されたオフセットOFST12およびシフト量SFT_Sを参照して合成される。まず、2フレーム目の縮小画像データのヒストグラムがシフト量SFT_Sだけ低輝度側にシフトされるように、2フレーム目の縮小画像データの輝度が調整される。次に、調整された輝度を有する縮小画像データが、オフセットOFST12を参照して1フレーム目の縮小画像データと合成される。これによって、黒つぶれが改善された中間合成縮小画像データがワークエリア32d上に得られる。
中間合成縮小画像データが作成されると、3フレーム目の縮小画像データのヒストグラムが検出され、検出されたヒストグラムに基づいてゲインGN_Sが算出される。算出されたゲインGN_Sは、3フレーム目の縮小画像データのヒストグラムを高輝度側に引き伸ばすための係数に相当する。
1フレーム目の縮小画像データのヒストグラムが図6(A)に示す特性を有し、3フレーム目の縮小画像データのヒストグラムが図6(C)に破線で示す特性を有する場合、ゲインGN_Sを参照して高輝度に引き伸ばされた3フレーム目の縮小画像データのヒストグラムは図6(C)に実線で示す特性を有することとなる。
中間合成縮小画像データおよび3フレーム目の縮小画像データは、上述の要領で算出されたオフセットOFST13およびゲインGN_Sを参照して合成される。まず、3フレーム目の縮小画像データの輝度がゲインGN_Sに従って増幅される。次に、増幅された輝度を有する縮小画像データが、オフセットOFST13を参照して中間合成縮小画像データと合成される。これによって、黒つぶれおよび白飛びの両方が改善された最終合成縮小画像データがワークエリア32d上に得られる。
続いて、最終合成縮小画像データのヒストグラムが検出され、検出されたヒストグラムに基づいてシフト量SFT_LおよびゲインGN_Lが算出される。シフト量SFT_Lは、最終合成縮小画像データのヒストグラムを低輝度側にシフトさせるための係数に相当する。また、ゲインGN_Lは、最終合成縮小画像データのヒストグラムを高輝度側に引き伸ばすための係数に相当する。
最終合成画像データのヒストグラムが図7(A)に示す特性を有する場合、シフト量SFT_Lの大きさは、ヒストグラムの低輝度側エッジが再現範囲の下限に接する大きさに相当する(図7(B)参照)。また、ゲインGN_Lの大きさは、シフト量SFT_Lを参照して低輝度側にシフトされたヒストグラムが再現範囲の上限まで引き伸ばされる大きさに相当する(図7(C)参照)。
シフト量SFT_Lは上述のシフト量SFT_Lと加算され、これによって補正シフト量SFT_Cが得られる。また、ゲインGN_Lは上述のゲインGN_Sに掛け算され、これによって補正ゲインGN_Cが算出される。
1フレーム目の画像データのヒストグラムが図8(A)に示す特性を有し、2フレーム目の画像データのヒストグラムが図8(B)に破線で示す特性を有し、3フレーム目の縮小画像データのヒストグラムが図8(C)に破線で示す特性を有する場合、補正シフト量SFT_Cを参照して低輝度側にシフトされた2フレーム目の画像データのヒストグラムは図8(B)に実線で示す特性を有し、ゲインGN_Sを参照して高輝度に引き伸ばされた3フレーム目の画像データのヒストグラムは図8(C)に実線で示す特性を有することとなる。
こうして補正シフト量SFT_Cおよび補正ゲインGN_Cが算出されると、静止画像エリア32cに退避された1フレーム目〜2フレーム目の画像データがワークエリア32dに複製され、複製された2フレームの画像データに対して合成処理が実行される。まず、2フレーム目の画像データのヒストグラムが補正シフト量SFT_Cだけ低輝度側にシフトされるように、2フレーム目の画像データの輝度が調整される。次に、調整された輝度を有する画像データが、オフセットOFST12を参照して1フレーム目の画像データと合成する。これによって、黒つぶれがさらに改善された中間合成画像データがワークエリア32d上に得られる。
続いて、静止画像エリア32cに退避された3フレーム目の画像データがワークエリア32dに複製され、中間合成画像データと複製された3フレーム目の画像データとに対して合成処理が実行される。まず、3フレーム目の画像データの輝度が補正ゲインGA_Cに従って増幅する。次に、増幅された輝度を有する画像データが、オフセットOFST13を参照して中間合成画像データと合成される。これによって、黒つぶれおよび白飛びの両方がさらに改善された最終合成画像データがワークエリア32d上に得られる。
こうして得られた最終合成画像データのヒストグラムは、図9に実線で示す特性を有する。参考までに、シフト量SFT_SおよびゲインGN_Sを参照して作成された最終合成画像データのヒストグラムは、図9に破線で示す特性を有する。最終合成画像データはその後ワークエリア32dから静止画像エリア32cに複製される。HRD処理は、複製の後に終了される。
CPU26は、図10〜図13に示す撮像タスクを含む複数のタスクをマルチタスクOSの制御の下で並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ44に記憶される。
図10を参照して、ステップS1では動画取込み処理を実行する。この結果、撮像面で捉えられたシーンを表すスルー画像がLCDモニタ38に表示される。ステップS3ではシャッタボタン28shが半押しされたか否かを判別し、判別結果がNOである限り、ステップS5で簡易AE処理を繰り返す。この結果、スルー画像の明るさが大まかに調整される。
ステップS3の判別結果がNOからYESに更新されると、ステップS7で厳格AE処理を実行し、ステップS9でAF処理を実行する。スルー画像の明るさは厳格AE処理によって厳格に調整され、スルー画像の鮮鋭度はAF処理によって向上する。
ステップS11ではシャッタボタン28shが全押しされたか否かを判別し、ステップS13ではシャッタボタン28shの操作が解除されたか否かを判別する。ステップS13でYESであればそのままステップS3に戻り、ステップS11でYESであればステップS15〜S21の処理を経てステップS3に戻る。
ステップS15では、現時点の撮像モードが通常モードおよびHDRモードのいずれであるかを判別する。現時点の撮像モードが通常モードであれば、ステップS17で静止画取り込み処理を実行し、現時点の撮像モードがHDRモードであれば、ステップS19でHDR処理を実行する。
ステップS17の静止画取り込み処理の結果、シャッタボタン28shが全押しされた時点の被写界を表す1フレームの画像データがYUV画像エリア32bから静止画像エリア32cに退避される。ステップS19のHDR処理の結果、互いに異なる3つの露光量にそれぞれ対応する3フレームの画像データが静止画像エリア32cに取り込まれ、1フレームの合成画像データがワークエリア32d上で作成される。作成された合成画像データは、静止画像エリア32cに戻される。
ステップS17またはS19の処理が完了すると、ステップS21で記録処理を実行するべく、対応する命令をメモリI/F40に与える。メモリI/F40は、静止画像エリア32cに格納された1フレームの画像データをメモリ制御回路30を通して読み出し、読み出された画像データをファイル形式で記録媒体42に記録する。
ステップS19のHDR処理は、図11〜図13に示すサブルーチンに従って実行される。
ステップS31では、シャッタボタン28shの全押しの後にイメージャ16から出力された生画像データに基づくYUV形式の画像データ(=1フレーム目の画像データ)をYUV画像エリア32bから静止画像エリア32cに退避させる。ステップS33では、撮像面の露光量が最適EV値に相当する露光量のα倍を示すように、露光設定(=絞り量および/または露光時間)を変更する。ステップS35では、ステップS33の処理の後にイメージャ16から出力された生画像データに基づくYUV形式の画像データ(=2フレーム目の画像データ)をYUV画像エリア32bから静止画像エリア32cに退避させる。
ステップS37では、撮像面の露光量が最適EV値に相当する露光量の1/α倍を示すように、露光設定(=絞り量および/または露光時間)を変更する。ステップS39では、ステップS37の処理の後にイメージャ16から出力された生画像データに基づくYUV形式の画像データ(=3フレーム目の画像データ)をYUV画像エリア32bから静止画像エリア32cに退避させる。この結果、互いに異なる3つの露光量にそれぞれ対応する3フレームの画像データが、静止画像エリア32に確保される。
ステップS41では1フレーム目の画像データによって表される画像と2フレーム目の画像データによって表される画像との間の位置ずれをオフセットOFST12として検出し、ステップS43では1フレーム目の画像データによって表される画像と3フレーム目の画像データによって表される画像との間の位置ずれをオフセットOFST13として検出する。ステップS45では、静止画像エリア32cに退避された1フレーム目〜3フレーム目の画像データをワークエリア32dに複製し、複製された3フレームの画像データを個別に縮小する。これによって、1フレーム目〜3フレーム目の縮小画像データがワークエリア32d上に得られる。
ステップS47では、2フレーム目の縮小画像データのヒストグラムを検出し、検出されたヒストグラムに基づいてシフト量SFT_Sを算出する。算出されたシフト量SFT_Sは、1フレーム目の縮小画像データと2フレーム目の縮小画像データとの間でのヒストグラムの位置ずれを抑制するための係数に相当する。
ステップS49では、1フレーム目の縮小画像データと2フレーム目の縮小画像データとに合成処理を施す。まず、2フレーム目の縮小画像データのヒストグラムがステップS47で算出されたシフト量SFT_Sだけ低輝度側にシフトされるように、2フレーム目の縮小画像データの輝度を調整する。次に、調整された輝度を有する縮小画像データを、ステップS41で算出されたオフセットOFST12を参照して、1フレーム目の縮小画像データと合成する。これによって、黒つぶれが改善された中間合成縮小画像データがワークエリア32d上に得られる。
ステップS51では、3フレーム目の縮小画像データのヒストグラムを検出し、検出されたヒストグラムに基づいてゲインGN_Sを算出する。算出されたゲインGN_Sは、3フレーム目の縮小画像データのヒストグラムを高輝度側に引き伸ばすための係数に相当する。
ステップS53では、ステップS49で作成された中間合成縮小画像データと3フレーム目の縮小画像データとに合成処理を施す。まず、3フレーム目の縮小画像データの輝度をステップS51で算出されたゲインGN_Sに従って増幅する。次に、増幅された輝度を有する縮小画像データを、ステップS43で算出されたオフセットOFST13を参照して、中間合成縮小画像データと合成する。これによって、黒つぶれおよび白飛びの両方が改善された最終合成縮小画像データがワークエリア32d上に得られる。
ステップS55では、ステップS53で作成された最終合成縮小画像データのヒストグラムを検出し、検出されたヒストグラムに基づいてシフト量SFT_Lを算出する。算出されたシフト量SFT_Lは、最終合成縮小画像データのヒストグラムを低輝度側にシフトさせるための係数に相当する。
ステップS57では、ステップS53で検出された最終合成縮小画像データのヒストグラムに基づいてゲインGN_Lを算出する。算出されたゲインGN_Lは、最終合成縮小画像データのヒストグラムを高輝度側に引き伸ばすための係数に相当する。
ステップS59では、ステップS55で算出されたシフト量SFT_LをステップS47で算出されたシフト量SFT_Lに加算して補正シフト量SFT_Cを算出する。ステップS61では、ステップS57で算出されたゲインGN_LをステップS51で算出されたゲインGN_Sに掛け算して補正ゲインGN_Cを算出する。
ステップS63では、静止画像エリア32cに退避された1フレーム目〜2フレーム目の画像データをワークエリア32dに複製し、複製された2フレームの画像データに合成処理を施す。まず、2フレーム目の画像データのヒストグラムがステップS59で算出された補正シフト量SFT_Cだけ低輝度側にシフトされるように、2フレーム目の画像データの輝度を調整する。次に、調整された輝度を有する画像データを、ステップS41で算出されたオフセットOFST12を参照して、1フレーム目の画像データと合成する。これによって、黒つぶれがさらに改善された中間合成画像データがワークエリア32d上に得られる。
ステップS65では、静止画像エリア32cに退避された3フレーム目の画像データをワークエリア32dに複製し、ステップS63で作成された中間合成画像データと複製された3フレーム目の画像データとに合成処理を施す。まず、3フレーム目の画像データの輝度をステップS61で算出された補正ゲインGA_Cに従って増幅する。次に、増幅された輝度を有する画像データを、ステップS43で算出されたオフセットOFST13を参照して、中間合成画像データと合成する。これによって、黒つぶれおよび白飛びの両方がさらに改善された最終合成画像データがワークエリア32d上に得られる。
ステップS67では、こうして作成された最終合成画像データをワークエリア32dから静止画像エリア32cに複製する。複製が完了すると、上階層のルーチンに復帰する。
以上の説明から分かるように、HDRモードが選択された状態でシャッタボタン28shが全押しされると、CPU26は、最適露光量,過大露光量および過小露光量にそれぞれ対応しかつ共通のシーンを各々が表す3フレームの画像データを取得する(S31, S35, S39)。CPU26はまた、取得された3フレームの画像データのうち2フレーム目の画像データおよび3フレーム目の画像データの各々のヒストグラムを参照して、いずれも合成係数に相当するシフト量SFT_SおよびゲインGN_Sを算出する(S47, S51)。
3つの露光量に対応して取得された3フレームの画像データに対応する3フレームの縮小画像データは、算出されたシフト量SFT_SおよびゲインGN_Sを参照して合成される(S45, S49, S53)。シフト量SFT_SおよびゲインGN_Sは、合成縮小画像データのヒストグラムを参照して算出されたシフト量SFT_LおよびゲインGN_Lに基づいて補正され(S55~S61)、これによって、補正シフト量SFT_Cおよび補正ゲインGN_Cが得られる。3つの露光量に対応して取得された3フレームの画像データは、こうして得られた補正シフト量SFT_Cおよび補正ゲインGN_Cを参照して合成され(S63~S65)、これによって合成画像データが作成される。
このように、シフト量およびゲインは、取得された3フレームの画像データに基づいて算出され、かつこの3フレームの画像データに基づく合成縮小画像データに基づいて補正される。取得された3フレームの画像データは、補正後のシフト量およびゲインを参照して再度実行される。これによって、画像合成性能が向上する。
なお、この実施例では、マルチタスクOSおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ44に予め記憶される。しかし、図14に示すように通信I/F46をディジタルカメラ10に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ44に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
また、この実施例では、CPU26によって実行される処理を上述の要領で複数のタスクに区分するようにしている。しかし、各々のタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、各々のタスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
10 …ディジタルカメラ
16 …イメージャ
20 …前処理回路
22 …AE評価回路
24 …AF評価回路
26 …CPU
32 …SDRAM
34 …後処理回路
16 …イメージャ
20 …前処理回路
22 …AE評価回路
24 …AF評価回路
26 …CPU
32 …SDRAM
34 …後処理回路
Claims (10)
- 互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得手段、
前記取得手段によって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出手段、
前記取得手段によって取得された複数の画像を前記算出手段によって算出された合成係数を参照して合成する第1合成手段、
前記算出手段によって算出された合成係数の値を前記第1合成手段によって作成された合成画像の輝度特性を参照して補正する補正手段、および
前記取得手段によって取得された複数の画像を前記補正手段によって補正された値を有する合成係数を参照して合成する第2合成手段を備える、画像処理装置。 - 前記第1合成手段は、前記複数の画像の各々の解像度を低減して複数の低減画像を作成する低減手段、および前記低減手段によって作成された複数の低減画像に合成処理を施す合成処理手段を含む、請求項1記載の画像処理装置。
- 前記取得手段によって取得される複数の画像は、適正露光量に対応する第1画像,過大露光量に対応する第2画像および過小露光量に対応する第3画像を含み、
前記算出手段は、前記第2画像の輝度分布を低輝度側にシフトさせる第1シフト量を前記合成係数の一部として算出する第1シフト量算出手段、および前記第3画像の輝度分布を高輝度側に引き伸ばす第1ゲインを前記合成係数の他の一部として算出する第1ゲイン算出手段を含む、請求項1または2記載の画像処理装置。 - 前記補正手段は、前記合成画像の輝度分布を低輝度側にシフトさせる第2シフト量を算出する第2シフト量算出手段、および前記合成画像の輝度分布を高輝度側に引き伸ばす第2ゲインを算出する第2ゲイン算出手段を含む、請求項3記載の画像処理装置。
- 前記補正手段は、前記第2シフト量算出手段によって算出された第2シフト量を前記第1シフト量算出手段によって算出された第1シフト量に加算して得られる第3シフト量を前記合成係数の一部として算出する第3シフト量算出手段、および前記第2ゲイン算出手段によって算出された第2ゲインを前記第1ゲイン算出手段によって算出された第1ゲインに掛け算して得られる第3ゲインを前記合成係数の他の一部として算出する第3ゲイン量算出手段をさらに含む、請求項4記載の画像処理装置。
- 撮像面で捉えられたシーンを表す画像を出力する撮像手段をさらに備え、
前記取得手段によって取得される画像は前記撮像手段から出力された画像に相当する、請求項1ないし5のいずれかに記載の画像処理装置。 - 画像処理装置のプロセッサに、
互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得ステップ、
前記取得ステップによって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出ステップ、
前記取得ステップによって取得された複数の画像を前記算出ステップによって算出された合成係数を参照して合成する第1合成ステップ、
前記算出ステップによって算出された合成係数の値を前記第1合成ステップによって作成された合成画像の輝度特性を参照して補正する補正ステップ、および
前記取得ステップによって取得された複数の画像を前記補正ステップによって補正された値を有する合成係数を参照して合成する第2合成ステップを実行させるための、画像合成プログラム。 - 画像処理装置によって実行される画像合成方法であって、
互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得ステップ、
前記取得ステップによって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出ステップ、
前記取得ステップによって取得された複数の画像を前記算出ステップによって算出された合成係数を参照して合成する第1合成ステップ、
前記算出ステップによって算出された合成係数の値を前記第1合成ステップによって作成された合成画像の輝度特性を参照して補正する補正ステップ、および
前記取得ステップによって取得された複数の画像を前記補正ステップによって補正された値を有する合成係数を参照して合成する第2合成ステップを備える、画像合成方法。 - メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える画像処理装置に供給される外部制御プログラムであって、
互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得ステップ、
前記取得ステップによって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出ステップ、
前記取得ステップによって取得された複数の画像を前記算出ステップによって算出された合成係数を参照して合成する第1合成ステップ、
前記算出ステップによって算出された合成係数の値を前記第1合成ステップによって作成された合成画像の輝度特性を参照して補正する補正ステップ、および
前記取得ステップによって取得された複数の画像を前記補正ステップによって補正された値を有する合成係数を参照して合成する第2合成ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。 - 外部制御プログラムを取り込む取り込み手段、および
前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える画像処理装置であって、
前記外部制御プログラムは、
互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得ステップ、
前記取得ステップによって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出ステップ、
前記取得ステップによって取得された複数の画像を前記算出ステップによって算出された合成係数を参照して合成する第1合成ステップ、
前記算出ステップによって算出された合成係数の値を前記第1合成ステップによって作成された合成画像の輝度特性を参照して補正する補正ステップ、および
前記取得ステップによって取得された複数の画像を前記補正ステップによって補正された値を有する合成係数を参照して合成する第2合成ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011222271A JP2013085040A (ja) | 2011-10-06 | 2011-10-06 | 画像処理装置 |
US13/633,321 US20130089270A1 (en) | 2011-10-06 | 2012-10-02 | Image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011222271A JP2013085040A (ja) | 2011-10-06 | 2011-10-06 | 画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013085040A true JP2013085040A (ja) | 2013-05-09 |
Family
ID=48042117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011222271A Pending JP2013085040A (ja) | 2011-10-06 | 2011-10-06 | 画像処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20130089270A1 (ja) |
JP (1) | JP2013085040A (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9871965B2 (en) * | 2016-02-03 | 2018-01-16 | Texas Instruments Incorporated | Image processing for wide dynamic range (WDR) sensor data |
CN106875352B (zh) * | 2017-01-17 | 2019-08-30 | 北京大学深圳研究生院 | 一种低照度图像增强方法 |
CN108846803A (zh) * | 2018-04-23 | 2018-11-20 | 遵义师范学院 | 一种基于yuv空间的色彩还原方法 |
CN109523498B (zh) * | 2018-11-06 | 2020-04-07 | 南京农业大学 | 一种面向田块尺度作物生长监测的遥感影像时空融合方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4218723B2 (ja) * | 2006-10-19 | 2009-02-04 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
JP5412953B2 (ja) * | 2009-05-20 | 2014-02-12 | リコーイメージング株式会社 | 撮像装置 |
-
2011
- 2011-10-06 JP JP2011222271A patent/JP2013085040A/ja active Pending
-
2012
- 2012-10-02 US US13/633,321 patent/US20130089270A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20130089270A1 (en) | 2013-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5713752B2 (ja) | 画像処理装置、及びその制御方法 | |
JP5408053B2 (ja) | 画像処理装置、画像処理方法 | |
JP6587380B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体 | |
JP2012109900A (ja) | 撮影装置、撮影方法、およびプログラム | |
JP2014017681A (ja) | 撮像装置、該撮像装置の制御方法、プログラム、記憶媒体 | |
JP2017212532A (ja) | 画像処理装置 | |
JP6322058B2 (ja) | 画像取得装置 | |
JP2013085040A (ja) | 画像処理装置 | |
JP6108680B2 (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
JP7077100B2 (ja) | 撮像装置およびその制御方法、並びにプログラム | |
JP2010187113A (ja) | 撮像装置およびホワイトバランスブラケティング撮影プログラム | |
JP5882644B2 (ja) | 画像処理装置、その制御方法、及びプログラム | |
JP5675391B2 (ja) | 画像処理装置 | |
JP7224826B2 (ja) | 撮像制御装置、撮像制御方法、およびプログラム | |
JP2012044377A (ja) | 画像合成装置、画像合成方法、及びプログラム | |
JP6075829B2 (ja) | 撮像装置、カメラシステム、撮像装置の制御方法、プログラム、記憶媒体 | |
JP6090565B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP5803873B2 (ja) | 露出装置、露出方法、およびプログラム | |
JP2008306326A (ja) | 画像処理装置および画像処理方法 | |
JP5976422B2 (ja) | 電子カメラ | |
JP2024060345A (ja) | 撮像装置 | |
JP2021185649A (ja) | 画像処理装置、方法及びプログラム | |
JP2014202863A (ja) | 電子カメラ | |
JP2014171146A (ja) | 撮影装置 | |
JP2013207432A (ja) | 電子カメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20130404 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20130521 |