JP2004222162A - Image composition method and digital camera - Google Patents
Image composition method and digital camera Download PDFInfo
- Publication number
- JP2004222162A JP2004222162A JP2003009807A JP2003009807A JP2004222162A JP 2004222162 A JP2004222162 A JP 2004222162A JP 2003009807 A JP2003009807 A JP 2003009807A JP 2003009807 A JP2003009807 A JP 2003009807A JP 2004222162 A JP2004222162 A JP 2004222162A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- ratio
- processing
- composition
- sensitivity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000203 mixture Substances 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 43
- 239000002131 composite material Substances 0.000 claims abstract description 47
- 230000035945 sensitivity Effects 0.000 claims abstract description 30
- 230000015572 biosynthetic process Effects 0.000 claims description 43
- 238000003786 synthesis reaction Methods 0.000 claims description 43
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- SPCMQFLNOVTUBM-UHFFFAOYSA-N [7-(dimethylazaniumyl)-10h-phenothiazin-3-yl]-dimethylazanium;methanesulfonate Chemical compound CS([O-])(=O)=O.CS([O-])(=O)=O.C1=C([NH+](C)C)C=C2SC3=CC([NH+](C)C)=CC=C3NC2=C1 SPCMQFLNOVTUBM-UHFFFAOYSA-N 0.000 abstract description 9
- 238000003384 imaging method Methods 0.000 description 29
- 238000006243 chemical reaction Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 14
- 230000010354 integration Effects 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 7
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000001308 synthesis method Methods 0.000 description 5
- 230000006837 decompression Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、相対的に高感度の第1の画像データと相対的に低感度の第2の画像データとの合成処理を行って合成画像データを得る画像合成方法、及び相対的に高感度の第1の画像データと相対的に低感度の第2の画像データとの合成処理を行って合成画像データを得る機能を有するデジタルカメラに関する。
【0002】
【従来の技術】
CCD撮像素子等の固体撮像素子のダイナミックレンジは、一般に狭く、ハイコントラストの被写体を撮影する場合は、固体撮像素子の受光量がダイナミックレンジを超えて固体撮像素子の出力が飽和してしまい、被写体の情報が欠落する場合がある。
【0003】
このような問題を解決するため、相対的に高感度の第1の画像データ(以下、単に「高感度画像データ」と記述する場合もある。)と相対的に低感度の第2の画像データ(以下、単に「低感度画像データ」と記述する場合もある。)との合成処理を行うことにより、ダイナミックレンジの拡大を図る技術が提案されている(特許文献1、2参照)
【0004】
特許文献1に記載された技術は、異なる露光条件、異なるゲイン制御の少なくとも何れか1つによって、標準的な明るさの被写体が適正レベルとなるようにして得た標準輝度映像信号(高感度画像データ)と、所定値より明るい被写体が適正レベルとなるようにして得た高輝度映像信号(低感度画像データ)を加算して、広ダイナミックレンジ映像信号を得るものである。そして、その際、高輝度映像信号のピーク値を検出し、このピーク値に基づき、標準輝度映像信号と高輝度映像信号にそれぞれ乗算する乗算係数を算出し、それぞれに乗算した後、加算するものである。
【0005】
特許文献2に記載された技術は、被写界を撮像して該被写界を表わす高感度の映像信号及び低感度の映像信号を生成する撮像手段と、高感度の映像信号を第1の量子化分解能で量子化して、対応する高感度の映像信号データを出力する第1の信号変換手段と、低感度の映像信号を第1の量子化分解能より低い第2の量子化分解能で量子化して、対応する低感度の映像信号データを出力する第2の信号変換手段とを含み、高感度の映像信号データ及び対応する低感度の映像信号データを加算合成して、広いダイナミックレンジの映像信号を形成するものである。
【0006】
しかし、被写体の輝度レンジが大きい場合に、高感度画像データと低感度画像データを加算合成するだけでは、必ずしも最適な合成画像データが得られない。輝度レンジによって、高感度画像データと低感度画像データの合成ゲインを変化させた場合でも、同様である。例えば、キャッチライトシーンは、被写体の輝度レンジが大きいが、広いダイナミックレンジで画像を構成すると、ハイライト部の階調が軟調になり、いわゆる眠い画像になる。一方、結婚式のようなハイコントラストシーンも同様に被写体の輝度レンジの幅が大きいが、この場合は、広いダイナミックレンジで画像を構成する方が、階調再現が豊かで好ましい。
【0007】
また、画像合成によってダイナミックレンジを広げようとすると、ハイライト側の見かけ上のゲインが低下することになり、彩度が低下するという問題もある。
【0008】
【特許文献1】
特開2001−94870号公報
【特許文献2】
特開2001−8104号公報
【0009】
【発明が解決しようとする課題】
本発明は、上記事情に鑑みなされたもので、撮影シーンに応じて、より好ましい合成画像データを得ることが可能な画像合成方法、及びそのような画像合成方法を利用して合成処理を行うデジタルカメラを提供することを目的とするものである。
【0010】
【課題を解決するための手段】
本発明の画像合成方法は、相対的に高感度の第1の画像データと相対的に低感度の第2の画像データとの合成処理を行って合成画像データを得るものであって、前記第2の画像データが示す被写体輝度の最大値と、前記第1の画像データがとり得る最大値が示す輝度値との比xと求める工程と、ストロボのオンオフ情報、被写体の平均輝度情報、逆光情報の少なくとも1つに基づいて、前記比xを補正する工程と、前記補正された比x’に基づいて、前記合成処理パラメータを決定する工程と、前記合成処理パラメータに基づいて前記第1の画像データと前記第2の画像データとの合成処理を行う工程とを含むものである。この合成方法によれば、被写体のシーン及び輝度レンジに応じて、必要部分の明るさの範囲を効率的に再現できるレンジで合成することができる。
【0011】
本発明の画像合成方法は、さらに、前記補正された比x’に基づいて、前記第2の画像データのガンマ補正パラメータを決定する工程と、前記ガンマ補正パラメータに基づいて前記第2の画像データを補正する工程とを含む。この合成方法によれば、被写体のシーン及び輝度レンジに応じて、さらに好ましい階調の合成画像を得ることができる。
【0012】
本発明の画像合成方法は、さらに、前記補正された比x’に基づいて、合成画像データの彩度補正パラメータを決定する工程と、前記彩度補正パラメータに基づいて、前記合成画像データの彩度を補正する工程とを含む。この合成方法に寄れば、ハイライト側の見かけ上のゲイン低下による彩度低下を補正することができる。
【0013】
本発明の画像合成方法における前記比xを補正する工程は、ストロボのオンオフ情報、被写体の平均輝度情報、逆光情報の少なくとも1つに基づいて、前記比xの値を制限する工程であるものを含む。
【0014】
本発明の画像合成方法は、相対的に高感度の第1の画像データと相対的に低感度の第2の画像データとの合成処理を行って合成画像データを得るものであって、前記第2の画像データが示す被写体輝度の最大値と、前記第1の画像データがとり得る最大値が示す輝度値との比xと求める工程と、前記比xに基づいて、前記第2の画像データのガンマ補正パラメータ、及び前記合成処理パラメータを決定する工程と、前記ガンマ補正パラメータに基づいて前記第2の画像データを補正する工程と、前記合成処理パラメータに基づいて前記第1の画像データと前記第2の画像データとの合成処理を行う工程とを含むものである。この合成方法によれば、被写体の輝度レンジに応じて、好ましい階調の合成画像を得ることができる。
【0015】
本発明の画像合成方法は、相対的に高感度の第1の画像データと相対的に低感度の第2の画像データとの合成処理を行って合成画像データを得るものであって、前記第2の画像データが示す被写体輝度の最大値と、前記第1の画像データがとり得る最大値が示す輝度値との比xと求める工程と、前記比xに基づいて、前記合成処理パラメータ、及び合成画像データの彩度補正パラメータを決定する工程と、前記合成処理パラメータに基づいて前記第1の画像データと前記第2の画像データとの合成処理を行う工程と、前記彩度補正パラメータに基づいて、前記合成画像データの彩度を補正する工程とを含むものである。この合成方法によれば、ハイライト側の見かけ上のゲイン低下による彩度低下を補正することができる。
【0016】
本発明の画像合成方法は、相対的に高感度の第1の画像データと相対的に低感度の第2の画像データとの合成処理を行って合成画像データを得るものであって、前記第2の画像データが示す被写体輝度の最大値と、前記第1の画像データがとり得る最大値が示す輝度値との比xと求める工程と、前記比xに基づいて、前記第2の画像データのガンマ補正パラメータ、前記合成処理パラメータ、及び合成画像データの彩度補正パラメータを決定する工程と、前記ガンマ補正パラメータに基づいて前記第2の画像データを補正する工程と、前記合成処理パラメータに基づいて前記第1の画像データと前記第2の画像データとの合成処理を行う工程と、前記彩度補正パラメータに基づいて、前記合成画像データの彩度を補正する工程とを含むものである。
【0017】
本発明の画像合成方法における電子ズーム撮影時における前記比xを求める工程は、ズーム倍率に応じて異なる領域の前記第2の画像データが示す被写体輝度の最大値を利用するものを含む。この合成方法によれば、再現領域に対応した範囲の被写体輝度に基づいて合成処理を行うことができるので、例えば天井から照明されるようなキャッチライトシーンでも、ズーム倍率に応じて良好な合成画像を得ることができる。
【0018】
本発明のデジタルカメラは、相対的に高感度の第1の画像データと相対的に低感度の第2の画像データとの合成処理を行って合成画像データを得る機能を有するものであって、前記合成処理は、上記した画像合成方法を利用して行うものである。
【0019】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。図12は、本発明の実施の形態のデジタルカメラの概略構成を示す図である。図12のデジタルカメラは、撮像部1、アナログ信号処理部2、A/D変換部3、駆動部4、ストロボ5、デジタル信号処理部6、圧縮/伸張処理部7、表示部8、システム制御部9、内部メモリ10、メディアインタフェース11、記録メディア12、操作部13を含んで構成される。デジタル信号処理部6、圧縮/伸張処理部7、表示部8、システム制御部9、内部メモリ10、及びメディアインタフェース11は、システムバス20に接続されている。
【0020】
撮像部1は、撮影レンズ等の光学系及びCCDイメージセンサ等の撮像素子を含み、被写体の撮影を行うものであって、アナログの撮像信号を出力する。撮像部1で得られた撮像信号は、アナログ信号処理部2に送られ、所定のアナログ信号処理が施され、A/D変換部3でデジタル信号に変換された後、いわゆるRAW画像データとしてデジタル信号処理部6に送られる。RAW画像データは、撮像部1からの撮像信号の形式のままデジタル化したデジタル画像データである。
【0021】
撮影に際しては、駆動部4を介して撮像部1が制御される。撮像素子として利用されるCCDイメージセンサ等の固体撮像素子は、半導体基板表面に行方向とこれに直交する列方向に配設された複数の光電変換領域(例えばフォトダイオード)を有し、入射光に対応して発生し、蓄積された信号電荷に基づいたアナログ電圧信号を出力するものである。固体撮像素子は、操作部13の一部であるレリーズボタン(図示せず)の操作によるレリーズスイッチ(図示せず)オンを契機として、所定のタイミングで、駆動部4に含まれるタイミングジェネレータ(図12ではTGと記載)からの駆動信号によって駆動される。駆動部4は、システム制御部9の制御に基づいて所定の駆動信号を出力するものであり、アナログ信号処理部2及びA/D変換部3に対する駆動信号も出力する。
【0022】
撮像部1は、相対的に高感度の撮像信号と相対的に低感度の撮像信号を出力するものであり、撮像信号は、共にアナログ信号処理部2、A/D変換部3を経てデジタル画像データに変換され、デジタル信号処理部6に送られる。
【0023】
感度の異なる撮像信号は、特許文献1に示すように露光条件又はアナログゲインを変更することによって取得してもよいし、特許文献2に示すように高感度撮像セルと低感度撮像セルを有する固体撮像素子を利用することによって取得してもよい。また、図13に示すような固体撮像素子を用いてもよい。
【0024】
図13は、高感度撮像信号と低感度撮像信号を出力可能な固体撮像素子の概略構成を示す図である。図13は、いわゆるハニカム構造の固体撮像素子の部分拡大平面図であって、半導体基板表面に行方向(矢印Xで示す方向)とこれに直交する列方向(矢印Yで示す方向)に配設された複数の光電変換領域111〜157(図では一部のみに番号を付してある)、垂直転送部201〜208、水平転送部300、及び出力部400を含む。複数の光電変換領域111〜157の内の奇数列のものは、偶数列のものに対して光電変換領域同士の列方向ピッチの略1/2だけ列方向にずれており、また、奇数行の光電変換領域は、偶数行の光電変換領域対して光電変換領域同士の行方向ピッチの略1/2だけ行方向にずれて配置される。なお、図13では、5行8列の光電変換領域を示してあるが、実際には、さらに多くの光電変換領域が設けられる。
【0025】
光電変換領域111〜157は、入射光量に対応した信号電荷を発生し、蓄積するもので、例えばフォトダイオードである。光電変換領域111〜157は、相対的に広い受光面積を有する主領域mと相対的に狭い受光面積を有する副領域sに分割され(図13では、光電変換領域151のみについて符号を付してある。)、それぞれ所定の分光感度の光に対応する信号電荷を発生し、蓄積する。図13の固体撮像素子においては、赤(Rで示す。)、緑(Gで示す。)、又は青(Bで示す。)のフィルタ(図示せず)が、それぞれの光電変換領域111〜157の上方に設けられ、それぞれの色の光に対応する信号電荷を発生し、蓄積する。
【0026】
垂直転送部201〜208は、光電変換領域111〜157からの信号電荷を読み出し、列方向に転送するものであり、光電変換領域111〜157の各列に対応してその側方に設けられる。列方向の転送は、主領域mの信号電荷と副領域sの信号電荷を、それぞれ独立に垂直転送部201〜208に読み出して行う。水平転送部300は、複数の垂直転送部201〜208からの信号電荷が転送され、転送された信号電荷を行方向に転送するものである。出力部400は、転送された信号電荷量に応じた電圧信号を出力するものである。
【0027】
ストロボ5は、被写体の輝度が所定値以下の場合等に動作するものであり、システム制御部9によって制御される。
【0028】
デジタル信号処理部6では、A/D変換部3からのデジタル画像データに対して、操作部13によって設定された動作モードに応じたデジタル信号処理を行うものである。デジタル信号処理部6が行う処理には、黒レベル補正処理(OB処理)、リニアマトリクス補正処理(撮像部からの原色信号に対して、撮像素子の光電変換特性に起因する混食成分を除去する補正を行う処理。RBG入力に対する3×3のマトリクス演算による。)、ホワイトバランス調整処理(ゲイン調整)、ガンマ補正処理、画像合成処理、同時化処理、Y/C変換処理等が含まれる。デジタル信号処理部6の画像合成処理については、後述する。
【0029】
デジタル信号処理部6は、例えばDSPで構成される。圧縮/伸張処理部7は、デジタル信号処理部6で得られたY/Cデータに対して圧縮処理を施すとともに、記録メディア12から得られた圧縮画像データに対して伸張処理を施すものである。
【0030】
表示部8は、例えばLCD表示装置を含んで構成され、撮影され、デジタル信号処理を経た画像データに基づく画像を表示する。記録メディアに記録された圧縮画像データを伸張処理して得た画像データに基づく画像の表示も行う。また、撮影時のスルー画像、デジタルカメラの各種状態、操作に関する情報の表示等も可能である。
【0031】
内部メモリ10は、例えばDRAMであり、デジタル信号処理部6、システム処理部9のワークメモリとして利用される他、記録メディアに12に記録される撮影画像データを一時的に記憶するバッファメモリ、表示部8への表示画像データのバッファメモリとしても利用される。メディアインタフェース11は、メモリカード等の記録メディア12との間のデータの入出力を行うものである。
【0032】
システム制御部9は、撮影動作を含むデジタルカメラ全体の制御を行う。システム制御部9は、具体的には所定のプログラムによって動作するプロセッサを主体に構成される。
【0033】
操作部13は、デジタルカメラ使用時の各種操作を行うもので、デジタルカメラの動作モード(撮影モード、再生モード等)、撮影時の撮影方法、撮影条件、設定等を行う。操作部13は、それぞれの機能に対応する操作部材を設けてもよいが、表示部8の表示と連動して操作部材を共用してもよい。また、操作部13には、撮影動作を起動するためのレリーズボタンも含まれる。
【0034】
次に、デジタル信号処理部6の機能を、画像合成処理を中心に説明する。図1は、デジタル信号処理部6の概略機能ブロック図である。デジタル信号処理部6は、OB(オプティカルブラック)処理部61a、61b、LMTX(リニアマトリクス)62a、62b、WB(ホワイトバランス)処理部63a、63b、ガンマ補正部64a、64b、合成ゲインLUT(ルックアップテーブル)65、乗算部66a、66b、加算部67、リミッタ68、同時化及びY/C処理部69、CMTX(色差マトリクス)70、積算処理部71、合成レンジ演算部72を含む。
【0035】
OB処理部61a、61bは、画像データの黒レベルを補正するものであり、LMTX62a、62bは、例えば3×3のマトリクス演算を行うことにより、色相を調整するものである。WB処理部63a、63bは、ホワイトバランス補正用のゲインをそれぞれの色を示す画像データに乗算するものであり、ガンマ補正部64a、64bは、それぞれの画像データが所望のガンマ特性になるように入出力特性を変更するものである。
【0036】
合成ゲインLUT65は、高感度画像データと低感度画像データとを加算合成する際のそれぞれのゲインデータを高感度画像データに応じて出力するものである。合成ゲインについては、後述する。
【0037】
デジタル処理部6に入力される高感度画像データHighは、OB処理部61a、LMTX62a、WB処理部63a、ガンマ補正部64aによる処理を経て乗算部66aに入力される。また、同様に低感度画像データLowは、OB処理部61b、LMTX62b、WB処理部63b、ガンマ補正部64bによる処理を経て、乗算部66bに入力される。そして、それぞれ合成ゲインLUT65からのゲインデータと乗算され、乗算結果は加算部67で加算される。
【0038】
加算部67からの画像データは、リミッタ68で予め定めたビット数(例えば8ビット)で表現できる範囲に収まるように制限され、同時化及びY/C処理部69に入力される。同時化及びY/C処理部69は、点順次のRGB信号を補間し、各撮像位置毎にRGB信号を求め、さらにRGB信号から輝度信号Yと色差信号Cr,Cbに変換する。そして、CMTX70によって彩度補正を行い、合成画像データとして出力する。
【0039】
積算処理部71は、LMTX62bを経た低感度画像データを積算するのものであり、具体的には、画像の全領域又は画像の周辺部を除く領域を16×16分割し、各分割領域における緑データGを積算するものである。合成レンジ演算部72は、画像合成を行う場合の合成レンジを求めるものである。合成レンジは、低感度画像データが示す被写体輝度の最大値と、高感度画像データがとり得る最大値が示す輝度値との比xを基に定められる。合成レンジの求め方については後述する。
【0040】
合成レンジ演算部72の出力は、合成ゲインLUT65に送られ、合成レンジに応じたゲインデータを出力する。また、ガンマ補正部64bに送られ、低感度画像データのガンマ補正特性が合成レンジに応じたものとなる。さらに、CMTX70にも送られ、同時化及びY/C処理部69で得られた色差データが、合成レンジに応じたゲインで補正され、出力される合成画像データの彩度が補正される。
【0041】
なお、合成レンジ演算部72からの合成レンジに基づく低感度画像データのガンマ特性の補正、及び彩度補正は必須ではなく、適宜省略してもよい。
【0042】
図2に、撮影時の合成演算処理までのデジタル信号処理の概略シーケンスを示す。期間t1において露光がされた後、期間t2で高感度画像データの取り込みが行われる。期間t3では、低感度画像データの取り込みと同時に高感度画像データに対する信号処理が行われる。ここでは、ホワイトバランスゲイン決定処理(AWB)、キズ補正処理(キズ)、及び前処理が行われる。前処理には、OB処理、LMTX演算、WB処理、ガンマ補正処理が含まれる。
【0043】
低感度画像データの取り込みが終了すると、期間t4で合成レンジの演算処理が行われる。ここでの合成レンジの演算処理には、低感度画像データのOB処理、LMTX演算、積算処理も含まれる。合成レンジが決定すると、期間t5で低感度画像データの前処理(WB処理、ガンマ補正処理が含まれる)が行われる。そして、期間t6で、ガンマ補正後の高感度画像データ及び低感度画像データの合成演算が行われる。
【0044】
次いで、合成ゲインLUT65に記憶されるゲインデータについて説明する。ゲインデータは、合成データdataを求める式(1)に基づいて作成される。
【0045】
data=[high+MIN(high/th,1)×low]×MAX[(−lg×high/th)+1,p] (1)
ここで、
highは、ガンマ補正後の高感度画像データ
lowは、ガンマ補正後の低感度画像データ
thは、低感度画像データの加算比率を変更する閾値
pは、トータルゲイン
lgは、高感度画像データと低感度画像データの飽和出力の比に依存する値(例えば、飽和比が4:1とするとp=0.2)である。
【0046】
式(1)を展開し、
h_gain=MAX[(−lg×high/th)+1,p] (2)
l_gain=MAX[(−lg×high/th)+1,p]×MIN(high/th,1)=h_gain×wl (3)
とすると、
data=h_gain×high+l_gain×low
となる。
【0047】
h_gainは、高感度画像データ用のゲインであり、図3に示す特性を有する。また、l_gainは、低感度画像データ用のゲインであって、h_gain×wlであり、wlは、図4に示す特性を有する。
【0048】
合成ゲインLUT65には、上記式(2)及び(3)によって求められる高感度画像データ用のゲインh_gain、及び低感度画像データ用のゲインl_gainが、高感度画像データhighに対応するテーブル形式のデータとして記憶される。この記憶されるゲインデータは、合成レンジ演算部72から出力される合成レンジに応じた数だけ記憶される。
【0049】
続いて、合成レンジ演算部72による合成レンジの求め方について説明する。まず、低感度画像データが示す被写体輝度の最大値と、高感度画像データがとり得る最大値が示す輝度値との比xを、積算処理部71からの積算データに基づいて求める。積算データを積算画像数で除算した値は、被写体の分割領域毎のGデータの平均値であり、被写体輝度は、Gデータの1.25(80/64)倍と考えることができるので、その平均値の最大値Gmaxは、低感度画像データが示す被写体輝度の最大値に対応するものとなる。
【0050】
今、図5に示すように、高感度画像データがとり得る最大値が4095、低感度画像データがとり得る最大値が1023、低感度画像データの輝度レンジが高感度画像データの輝度レンジに対して400%、輝度が緑データGの1.25(80/64)倍であるとすると、低感度画像データが示す被写体輝度の最大値と、高感度画像データがとり得る最大値が示す輝度値との比xは、次の式(4)で表される。
【0051】
x=Gmax×80×400/1023×64(%) (4)
【0052】
合成レンジ演算部72は、このようにして求めた比xに基づいて合成レンジを求める。合成レンジは、例えば図6のように、比xの大きさによって決められる。
【0053】
このように決定された合成レンジに基づいて、高感度画像データ及び低感度画像データに乗算するゲインデータが選択される。図7に、合成画像データの合成レンジに応じた階調特性の一例を示す。図7に示すように、合成レンジが大きくなる(被写体の輝度範囲が広くなる)につれて、合成画像データの再現範囲を広くすることができる。図7の例は、低感度画像データのガンマ特性を変化させていない例を示しているが、合成レンジに応じて低感度画像データのガンマ特性をさらに好ましい階調特性にすることができる。
【0054】
次に、撮影シーンに応じて合成レンジを変更する実施の形態について説明する。撮影シーンは、ストロボのオンオフ情報、被写体の平均輝度情報、逆光情報の少なくとも1つに基づいて判断する。そして、撮影シーンに応じて低感度画像データが示す被写体輝度の最大値と、高感度画像データがとり得る最大値が示す輝度値との比xを補正し、補正された比x’に基づいて合成レンジを決定する。補正された比x’と合成レンジとの対応は、図6に示す比xについてのものと同様としてよいし、変更してもよい。比xの補正は、比xの値を一定値以下に制限することで行う。
【0055】
(補正例a)低輝度ストロボオンの場合
比xをサチュレーションポイントsp(EV)で制限した値を補正された比x’とする。図8に、比xと補正された比x’の関係を示す。この場合、サチュレーションポイントsp(EV)は、被写体の平均輝度値によって変化させる。平均輝度値が大きい場合は、相対的に低い値で制限し、平均輝度が低い場合は、相対的に高い値で制限する。図9に、平均輝度値とサチュレーションポイントsp(EV)との関係を示す。
【0056】
(補正例b)スローシンクロ、日中シンクロの場合、
被写体輝度の大小にかかわらず、比xを予め定められた値で制限する。図10に、その場合の比xと補正された比x’の関係を示す。図10の例では、比xが220%で制限している。
【0057】
(補正例c)ストロボオフの場合(逆光シーン時の補正)
低輝度ストロボオン時と同様、比xをサチュレーションポイントsp(EV)で制限した値を補正された比x’とする。サチュレーションポイントsp(EV)は、図11に示すように、分割EV(中央重点の重み付け平均をとった分割測光値)と周辺EV(周辺部分の測光値)との差によって変化させる。横軸の負側になるにつれて逆光シーンであると判断されるので、サチュレーションポイントsp(EV)を小さくして、合成レンジを小さくする。また、横軸の右側は順光シーンであるので、サチュレーションポイントsp(EV)をほぼ最大にする。
【0058】
次に、電子ズーム時の画像合成処理について説明する。電子ズーム時には、低感度画像データが示す被写体輝度の最大値と、高感度画像データがとり得る最大値が示す輝度値との比xを求めるための積算領域を、ズームエリアに応じて変更する。その場合、図1の積算処理部71は、操作部13によって変更されたズームステップ情報を基に、積算領域の大きさを決定し、さらにその領域を16×16に分割した領域の画像データを積算する。
【0059】
このように比xを求めると、より正確に合成レンジを決定できる。例えば天井から照明されるようなキャッチライトシーンでも、ズーム倍率に応じて良好な合成画像を得ることができる。
【0060】
【発明の効果】
以上の説明から明らかなように、本発明によれば、撮影シーンに応じて、より好ましい合成画像データを得ることが可能な画像合成方法、及びそのような画像合成方法を利用して合成処理を行うデジタルカメラを提供することができる。
【図面の簡単な説明】
【図1】デジタル信号処理部の概略機能ブロック図
【図2】撮影時の合成演算処理までのデジタル信号処理の概略シーケンスを示す図
【図3】高感度画像データ用のゲインの特性を示す図
【図4】低感度画像データ用のゲインと高感度画像データ用ゲインの比wlの特性を示す図
【図5】高感度画像データと低感度画像データの関係の一例を示す図
【図6】低感度画像データが示す被写体輝度の最大値と、高感度画像データがとり得る最大値が示す輝度値との比xと合成レンジとの関係の一例を示す図
【図7】合成レンジに応じて合成画像データの階調特性が変化する様子を示す図
【図8】低輝度ストロボオンの場合の比xと補正された比x’の関係を示す図
【図9】低輝度ストロボオンの場合の平均輝度値とサチュレーションポイントsp(EV)との関係を示す図
【図10】スローシンクロ、日中シンクロの場合の比xと補正された比x’の関係を示す図
【図11】ストロボオフの場合のサチュレーションポイントsp(EV)の決定方法を示す図
【図12】本発明の実施の形態のデジタルカメラの概略構成を示す図
【図13】高感度撮像信号と低感度撮像信号を出力可能な固体撮像素子の概略構成を示す図
【符号の説明】
1・・・撮像部
2・・・アナログ信号処理部
3・・・A/D変換部
4・・・駆動部
5・・・ストロボ
6・・・デジタル信号処理部
7・・・圧縮/伸張処理部
8・・・表示部
9・・・システム制御部
10・・・内部メモリ
11・・・メディアインタフェース
12・・・記録メディア
13・・・操作部
20・・・システムバス
61a、61b・・・OB(オプティカルブラック)処理部
62a、62b・・・LMTX(リニアマトリクス)
63a、63b・・・WB(ホワイトバランス)処理部
64a、64b・・・ガンマ補正部
65・・・合成ゲインLUT(ルックアップテーブル)
66a、66b・・・乗算部
67・・・加算部
68・・・リミッタ
69・・・同時化及びY/C処理部
70・・・CMTX(色差マトリクス)
71・・・積算処理部
72・・・合成レンジ演算部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image composition method for obtaining composite image data by performing composition processing of first image data having relatively high sensitivity and second image data having relatively low sensitivity, and relatively high sensitivity. The present invention relates to a digital camera having a function of performing composite processing of first image data and relatively low-sensitivity second image data to obtain composite image data.
[0002]
[Prior art]
The dynamic range of a solid-state image sensor such as a CCD image sensor is generally narrow, and when shooting a high-contrast subject, the amount of light received by the solid-state image sensor exceeds the dynamic range and the output of the solid-state image sensor saturates. Information may be missing.
[0003]
In order to solve such a problem, the first image data with relatively high sensitivity (hereinafter sometimes simply referred to as “high sensitivity image data”) and the second image data with relatively low sensitivity. (Hereinafter, it may be simply described as “low-sensitivity image data”), and a technique for expanding the dynamic range by performing a synthesis process has been proposed (see
[0004]
The technique described in
[0005]
The technique described in Japanese Patent Laid-Open No. 2004-228561 is an image capturing unit that captures an image of a scene and generates a high-sensitivity video signal and a low-sensitivity video signal representing the scene. First signal conversion means for quantizing with a quantization resolution and outputting corresponding high-sensitivity video signal data; and quantizing a low-sensitivity video signal with a second quantization resolution lower than the first quantization resolution And a second signal converting means for outputting the corresponding low-sensitivity video signal data, and adding and combining the high-sensitivity video signal data and the corresponding low-sensitivity video signal data to produce a wide dynamic range video signal Is formed.
[0006]
However, when the luminance range of the subject is large, the optimum combined image data cannot always be obtained simply by adding and combining the high sensitivity image data and the low sensitivity image data. The same applies when the composite gain of the high-sensitivity image data and the low-sensitivity image data is changed depending on the luminance range. For example, a catchlight scene has a large luminance range of a subject, but if an image is configured with a wide dynamic range, the gradation of the highlight portion becomes soft and becomes a so-called sleepy image. On the other hand, a high-contrast scene such as a wedding is similarly wide in the luminance range of the subject. In this case, it is preferable to construct an image with a wide dynamic range because the gradation reproduction is rich.
[0007]
Further, when trying to widen the dynamic range by image composition, the apparent gain on the highlight side is lowered, and there is a problem that the saturation is lowered.
[0008]
[Patent Document 1]
JP 2001-94870 A
[Patent Document 2]
JP 2001-8104 A
[0009]
[Problems to be solved by the invention]
The present invention has been made in view of the above circumstances, and an image composition method capable of obtaining more preferable composite image data in accordance with a shooting scene, and a digital that performs composition processing using such an image composition method. The purpose is to provide a camera.
[0010]
[Means for Solving the Problems]
The image composition method of the present invention obtains composite image data by performing composition processing of relatively high-sensitivity first image data and relatively low-sensitivity second image data. The ratio x between the maximum value of the subject brightness indicated by the image data 2 and the brightness value indicated by the maximum value that can be taken by the first image data, the on / off information of the strobe, the average brightness information of the subject, and the backlight information Correcting the ratio x based on at least one of the following: determining the synthesis processing parameter based on the corrected ratio x ′; and the first image based on the synthesis processing parameter And a process of combining the data and the second image data. According to this synthesis method, the brightness range of the necessary part can be synthesized within a range that can be efficiently reproduced according to the scene of the subject and the luminance range.
[0011]
The image composition method of the present invention further includes a step of determining a gamma correction parameter of the second image data based on the corrected ratio x ′, and the second image data based on the gamma correction parameter. Correcting. According to this synthesis method, it is possible to obtain a composite image having a more preferable gradation according to the scene of the subject and the luminance range.
[0012]
The image composition method of the present invention further includes a step of determining a saturation correction parameter of the composite image data based on the corrected ratio x ′, and a saturation of the composite image data based on the saturation correction parameter. Correcting the degree. According to this synthesis method, saturation reduction due to apparent gain reduction on the highlight side can be corrected.
[0013]
The step of correcting the ratio x in the image composition method of the present invention is a step of limiting the value of the ratio x based on at least one of strobe on / off information, subject average luminance information, and backlight information. Including.
[0014]
The image composition method of the present invention obtains composite image data by performing composition processing of relatively high-sensitivity first image data and relatively low-sensitivity second image data. And determining the ratio x between the maximum value of the subject brightness indicated by the image data of 2 and the brightness value indicated by the maximum value that can be taken by the first image data, and the second image data based on the ratio x Determining the gamma correction parameter and the synthesis processing parameter; correcting the second image data based on the gamma correction parameter; and the first image data based on the synthesis processing parameter And a step of performing synthesis processing with the second image data. According to this synthesis method, it is possible to obtain a composite image having a preferable gradation according to the luminance range of the subject.
[0015]
The image composition method of the present invention obtains composite image data by performing composition processing of relatively high-sensitivity first image data and relatively low-sensitivity second image data. The ratio x between the maximum value of the subject brightness indicated by the image data of 2 and the brightness value indicated by the maximum value that can be taken by the first image data, the composition processing parameter based on the ratio x, and Determining a saturation correction parameter of the synthesized image data; performing a synthesis process of the first image data and the second image data based on the synthesis processing parameter; and based on the saturation correction parameter. And a step of correcting the saturation of the composite image data. According to this synthesis method, it is possible to correct a saturation reduction due to an apparent gain reduction on the highlight side.
[0016]
The image composition method of the present invention obtains composite image data by performing composition processing of relatively high-sensitivity first image data and relatively low-sensitivity second image data. And determining the ratio x between the maximum value of the subject brightness indicated by the image data of 2 and the brightness value indicated by the maximum value that can be taken by the first image data, and the second image data based on the ratio x Determining a gamma correction parameter, a synthesis processing parameter, and a saturation correction parameter of the composite image data; correcting the second image data based on the gamma correction parameter; and based on the composite processing parameter A step of combining the first image data and the second image data, and a step of correcting the saturation of the combined image data based on the saturation correction parameter. That.
[0017]
The step of obtaining the ratio x at the time of electronic zoom photographing in the image composition method of the present invention includes using the maximum value of the subject brightness indicated by the second image data in a different area according to the zoom magnification. According to this composition method, composition processing can be performed based on the subject luminance in a range corresponding to the reproduction region, and therefore, even in a catchlight scene illuminated from the ceiling, for example, a satisfactory composite image according to the zoom magnification Can be obtained.
[0018]
The digital camera of the present invention has a function of performing composite processing of relatively high sensitivity first image data and relatively low sensitivity second image data to obtain composite image data, The synthesizing process is performed using the image synthesizing method described above.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 12 is a diagram showing a schematic configuration of the digital camera according to the embodiment of the present invention. The digital camera of FIG. 12 includes an
[0020]
The
[0021]
When shooting, the
[0022]
The
[0023]
Imaging signals with different sensitivities may be obtained by changing exposure conditions or analog gains as shown in
[0024]
FIG. 13 is a diagram illustrating a schematic configuration of a solid-state imaging device capable of outputting a high-sensitivity imaging signal and a low-sensitivity imaging signal. FIG. 13 is a partially enlarged plan view of a so-called honeycomb-structured solid-state imaging device, which is arranged on the surface of a semiconductor substrate in a row direction (direction indicated by an arrow X) and a column direction (direction indicated by an arrow Y) perpendicular thereto. The plurality of photoelectric conversion regions 111 to 157 (only some are numbered in the figure), the
[0025]
The photoelectric conversion regions 111 to 157 generate and accumulate signal charges corresponding to the amount of incident light, and are, for example, photodiodes. The photoelectric conversion regions 111 to 157 are divided into a main region m having a relatively large light receiving area and a sub region s having a relatively small light receiving area (in FIG. 13, only the
[0026]
The
[0027]
The strobe 5 operates when the brightness of the subject is equal to or lower than a predetermined value, and is controlled by the system control unit 9.
[0028]
The digital signal processing unit 6 performs digital signal processing on the digital image data from the A / D conversion unit 3 in accordance with the operation mode set by the
[0029]
The digital signal processing unit 6 is configured by a DSP, for example. The compression / decompression processing unit 7 performs compression processing on the Y / C data obtained by the digital signal processing unit 6 and also performs decompression processing on the compressed image data obtained from the
[0030]
The
[0031]
The
[0032]
The system control unit 9 controls the entire digital camera including shooting operations. Specifically, the system control unit 9 is mainly configured by a processor that operates according to a predetermined program.
[0033]
The
[0034]
Next, functions of the digital signal processing unit 6 will be described focusing on image synthesis processing. FIG. 1 is a schematic functional block diagram of the digital signal processing unit 6. The digital signal processing unit 6 includes an OB (optical black)
[0035]
The
[0036]
The
[0037]
High-sensitivity image data High input to the digital processing unit 6 is input to the
[0038]
The image data from the
[0039]
The
[0040]
The output of the synthesis
[0041]
Note that the correction of the gamma characteristic and the saturation correction of the low-sensitivity image data based on the synthesis range from the synthesis
[0042]
FIG. 2 shows a schematic sequence of digital signal processing up to the synthesis calculation processing at the time of photographing. After exposure is performed in the period t1, high-sensitivity image data is captured in the period t2. In the period t3, signal processing is performed on the high-sensitivity image data simultaneously with the capture of the low-sensitivity image data. Here, white balance gain determination processing (AWB), scratch correction processing (scratches), and preprocessing are performed. The preprocessing includes OB processing, LMTX calculation, WB processing, and gamma correction processing.
[0043]
When the capturing of the low-sensitivity image data is completed, the composite range calculation process is performed in the period t4. The calculation processing of the synthesis range here includes OB processing of low-sensitivity image data, LMTX calculation, and integration processing. When the composite range is determined, low-sensitivity image data preprocessing (including WB processing and gamma correction processing) is performed in a period t5. Then, in the period t6, a combination operation of the high sensitivity image data and the low sensitivity image data after the gamma correction is performed.
[0044]
Next, gain data stored in the combined
[0045]
data = [high + MIN (high / th, 1) × low] × MAX [(− lg × high / th) +1, p] (1)
here,
high is high-sensitivity image data after gamma correction
low is low-sensitivity image data after gamma correction
th is a threshold value for changing the addition ratio of the low-sensitivity image data.
p is the total gain
lg is a value that depends on the ratio of saturation output of high-sensitivity image data and low-sensitivity image data (for example, p = 0.2 when the saturation ratio is 4: 1).
[0046]
Expand equation (1),
h_gain = MAX [(− lg × high / th) +1, p] (2)
l_gain = MAX [(− lg × high / th) +1, p] × MIN (high / th, 1) = h_gain × wl (3)
Then,
data = h_gain × high + l_gain × low
It becomes.
[0047]
h_gain is a gain for high-sensitivity image data and has the characteristics shown in FIG. Further, l_gain is a gain for low-sensitivity image data and is h_gain × wl, and wl has the characteristics shown in FIG.
[0048]
In the
[0049]
Next, how to determine the synthesis range by the synthesis
[0050]
As shown in FIG. 5, the maximum value that the high-sensitivity image data can take is 4095, the maximum value that the low-sensitivity image data can take is 1023, and the luminance range of the low-sensitivity image data is relative to the luminance range of the high-sensitivity image data. If the luminance is 1.25 (80/64) times that of the green data G, the maximum value of the subject luminance indicated by the low-sensitivity image data and the luminance value indicated by the maximum value that can be taken by the high-sensitivity image data The ratio x is expressed by the following equation (4).
[0051]
x = Gmax × 80 × 400/1023 × 64 (%) (4)
[0052]
The synthesis
[0053]
Based on the synthesis range thus determined, gain data to be multiplied with the high-sensitivity image data and the low-sensitivity image data is selected. FIG. 7 shows an example of gradation characteristics corresponding to the composite range of the composite image data. As shown in FIG. 7, as the synthesis range increases (the luminance range of the subject increases), the reproduction range of the composite image data can be increased. The example in FIG. 7 shows an example in which the gamma characteristic of the low-sensitivity image data is not changed. However, the gamma characteristic of the low-sensitivity image data can be made a more preferable gradation characteristic according to the synthesis range.
[0054]
Next, an embodiment in which the synthesis range is changed according to the shooting scene will be described. The shooting scene is determined based on at least one of strobe on / off information, subject average luminance information, and backlight information. Then, the ratio x between the maximum value of the subject luminance indicated by the low-sensitivity image data and the luminance value indicated by the maximum value that can be taken by the high-sensitivity image data is corrected according to the shooting scene, and based on the corrected ratio x ′. Determine the synthesis range. The correspondence between the corrected ratio x ′ and the synthesis range may be the same as that for the ratio x shown in FIG. 6 or may be changed. The correction of the ratio x is performed by limiting the value of the ratio x to a certain value or less.
[0055]
(Correction example a) Low-brightness strobe on
A value obtained by limiting the ratio x by the saturation point sp (EV) is set as a corrected ratio x ′. FIG. 8 shows the relationship between the ratio x and the corrected ratio x ′. In this case, the saturation point sp (EV) is changed according to the average luminance value of the subject. When the average luminance value is large, the value is limited to a relatively low value, and when the average luminance value is low, the value is limited to a relatively high value. FIG. 9 shows the relationship between the average luminance value and the saturation point sp (EV).
[0056]
(Correction example b) For slow sync and daytime sync,
Regardless of the brightness of the subject, the ratio x is limited to a predetermined value. FIG. 10 shows the relationship between the ratio x and the corrected ratio x ′ in that case. In the example of FIG. 10, the ratio x is limited to 220%.
[0057]
(Correction example c) When the flash is off (correction during backlight scene)
As in the case of the low-intensity strobe, the value obtained by limiting the ratio x by the saturation point sp (EV) is set as a corrected ratio x ′. As shown in FIG. 11, the saturation point sp (EV) is changed by the difference between the divided EV (divided photometric value obtained by weighted average of the center weight) and the peripheral EV (photometric value of the peripheral portion). Since it is determined that the scene is backlit as it goes to the negative side of the horizontal axis, the saturation point sp (EV) is reduced to reduce the synthesis range. Further, since the right side of the horizontal axis is a follow light scene, the saturation point sp (EV) is substantially maximized.
[0058]
Next, image composition processing during electronic zoom will be described. At the time of electronic zoom, the integration area for obtaining the ratio x between the maximum value of the subject brightness indicated by the low-sensitivity image data and the brightness value indicated by the maximum value that can be taken by the high-sensitivity image data is changed according to the zoom area. In this case, the
[0059]
When the ratio x is obtained in this way, the synthesis range can be determined more accurately. For example, even in a catchlight scene illuminated from the ceiling, a good composite image can be obtained according to the zoom magnification.
[0060]
【The invention's effect】
As is apparent from the above description, according to the present invention, an image composition method capable of obtaining more preferable composite image data according to the shooting scene, and a composition process using such an image composition method. A digital camera can be provided.
[Brief description of the drawings]
FIG. 1 is a schematic functional block diagram of a digital signal processing unit.
FIG. 2 is a diagram showing a schematic sequence of digital signal processing up to synthesis calculation processing at the time of shooting;
FIG. 3 is a diagram showing a gain characteristic for high-sensitivity image data.
FIG. 4 is a diagram showing a characteristic of a ratio wl between a gain for low-sensitivity image data and a gain for high-sensitivity image data.
FIG. 5 is a diagram illustrating an example of a relationship between high-sensitivity image data and low-sensitivity image data.
FIG. 6 is a diagram illustrating an example of a relationship between a ratio x between a maximum value of subject luminance indicated by low-sensitivity image data and a luminance value indicated by a maximum value that can be taken by high-sensitivity image data and a synthesis range;
FIG. 7 is a diagram illustrating a change in tone characteristics of composite image data according to a composite range.
FIG. 8 is a diagram showing the relationship between the ratio x and the corrected ratio x ′ in the case of low-intensity strobe on.
FIG. 9 is a diagram showing a relationship between an average luminance value and a saturation point sp (EV) when a low-intensity strobe is on.
FIG. 10 is a diagram showing the relationship between the ratio x and the corrected ratio x ′ in the case of slow sync and daytime sync.
FIG. 11 is a diagram showing a method for determining a saturation point sp (EV) when the strobe is off.
FIG. 12 is a diagram showing a schematic configuration of a digital camera according to an embodiment of the present invention.
FIG. 13 is a diagram showing a schematic configuration of a solid-state imaging device capable of outputting a high-sensitivity imaging signal and a low-sensitivity imaging signal.
[Explanation of symbols]
1 ... Imaging unit
2 ... Analog signal processor
3 ... A / D converter
4 ... Drive unit
5 ... Strobe
6 ... Digital signal processor
7: Compression / decompression processor
8 ... Display section
9 ... System controller
10 ... Internal memory
11 ... Media interface
12 ... Recording media
13 ... Operation part
20 ... System bus
61a, 61b... OB (optical black) processing unit
62a, 62b ... LMTX (linear matrix)
63a, 63b ... WB (white balance) processing unit
64a, 64b ... gamma correction unit
65 ... Composite gain LUT (look-up table)
66a, 66b ... multiplication unit
67... Addition unit
68 ... Limiter
69 ... Synchronization and Y / C processing section
70 ... CMTX (color difference matrix)
71 ... Integration processing unit
72 .. Composite range calculation unit
Claims (9)
前記第2の画像データが示す被写体輝度の最大値と、前記第1の画像データがとり得る最大値が示す輝度値との比xと求める工程と、
ストロボのオンオフ情報、被写体の平均輝度情報、逆光情報の少なくとも1つに基づいて、前記比xを補正する工程と、
前記補正された比x’に基づいて、前記合成処理パラメータを決定する工程と、
前記合成処理パラメータに基づいて前記第1の画像データと前記第2の画像データとの合成処理を行う工程とを含む画像合成方法。An image composition method for obtaining composite image data by performing composition processing of relatively high sensitivity first image data and relatively low sensitivity second image data,
Obtaining a ratio x between the maximum value of the subject brightness indicated by the second image data and the brightness value indicated by the maximum value that can be taken by the first image data;
Correcting the ratio x based on at least one of strobe on / off information, subject average luminance information, and backlight information;
Determining the synthesis processing parameter based on the corrected ratio x ′;
An image composition method including a step of performing composition processing of the first image data and the second image data based on the composition processing parameter.
さらに、前記補正された比x’に基づいて、前記第2の画像データのガンマ補正パラメータを決定する工程と、
前記ガンマ補正パラメータに基づいて前記第2の画像データを補正する工程とを含む画像合成方法。The image composition method according to claim 1,
And determining a gamma correction parameter of the second image data based on the corrected ratio x ′;
Correcting the second image data based on the gamma correction parameter.
さらに、前記補正された比x’に基づいて、合成画像データの彩度補正パラメータを決定する工程と、
前記彩度補正パラメータに基づいて、前記合成画像データの彩度を補正する工程とを含む画像合成方法。The image composition method according to claim 1 or 2,
A step of determining a saturation correction parameter of the composite image data based on the corrected ratio x ′;
Correcting the saturation of the composite image data based on the saturation correction parameter.
前記比xを補正する工程は、ストロボのオンオフ情報、被写体の平均輝度情報、逆光情報の少なくとも1つに基づいて、前記比xの値を制限する工程である画像合成方法。The image synthesizing method according to any one of claims 1 to 3,
The step of correcting the ratio x is an image composition method in which the value of the ratio x is limited based on at least one of strobe on / off information, subject average luminance information, and backlight information.
前記第2の画像データが示す被写体輝度の最大値と、前記第1の画像データがとり得る最大値が示す輝度値との比xと求める工程と、
前記比xに基づいて、前記第2の画像データのガンマ補正パラメータ、及び前記合成処理パラメータを決定する工程と、
前記ガンマ補正パラメータに基づいて前記第2の画像データを補正する工程と、
前記合成処理パラメータに基づいて前記第1の画像データと前記第2の画像データとの合成処理を行う工程とを含む画像合成方法。An image composition method for obtaining composite image data by performing composition processing of relatively high sensitivity first image data and relatively low sensitivity second image data,
Obtaining a ratio x between the maximum value of the subject brightness indicated by the second image data and the brightness value indicated by the maximum value that can be taken by the first image data;
Determining a gamma correction parameter of the second image data and the synthesis processing parameter based on the ratio x;
Correcting the second image data based on the gamma correction parameter;
An image composition method including a step of performing composition processing of the first image data and the second image data based on the composition processing parameter.
前記第2の画像データが示す被写体輝度の最大値と、前記第1の画像データがとり得る最大値が示す輝度値との比xと求める工程と、
前記比xに基づいて、前記合成処理パラメータ、及び合成画像データの彩度補正パラメータを決定する工程と、
前記合成処理パラメータに基づいて前記第1の画像データと前記第2の画像データとの合成処理を行う工程と、
前記彩度補正パラメータに基づいて、前記合成画像データの彩度を補正する工程とを含む画像合成方法。An image composition method for obtaining composite image data by performing composition processing of relatively high sensitivity first image data and relatively low sensitivity second image data,
Obtaining a ratio x between the maximum value of the subject brightness indicated by the second image data and the brightness value indicated by the maximum value that can be taken by the first image data;
Determining the composition processing parameter and the saturation correction parameter of the composite image data based on the ratio x;
Performing a combining process of the first image data and the second image data based on the combining processing parameter;
Correcting the saturation of the composite image data based on the saturation correction parameter.
前記第2の画像データが示す被写体輝度の最大値と、前記第1の画像データがとり得る最大値が示す輝度値との比xと求める工程と、
前記比xに基づいて、前記第2の画像データのガンマ補正パラメータ、前記合成処理パラメータ、及び合成画像データの彩度補正パラメータを決定する工程と、
前記ガンマ補正パラメータに基づいて前記第2の画像データを補正する工程と、
前記合成処理パラメータに基づいて前記第1の画像データと前記第2の画像データとの合成処理を行う工程と、
前記彩度補正パラメータに基づいて、前記合成画像データの彩度を補正する工程とを含む画像合成方法。An image composition method for obtaining composite image data by performing composition processing of relatively high sensitivity first image data and relatively low sensitivity second image data,
Obtaining a ratio x between the maximum value of the subject brightness indicated by the second image data and the brightness value indicated by the maximum value that can be taken by the first image data;
Determining a gamma correction parameter of the second image data, the synthesis processing parameter, and a saturation correction parameter of the synthesized image data based on the ratio x;
Correcting the second image data based on the gamma correction parameter;
Performing a combining process of the first image data and the second image data based on the combining processing parameter;
Correcting the saturation of the composite image data based on the saturation correction parameter.
電子ズーム撮影時における前記比xを求める工程は、ズーム倍率に応じて異なる領域の前記第2の画像データが示す被写体輝度の最大値を利用するものである画像合成方法。The image composition method according to any one of claims 1 to 7,
The step of obtaining the ratio x at the time of electronic zoom photographing uses an object luminance maximum value indicated by the second image data in a different area according to a zoom magnification.
前記合成処理は、請求項1ないし8のいずれか1項記載の画像合成方法を利用して行うものであるデジタルカメラ。A digital camera having a function of performing synthesis processing of relatively high sensitivity first image data and relatively low sensitivity second image data to obtain composite image data,
A digital camera that performs the composition processing using the image composition method according to any one of claims 1 to 8.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003009807A JP4028396B2 (en) | 2003-01-17 | 2003-01-17 | Image composition method and digital camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003009807A JP4028396B2 (en) | 2003-01-17 | 2003-01-17 | Image composition method and digital camera |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004222162A true JP2004222162A (en) | 2004-08-05 |
JP4028396B2 JP4028396B2 (en) | 2007-12-26 |
Family
ID=32899189
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003009807A Expired - Fee Related JP4028396B2 (en) | 2003-01-17 | 2003-01-17 | Image composition method and digital camera |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4028396B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009049547A (en) * | 2007-08-15 | 2009-03-05 | Seiko Epson Corp | Image processing apparatus, image processing method, image processing program |
JP2013219789A (en) * | 2013-05-21 | 2013-10-24 | Canon Inc | Imaging apparatus |
JP2014155002A (en) * | 2013-02-07 | 2014-08-25 | Canon Inc | Imaging apparatus |
-
2003
- 2003-01-17 JP JP2003009807A patent/JP4028396B2/en not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009049547A (en) * | 2007-08-15 | 2009-03-05 | Seiko Epson Corp | Image processing apparatus, image processing method, image processing program |
JP2014155002A (en) * | 2013-02-07 | 2014-08-25 | Canon Inc | Imaging apparatus |
JP2013219789A (en) * | 2013-05-21 | 2013-10-24 | Canon Inc | Imaging apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP4028396B2 (en) | 2007-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7382403B2 (en) | Apparatus and method for synthesizing image signals into a wide dynamic range image that has been processed with saturation correction | |
JP5347707B2 (en) | Imaging apparatus and imaging method | |
JP5665436B2 (en) | Image processing apparatus, image processing method, and program | |
US7884866B2 (en) | Imaging apparatus and imaging method | |
JP2007067815A (en) | Image processing device and image processing method | |
JP4433883B2 (en) | White balance correction device, white balance correction method, program, and electronic camera device | |
JP2002084449A (en) | Image pickup device employing solid-state imaging device | |
EP2214136B1 (en) | Method and program for controlling image capture apparatus | |
JP2000316163A (en) | Color image pickup element and device | |
JP2004363726A (en) | Image processing method and digital camera | |
JP5803233B2 (en) | Imaging apparatus and imaging method | |
JP4028395B2 (en) | Digital camera | |
JP4028396B2 (en) | Image composition method and digital camera | |
JP4279562B2 (en) | Control method for solid-state imaging device | |
JP2010068331A (en) | Imaging device and imaging method | |
JP5310331B2 (en) | Imaging apparatus and imaging method | |
JP2009038818A (en) | Image processing method and digital camera | |
JP4732795B2 (en) | Solid-state imaging device and image correction method | |
JP4307862B2 (en) | Signal processing method, signal processing circuit, and imaging apparatus | |
JP2004222161A (en) | Digital camera | |
JP4276847B2 (en) | Imaging device | |
JP5169540B2 (en) | Imaging apparatus and imaging method | |
JP4229234B2 (en) | Digital camera | |
JP2006109046A (en) | Imaging device | |
JP4769851B2 (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20040930 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040930 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050215 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060424 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20060621 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070706 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070815 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071011 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101019 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4028396 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111019 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121019 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121019 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131019 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |