JP2004048445A - 画像合成方法及び装置 - Google Patents
画像合成方法及び装置 Download PDFInfo
- Publication number
- JP2004048445A JP2004048445A JP2002203983A JP2002203983A JP2004048445A JP 2004048445 A JP2004048445 A JP 2004048445A JP 2002203983 A JP2002203983 A JP 2002203983A JP 2002203983 A JP2002203983 A JP 2002203983A JP 2004048445 A JP2004048445 A JP 2004048445A
- Authority
- JP
- Japan
- Prior art keywords
- image
- sensitivity
- low
- light receiving
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】広ダイナミックレンジの撮像装置から得られる画像を合成する際に、１枚の画像の中に不連続性が発生することを極力防止することができる画像合成方法及び装置を提供する。
【解決手段】各受光セルが高感度受光領域と低感度受光領域に分割されている固体撮像素子を用いて時間的及び空間的にズレの少ない高感度画像２０２と低感度画像２０１を取得し、これら２つの画像のうち一方の画像から白とび或いは黒つぶれなどの画質劣化領域を自動判別するとともに、その画質劣化領域２１２Ａ、２１２Ｂの情報に従って他方の画像から該当領域を切り抜き、切り抜いた画像部分２３１Ａ、２３１Ｂを画質劣化領域２１２Ａ、２１２Ｂの部分に合成する。その後、合成画像の全領域若しくは合成境界の近傍領域についてローパスフィルタ処理を行い、画像を滑らかにつないだ後に、輪郭強調処理を行う。
【選択図】 図６
【解決手段】各受光セルが高感度受光領域と低感度受光領域に分割されている固体撮像素子を用いて時間的及び空間的にズレの少ない高感度画像２０２と低感度画像２０１を取得し、これら２つの画像のうち一方の画像から白とび或いは黒つぶれなどの画質劣化領域を自動判別するとともに、その画質劣化領域２１２Ａ、２１２Ｂの情報に従って他方の画像から該当領域を切り抜き、切り抜いた画像部分２３１Ａ、２３１Ｂを画質劣化領域２１２Ａ、２１２Ｂの部分に合成する。その後、合成画像の全領域若しくは合成境界の近傍領域についてローパスフィルタ処理を行い、画像を滑らかにつないだ後に、輪郭強調処理を行う。
【選択図】 図６
Description
【０００１】
【発明の属する技術分野】
本発明は画像合成方法及び装置に係り、特に複数の画像を合成して１枚の広ダイナミックレンジ画像を得る方法及び装置に関する。
【０００２】
【従来の技術】
デジタルカメラ等に用いられるＣＣＤ等の固体撮像素子は、一般の銀塩写真と比較してダイナミックレンジが非常に狭いため、固体撮像素子を用いて適正露光で撮影された画像も銀塩系の写真と比較すると物足りない印象を受ける。また、撮影条件によっては黒つぶれや白とびを生じ、画質が著しく劣化する。そのため、ダイナミックレンジを拡大させるべく従来から様々な試みがなされている。その一方法として、同一シーンにおいて露光量の異なる複数枚の画像を撮影し、これら複数枚の画像データを演算で合成し、ダイナミックレンジの拡大された画像を得る手法がある。特開平９−２０５５８９号公報では、ＣＣＤを高感度部と低感度部に分けて画像を合成している。また、特開平８−２１４２１１号公報では、複数回撮影したものを合成している。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述した各公報では、画像を合成する手法について記載されていない。複数の画像から部分的に抽出した画像部分を合成して１枚の画像（合成画像）を生成すると、１枚の画像の中に不連続性が発生する。特開平８−１１６４４６号公報では、出力画像中に不自然な画像欠陥を生じることがないように、文字に対して適切なエッジ強調を行う画像処理装置が開示されているが、画像に対する方法については述べられていない。
【０００４】
本発明はこのような事情に鑑みてなされたもので、広ダイナミックレンジの撮像装置から得られる画像を合成する際に、１枚の画像の中に不連続性が発生することを極力防止することができる画像合成方法及び装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
前記目的を達成するために本発明に係る画像合成方法は、２次元的に配列された各受光セルが少なくとも高感度受光領域と低感度受光領域を含む複数の受光領域に分割されており、前記高感度受光領域及び低感度受光領域からそれぞれ独立に画像信号を取り出すことができる構造を備えた固体撮像素子を用いて被写体を撮像し、前記高感度受光領域で光電変換された信号電荷に基づく高感度画像信号と前記低感度受光領域で光電変換された信号電荷に基づく低感度画像信号とを取得する工程と、前記高感度画像信号が示す高感度画像及び前記低感度画像信号が示す低感度画像のうち一方の画像から当該画像内において所定基準よりも画質が劣化している画質劣化領域を特定する工程と、前記特定された画質劣化領域のエッジを検出する工程と、前記検出したエッジ情報に基づいて、前記高感度画像及び前記低感度画像のうち他方の画像から前記画質劣化領域に対応する画像部分を抽出する工程と、前記他方の画像から抽出した画像部分を前記一方の画像の前記画質劣化領域に合成する工程と、前記合成して得た合成画像について合成境界を滑らかにつなぐ平滑化処理を行う工程と、前記平滑化処理後の合成画像について前記エッジ情報を利用して輪郭強調処理を行う工程と、を含むことを特徴としている。
【０００６】
すなわち、本発明においては、固体撮像素子の画素を構成する受光セルの内部が少なくとも２つの受光領域に分割され、各受光セルは相対的に感度の高い高感度受光領域と相対的に感度が低い低感度受光領域を有している。高感度受光領域と低感度受光領域で生成された信号電荷は、それぞれ別々に画像信号として取り出すことができるため、１つの固体撮像素子から高感度画像信号と低感度画像信号の両方の画像信号が得られる。こうして、１回の撮影（露光）で、時間的及び空間的にズレの少ない２つの画像（高感度画像と低感度画像）を取得することができる。
【０００７】
これら高感度画像及び低感度画像のうち一方をベース画像（土台となる画像）とし、当該ベース画像について白とび（過度に明るいハイライト領域）や黒つぶれ（極めて低輝度のシャドウ領域）など著しく画質が劣化している領域を特定する。かかる画質劣化領域の自動判定については、予め定められている判定基準値（閾値）との比較によって判断できる。特定した画質劣化領域の情報を用いて他方の画像から該当領域を切り抜く。そして、切り抜いた画像部分をベース画像の画質劣化領域の部分に合成する。
【０００８】
このようにして生成した合成画像のままでは、合成部分の境界線が際立ち、不自然な印象になるので、かかる不連続感を改善するために、合成画像の全領域若しくは合成境界の近傍領域についてローパスフィルタをかけるなどの平滑化処理を行い、画像を滑らかにつなぐ。その後、輪郭強調の処理を行って輪郭を整え、つなぎ目（合成境界）が目立たない好ましい画像を得る。これにより、白とびや黒つぶれなどのない広ダイナミックレンジ画像を得ることができる。
【０００９】
また、切り抜いた画像部分をベース画像に合成する際に、両者の明るさレベルを調整する態様も好ましい。例えば、撮影に使用した固体撮像素子の高感度受光領域と低感度受光領域の感度差が分かっているので、この感度差に基づいて決定されている一定の係数を画像信号にかけて、明るさ（画像の感度）を修正する。切り抜いた画像部分又はベース画像の何れか一方、若しくはこれら両方について明るさを近づけるように調整することで、１枚の画像における明るさの連続性を確保できる。
【００１０】
本発明の一態様として、ベース画像から特定した画質劣化領域の情報（例えば、画質劣化領域の位置を示すエリア情報）をメモリ等の記憶手段に保存しておき、前記平滑化処理後に当該情報を利用して合成境界近傍の輪郭強調処理を実施する態様がある。
【００１１】
更に、本発明の他の態様として、合成前の画像についてエッジ情報を検出し、そのエッジ情報をメモリ等の記憶手段に保存しておき、前記平滑化処理の後に当該エッジ情報を利用して輪郭強調を行う態様も好ましい。
【００１２】
上記方法発明を具現化する装置を提供するため、２次元的に配列された各受光セルが少なくとも高感度受光領域と低感度受光領域を含む複数の受光領域に分割されており、前記高感度受光領域及び低感度受光領域からそれぞれ独立に画像信号を取り出すことができる構造を備えた固体撮像素子を用いて撮像された画像信号を受け入れ、前記高感度受光領域で光電変換された信号電荷に基づく高感度画像信号と前記低感度受光領域で光電変換された信号電荷に基づく低感度画像信号とを取得する画像入力手段と、前記高感度画像信号が示す高感度画像及び前記低感度画像信号が示す低感度画像のうち一方の画像から当該画像内において所定基準よりも画質が劣化している画質劣化領域を特定する処理を行う画質劣化領域検出処理手段と、前記画質劣化領域検出処理手段によって特定した画質劣化領域の情報に基づいて、前記高感度画像及び前記低感度画像のうち他方の画像から前記画質劣化領域に対応する画像部分を抽出する処理を行う画像抽出処理手段と、前記画像抽出処理手段により前記他方の画像から抽出した画像部分を前記一方の画像の前記画質劣化領域に合成する処理を行う合成処理手段と、前記画像合成処理手段で生成された合成画像について合成境界を滑らかにつなぐように平滑化処理を行う平滑化処理手段と、前記平滑化処理が施された合成画像について輪郭強調処理を行う輪郭強調処理手段と、を備えたことを特徴としている。
【００１３】
上記構成から成る画像合成装置において、更に、前記他方の画像から抽出した画像部分と、前記一方の画像について前記合成処理手段による合成時に両者の明るさレベルを近づけるように、両者のうち少なくとも一方の画像信号のレベルを前記高感度受光領域及び前記低感度受光領域の感度差に基づいて調整する明るさ調整手段を具備する態様も好ましい。
【００１４】
また、上記構成の画像合成装置において、前記画質劣化領域検出処理手段によって特定した画質劣化領域のエッジを検出するエッジ検出処理手段を付加し、前記エッジ検出処理手段から得られたエッジ情報を利用して前記輪郭強調処理手段によって輪郭強調処理を行う態様が好ましい。
【００１５】
【発明の実施の形態】
以下添付図面に従って本発明に係る画像合成方法及び装置の好ましい実施の形態について詳説する。
【００１６】
図１は本発明に用いられる固体撮像素子の一例を示す平面模式図であり、図２はその要部拡大図である。これらの図面に示すように、この固体撮像素子１０は、多数の受光セル２０が水平方向（行方向）及び垂直方向（列方向）に一定の配列周期で配置された二次元撮像デバイス（イメージセンサ）である。図示した構成はハニカム配列と呼ばれる画素配列であり、受光セル２０の幾何学的な形状の中心点を行方向及び列方向に１つ置きに画素ピッチの半分（１／２ピッチ）ずらして配列させたものとなっている。すなわち、互いに隣接する受光セル２０の行どうし（又は列どうし）において、一方の行（又は列）のセル配列が、他方の行（又は列）のセル配列に対して行方向（又は列方向）の配列間隔の略１／２だけ相対的にずれて配置された構造となっている。
【００１７】
各受光セル２０は、感度の異なる２つのホトダイオード領域２１、２２に分割されている。第１のホトダイオード領域２１は、相対的に広い受光面積を有し、高感度受光領域を構成する。第２のホトダイオード領域２２は、相対的に狭い受光面積を有し、低感度受光領域を構成する。以下、第１のホトダイオード領域２１を高感度受光領域２１といい、第２のホトダイオード領域２２を低感度受光領域２２という。
【００１８】
各受光セル２０について、高感度受光領域２１と低感度受光領域２２には同色のカラーフィルタが配置されている。つまり、各受光セル２０に対応してそれぞれＲＧＢの原色カラーフィルタが割り当てられている。図１のように、水平方向についてＧＧＧＧ…の行の次段にＢＲＢＲ…の行が配置され、その次段にＧＧＧＧ…の行、という具合に配列される。列方向についてみれば、ＢＲＢＲ…の列と、ＧＧＧＧ…の列と、ＲＢＲＢ…の列とが循環式に繰り返される配列パターンとなっている。
【００１９】
受光セル２０の開口形状は四角形に限定されず、六角形や八角形などの多角形、或いは円形であってもよい。更に、受光セル２０の分離形状（分割形態）についても、図１に示した形状に限定されず、各分割エリアの蓄積電荷を別々に読み出すことができればよく、その形状や分割数、面積の大小関係などは適宜設計される。例えば、１つの受光セル２０を３つ以上の受光領域に分割してもよい。また、１つの受光セル２０について、各分割受光領域に割り当てるカラーフィルタの色を同一にする態様に限定されず、１つの受光セル２０内において分割された受光領域ごとに異なる色のカラーフィルタが割り当てられてもよい。なお、本発明の実施に際しては、Ｒ，Ｇ，Ｂの３原色に色分解する態様に限らず、イエロー（Ｙ），マゼンタ（Ｍ），シアン（Ｃ）の補色系のカラーフィルタを用いて色分解する態様も可能である。
【００２０】
受光セル２０の右側には垂直転送路（ＶＣＣＤ）３０が形成されている。垂直転送路３０は、受光セル２０の各列に近接して受光セル２０を避けながらジグザグ状に蛇行して垂直方向に伸びている。
【００２１】
垂直転送路３０上には４相駆動（φ１，φ２，φ３，φ４）に必要な転送電極３１、３２、３３、３４が配置される。転送電極３１〜３４は、受光セル２０の各行に近接して受光セル２０の開口を避けながら蛇行して図１の水平方向に伸びるように設けられている。例えば、２層ポリシリコンで転送電極を形成する場合、φ１ のパルス電圧が印加される第１の転送電極３１とφ３ のパルス電圧が印加される第３の転送電極３３は第１層ポリシリコン層で形成され、φ２ のパルス電圧が印加される第２の転送電極３２とφ４ のパルス電圧が印加される第４の転送電極３４は第２層ポリシリコン層で形成される。もちろん、本発明の実施に際して電荷転送方式や転送電極の構成は上記の例に限定されない。
【００２２】
図１において受光セル２０が並んだ撮像エリア４０の右側には、転送電極３１〜３４にパルス電圧を印加するＶＣＣＤ駆動回路４２が配置される。また、撮像エリア４０の下側（垂直転送路３０の下端側）には、垂直転送路３０から移された信号電荷を水平方向に転送する水平転送路（ＨＣＣＤ）４４が設けられている。
【００２３】
水平転送路４４は、２相駆動の転送ＣＣＤで構成されており、水平転送路４４の最終段（図１上で最左段）は出力部４６に接続されている。出力部４６は出力アンプを含み、入力された信号電荷の電荷検出を行い、信号電圧として出力端子４８に出力する。こうして、各受光セル２０で光電変換した信号が、点順次の信号列として出力される。
【００２４】
本例の固体撮像素子１０においては、受光セル２０の高感度受光領域２１及び低感度受光領域２２で蓄積された信号電荷は、それぞれ独立に読み出すことが可能である。すなわち、図２に示したように、高感度受光領域２１及び低感度受光領域２２でそれぞれ生成された信号電荷は、当該受光セル２０の右側に隣接した垂直転送路３０に別々に読み出され、混ざり合うことなく転送される。
【００２５】
また、各受光セル２０に対応して、図３に示すように、受光セル２０上にマイクロレンズ５０が配置されており、入射する光を効率的に受光セル２０に入射させるようになっている。
【００２６】
図４に受光セル２０の断面図を示す。同図では、図３の４−４線に沿う断面図を示している。図４によれば、ｎ型半導体基板６０の上にＰ型ウエル６２が形成されており、このＰ型ウエル６２の表面領域に２つのｎ型領域６３、６４が形成され、ホトダイオードを構成している。符号６３で示したｎ型領域のホトダイオードが高感度受光領域２１に相当し、図４の符号６４で示したｎ型領域のホトダイオードが低感度受光領域２２に相当している。
【００２７】
２つのｎ型領域６３、６４の間には、Ｐ＋ 型の分離領域６５が形成されている。分離領域６５はチャネルストップ領域（チャネルストッパ）として機能し、ホトダイオード領域の電気的な分離を行う。また、図４において符号６６で示したＰ＋ 型領域は、受光セル２０と垂直転送路３０等の電気的な分離を行うためのチャネルストッパである。
【００２８】
ホトダイオードを構成するｎ型領域６３、６４の更に上層面には、高感度受光領域２１及び低感度受光領域２２のそれぞれのホトダイオード領域への光入射開口を画定する開口を有した遮光膜６８が形成されている。そして、遮光膜６８を覆うように、半導体基板の上層面には、ホスホシリケートガラス等からなる層間絶縁膜７０が形成されている。
【００２９】
層間絶縁膜７０の上面は高精度に平坦化されており、その上に色分解フィルタとして機能するカラーフィルタ層７２が形成されている。また、カラーフィルタ層７２の上には各受光セル２０に対応してマイクロレンズ５０が配設される。マイクロレンズ５０は上方より入射する光を遮光膜６８が画定する開口内に集光させる機能を有する。なお、本例では、１つの受光セル２０について１つのマイクロレンズ５０を形成しているが、高感度受光領域２１及び低感度受光領域２２に合わせて２つのマイクロレンズを設けてもよい。
【００３０】
マイクロレンズ５０を介して入射した光は、カラーフィルタ層７２によって色分解され、高感度受光領域２１及び低感度受光領域２２の各ホトダイオード領域にそれぞれ入射する。各ホトダイオード領域（２１、２２）に入射した光は、その光量に応じた信号電荷に変換され、それぞれ別々に垂直転送路３０に読み出される。なお、高感度受光領域２１と低感度受光領域２２は、分離領域６５によって区画されているため、それぞれのホトダイオード領域に蓄積された信号電荷が受光セル２０内で混合されることはない。
【００３１】
図４では垂直転送路３０を示していないが、Ｐ＋ 型領域（チャネルストッパ）６６の外側に垂直転送路３０を構成するｎ型領域が形成されている。このｎ型領域と高感度受光領域２１及び低感度受光領域２２のｎ型領域及びこれらの間のＰ型ウエル６２によって読み出しトランジスタが構成される。垂直転送路３０の上層面には酸化シリコン膜等の絶縁層が形成され、その上に転送電極が垂直転送路３０の上方を覆うように配置される。転送電極の上には更に酸化シリコン等の絶縁層が形成され、その上に垂直転送路３０を覆う遮光膜（遮光膜６８と一体の膜）が形成されている。
【００３２】
このように、隣接する受光セル２０どうしの間には、電荷転送路や転送電極などが形成され、電荷転送路や転送電極を介してそれぞれの受光セル２０が区画されるが、１つの受光セル２０内については分離領域６５（チャネルストッパ）のみによって受光領域が区画されている。したがって、１画素として取り扱われる１つの受光セル２０の中に更に細かな２つの独立した受光領域を形成することができ、１つの受光セル２０から感度の異なる２種類の画像信号（高感度画像信号と低感度画像信号）を別々に取り出すことが可能となっている。
【００３３】
次に、上述した固体撮像素子１０を用いた電子カメラについて説明する。
【００３４】
図５は、本発明の実施形態に係る画像合成装置を搭載した電子カメラのブロック図である。この電子カメラ８０は、単板式のデジタルカメラであり、撮像デバイス８２として図１乃至図４で説明した固体撮像素子１０が用いられている。撮影レンズ８４及びシャッター兼用絞り機構８６を通過した光は、撮像デバイス８２の受光面の上に結像される。メカシャッターは、撮像デバイス８２から信号を読み出すときに光が撮像デバイス８２に入射してスミア等が発生するのを防止する。絞り機構については、単一の絞りのものや、複数の絞りが切り換え可能なものなどが適用できる。
【００３５】
被写体に補助光を照射するストロボ（閃光装置）８８は、低照度時など必要な時に自動的に、或いはユーザの操作によって強制的に発光させることができる。駆動回路９０は、中央処理装置（ＣＰＵ）９２の指令に従い、タイミング信号を発生させるタイミングジェネレータ及び撮像デバイス８２を駆動するドライバ回路を含む。撮像デバイス８２は、前記タイミングジェネレータによって発生したタイミング信号に基づいて駆動され、画像信号を出力する。また、駆動回路９０は、上記の他、撮影レンズ８４、シャッター兼用絞り機構８６及びストロボ８８を動作させる駆動回路を含むブロックである。
【００３６】
撮像デバイス８２の受光面に結像された被写体の光学像は、各受光セル２０の高感度受光領域２１及び低感度受光領域２２によって入射光量に応じた量の信号電荷に変換され、ドライバ回路から与えられるパルス電圧に基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。なお、撮像デバイス８２は、シャッターゲートパルスのタイミングによって電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。撮像デバイス８２の動作（露光、読み出し等）はＣＰＵ９２により制御される。
【００３７】
例えば、撮像デバイス８２は垂直駆動信号（ＶＤ）に同期して電荷の読み出しが行われる。静止画記録時の場合、露光後にメカシャッターを閉じて光の侵入を遮断した状態で、ＶＤに同期して高感度受光領域２１→低感度受光領域２２の順に分けて２回の信号読み出しを行い、高感度画像と低感度画像の情報を取得する。
【００３８】
こうして撮像デバイス８２から出力された画像信号はアナログ処理部９４に送られ、アナログ処理部９４においてアナログゲイン、ＣＤＳ（相関二重サンプリング）などの処理が行われる。アナログ処理部９４で生成された信号は、Ａ／Ｄ変換部９６においてデジタル信号に変換される。
【００３９】
デジタル化された画像信号は、デジタル信号処理回路９８に送られ、ここでホワイトバランス調整、ガンマ変換、輝度・色差信号（ＹＣ）生成、明るさ補正、エッジ（輪郭）検出、輪郭強調補正、広ダイナミックレンジ画像合成などのデジタル信号処理が施される。デジタル信号処理回路９８はＣＰＵ９２の指令に従い、メモリ１００を活用しながら画像信号の処理を行う。画像合成の方法について詳細は後述する。
【００４０】
所定のデジタル信号処理を経た画像データは、メモリ１００に一時的に記憶され、圧縮伸張回路１０２を介してＪＰＥＧ形式その他の所定の圧縮フォーマットに従って圧縮された後、記録媒体１０４に記録される。画像データを保存するための記録媒体１０４は、カメラに内蔵された記録媒体（内蔵メモリ）であってもよいし、メモリカードに代表されるリムーバブルメディア（着脱自在な外部記録装置）であってもよい。
【００４１】
再生モード時には、記録媒体１０４から画像データが読み出され、読み出された画像データは、圧縮伸張回路１０２によって伸張処理された後、表示用の信号に変換され、メモリ１００を介してディスプレイ１０６に出力される。
【００４２】
ＣＰＵ９２は、所定のプログラムに従って本カメラシステムを統括制御する制御部であり、シャッタースイッチ１０８その他の操作スイッチ等１１０からの入力信号に基づいてカメラ内の各回路の動作を制御する。すなわち、ＣＰＵ９２は操作スイッチ等１１０から入力される指示信号に応じて種々の撮影条件（露出条件、ストロボ発光有無、撮影モードなど）に従い、撮像デバイス８２を制御するとともに、自動露出（ＡＥ）制御、自動焦点調節（ＡＦ）制御、オートホワイトバランス（ＡＷＢ）制御、レンズ駆動制御、画像処理制御、記録媒体１０４の読み書き制御、ディスプレイ１０６の表示制御などを行う。
【００４３】
不揮発性記憶手段であるＲＯＭ１１２にはＣＰＵ９２が実行するプログラムや制御に必要な各種データが格納されている。メモリ１００はＣＰＵ９２の作業領域として兼用される。
【００４４】
本例の電子カメラ８０は、通常の記録モード（画像合成を行わずに撮影画像を記録するモード）の他に、広ダイナミックレンジ記録モード（画像合成を利用して広ダイナミックレンジ画像を記録するモード）を有しており、ユーザは操作スイッチ等１１０によって所望の記録モードを選択することができるようになっている。
【００４５】
次に、上記構成から成る電子カメラ８０における広ダイナミックレンジ画像合成の方法について説明する。
【００４６】
図６は合成処理によって生成される画像例を示したイメージ図であり、図７は合成画像を生成する手順を示した処理フローチャートである。合成画像の生成は、以下の手順に従って行われる。
【００４７】
〔手順１〕 撮像デバイス８２を介して取得した高感度画像２０１と低感度画像２０２のうち、低感度画像２０２側をベース画像（土台となる画像）として扱い、低感度画像２０２のデータをある閾値と比較し、低感度画像２０２中から閾値以下の領域（黒つぶれしている領域；以下、「画質劣化領域」という。）２１２Ａ、２１２Ｂを特定し、当該画質劣化領域２１２Ａ、２１２Ｂのエッジを検出する（図７の＃１）。この画質劣化領域２１２Ａ、２１２Ｂの部分が画像合成される箇所となる。
【００４８】
〔手順２〕 次に、検出した画質劣化領域２１２Ａ、２１２Ｂを抽出する（切り取る）処理を行うとともに、そのエリア情報（画質劣化領域の位置を特定する情報）をメモリ１００に一時保存する（図７の＃２）。
【００４９】
〔手順３〕 手順２で得たエリア情報に基づいて高感度画像２０１から該当エリアを抜き取る処理を行う（図７の＃３）。
【００５０】
〔手順４〕 手順３で抜き出した画像部分２３１Ａ、２３１Ｂを低感度画像２０２の画質劣化領域２１２Ａ、２１２Ｂ部分に合成し（画質劣化領域２１２Ａ、２１２Ｂのデータを高感度画像２０１の画像部分２３１Ａ、２３１Ｂのデータで置き換えて）、１枚の合成画像を生成する（図７の＃４）。このとき、高感度画像２０１から抜き出された画像部分２３１Ａ、２３１Ｂのデータについて、所定の係数をかけて信号レベルを調整してから低感度画像２０２に貼り付ける。
【００５１】
低感度画像２０２と高感度画像２０１は、高感度受光領域２１と低感度受光領域２２の感度差に起因する信号レベルの差（明るさの差）があるので、両者の信号レベルを近づけるように、感度差に応じて予め調整用の係数を定めておき、合成時にその係数を画像データにかけるものとする。
【００５２】
〔手順５〕 手順４において画像を合成後、エリア情報を利用して合成境界近傍にローパスフィルタ処理を行い、画像を滑らかにつなぐ（＃５）。
【００５３】
〔手順６〕 その後、エリア情報を利用して合成画像に輪郭強調処理を行い、好ましい最終画像２４０を得る（＃６）。もちろん、手順５〜６については、メディアンフィルタなどの非線形フィルタを利用して一度に処理することも可能である。
【００５４】
上述した手順１〜６によって、黒つぶれのない広ダイナミックレンジ画像を得ることができる。
【００５５】
本発明の実施に際しては、上述した処理手順に限定されず、多様な変形が可能である。
【００５６】
＜変形例１＞ 上述の実施形態では、エリア情報を利用することで合成画像の合成境界近傍のみについて平滑化処理と輪郭強調処理を実施したが、画面全体について平滑化処理と輪郭強調処理を実施してもよい。
【００５７】
＜変形例２＞ 上述の実施形態では、高感度画像２０１から切り出した画像部分２３１Ａ、２３１Ｂについて所定の係数をかけて明るさ（感度）を落とし、低感度画像２０２側の明るさに近づけるようにしたが、低感度画像２０２側についても、ある係数をかけて明るさをアップさせ、高感度画像２０１と低感度画像２０２の中間的な程よい明るさレベルに合わせてから合成する態様も好ましい。
【００５８】
＜変形例３＞ 以下に述べる手順によって画像を合成する態様もある。
【００５９】
〔手順１′〕 撮像デバイス８２を介して取得した高感度画像と低感度画像のうち、低感度画像２０２側をベース画像として扱い、低感度画像のデータをある閾値と比較し、低感度画像中から閾値以下の領域（黒つぶれしている領域）を特定し、当該画質劣化領域のエッジを検出する。
【００６０】
〔手順２′〕 次に、低感度画像２０２及び高感度画像２０１のそれぞれについて全画像領域のエッジ情報（輪郭信号）を検出し、そのエッジ情報をメモリ１００に一時保存する。
【００６１】
〔手順３′〕 手順１′で得た画質劣化領域の情報をもとに、高感度画像から該当エリアを抜き取る処理を行う。
【００６２】
〔手順４′〕 手順３′で抜き出した画像部分を低感度画像の画質劣化領域部分に合成し、１枚の合成画像を生成する。このとき、高感度画像から抜き出された画像部分のデータについて、所定の係数をかけて信号レベルを調整してから低感度画像に貼り付ける。
【００６３】
〔手順５′〕 手順４′において画像を合成後、合成画像の全領域にローパスフィルタ処理を行い、画像を滑らかにつなぐ。
【００６４】
〔手順６′〕 その後、手順２′において取得しておいたエッジ情報を付加して輪郭強調処理を行い、好ましい画像を得る。もちろん、手順５′〜６′については、メディアンフィルタなどの非線形フィルタを利用して一度に処理することも可能である。
【００６５】
＜変形例４＞ 上述の実施形態では、低感度画像２０２をベース画像とし、これの黒つぶれ部分について高感度画像２０１のデータを合成する態様を述べたが、本発明の実施に際しては、この例に限定されず、高感度画像２０１をベース画像とし、高感度画像中の白とび部分を自動的に検出して、当該エリアのデータを低感度画像２０２のデータで置き換える態様もある。
【００６６】
＜変形例５＞ 上述の実施形態ではＣＣＤ固体撮像素子を例示したが、本発明の適用範囲はこれに限定されず、例えば、受光セルアレイをＸＹアドレス指定によって読み出し可能なＭＯＳ型固体撮像素子など、他の方式の固体撮像デバイスについても適用可能である。
【００６７】
また、本発明の適用範囲は上述したデジタルカメラに限定されず、カメラ付き携帯電話、カメラ付きパソコンなど電子画像を取得可能な様々な撮像装置について本発明を適用できる。更には、撮像機能を具備しない装置であっても、リムーバブルメディアやデータ通信機能等を利用して低感度画像と高感度画像のデータを取得する態様が可能であるため、本発明の画像合成装置は、画像再生装置や画像編集装置などにも適用することができる。もちろん、本発明は、パソコン用の画像編集プログラムなどにも応用することができる。
【００６８】
【発明の効果】
以上説明したように本発明によれば、受光セルの内部が高感度受光領域と低感度受光領域に分割されている固体撮像素子を用いて時間的及び空間的にズレの少ない高感度画像と低感度画像を取得し、これら２つの画像のうち一方の画像から白とび或いは黒つぶれなどの画質劣化領域を自動判別するとともに、その画質劣化領域の情報に従って他方の画像から該当領域を切り抜き、切り抜いた画像部分を画質劣化領域の部分に合成する。このように画像合成を画像のエッジ部分で行い、その際に、合成画像の全領域若しくは合成境界の近傍領域についてローパスフィルタを施すなどの平滑化処理を行い、画像を滑らかにつないだ後に、輪郭強調処理を行って輪郭を整えるようにしたので、つなぎ目（合成境界）が目立たない広ダイナミックレンジ画像を得ることができる。
【００６９】
また、合成する両方の画像データの明るさを調整してから、両者を合成することにより、１枚の画像における明るさの不連続性を解消できる。
【図面の簡単な説明】
【図１】本発明に用いられる固体撮像素子の一例を示す平面模式図
【図２】図１の要部拡大図
【図３】受光セルの拡大図
【図４】図３の４−４線に沿う断面図
【図５】本実施形態に係る画像合成装置が組み込まれた電子カメラの構成を示すブロック図
【図６】本例の電子カメラにおける合成処理によって生成される画像例を示したイメージ図
【図７】合成画像を生成する手順を示した処理フローチャート
【符号の説明】
１０…固体撮像素子、２０…受光セル、２１…ホトダイオード領域（高感度受光領域）、２２…ホトダイオード領域（低感度受光領域）、３０…垂直転送路、８０…電子カメラ、８２…撮像デバイス、９２…ＣＰＵ、９８…デジタル信号処理回路、１００…メモリ、２０１…高感度画像、２０２…低感度画像、２１２Ａ，２１２Ｂ…画質劣化領域
【発明の属する技術分野】
本発明は画像合成方法及び装置に係り、特に複数の画像を合成して１枚の広ダイナミックレンジ画像を得る方法及び装置に関する。
【０００２】
【従来の技術】
デジタルカメラ等に用いられるＣＣＤ等の固体撮像素子は、一般の銀塩写真と比較してダイナミックレンジが非常に狭いため、固体撮像素子を用いて適正露光で撮影された画像も銀塩系の写真と比較すると物足りない印象を受ける。また、撮影条件によっては黒つぶれや白とびを生じ、画質が著しく劣化する。そのため、ダイナミックレンジを拡大させるべく従来から様々な試みがなされている。その一方法として、同一シーンにおいて露光量の異なる複数枚の画像を撮影し、これら複数枚の画像データを演算で合成し、ダイナミックレンジの拡大された画像を得る手法がある。特開平９−２０５５８９号公報では、ＣＣＤを高感度部と低感度部に分けて画像を合成している。また、特開平８−２１４２１１号公報では、複数回撮影したものを合成している。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述した各公報では、画像を合成する手法について記載されていない。複数の画像から部分的に抽出した画像部分を合成して１枚の画像（合成画像）を生成すると、１枚の画像の中に不連続性が発生する。特開平８−１１６４４６号公報では、出力画像中に不自然な画像欠陥を生じることがないように、文字に対して適切なエッジ強調を行う画像処理装置が開示されているが、画像に対する方法については述べられていない。
【０００４】
本発明はこのような事情に鑑みてなされたもので、広ダイナミックレンジの撮像装置から得られる画像を合成する際に、１枚の画像の中に不連続性が発生することを極力防止することができる画像合成方法及び装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
前記目的を達成するために本発明に係る画像合成方法は、２次元的に配列された各受光セルが少なくとも高感度受光領域と低感度受光領域を含む複数の受光領域に分割されており、前記高感度受光領域及び低感度受光領域からそれぞれ独立に画像信号を取り出すことができる構造を備えた固体撮像素子を用いて被写体を撮像し、前記高感度受光領域で光電変換された信号電荷に基づく高感度画像信号と前記低感度受光領域で光電変換された信号電荷に基づく低感度画像信号とを取得する工程と、前記高感度画像信号が示す高感度画像及び前記低感度画像信号が示す低感度画像のうち一方の画像から当該画像内において所定基準よりも画質が劣化している画質劣化領域を特定する工程と、前記特定された画質劣化領域のエッジを検出する工程と、前記検出したエッジ情報に基づいて、前記高感度画像及び前記低感度画像のうち他方の画像から前記画質劣化領域に対応する画像部分を抽出する工程と、前記他方の画像から抽出した画像部分を前記一方の画像の前記画質劣化領域に合成する工程と、前記合成して得た合成画像について合成境界を滑らかにつなぐ平滑化処理を行う工程と、前記平滑化処理後の合成画像について前記エッジ情報を利用して輪郭強調処理を行う工程と、を含むことを特徴としている。
【０００６】
すなわち、本発明においては、固体撮像素子の画素を構成する受光セルの内部が少なくとも２つの受光領域に分割され、各受光セルは相対的に感度の高い高感度受光領域と相対的に感度が低い低感度受光領域を有している。高感度受光領域と低感度受光領域で生成された信号電荷は、それぞれ別々に画像信号として取り出すことができるため、１つの固体撮像素子から高感度画像信号と低感度画像信号の両方の画像信号が得られる。こうして、１回の撮影（露光）で、時間的及び空間的にズレの少ない２つの画像（高感度画像と低感度画像）を取得することができる。
【０００７】
これら高感度画像及び低感度画像のうち一方をベース画像（土台となる画像）とし、当該ベース画像について白とび（過度に明るいハイライト領域）や黒つぶれ（極めて低輝度のシャドウ領域）など著しく画質が劣化している領域を特定する。かかる画質劣化領域の自動判定については、予め定められている判定基準値（閾値）との比較によって判断できる。特定した画質劣化領域の情報を用いて他方の画像から該当領域を切り抜く。そして、切り抜いた画像部分をベース画像の画質劣化領域の部分に合成する。
【０００８】
このようにして生成した合成画像のままでは、合成部分の境界線が際立ち、不自然な印象になるので、かかる不連続感を改善するために、合成画像の全領域若しくは合成境界の近傍領域についてローパスフィルタをかけるなどの平滑化処理を行い、画像を滑らかにつなぐ。その後、輪郭強調の処理を行って輪郭を整え、つなぎ目（合成境界）が目立たない好ましい画像を得る。これにより、白とびや黒つぶれなどのない広ダイナミックレンジ画像を得ることができる。
【０００９】
また、切り抜いた画像部分をベース画像に合成する際に、両者の明るさレベルを調整する態様も好ましい。例えば、撮影に使用した固体撮像素子の高感度受光領域と低感度受光領域の感度差が分かっているので、この感度差に基づいて決定されている一定の係数を画像信号にかけて、明るさ（画像の感度）を修正する。切り抜いた画像部分又はベース画像の何れか一方、若しくはこれら両方について明るさを近づけるように調整することで、１枚の画像における明るさの連続性を確保できる。
【００１０】
本発明の一態様として、ベース画像から特定した画質劣化領域の情報（例えば、画質劣化領域の位置を示すエリア情報）をメモリ等の記憶手段に保存しておき、前記平滑化処理後に当該情報を利用して合成境界近傍の輪郭強調処理を実施する態様がある。
【００１１】
更に、本発明の他の態様として、合成前の画像についてエッジ情報を検出し、そのエッジ情報をメモリ等の記憶手段に保存しておき、前記平滑化処理の後に当該エッジ情報を利用して輪郭強調を行う態様も好ましい。
【００１２】
上記方法発明を具現化する装置を提供するため、２次元的に配列された各受光セルが少なくとも高感度受光領域と低感度受光領域を含む複数の受光領域に分割されており、前記高感度受光領域及び低感度受光領域からそれぞれ独立に画像信号を取り出すことができる構造を備えた固体撮像素子を用いて撮像された画像信号を受け入れ、前記高感度受光領域で光電変換された信号電荷に基づく高感度画像信号と前記低感度受光領域で光電変換された信号電荷に基づく低感度画像信号とを取得する画像入力手段と、前記高感度画像信号が示す高感度画像及び前記低感度画像信号が示す低感度画像のうち一方の画像から当該画像内において所定基準よりも画質が劣化している画質劣化領域を特定する処理を行う画質劣化領域検出処理手段と、前記画質劣化領域検出処理手段によって特定した画質劣化領域の情報に基づいて、前記高感度画像及び前記低感度画像のうち他方の画像から前記画質劣化領域に対応する画像部分を抽出する処理を行う画像抽出処理手段と、前記画像抽出処理手段により前記他方の画像から抽出した画像部分を前記一方の画像の前記画質劣化領域に合成する処理を行う合成処理手段と、前記画像合成処理手段で生成された合成画像について合成境界を滑らかにつなぐように平滑化処理を行う平滑化処理手段と、前記平滑化処理が施された合成画像について輪郭強調処理を行う輪郭強調処理手段と、を備えたことを特徴としている。
【００１３】
上記構成から成る画像合成装置において、更に、前記他方の画像から抽出した画像部分と、前記一方の画像について前記合成処理手段による合成時に両者の明るさレベルを近づけるように、両者のうち少なくとも一方の画像信号のレベルを前記高感度受光領域及び前記低感度受光領域の感度差に基づいて調整する明るさ調整手段を具備する態様も好ましい。
【００１４】
また、上記構成の画像合成装置において、前記画質劣化領域検出処理手段によって特定した画質劣化領域のエッジを検出するエッジ検出処理手段を付加し、前記エッジ検出処理手段から得られたエッジ情報を利用して前記輪郭強調処理手段によって輪郭強調処理を行う態様が好ましい。
【００１５】
【発明の実施の形態】
以下添付図面に従って本発明に係る画像合成方法及び装置の好ましい実施の形態について詳説する。
【００１６】
図１は本発明に用いられる固体撮像素子の一例を示す平面模式図であり、図２はその要部拡大図である。これらの図面に示すように、この固体撮像素子１０は、多数の受光セル２０が水平方向（行方向）及び垂直方向（列方向）に一定の配列周期で配置された二次元撮像デバイス（イメージセンサ）である。図示した構成はハニカム配列と呼ばれる画素配列であり、受光セル２０の幾何学的な形状の中心点を行方向及び列方向に１つ置きに画素ピッチの半分（１／２ピッチ）ずらして配列させたものとなっている。すなわち、互いに隣接する受光セル２０の行どうし（又は列どうし）において、一方の行（又は列）のセル配列が、他方の行（又は列）のセル配列に対して行方向（又は列方向）の配列間隔の略１／２だけ相対的にずれて配置された構造となっている。
【００１７】
各受光セル２０は、感度の異なる２つのホトダイオード領域２１、２２に分割されている。第１のホトダイオード領域２１は、相対的に広い受光面積を有し、高感度受光領域を構成する。第２のホトダイオード領域２２は、相対的に狭い受光面積を有し、低感度受光領域を構成する。以下、第１のホトダイオード領域２１を高感度受光領域２１といい、第２のホトダイオード領域２２を低感度受光領域２２という。
【００１８】
各受光セル２０について、高感度受光領域２１と低感度受光領域２２には同色のカラーフィルタが配置されている。つまり、各受光セル２０に対応してそれぞれＲＧＢの原色カラーフィルタが割り当てられている。図１のように、水平方向についてＧＧＧＧ…の行の次段にＢＲＢＲ…の行が配置され、その次段にＧＧＧＧ…の行、という具合に配列される。列方向についてみれば、ＢＲＢＲ…の列と、ＧＧＧＧ…の列と、ＲＢＲＢ…の列とが循環式に繰り返される配列パターンとなっている。
【００１９】
受光セル２０の開口形状は四角形に限定されず、六角形や八角形などの多角形、或いは円形であってもよい。更に、受光セル２０の分離形状（分割形態）についても、図１に示した形状に限定されず、各分割エリアの蓄積電荷を別々に読み出すことができればよく、その形状や分割数、面積の大小関係などは適宜設計される。例えば、１つの受光セル２０を３つ以上の受光領域に分割してもよい。また、１つの受光セル２０について、各分割受光領域に割り当てるカラーフィルタの色を同一にする態様に限定されず、１つの受光セル２０内において分割された受光領域ごとに異なる色のカラーフィルタが割り当てられてもよい。なお、本発明の実施に際しては、Ｒ，Ｇ，Ｂの３原色に色分解する態様に限らず、イエロー（Ｙ），マゼンタ（Ｍ），シアン（Ｃ）の補色系のカラーフィルタを用いて色分解する態様も可能である。
【００２０】
受光セル２０の右側には垂直転送路（ＶＣＣＤ）３０が形成されている。垂直転送路３０は、受光セル２０の各列に近接して受光セル２０を避けながらジグザグ状に蛇行して垂直方向に伸びている。
【００２１】
垂直転送路３０上には４相駆動（φ１，φ２，φ３，φ４）に必要な転送電極３１、３２、３３、３４が配置される。転送電極３１〜３４は、受光セル２０の各行に近接して受光セル２０の開口を避けながら蛇行して図１の水平方向に伸びるように設けられている。例えば、２層ポリシリコンで転送電極を形成する場合、φ１ のパルス電圧が印加される第１の転送電極３１とφ３ のパルス電圧が印加される第３の転送電極３３は第１層ポリシリコン層で形成され、φ２ のパルス電圧が印加される第２の転送電極３２とφ４ のパルス電圧が印加される第４の転送電極３４は第２層ポリシリコン層で形成される。もちろん、本発明の実施に際して電荷転送方式や転送電極の構成は上記の例に限定されない。
【００２２】
図１において受光セル２０が並んだ撮像エリア４０の右側には、転送電極３１〜３４にパルス電圧を印加するＶＣＣＤ駆動回路４２が配置される。また、撮像エリア４０の下側（垂直転送路３０の下端側）には、垂直転送路３０から移された信号電荷を水平方向に転送する水平転送路（ＨＣＣＤ）４４が設けられている。
【００２３】
水平転送路４４は、２相駆動の転送ＣＣＤで構成されており、水平転送路４４の最終段（図１上で最左段）は出力部４６に接続されている。出力部４６は出力アンプを含み、入力された信号電荷の電荷検出を行い、信号電圧として出力端子４８に出力する。こうして、各受光セル２０で光電変換した信号が、点順次の信号列として出力される。
【００２４】
本例の固体撮像素子１０においては、受光セル２０の高感度受光領域２１及び低感度受光領域２２で蓄積された信号電荷は、それぞれ独立に読み出すことが可能である。すなわち、図２に示したように、高感度受光領域２１及び低感度受光領域２２でそれぞれ生成された信号電荷は、当該受光セル２０の右側に隣接した垂直転送路３０に別々に読み出され、混ざり合うことなく転送される。
【００２５】
また、各受光セル２０に対応して、図３に示すように、受光セル２０上にマイクロレンズ５０が配置されており、入射する光を効率的に受光セル２０に入射させるようになっている。
【００２６】
図４に受光セル２０の断面図を示す。同図では、図３の４−４線に沿う断面図を示している。図４によれば、ｎ型半導体基板６０の上にＰ型ウエル６２が形成されており、このＰ型ウエル６２の表面領域に２つのｎ型領域６３、６４が形成され、ホトダイオードを構成している。符号６３で示したｎ型領域のホトダイオードが高感度受光領域２１に相当し、図４の符号６４で示したｎ型領域のホトダイオードが低感度受光領域２２に相当している。
【００２７】
２つのｎ型領域６３、６４の間には、Ｐ＋ 型の分離領域６５が形成されている。分離領域６５はチャネルストップ領域（チャネルストッパ）として機能し、ホトダイオード領域の電気的な分離を行う。また、図４において符号６６で示したＰ＋ 型領域は、受光セル２０と垂直転送路３０等の電気的な分離を行うためのチャネルストッパである。
【００２８】
ホトダイオードを構成するｎ型領域６３、６４の更に上層面には、高感度受光領域２１及び低感度受光領域２２のそれぞれのホトダイオード領域への光入射開口を画定する開口を有した遮光膜６８が形成されている。そして、遮光膜６８を覆うように、半導体基板の上層面には、ホスホシリケートガラス等からなる層間絶縁膜７０が形成されている。
【００２９】
層間絶縁膜７０の上面は高精度に平坦化されており、その上に色分解フィルタとして機能するカラーフィルタ層７２が形成されている。また、カラーフィルタ層７２の上には各受光セル２０に対応してマイクロレンズ５０が配設される。マイクロレンズ５０は上方より入射する光を遮光膜６８が画定する開口内に集光させる機能を有する。なお、本例では、１つの受光セル２０について１つのマイクロレンズ５０を形成しているが、高感度受光領域２１及び低感度受光領域２２に合わせて２つのマイクロレンズを設けてもよい。
【００３０】
マイクロレンズ５０を介して入射した光は、カラーフィルタ層７２によって色分解され、高感度受光領域２１及び低感度受光領域２２の各ホトダイオード領域にそれぞれ入射する。各ホトダイオード領域（２１、２２）に入射した光は、その光量に応じた信号電荷に変換され、それぞれ別々に垂直転送路３０に読み出される。なお、高感度受光領域２１と低感度受光領域２２は、分離領域６５によって区画されているため、それぞれのホトダイオード領域に蓄積された信号電荷が受光セル２０内で混合されることはない。
【００３１】
図４では垂直転送路３０を示していないが、Ｐ＋ 型領域（チャネルストッパ）６６の外側に垂直転送路３０を構成するｎ型領域が形成されている。このｎ型領域と高感度受光領域２１及び低感度受光領域２２のｎ型領域及びこれらの間のＰ型ウエル６２によって読み出しトランジスタが構成される。垂直転送路３０の上層面には酸化シリコン膜等の絶縁層が形成され、その上に転送電極が垂直転送路３０の上方を覆うように配置される。転送電極の上には更に酸化シリコン等の絶縁層が形成され、その上に垂直転送路３０を覆う遮光膜（遮光膜６８と一体の膜）が形成されている。
【００３２】
このように、隣接する受光セル２０どうしの間には、電荷転送路や転送電極などが形成され、電荷転送路や転送電極を介してそれぞれの受光セル２０が区画されるが、１つの受光セル２０内については分離領域６５（チャネルストッパ）のみによって受光領域が区画されている。したがって、１画素として取り扱われる１つの受光セル２０の中に更に細かな２つの独立した受光領域を形成することができ、１つの受光セル２０から感度の異なる２種類の画像信号（高感度画像信号と低感度画像信号）を別々に取り出すことが可能となっている。
【００３３】
次に、上述した固体撮像素子１０を用いた電子カメラについて説明する。
【００３４】
図５は、本発明の実施形態に係る画像合成装置を搭載した電子カメラのブロック図である。この電子カメラ８０は、単板式のデジタルカメラであり、撮像デバイス８２として図１乃至図４で説明した固体撮像素子１０が用いられている。撮影レンズ８４及びシャッター兼用絞り機構８６を通過した光は、撮像デバイス８２の受光面の上に結像される。メカシャッターは、撮像デバイス８２から信号を読み出すときに光が撮像デバイス８２に入射してスミア等が発生するのを防止する。絞り機構については、単一の絞りのものや、複数の絞りが切り換え可能なものなどが適用できる。
【００３５】
被写体に補助光を照射するストロボ（閃光装置）８８は、低照度時など必要な時に自動的に、或いはユーザの操作によって強制的に発光させることができる。駆動回路９０は、中央処理装置（ＣＰＵ）９２の指令に従い、タイミング信号を発生させるタイミングジェネレータ及び撮像デバイス８２を駆動するドライバ回路を含む。撮像デバイス８２は、前記タイミングジェネレータによって発生したタイミング信号に基づいて駆動され、画像信号を出力する。また、駆動回路９０は、上記の他、撮影レンズ８４、シャッター兼用絞り機構８６及びストロボ８８を動作させる駆動回路を含むブロックである。
【００３６】
撮像デバイス８２の受光面に結像された被写体の光学像は、各受光セル２０の高感度受光領域２１及び低感度受光領域２２によって入射光量に応じた量の信号電荷に変換され、ドライバ回路から与えられるパルス電圧に基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。なお、撮像デバイス８２は、シャッターゲートパルスのタイミングによって電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。撮像デバイス８２の動作（露光、読み出し等）はＣＰＵ９２により制御される。
【００３７】
例えば、撮像デバイス８２は垂直駆動信号（ＶＤ）に同期して電荷の読み出しが行われる。静止画記録時の場合、露光後にメカシャッターを閉じて光の侵入を遮断した状態で、ＶＤに同期して高感度受光領域２１→低感度受光領域２２の順に分けて２回の信号読み出しを行い、高感度画像と低感度画像の情報を取得する。
【００３８】
こうして撮像デバイス８２から出力された画像信号はアナログ処理部９４に送られ、アナログ処理部９４においてアナログゲイン、ＣＤＳ（相関二重サンプリング）などの処理が行われる。アナログ処理部９４で生成された信号は、Ａ／Ｄ変換部９６においてデジタル信号に変換される。
【００３９】
デジタル化された画像信号は、デジタル信号処理回路９８に送られ、ここでホワイトバランス調整、ガンマ変換、輝度・色差信号（ＹＣ）生成、明るさ補正、エッジ（輪郭）検出、輪郭強調補正、広ダイナミックレンジ画像合成などのデジタル信号処理が施される。デジタル信号処理回路９８はＣＰＵ９２の指令に従い、メモリ１００を活用しながら画像信号の処理を行う。画像合成の方法について詳細は後述する。
【００４０】
所定のデジタル信号処理を経た画像データは、メモリ１００に一時的に記憶され、圧縮伸張回路１０２を介してＪＰＥＧ形式その他の所定の圧縮フォーマットに従って圧縮された後、記録媒体１０４に記録される。画像データを保存するための記録媒体１０４は、カメラに内蔵された記録媒体（内蔵メモリ）であってもよいし、メモリカードに代表されるリムーバブルメディア（着脱自在な外部記録装置）であってもよい。
【００４１】
再生モード時には、記録媒体１０４から画像データが読み出され、読み出された画像データは、圧縮伸張回路１０２によって伸張処理された後、表示用の信号に変換され、メモリ１００を介してディスプレイ１０６に出力される。
【００４２】
ＣＰＵ９２は、所定のプログラムに従って本カメラシステムを統括制御する制御部であり、シャッタースイッチ１０８その他の操作スイッチ等１１０からの入力信号に基づいてカメラ内の各回路の動作を制御する。すなわち、ＣＰＵ９２は操作スイッチ等１１０から入力される指示信号に応じて種々の撮影条件（露出条件、ストロボ発光有無、撮影モードなど）に従い、撮像デバイス８２を制御するとともに、自動露出（ＡＥ）制御、自動焦点調節（ＡＦ）制御、オートホワイトバランス（ＡＷＢ）制御、レンズ駆動制御、画像処理制御、記録媒体１０４の読み書き制御、ディスプレイ１０６の表示制御などを行う。
【００４３】
不揮発性記憶手段であるＲＯＭ１１２にはＣＰＵ９２が実行するプログラムや制御に必要な各種データが格納されている。メモリ１００はＣＰＵ９２の作業領域として兼用される。
【００４４】
本例の電子カメラ８０は、通常の記録モード（画像合成を行わずに撮影画像を記録するモード）の他に、広ダイナミックレンジ記録モード（画像合成を利用して広ダイナミックレンジ画像を記録するモード）を有しており、ユーザは操作スイッチ等１１０によって所望の記録モードを選択することができるようになっている。
【００４５】
次に、上記構成から成る電子カメラ８０における広ダイナミックレンジ画像合成の方法について説明する。
【００４６】
図６は合成処理によって生成される画像例を示したイメージ図であり、図７は合成画像を生成する手順を示した処理フローチャートである。合成画像の生成は、以下の手順に従って行われる。
【００４７】
〔手順１〕 撮像デバイス８２を介して取得した高感度画像２０１と低感度画像２０２のうち、低感度画像２０２側をベース画像（土台となる画像）として扱い、低感度画像２０２のデータをある閾値と比較し、低感度画像２０２中から閾値以下の領域（黒つぶれしている領域；以下、「画質劣化領域」という。）２１２Ａ、２１２Ｂを特定し、当該画質劣化領域２１２Ａ、２１２Ｂのエッジを検出する（図７の＃１）。この画質劣化領域２１２Ａ、２１２Ｂの部分が画像合成される箇所となる。
【００４８】
〔手順２〕 次に、検出した画質劣化領域２１２Ａ、２１２Ｂを抽出する（切り取る）処理を行うとともに、そのエリア情報（画質劣化領域の位置を特定する情報）をメモリ１００に一時保存する（図７の＃２）。
【００４９】
〔手順３〕 手順２で得たエリア情報に基づいて高感度画像２０１から該当エリアを抜き取る処理を行う（図７の＃３）。
【００５０】
〔手順４〕 手順３で抜き出した画像部分２３１Ａ、２３１Ｂを低感度画像２０２の画質劣化領域２１２Ａ、２１２Ｂ部分に合成し（画質劣化領域２１２Ａ、２１２Ｂのデータを高感度画像２０１の画像部分２３１Ａ、２３１Ｂのデータで置き換えて）、１枚の合成画像を生成する（図７の＃４）。このとき、高感度画像２０１から抜き出された画像部分２３１Ａ、２３１Ｂのデータについて、所定の係数をかけて信号レベルを調整してから低感度画像２０２に貼り付ける。
【００５１】
低感度画像２０２と高感度画像２０１は、高感度受光領域２１と低感度受光領域２２の感度差に起因する信号レベルの差（明るさの差）があるので、両者の信号レベルを近づけるように、感度差に応じて予め調整用の係数を定めておき、合成時にその係数を画像データにかけるものとする。
【００５２】
〔手順５〕 手順４において画像を合成後、エリア情報を利用して合成境界近傍にローパスフィルタ処理を行い、画像を滑らかにつなぐ（＃５）。
【００５３】
〔手順６〕 その後、エリア情報を利用して合成画像に輪郭強調処理を行い、好ましい最終画像２４０を得る（＃６）。もちろん、手順５〜６については、メディアンフィルタなどの非線形フィルタを利用して一度に処理することも可能である。
【００５４】
上述した手順１〜６によって、黒つぶれのない広ダイナミックレンジ画像を得ることができる。
【００５５】
本発明の実施に際しては、上述した処理手順に限定されず、多様な変形が可能である。
【００５６】
＜変形例１＞ 上述の実施形態では、エリア情報を利用することで合成画像の合成境界近傍のみについて平滑化処理と輪郭強調処理を実施したが、画面全体について平滑化処理と輪郭強調処理を実施してもよい。
【００５７】
＜変形例２＞ 上述の実施形態では、高感度画像２０１から切り出した画像部分２３１Ａ、２３１Ｂについて所定の係数をかけて明るさ（感度）を落とし、低感度画像２０２側の明るさに近づけるようにしたが、低感度画像２０２側についても、ある係数をかけて明るさをアップさせ、高感度画像２０１と低感度画像２０２の中間的な程よい明るさレベルに合わせてから合成する態様も好ましい。
【００５８】
＜変形例３＞ 以下に述べる手順によって画像を合成する態様もある。
【００５９】
〔手順１′〕 撮像デバイス８２を介して取得した高感度画像と低感度画像のうち、低感度画像２０２側をベース画像として扱い、低感度画像のデータをある閾値と比較し、低感度画像中から閾値以下の領域（黒つぶれしている領域）を特定し、当該画質劣化領域のエッジを検出する。
【００６０】
〔手順２′〕 次に、低感度画像２０２及び高感度画像２０１のそれぞれについて全画像領域のエッジ情報（輪郭信号）を検出し、そのエッジ情報をメモリ１００に一時保存する。
【００６１】
〔手順３′〕 手順１′で得た画質劣化領域の情報をもとに、高感度画像から該当エリアを抜き取る処理を行う。
【００６２】
〔手順４′〕 手順３′で抜き出した画像部分を低感度画像の画質劣化領域部分に合成し、１枚の合成画像を生成する。このとき、高感度画像から抜き出された画像部分のデータについて、所定の係数をかけて信号レベルを調整してから低感度画像に貼り付ける。
【００６３】
〔手順５′〕 手順４′において画像を合成後、合成画像の全領域にローパスフィルタ処理を行い、画像を滑らかにつなぐ。
【００６４】
〔手順６′〕 その後、手順２′において取得しておいたエッジ情報を付加して輪郭強調処理を行い、好ましい画像を得る。もちろん、手順５′〜６′については、メディアンフィルタなどの非線形フィルタを利用して一度に処理することも可能である。
【００６５】
＜変形例４＞ 上述の実施形態では、低感度画像２０２をベース画像とし、これの黒つぶれ部分について高感度画像２０１のデータを合成する態様を述べたが、本発明の実施に際しては、この例に限定されず、高感度画像２０１をベース画像とし、高感度画像中の白とび部分を自動的に検出して、当該エリアのデータを低感度画像２０２のデータで置き換える態様もある。
【００６６】
＜変形例５＞ 上述の実施形態ではＣＣＤ固体撮像素子を例示したが、本発明の適用範囲はこれに限定されず、例えば、受光セルアレイをＸＹアドレス指定によって読み出し可能なＭＯＳ型固体撮像素子など、他の方式の固体撮像デバイスについても適用可能である。
【００６７】
また、本発明の適用範囲は上述したデジタルカメラに限定されず、カメラ付き携帯電話、カメラ付きパソコンなど電子画像を取得可能な様々な撮像装置について本発明を適用できる。更には、撮像機能を具備しない装置であっても、リムーバブルメディアやデータ通信機能等を利用して低感度画像と高感度画像のデータを取得する態様が可能であるため、本発明の画像合成装置は、画像再生装置や画像編集装置などにも適用することができる。もちろん、本発明は、パソコン用の画像編集プログラムなどにも応用することができる。
【００６８】
【発明の効果】
以上説明したように本発明によれば、受光セルの内部が高感度受光領域と低感度受光領域に分割されている固体撮像素子を用いて時間的及び空間的にズレの少ない高感度画像と低感度画像を取得し、これら２つの画像のうち一方の画像から白とび或いは黒つぶれなどの画質劣化領域を自動判別するとともに、その画質劣化領域の情報に従って他方の画像から該当領域を切り抜き、切り抜いた画像部分を画質劣化領域の部分に合成する。このように画像合成を画像のエッジ部分で行い、その際に、合成画像の全領域若しくは合成境界の近傍領域についてローパスフィルタを施すなどの平滑化処理を行い、画像を滑らかにつないだ後に、輪郭強調処理を行って輪郭を整えるようにしたので、つなぎ目（合成境界）が目立たない広ダイナミックレンジ画像を得ることができる。
【００６９】
また、合成する両方の画像データの明るさを調整してから、両者を合成することにより、１枚の画像における明るさの不連続性を解消できる。
【図面の簡単な説明】
【図１】本発明に用いられる固体撮像素子の一例を示す平面模式図
【図２】図１の要部拡大図
【図３】受光セルの拡大図
【図４】図３の４−４線に沿う断面図
【図５】本実施形態に係る画像合成装置が組み込まれた電子カメラの構成を示すブロック図
【図６】本例の電子カメラにおける合成処理によって生成される画像例を示したイメージ図
【図７】合成画像を生成する手順を示した処理フローチャート
【符号の説明】
１０…固体撮像素子、２０…受光セル、２１…ホトダイオード領域（高感度受光領域）、２２…ホトダイオード領域（低感度受光領域）、３０…垂直転送路、８０…電子カメラ、８２…撮像デバイス、９２…ＣＰＵ、９８…デジタル信号処理回路、１００…メモリ、２０１…高感度画像、２０２…低感度画像、２１２Ａ，２１２Ｂ…画質劣化領域
Claims (3)
- ２次元的に配列された各受光セルが少なくとも高感度受光領域と低感度受光領域を含む複数の受光領域に分割されており、前記高感度受光領域及び低感度受光領域からそれぞれ独立に画像信号を取り出すことができる構造を備えた固体撮像素子を用いて被写体を撮像し、前記高感度受光領域で光電変換された信号電荷に基づく高感度画像信号と前記低感度受光領域で光電変換された信号電荷に基づく低感度画像信号とを取得する工程と、
前記高感度画像信号が示す高感度画像及び前記低感度画像信号が示す低感度画像のうち一方の画像から当該画像内において所定基準よりも画質が劣化している画質劣化領域を特定する工程と、
前記特定された画質劣化領域の情報に基づいて、前記高感度画像及び前記低感度画像のうち他方の画像から前記画質劣化領域に対応する画像部分を抽出する工程と、
前記他方の画像から抽出した画像部分を前記一方の画像の前記画質劣化領域に合成する工程と、
前記合成して得た合成画像について合成境界を滑らかにつなぐ平滑化処理を行う工程と、
前記平滑化処理後の合成画像について輪郭強調処理を行う工程と、
を含むことを特徴とする画像合成方法。 - ２次元的に配列された各受光セルが少なくとも高感度受光領域と低感度受光領域を含む複数の受光領域に分割されており、前記高感度受光領域及び低感度受光領域からそれぞれ独立に画像信号を取り出すことができる構造を備えた固体撮像素子を用いて撮像された画像信号を受け入れ、前記高感度受光領域で光電変換された信号電荷に基づく高感度画像信号と前記低感度受光領域で光電変換された信号電荷に基づく低感度画像信号とを取得する画像入力手段と、
前記高感度画像信号が示す高感度画像及び前記低感度画像信号が示す低感度画像のうち一方の画像から当該画像内において所定基準よりも画質が劣化している画質劣化領域を特定する処理を行う画質劣化領域検出処理手段と、
前記画質劣化領域検出処理手段によって特定した画質劣化領域の情報に基づいて、前記高感度画像及び前記低感度画像のうち他方の画像から前記画質劣化領域に対応する画像部分を抽出する処理を行う画像抽出処理手段と、
前記画像抽出処理手段により前記他方の画像から抽出した画像部分を前記一方の画像の前記画質劣化領域に合成する処理を行う合成処理手段と、
前記画像合成処理手段で生成された合成画像について合成境界を滑らかにつなぐように平滑化処理を行う平滑化処理手段と、
前記平滑化処理が施された合成画像について輪郭強調処理を行う輪郭強調処理手段と、
を備えたことを特徴とする画像合成装置。 - 前記他方の画像から抽出した画像部分と、当該画像部分が貼り合わされる前記一方の画像について前記合成処理手段による合成時に両者の明るさレベルを近づけるように、両者のうち少なくとも一方の画像信号のレベルを前記高感度受光領域及び前記低感度受光領域の感度差に基づいて調整する明るさ調整手段を具備したことを特徴とする請求項２記載の画像合成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002203983A JP2004048445A (ja) | 2002-07-12 | 2002-07-12 | 画像合成方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002203983A JP2004048445A (ja) | 2002-07-12 | 2002-07-12 | 画像合成方法及び装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004048445A true JP2004048445A (ja) | 2004-02-12 |
Family
ID=31709706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002203983A Pending JP2004048445A (ja) | 2002-07-12 | 2002-07-12 | 画像合成方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004048445A (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006087063A (ja) * | 2004-09-17 | 2006-03-30 | Ulead Systems Inc | 多重露光画像合成システム及び多重露光画像合成方法 |
| JP2008227697A (ja) * | 2007-03-09 | 2008-09-25 | Sony Corp | 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム |
| JP2011087269A (ja) * | 2009-09-18 | 2011-04-28 | Sony Corp | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
| JP2011114680A (ja) * | 2009-11-27 | 2011-06-09 | Nikon Corp | 撮像装置 |
| KR20110090093A (ko) * | 2010-02-02 | 2011-08-10 | 삼성전자주식회사 | 디지털 영상 처리 장치 및 그 제어 방법 |
| WO2012042967A1 (ja) * | 2010-09-27 | 2012-04-05 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
| US8169518B2 (en) | 2007-08-14 | 2012-05-01 | Fujifilm Corporation | Image pickup apparatus and signal processing method |
| JP2012155000A (ja) * | 2011-01-24 | 2012-08-16 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
| WO2012127639A1 (ja) * | 2011-03-22 | 2012-09-27 | 富士通株式会社 | 画像処理装置及び画像処理方法 |
| WO2013032008A1 (ja) * | 2011-09-02 | 2013-03-07 | 株式会社ニコン | 画像処理装置、プログラム |
| JP2013187572A (ja) * | 2012-03-05 | 2013-09-19 | Honda Motor Co Ltd | 画像処理装置 |
| US8558914B2 (en) | 2009-10-21 | 2013-10-15 | Seiko Epson Corporation | Imaging device, imaging method, and electronic apparatus for dynamically determining ratios of exposures to optimize multi-stage exposure |
| JP2015041869A (ja) * | 2013-08-21 | 2015-03-02 | キヤノン株式会社 | 撮像装置、情報処理方法及びプログラム |
| US9001232B2 (en) | 2010-04-13 | 2015-04-07 | Canon Kabushiki Kaisha | Image processing apparatus, display apparatus and image capturing apparatus, with moving image including plural frames of images alternately captured with different exposures including correct and incorrect exposures |
| WO2015151794A1 (ja) * | 2014-03-31 | 2015-10-08 | ソニー株式会社 | 固体撮像装置及びその駆動制御方法、画像処理方法、並びに、電子機器 |
-
2002
- 2002-07-12 JP JP2002203983A patent/JP2004048445A/ja active Pending
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7443533B2 (en) | 2004-09-17 | 2008-10-28 | Corel Tw Corp. | Image composition systems and methods |
| JP2006087063A (ja) * | 2004-09-17 | 2006-03-30 | Ulead Systems Inc | 多重露光画像合成システム及び多重露光画像合成方法 |
| JP2008227697A (ja) * | 2007-03-09 | 2008-09-25 | Sony Corp | 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム |
| US8150201B2 (en) | 2007-03-09 | 2012-04-03 | Sony Corporation | Image processing apparatus, method, and computer program with pixel brightness-change detection and value correction |
| US8169518B2 (en) | 2007-08-14 | 2012-05-01 | Fujifilm Corporation | Image pickup apparatus and signal processing method |
| JP2011087269A (ja) * | 2009-09-18 | 2011-04-28 | Sony Corp | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
| US8558914B2 (en) | 2009-10-21 | 2013-10-15 | Seiko Epson Corporation | Imaging device, imaging method, and electronic apparatus for dynamically determining ratios of exposures to optimize multi-stage exposure |
| JP2011114680A (ja) * | 2009-11-27 | 2011-06-09 | Nikon Corp | 撮像装置 |
| KR20110090093A (ko) * | 2010-02-02 | 2011-08-10 | 삼성전자주식회사 | 디지털 영상 처리 장치 및 그 제어 방법 |
| KR101630303B1 (ko) | 2010-02-02 | 2016-06-14 | 삼성전자주식회사 | 디지털 영상 처리 장치 및 그 제어 방법 |
| US9357139B2 (en) | 2010-04-13 | 2016-05-31 | Canon Kabushiki Kaisha | Image processing apparatus, display apparatus and image capturing apparatus with generation of composite image by adding multiplied edge components outputted from first multiplier and multiplied low frequency components outputted from second mylitplier |
| US9001232B2 (en) | 2010-04-13 | 2015-04-07 | Canon Kabushiki Kaisha | Image processing apparatus, display apparatus and image capturing apparatus, with moving image including plural frames of images alternately captured with different exposures including correct and incorrect exposures |
| WO2012042967A1 (ja) * | 2010-09-27 | 2012-04-05 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
| JP5150795B2 (ja) * | 2010-09-27 | 2013-02-27 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
| US8908064B2 (en) | 2010-09-27 | 2014-12-09 | Fujifilm Corporation | Imaging apparatus and imaging method |
| JP2012155000A (ja) * | 2011-01-24 | 2012-08-16 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
| WO2012127639A1 (ja) * | 2011-03-22 | 2012-09-27 | 富士通株式会社 | 画像処理装置及び画像処理方法 |
| JP5737387B2 (ja) * | 2011-03-22 | 2015-06-17 | 富士通株式会社 | 画像処理装置 |
| US9129184B2 (en) | 2011-03-22 | 2015-09-08 | Fujitsu Limited | Image synthesis processor and image synthesis method |
| JPWO2013032008A1 (ja) * | 2011-09-02 | 2015-03-23 | 株式会社ニコン | 画像処理装置、プログラム |
| CN103797782A (zh) * | 2011-09-02 | 2014-05-14 | 株式会社尼康 | 图像处理装置、程序 |
| WO2013032008A1 (ja) * | 2011-09-02 | 2013-03-07 | 株式会社ニコン | 画像処理装置、プログラム |
| US9432641B2 (en) | 2011-09-02 | 2016-08-30 | Nikon Corporation | Image processing device and program |
| JP2013187572A (ja) * | 2012-03-05 | 2013-09-19 | Honda Motor Co Ltd | 画像処理装置 |
| JP2015041869A (ja) * | 2013-08-21 | 2015-03-02 | キヤノン株式会社 | 撮像装置、情報処理方法及びプログラム |
| WO2015151794A1 (ja) * | 2014-03-31 | 2015-10-08 | ソニー株式会社 | 固体撮像装置及びその駆動制御方法、画像処理方法、並びに、電子機器 |
| JP2015201834A (ja) * | 2014-03-31 | 2015-11-12 | ソニー株式会社 | 固体撮像装置及びその駆動制御方法、画像処理方法、並びに、電子機器 |
| US10594961B2 (en) | 2014-03-31 | 2020-03-17 | Sony Semiconductor Solutions Corporation | Generation of pixel signal with a high dynamic range and generation of phase difference information |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7301571B2 (en) | Method and imaging apparatus for correcting defective pixel of solid-state image sensor, and method for creating pixel information | |
| JP4738907B2 (ja) | 固体撮像素子および固体撮像装置 | |
| US7245322B2 (en) | Imaging apparatus | |
| JP4421793B2 (ja) | ディジタルカメラ | |
| US9503699B2 (en) | Imaging device, imaging method, electronic device, and program | |
| US20090051781A1 (en) | Image processing apparatus, method, and program | |
| JP2004048445A (ja) | 画像合成方法及び装置 | |
| US20040239790A1 (en) | Image capturing apparatus | |
| JP2009049525A (ja) | 撮像装置及び信号処理方法 | |
| JP2006014117A (ja) | 物理情報取得方法および物理情報取得装置並びに物理量分布検知の半導体装置 | |
| JP2006121151A (ja) | 信号処理方法および信号処理装置並びに物理情報取得装置 | |
| JP2004320119A (ja) | 画像記録装置 | |
| JP2004023683A (ja) | 固体撮像素子の欠陥補正装置及び方法 | |
| JP4051701B2 (ja) | 固体撮像素子の欠陥画素補正方法及び撮影装置 | |
| JP5663573B2 (ja) | 撮像装置及び撮像方法 | |
| JP4178548B2 (ja) | 撮像装置 | |
| JP2004222134A (ja) | 撮像装置 | |
| JP2009049524A (ja) | 撮像装置及び信号処理方法 | |
| JP2006041867A (ja) | 画像処理方法および画像処理装置並びに撮像装置およびタイミング制御装置 | |
| JP4434556B2 (ja) | 固体撮像装置および固体撮像素子 | |
| JP4251313B2 (ja) | 固体撮像装置 | |
| JP2005303653A (ja) | 撮像装置 | |
| JP2006303755A (ja) | 撮像装置及び撮像方法 | |
| JP2004336264A (ja) | 画像記録装置 | |
| JP2006180112A (ja) | 画像処理装置及び撮像装置並びに画像処理プログラム |