JP2004040480A

JP2004040480A - 撮像装置

Info

Publication number: JP2004040480A
Application number: JP2002194909A
Authority: JP
Inventors: Shinji Yamashita; 山下　真司
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2002-07-03
Filing date: 2002-07-03
Publication date: 2004-02-05

Abstract

【課題】ダイナミックレンジが拡大でき、低輝度側でのＳ／Ｎの劣化を防止でき、違和感のない滑らかな画像を得られる撮像装置の提供。
【解決手段】ＴＶカメラ内にはハーフミラーを介して２つのＣＣＤ２６ａ、２６ｂに共通の光学像が結像され、素子シャッタで異なる時間でそれぞれ撮像された信号はＡ／Ｄ変換され、色分離されたＲ、Ｇ、Ｂの信号となり、Ｄレンジ拡大回路４５に入力される。このＤレンジ拡大回路４５は、第１及び第２ＬＵＴにより出力される和が１となるよう設定され、特に低輝度側では露光量を大きくしたＣＣＤ２６ａで撮像された信号に対する重み付けの割合を大きくした２つの重み付け係数とそれぞれ乗算した後、加算器で加算してダイナミックレンジを拡大するので、低輝度側でのＳ／Ｎの劣化を防止できる信号が生成される。
【選択図】　図２

Description

【０００１】
【発明の属する技術分野】
本発明は露光時間等が異なる複数の画像を和が１となる２つの係数で重み付け加算することによりダイナミックレンジ拡大の処理を行う２板式の撮像装置に関する。
【０００２】
【従来の技術】
一般に、テレビカメラ等の撮像装置では、その有効撮像輝度域は、撮像手段である例えば固体撮像素子の光電変換特性により一義的に定まる。つまり、固体撮像素子の出力レベルの下限はノイズレベルで限定され、上限は飽和レベル限定されて使用可能な動作レンジが定まると共に、固体撮像素子の出力レベル特性の傾きが一定の値を有しているので、結果として固体撮像素子の有効撮像輝度域は一義的に定まる。
【０００３】
そこで、従来、例えば特開昭５７−３９６７３号公報では、２種類の異なる輝度での撮像信号を合成し、固体撮像素子の撮像信号のダイナミックレンジを拡大する撮像装置が開示されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、この先行例の撮像装置におけるダイナミックレンジの拡大においては、単に２種類の撮像信号を加減算しているため、低輝度側ではＳ／Ｎが劣化し、また輝度レベルに対して得られた合成撮像信号は直線の結合となっていて折れ線状に変化するので、その結合点部分での固体撮像素子の出力レベルの変化により、例えば得られるカラー画像においては滑らかな色変化とならず、違和感のある画像になるといった問題がある。
【０００５】
また、特開平６−１４１２２９号公報では、電荷蓄積時間が異なる２枚以上の画像を信号レベルに応じて重みを付けを行い、さらに圧縮手段によって圧縮することにより暗い画像から明るい画像まで飽和しないでノイズの少ない画像を得るようにしている。
【０００６】
この先行例は、例えばその公報の図４に示されているように電荷蓄積時間が異なる複数の画像における一方の画像が飽和する境界領域付近でのみ重み付けを変えたものを加算により合成し、さらに周波数帯域などに応じて圧縮手段により圧縮して所望の入出力特性の合成画像にしている。
【０００７】
しかし、この先行例では、例えば２枚の画像から合成画像を得る場合、電荷蓄積時間が長い第１の画像が飽和する境界領域付近よりも低い領域側では、第１の画像のみで合成画像が決定されてしまう特性となる。
【０００８】
この合成画像に対して後段側で圧縮処理を行うが、すでに加算処理された１枚の合成画像に対して行うので、上記特性を基本に変化させることができない。このため、例えば動きがある画像の場合には、低輝度側と高輝度側との輪郭がずれたり、不自然な色変化部分ができた画像になってしまう。
【０００９】
（発明の目的）
本発明は、上述した点に鑑みてなされたもので、その目的はダイナミックレンジの拡大ができ、かつ低輝度側でのＳ／Ｎの劣化を防止すると共に、違和感のない滑らかな画像を得ることのできる撮像装置を提供することにある。
【００１０】
【課題を解決するための手段】
本発明の撮像装置は、被写体を第１の露光条件で撮像して第１の撮像信号を出力する第１のカラー撮像手段と、
前記第１の露光条件より露光量が少ない露光条件で前記被写体を撮像して第２の撮像信号を出力する第２のカラー撮像手段と、
前記第１のカラー撮像手段から出力される前記第１の撮像信号の信号レベルに応じて単調減少関数の第１の重み付け係数を発生すると共に、該第１の重み付け係数との和が１となる単調増加関数の第２の重み付け係数を発生する係数発生手段と、
前記第１の撮像信号の撮像信号の信号レベルに対応付けられた前記係数発生手段からの前記第１の重み付け係数で前記第１の撮像信号を重み付けをするとともに、前記第２のカラー撮像手段からの前記第２の撮像信号を重み付けをする重み付け処理手段と、
前記重み付け処理手段からの重み付けされた前記第１の撮像信号と重み付けされた前記第２の撮像信号とを加算し、カラー画像信号を生成する画像信号生成手段と、
を具備したことにより、低輝度側では露光量が大きい条件で撮像した第１のカラー撮像手段による第１の撮像信号の重み付けを大きく、逆に高輝度側では露光量が小さい条件で撮像した第２のカラー撮像手段による第２の撮像信号の重み付けを大きくして画像信号を生成して、その画像信号のダイナミックレンジの拡大を行い、かつ低輝度側でのＳ／Ｎの劣化を防止すると共に、違和感のない滑らかな自然な画像が得られるようにしている。
【００１１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
【００１２】
（第１の実施の形態）
図１ないし図７は本発明の第１の実施の形態に係り、図１は第１の実施の形態を備えた内視鏡装置の全体構成図、図２は第１の実施の形態のカラー撮像装置の構成を示す構成図、図３は図２のＲ用Ｄレンジ拡大回路の構成を示す構成図、図４（Ａ）は図３の第１ＬＵＴ及び第２ＬＵＴのメモリマップを示す図、図４（Ｂ）は入力信号により第１ＬＵＴ及び第２ＬＵＴから重み付けされた係数が出力される様子を示す説明図、図５（Ａ）〜図５（Ｉ）は図３のＲ用Ｄレンジ拡大回路の各信号のタイミングを示すタイミングチャート図、図６は図３のＲ用Ｄレンジ拡大回路の作用を説明する説明図、図７は図２のカラー撮像装置の変形例の構成を示す構成図である。
【００１３】
図１に示すように、本発明の第１の実施の形態を備えた内視鏡装置１は、光学式内視鏡２に撮像手段を備えたＴＶカメラ３を装着したＴＶカメラ外付け内視鏡４と、光学式内視鏡２に照明光を供給する光源装置５と、ＴＶカメラ３と着脱自在で接続され、標準的な映像信号を生成する映像信号処理を行うビデオプロセッサ或いはカメラコントローラユニット（以下、ＣＣＵと略記）６と、このＣＣＵ６から出力される映像信号を表示するモニタ７とから構成される。
【００１４】
光学式内視鏡２は例えば硬質の挿入部８と、この挿入部８の後端に設けられた把持部（操作部）９と、この把持部９の後端に設けられた接眼部１０とを有する硬性内視鏡である。
【００１５】
挿入部８内にはライトガイド１１が挿通され、このライトガイド１１は、把持部９のライトガイド口金に接続されるライトガイドケーブル１２を介して光源装置５に着脱自在に接続され、光源装置５内のランプ１３からの白色の照明光が集光レンズ１４を介して供給され、この照明光を伝送してライトガイド１１の先端面から出射し、患部などの被写体を照明する。
【００１６】
先端部には対物レンズ１６が設けられ、この対物レンズ１６により結像される光学像は例えばリレーレンズ系１７で後方側に伝送され、接眼部１０に設けた接眼レンズにより拡大観察することができる。
【００１７】
また、ＴＶカメラ３は接眼部１０に着脱自在で装着（外付け）されるカメラヘッド２１と、該カメラヘッド２１からその基端が延出される（信号伝送系としての）カメラケーブル２２と、このカメラケーブル２２の末端に設けたコネクタ２３とから構成され、このコネクタ２３はＣＣＵ６に着脱自在で接続される。
【００１８】
上記カメラヘッド２１内には、接眼レンズに対向して結像レンズ２４が配置され、その光路上に配置された光分割素子として例えばハーフミラー２５を介して２つの共役な結像位置には、カラー撮像を行う固体撮像素子として２つの電荷結合素子（ＣＣＤと略記）２６ａ、２６ｂがそれぞれ配置されている。
【００１９】
なお、光電変換する各ＣＣＤ２６ａ、２６ｂの前面にはモザイクフィルタ２７ａ、２７ｂが配置され、被写体像を画素単位で光学的に色分離してＣＣＤ２６ａ、２６ｂの撮像面に導く。つまり、モザイクフィルタ２７ａ、２７ｂがそれぞれ設けられたＣＣＤ２６ａ、２６ｂはそれぞれ同じ被写体をカラー撮像する２つの（２板式の）カラー撮像手段を形成している。両ＣＣＤ２６ａ、２６ｂは水平及び垂直方向の画素サイズが同じものが採用されている。
【００２０】
なお、ハーフミラー２５は例えば透過する透過光と反射する反射光との光量比が等しいものが採用されている。後述するように、本実施の形態では、２つのＣＣＤ２６ａ、２６ｂの露光時間を互いに異なるようにして露光条件が異なるようにしている。後述するように例えばＣＣＤ２６ｂの撮像時間をＣＣＤ２６ａの場合よりも短くしている（つまり、ＣＣＤ２６ｂはＣＣＤ２６ａよりも露光量が少ない条件で撮像した信号を出力する）。
【００２１】
ＣＣＤ２６ａ、２６ｂはカメラケーブル２２（内の信号ケーブル）を介してＣＣＵ６内の映像信号生成処理を行う映像処理回路２８と電気的に接続される。ＣＣＤ２６ａ、２６ｂは映像処理回路２８からのドライブ信号でそれぞれ駆動され、光電変換された出力信号は映像処理回路２８内の信号処理系で信号処理され、図２で説明するように２つの出力信号は合成されてダイナミックレンジの広い映像信号が生成され、この映像信号はモニタ７に出力され、ダイナミックレンジの広い内視鏡画像を表示する。
【００２２】
次に本実施の形態の（内視鏡用）カラー撮像装置３１の構成を図２を参照して説明する。
【００２３】
図２に示すように、カラー撮像装置３１は、上述のように被写体を撮像する殆ど同一の特性を持った２つの単板カラー撮像素子としてのＣＣＤ２６ａとＣＣＤ２６ｂと、基準信号を発生する同期信号発生回路（以下、ＳＳＧと記す）３３と、ＳＳＧ３３からの基準信号を入力しＣＣＤ２６ａ及びＣＣＤ２６ｂに対する駆動信号等を生成するタイミングジェネレータ３４と、タイミングジェネレータ３４からの駆動信号によりＣＣＤ２６ａ及びＣＣＤ２６ｂを駆動するＣＣＤドライバ３５ａ及びＣＣＤドライバ３５ｂを有している。
【００２４】
また、ＣＣＤ２６ａからの撮像信号を増幅するプリアンプ３６ａと、タイミングジェネレータ３４からのサンプリングパルスに基づき相関二重サンプリング（以下ＣＤＳと略記）を行うＣＤＳ回路３７ａと、ＣＤＳ回路３７ａの出力をＡ／Ｄ変換するＡ／Ｄ変換器３８ａとを備え、ＣＣＤ２６ａからの出力の画像信号がプリアンプ３６ａで増幅された後にＣＤＳ回路３７ａによってベースバンド帯域の信号にされ、Ａ／Ｄ変換器３８ａによりデジタル信号に変換されるようになっている。
【００２５】
このＡ／Ｄ変換器３８ａは例えば８ビットのデジタル信号に変換する。ＣＣＤ２６ｂからの撮像信号も同様な処理が行われ、プリアンプ３６ｂ、ＣＤＳ回路３７ｂを経た後、Ａ／Ｄ変換器３８ｂよりデジタル信号に変換される。
【００２６】
さらに、カラー撮像装置３１は、Ａ／Ｄ変換器３８ａでＡ／Ｄ変換されたデジタル信号をＲＧＢの３つの色信号に分離する色分離回路３９ａと、色分離回路３９ａにより色分離されたデジタル信号に対してホワイトバランスの調整を行うホワイトバランス回路４０ａと、ホワイトバランス回路４０ａによりホワイトバランスの調整がなされたデジタル信号のゲイン調整を行う自動利得制御回路（以下、ＡＧＣ回路を記す）４１ａと、ＡＧＣ回路４１ａによりゲイン調整されたデジタル信号に対してｋｎｅｅ処理及びγ補正を行うｋｎｅｅ＆γ回路４２ａと、ｋｎｅｅ＆γ回路４２ａによりｋｎｅｅ処理及びγ補正されたＲ、Ｇ、Ｂのデジタル信号を得るようになっている。
【００２７】
ＣＣＤ２６ｂの出力信号もプリアンプ３６ｂに入力されて増幅され、その後ＣＤＳ回路３７ｂを経てＡ／Ｄ変換器３８ｂでＡ／Ｄ変換されてデジタル信号に変換され、さらにこのデジタル信号も同様の処理がされる。つまり、色分離回路３９ｂ、ホワイトバランス回路４０ｂ、ＡＧＣ回路４１ｂを経た後、ｋｎｅｅ＆γ回路４２ｂによりｋｎｅｅ処理及びγ補正されたＲ、Ｇ、Ｂのデジタル信号を得るようになっている。
【００２８】
ｋｎｅｅ＆γ回路４２ａ及び４２ｂから出力されるこれら２つのＲ、Ｇ、Ｂのデジタル信号はダイナミックレンジの拡大処理を行うＤレンジ拡大回路４５に入力される。このＤレンジ拡大回路４５はそれぞれ２入力のＲ用Ｄレンジ拡大回路４５Ｒ、Ｇ用Ｄレンジ拡大回路４５Ｇ及びＢ用Ｄレンジ拡大回路４５Ｂの３つの回路で構成されている。
【００２９】
そして、２つのＲのデジタル信号はＲ用Ｄレンジ拡大回路４５Ｒに、２つのＧのデジタル信号はＧ用Ｄレンジ拡大回路４５Ｇに、２つのＢのデジタル信号はＢ用Ｄレンジ拡大回路４５Ｂにそれぞれ入力される。
【００３０】
そして、これらＲ用Ｄレンジ拡大回路４５Ｒ、Ｇ用Ｄレンジ拡大回路４５Ｇ及びＢ用Ｄレンジ拡大回路４５Ｂによりそれぞれ２つのＲ、Ｇ、Ｂのデジタル信号が合成され、その合成によりダイナミックレンジが拡大された１つのカラー映像信号としてのＲ、Ｇ、Ｂ信号を得るようになっている。
【００３１】
そして、ダイナミックレンジが拡大されたデジタル信号に対してエンハンス処理を行うエンハンス回路４６と、エンハンス処理されたデジタル信号をＤ／Ａ変換するＤ／Ａ変換器４７とを有し、その出力を例えば７５Ωドライバ４８を介してモニタ７に出力する構成にしている。
【００３２】
図３に示すように、Ｒ用Ｄレンジ拡大回路４５Ｒには、ＣＣＤ２６ａに基づく信号がｋｎｅｅ＆γ回路４２ａによりｋｎｅｅ処理及びγ補正された第１の撮像信号Ｒａと、ＣＣＤ２６ｂに基づく信号がｋｎｅｅ＆γ回路４２ａによりｋｎｅｅ処理及びγ補正された第２の撮像信号Ｒｂとが入力される。
【００３３】
また、このＲ用Ｄレンジ拡大回路４５Ｒは、ＣＣＤ２６ａに基づく第１の撮像信号（出力信号）Ｒａが第１の乗算器５３に入力されると共に、後述する所定の関数による重み付け係数を出力する第１ルックアップテーブル（以下、第１ＬＵＴと略記）５１及び第２ルックアップテーブル（以下、第２ＬＵＴと略記）５２に入力され、第１ＬＵＴ５１の出力信号と乗算された信号を出力する。
【００３４】
また、ＣＣＤ２６ｂに基づく第２の撮像信号（出力信号）は第２の乗算器５５に入力される。
【００３５】
上記のように第１ＬＵＴ５１の出力信号は第１乗算器５３に入力されて信号Ｒａと乗算された信号を出力し、その出力信号は加算器５６に入力される。
【００３６】
また、第２ＬＵＴ５２の出力信号は第２乗算器５５に入力されて信号Ｒｂと乗算された信号を出力し、その出力信号は加算器５６に入力され、この加算器５６により、第１乗算器５３の出力信号と第２乗算器５５の出力信号とを加算してダイナミックレンジを拡大したＲ信号を前記エンハンス回路４６に出力する。
【００３７】
図３において、露光量が多い方の信号Ｒａを第１ＬＵＴ５１と第２ＬＵＴ５２に入力して対応する重み付け係数を出力させるようにしていることにより、露光量が多い方の信号Ｒａが飽和する輝度レベル（明るさ）以上の領域になると重み付け係数が一定になるようにしている。（より具体的には、後述する図６において、明るさがｙｓ１以上になると、信号Ｒａは飽和してしまうので、この値を第２ＬＵＴ５２に入力しても同じ値の重み付け係数しか出力されない。これによって出力特性（ｙｓ２まで）は、信号Ｒｂの信号変化のみのに依存することになり、緩やかな傾斜を有する略直線的な特性にすることができる）。
【００３８】
なお、Ｇ用Ｄレンジ拡大回路４５Ｇ及びＢ用Ｄレンジ拡大回路４５Ｂは、Ｒ用Ｄレンジ拡大回路４５Ｒと同じ回路構成であるので、それらの構成の説明は省略する。上述した第１ＬＵＴ５１及び第２ＬＵＴ５２は、例えば図４（Ａ）に示すようなメモリマップである。
【００３９】
第１ＬＵＴ５１及び第２ＬＵＴ５２は例えば８ビットのアドレス００〜ＦＦに単調減少の重みを付け関数データｆ（＝ｃｏｓ^２）と単調増加の重み付け関数データｇ（＝ｓｉｎ^２）とが格納され、これらの重み付け関数データｆ及びｇの和は１となるように設定されている（つまり、ｆ＋ｇ＝１）。
【００４０】
ここで、８ビットのアドレス００〜ＦＦは入力される８ビットのデジタル信号の輝度レベルに対応して設定されている。より具体的には、ＣＣＤ２６ａ及びＣＣＤ２６ｂで撮影された撮像信号の輝度レベルが０の場合はＡ／Ｄ変換器３８ａ及びＡ／Ｄ変換器３８ｂを経てデジタル信号となり、この場合には（００）ｈのアドレスで第１ＬＵＴ５１及び第２ＬＵＴ５２に入力される。
【００４１】
図２に示すように実際にはＣＣＤ２６ａ及びＣＣＤ２６ｂの出力信号は途中にそれぞれＡＧＣ回路４１ａ、４１ｂ等があるので、ＡＧＣ回路４１ａ、４１ｂで撮像信号は増幅されると共に、ＣＣＤ２６ａ及びＣＣＤ２６ｂ固有の感度のバラツキを補正する為に、飽和していない領域の信号が所定の露光時間比に応じたレベル比となるように調整される。さらに、γ補正されてモニタ７の表示面のダイナミックレンジに対応したレベルに調整される。
【００４２】
つまり、Ｄレンジ拡大回路４５の出力信号が０の場合には、モニタ７に入力される信号レベルも０であり、Ｄレンジ拡大回路４５の出力信号が飽和した値の場合にはモニタ７で表示される画像も飽和値（図６のＶｕｓｅ）となるようにレベル調整される。
【００４３】
また、ＣＣＤ２６ａ及びＣＣＤ２６ｂの出力信号に対応する撮像信号が飽和する飽和値（例えば図６のＶｕｓｅ）の場合にはＡ／Ｄ変換器３８ａ、３８ｂ等を経て（ＦＦ）ｈのアドレスで第１ＬＵＴ５１及び第２ＬＵＴ５２に入力される。なお、例えば（００）ｈは１６進数の表示の００を示す。
【００４４】
第１ＬＵＴ５１及び第２ＬＵＴ５２に入力される信号ｘを規格化して、０〜１の範囲の信号ｘとした場合（つまり、デジタル値（００）ｈは０、デジタル値（ＦＦ）ｈは１とする）には、第１ＬＵＴ５１はｃｏｓ^２（ｐｘ）を出力し、第２ＬＵＴ５２はｓｉｎ^２（ｐｘ）を出力する。
【００４５】
第１ＬＵＴ５１及び第２ＬＵＴ５２に入力される信号ｘによりそのアドレスに対応したデータが読み出されて出力される。この様子を図４（Ｂ）に示す。
【００４６】
ここで、ｐは補正係数であり、図６に示すように合成された合成信号Ｍの導関数が区間（０≦ｘ≦ｙｓ２）において常に零以上となる条件によって設定される。
【００４７】
また、本実施の形態では第１ＬＵＴ５１の関数（具体的にはｃｏｓ^２（ｐｘ））は入力信号に対してその出力信号は単調減少であり、第２ＬＵＴ５２の関数（具体的にはｓｉｎ^２（ｐｘ））は入力信号に対してその出力信号は単調減少であり、これらの出力信号を加算器５６で加算した合成信号Ｍは単調増加となるように設定されている。この場合、合成信号Ｍの導関数は（ゼロより大きい）単調減少となっている。
【００４８】
次に、このように構成された本実施の形態によるカラー撮像装置３１の作用について説明する。
【００４９】
ＳＳＧ３３からの基準信号に基づきタイミングジェネレータ３４で生成された駆動信号でＣＣＤドライバ３５ａを介してＣＣＤ２６ａを駆動する。そして、ＣＣＤ２６ａで撮像された被写体の光電変換された信号はプリアンプ３６ａで増幅された後にＣＤＳ回路３７ａによってベースバンド帯域の信号にされ、Ａ／Ｄ変換器３８ａによりデジタル信号に変換される。
【００５０】
ここで、タイミングジェネレータ３４はＣＣＤ２６ａ、２６ｂの各々に対して任意の素子シャッタ時間（露光時間）に設定でき、タイミングジェネレータ３４で生成された駆動信号によりＣＣＤドライバ３５ａは、画面の平均値の明るさが所定のレベルとなるようなシャッタ時間、例えば第１のシャッタ時間を１／６０ｓｅｃとして被写体を撮像して第１の撮像信号を読み出す。
【００５１】
ＣＣＤ２６ｂで撮像された被写体の光電変換信号も同様な処理が行われ、Ａ／Ｄ変換器３８ｂによりデジタル信号に変換される。ここで、ＣＣＤ２６ｂのシャッタ時間を例えばＣＣＤ２６ａのシャッタ時間の１／４（つまり、１／２４０ｓｅｃ）として高速の素子シャッタで被写体を撮像するようにＣＣＤ２６ｂを駆動する。
【００５２】
すなわち、ＣＣＤ２６ａの被写体像は低速のシャッタ時間で撮像され、ＣＣＤ２６ｂの被写体像は高速のシャッタ時間で撮像される。なお、ＣＣＤ２６ｂでは１フィールド期間（１／６０ｓｅｃ）における１／２４０ｓｅｃ以外の期間で撮像した信号は高速に掃き捨てる処理を行い、ＣＣＤ２６ａと同じタイミングで第２の撮像信号が読み出される。
【００５３】
そして、後述するように、Ｒ用Ｄレンジ拡大回路４５Ｒ、Ｇ用Ｄレンジ拡大回路４５Ｇ及びＢ用Ｄレンジ拡大回路４５Ｂで、２つのＣＣＤ２６ａ、２６ｂにより、異なるシャッタ時間で同一の被写体を撮像した信号に対してダイナミックレンジを拡大する。
【００５４】
撮像された両信号は、色分離回路３９ａ、３９ｂによりＡ／Ｄ変換されたデジタル信号をＲ、Ｇ、Ｂの３つの色信号にそれぞれ分離され、ホワイトバランス回路４０ａ、４０ｂ、ＡＧＣ回路４１ａ、４１ｂ及びｋｎｅｅ＆γ回路４２ａ、４２ｂによりホワイトバランス調整、ゲイン調整及びｋｎｅｅ処理及びγ補正がなされた後、Ｒ用Ｄレンジ拡大回路４５Ｒ、Ｇ用Ｄレンジ拡大回路４５Ｇ及びＢ用Ｄレンジ拡大回路４５Ｂに入力され、Ｒ、Ｇ、Ｂのデジタル信号それぞれのダイナミックレンジの拡大処理が行われ、エンハンス回路４６でエンハンス処理され、Ｄ／Ａ変換器４７によりＤ／Ａ変換され、７５Ωドライバ４８を介してモニタ７に出力される。
【００５５】
次に、Ｒ用Ｄレンジ拡大回路４５Ｒ、Ｇ用Ｄレンジ拡大回路４５Ｇ及びＢ用Ｄレンジ拡大回路４５Ｂにおけるダイナミックレンジの拡大処理の詳細について、図５のタイミングチャート等を参照し、Ｒ用Ｄレンジ拡大回路４５Ｒを例に説明する。
【００５６】
図５（Ａ）の垂直同期信号ＶＤに同期して、各フィールド期間（図５（Ｂ）参照）にＣＣＤ２６ａで撮像されて上述のように信号処理され、ｋｎｅｅ＆γ回路４２ａを経た出力信号Ｒａは、図３に示すＲ用Ｄレンジ拡大回路４５Ｒの第１乗算器５３に入力される（図５（Ｃ）参照）と共に、第１ＬＵＴ５１及びだ亜Ａｉ２ＬＵＴ５２に入力される。
【００５７】
また、ｋｎｅｅ＆γ回路４２ｂを経た出力信号Ｒｂは、信号Ｒａのものと同じタイミングでＣＣＤ２６ｂより読み出されることにより信号Ｒａと同じ画素のものに相当することになり、この信号Ｒｂは第２乗算器５５（図５（Ｄ）参照）に入力される。
【００５８】
そして、第１ＬＵＴ５１及び第２ＬＵＴ５２は、ＣＣＤ２６ａで撮像される信号ｘに対してｃｏｓ^２（ｐｘ）（図５（Ｅ））及びｓｉｎ^２（ｐｘ）（図５（Ｆ））をそれぞれ出力する。
【００５９】
この場合、ＣＣＤ２６ａの画像はＣＣＤ２６ｂの例えば４倍の露光時間（撮像時間）で撮像を行うので、図６に示すように被写体の明るさｙに対して例えばｘ１＝ｙのような特性の撮像信号となるのに対して、ＣＣＤ２６ｂの画像はｘ２＝ｙ／４のような特性の撮像信号となる。
【００６０】
そして、ＣＣＤ２６ａの画像の撮像信号ｘ１は明るさｙｓ１で飽和値Ｖｕｓｅとなり、ＣＣＤ２６ｂの画像の撮像信号ｘ２は明るさｙｓ２（＝４ｙｓ１）で飽和値Ｖｕｓｅとなる。
【００６１】
本実施の形態では、ＣＣＤ２６ａの画像における任意の明るさｙａでの撮像信号ｘ１が例えば図６のｘ１ａの場合には、ＣＣＤ２６ｂの画像における対応する撮像信号はｘ２ａとなる。そして、図４（Ｂ）に示すようにＣＣＤ２６ａの画像に対応する撮像信号ｘが第１ＬＵＴ５１及び第２ＬＵＴ５２に入力されることにより、重み付け関数ｆ、ｇとしてのｃｏｓ^２（ｐｘ）及びｓｉｎ^２（ｐｘ）が出力ｚとして出力される。
【００６２】
これらｃｏｓ^２（ｐｘ）及びｓｉｎ^２（ｐｘ）はそれぞれ第１乗算器５３及び第２乗算器５５に入力され、第１乗算器５３では画素レートでＣＣＤ２６ａの画像のデジタル信号とｃｏｓ^２（ｐｘ）が乗算され（図５（Ｇ））、また、第２乗算器５５では画素レートでＣＣＤ２６ｂの画像のデジタル信号とｓｉｎ^２（ｐｘ）が乗算される（図５（Ｈ））。そして、加算器５６にて第１乗算器５３の出力と第２乗算器５５の出力が加算される（図５（Ｉ））。
【００６３】
図５においては、簡単化のためにＣＣＤ２６ａの各画素のＡ，Ｂ各々のｎ番目のフィールドの出力をＡｎａ、Ｂｎａで、また、ＣＣＤ２６ｂの各画素のＡ，Ｂ各々のｎ番目のフィールドの出力をＡｎｂ、Ｂｎｂで代表させて表示しているが、本実施の形態でのダイナミックレンジの拡大処理では、上述したように、画素レートで処理を行っているため、正確には、ＣＣＤ２６ａの画像のデジタル信号の画素レートでの各出力値をｘ、ＣＣＤ２６ｂの画像のデジタル信号の画素レートでの各出力値をｕとすると、加算器２９による加算による合成信号ＭがＭ＝ｘｃｏｓ^２（ｐｘ）＋ｕｓｉｎ^２（ｐｘ）のように得られることになる。
【００６４】
なお、Ｇ用Ｄレンジ拡大回路４５Ｇ及びＢ用Ｄレンジ拡大回路４５Ｂは、Ｒ用Ｄレンジ拡大回路４５Ｒと同様に作用するので、その説明を省略する。
【００６５】
従って、本実施の形態によれば、図６に示すように、第１のシャッタ時間（１／６０ｓｅｃ）で撮像された第１のＣＣＤ２６ａのデジタル画像信号ｘ１及び第２のシャッタ時間（１／２４０ｓｅｃ）で撮像された第２のＣＣＤ２６ｂのデジタル画像信号ｘ２（＝ｕ）に対して、Ｒ用Ｄレンジ拡大回路４５Ｒより出力される上記合成信号Ｍは、低輝度域では、ｃｏｓ^２（ｐｘ）による重みを付けによって主に第１のシャッタ時間（１／６０ｓｅｃ）で撮像された第１のＣＣＤ２６ａのデジタル画像信号となり、高輝度域では逆にｓｉｎ^２（ｐｘ）による重み付けによって主に第２のシャッタ時間（１／２４０ｓｅｃ）で撮像された第２のＣＣＤ２６ｂのデジタル画像信号となるため、低輝度域のＳ／Ｎを劣化させることなくダイナミックレンジを拡大することができる。
【００６６】
より詳しく説明すると、図６において、２つの画像を重みを付け加算して得られる合成画像に対応する合成信号Ｍは、例えば明るさが０より大きい明るさがｙｓ１よりはるかに低い領域ではＣＣＤ２６ａの画像の重みを付け係数ｆが大きく、これに対してＣＣＤ２６ｂの画像の重み付け係数ｇが小さい、つまり、ｆ＞ｇ＞０であるので、その合成画像は主にＣＣＤ２６ａの画像にＣＣＤ２６ｂの画像を対応する画像位置に少し混ぜたような合成画像になる。
【００６７】
また、合成画像は、例えば明るさがｙｓ１より大きい領域ではＣＣＤ２６ａの画像は飽和するのでその飽和値に対する重み付け係数ｆの値が小さく、これに対しＣＣＤ２６ｂの画像の重み付け係数ｇの値が大きい、つまりｇ＞ｆ＞０であるので、その合成画像はＣＣＤ２６ｂの画像にＣＣＤ２６ａの画像の飽和値を少し混ぜて明るさの増加に対して合成画像の明るさもスムーズに増加する特性の画像になる。
【００６８】
つまり、本実施の形態の形態では第１の明るさｙｓ１で飽和する第１の画像と、第１の明るさｙｓ１より高い第２の明るさｙｓ２（図６ではｙｓ１の４倍）で飽和する第２の画像とを第１の画像に対しては単調減少、第２の画像に対しては単調増加の重み付け係数ｆ、ｇでそれぞれ重み付けした画像を加算器５６で加算して１つの合成画像を得るようにしている。
【００６９】
この場合、重み付け係数ｆ、ｇの和を１に保持して、加算により得られた合成画像の信号レベルがＤレンジ拡大回路４５を通した際に大きくなってしまい、モニタ７に表示する際のモニタ７上の画像が飽和してしまうレベルより大きくなってしまうのを防止している。つまり、和が１より大きいと、Ｄレンジ拡大回路４５の後段側に圧縮回路が必要になるが、本実施の形態ではその圧縮回路を設けることを不用にしている。
【００７０】
また、図６に示した合成画像に対応する値ＭａはＣＣＤ２ａの画像における明るさｙａでの撮像信号ｘ１ａと、ＣＣＤ２ｂの画像における対応する撮像信号ｘ２ａとをそれぞれ重み付け係数ｆ、ｇで重み付け係数ｆ、ｇの逆数１／ｆ、１／ｇに比例した分割した値としている。
【００７１】
また、図６から分かるように合成信号Ｍは明るさを変数とした関数とすると、その導関数は零以上であり、かつ単調減少である。つまり、明るさが低い領域ではその勾配を大きくし、明るさが大きくなるに従い連続的にその勾配を小さくしてダイナミックレンジを広くしている。
【００７２】
このようにして得られる合成画像は撮像信号ｘに対して係数ｐを適切に設定することにより、第２のシャッタ時間で撮像した第２のＣＣＤ２６ｂによる信号が飽和するまでの広い明るさの範囲で、連続した滑らかに単調増加する関数にでき、違和感のない自然な画像を得ることができる。
【００７３】
つまり本実施の形態では、合成画像は２つの画像（一方の画像の飽和値を含む）を全ての部分で重み付けして加算して得るようにしているので、広いダイナミックレンジを有し、かつ被写体の明るさの増加に対して画像の明るさもスムーズに変化する特性を持った自然で良好な特性の画像を得ることができる。
【００７４】
また、被写体に動きがある場合にも低輝度側と高輝度側での輪郭のずれを少なくできる。
【００７５】
また、本実施の形態では２つの画像を重み付けして加算する場合の重み付け係数ｆ、ｇの和を１に設定しているので、加算により得られる画像はＣＣＤ２６ｂでその画像が飽和するまでの明るさに対応した広いダイナミックレンジを有し、かつＤレンジ拡大回路４５Ｒ等を通す前後で信号レベルが拡大されてしまうことがない。
【００７６】
これに対し、特開平６−１４１２２９号公報の先行例では２つの画像を一方の画像が飽和する境界付近での重み付け変化させて加算しているので、境界付近から外れた領域では画像合成により信号レベルが数倍に大きくなってしまい、後段側で圧縮する圧縮回路が必要になってしまう。
【００７７】
また、この合成画像に対して圧縮回路により、明るさの増加に対して出力レベルが連続的に変化する特性に設定しているが、この場合の圧縮回路の負担が大きくなる。
【００７８】
なお、本実施の形態では補正係数ｐはＣＣＤの特性等に応じて少なくとも上記合成信号Ｍが明るさの増加に対して単調増加関数となるように選択することが可能である。また、合成信号Ｍは上記関数、すなわち、ｘｃｏｓ^２（ｐｘ）＋ｕｓｉｎ^２（ｐｘ）に限らず、少なくとも、低輝度領域では低速シャッタ時間で撮像した信号を主とし、高輝度領域では高速シャッタ時間で撮像した信号を主とする関数であればよい。
【００７９】
なお、図６では簡単化のため、信号ｘ１，ｘ２は明るさｙに対して線形に変化する場合で説明したが、線形でない場合にも同様に適用できる。
【００８０】
なお、本実施の形態では、色分離回路３９によりＲＧＢに色分離してそれぞれのＲ信号、Ｇ信号、Ｂ信号に対してＲ用Ｄレンジ拡大回路４５Ｒ、Ｇ用Ｄレンジ拡大回路４５Ｇ及びＢ用Ｄレンジ拡大回路４５Ｂによりダイナミックレンジを拡大するとしたが、これに限らず、色分離回路で輝度信号と色差信号に分離し、輝度信号と色差信号の両方あるいは輝度信号のみに対してダイナミックレンジを拡大するように構成しても良い。
【００８１】
なお、上述の説明において、例えば図２ではｋｎｅｅ＆γ補正回路４２ａ、４２ｂの後にＤレンジ拡大回路４５Ｒ，４５Ｇ，４５Ｂを配置しているので、Ｄレンジ拡大回路４５Ｒ，４５Ｇ，４５Ｂによりｋｎｅｅ＆γ補正回路４２ａ、４２ｂの機能を兼ねるようにすることもできる。
【００８２】
また、本実施の形態では、色分離した後にダイナミックレンジを拡大する構成となっているが、これに限らず、図７に示す変形例のように、Ｒ用Ｄレンジ拡大回路４５Ｒ、Ｇ用Ｄレンジ拡大回路４５Ｇ及びＢ用Ｄレンジ拡大回路４５Ｂの代わりに、Ａ／Ｄ変換器３８ａ、３８ｂによるＡ／Ｄ変換した直後にＤレンジ拡大回路６０を設け、Ａ／Ｄ変換した直後のデジタル信号に対してダイナミックレンジを拡大するように構成してもよく、この場合のその他の構成は本実施の形態と同じである。
【００８３】
以上説明したように本実施の形態によれば、画像信号合成手段が撮像手段に入射される光量レベルに応じて、第１の撮像信号と第２の撮像信号の割合を変更して、第１の撮像信号に基づく第１の画像信号と第２の撮像信号に基づく第２の画像信号とを合成するので、撮像信号のダイナミックレンジの拡大において、低輝度側でのＳ／Ｎの劣化を防止すると共に、違和感のない滑らかに入出力特性が変化する自然な画像を得ることができるという効果がある。
【００８４】
また、本実施の形態によれば、２つのＣＣＤ２６ａ、２６ｂで同時に同じ被写体を撮像しているので、１つのＣＣＤのみで繰り返して撮像してＤレンジを拡大処理をする場合よりも画面の更新レートを短くでき、動きのある被写体の場合にも、ぶれの少ない画質の良い画像が得られる。
【００８５】
また、ＣＣＤ２６ａ、ＣＣＤ２６ｂの出力に対して、出力が飽和する値をモニタ７で表示した画像の飽和値にまで増幅する増幅器の機能を例えば図７のＤレンジ拡大回路６０に持たせることができる。つまり、この場合には、重み付け係数ｆ、ｇの和を値を１より大きい所定の値に設定してもよい。この場合、Ｄレンジ拡大回路６０の飽和値がモニタ７で表示した画像の飽和値になるように所定の値に設定する。
【００８６】
（第２の実施の形態）
次に本発明の第２の実施の形態を説明する。本実施の形態を備えた内視鏡装置は図１において、ＴＶカメラ３内のハーフミラー２５を透過する光量と反射する光量との比が例えば１：４となるハーフミラーを採用している。つまり、本実施の形態ではＣＣＤ２６ａと２６ｂとは、同じ時間、共通に撮像するようにしている。
【００８７】
この場合、例えば１フィールドとして１／６０ｓｅｃの同じ時間だけ両者は撮像するが、ＣＣＤ２６ａに入射される光量の１／４だけしかＣＣＤ２６ｂには入射されないようにして露光条件（撮像条件）が異なるようにしている。
【００８８】
また、図８に示す本実施の形態のカラー撮像装置６１では、ＣＣＤ２６ａと２６ｂとを共通のＣＣＤドライバ３５ａで駆動するようにしている。また、本実施の形態ではＤレンジ拡大回路６２としては図９に示すＤレンジ拡大回路６２が採用されている。このＤレンジ拡大回路６２は、図３のＲ用Ｄレンジ拡大回路４５Ｒにおいて、ラインメモリ５４、５４′を付加した構成である。
【００８９】
つまり、本実施の形態ではＣＣＤ２６ａ、２６ｂの光軸に対するマウント位置がずれた場合（但し、垂直方向は±１画素以内）でも画素を一致させることができる。
【００９０】
本実施の形態の作用として、２つのＣＣＤ２６ａ、２６ｂを共通して駆動するようにしているので、その駆動系と出力信号に対する信号処理系の構成を簡単化できる。ダイナミックレンジを拡大できることに対しては第１の実施の形態とほぼ同様の効果を有する。
【００９１】
また、１つのＣＣＤのみで繰り返して撮像してＤレンジ拡大処理をする場合よりも画面の更新レートを短くでき、動きのある被写体の場合にも、ぶれの少ない画質の良い画像が得られる。
【００９２】
なお、本実施の形態においては、２つのＣＣＤ２６ａ、２６ｂとを素子シャッタの機能による明るさ制御を用いた撮像を行うようにしても良い。この場合には、両ＣＣＤ２６ａ、２６ｂが同時に素子シャッタとして動作し、単一のＣＣＤで撮像する場合とほぼ同様の制御手段（ＣＣＤ駆動系及び信号処理系）で処理できる効果もある。
【００９３】
なお、図９において、第１ＬＵＴ５２をＣＣＤ２６ｂの出力信号で読み出すようにすることもできる。但し、第２ＬＵＴ５１への入力変数値が異なることになるので、係数和が１となる条件を満たすように関数を変更する必要がある。
【００９４】
［付記］
１．第１、第２のカラー固体撮像素子と、同一の被写体像を前記第１，第２の２つのカラー固体撮像素子に導いて結像させる光学系を有し、
被写体を前記第１，第２のカラー固体撮像素子によって異なる露出条件で撮像し、第１の固体撮像素子で撮像した露光量の多い第１の撮像信号と、第２の固体撮像素子で撮像した露光量の少ない第２の撮像信号を得る撮像装置において、
前記第１の撮像信号に対しては、該第１の撮像信号レベルを基に画素単位で作成される単調減少関数となる第１の重み付けを、前記第２の撮像信号に対しては、前記第１の撮像信号レベルを基に画素単位で作成される単調減少関数となる第２の重み付けを、前記第１及び第２の重み付けの和が１となる条件下で行う第１及び第２の重み付け処理回路と、
前記第１及び第２の重み付け処理回路により前記第１及び第２の撮像信号に対してそれぞれ前記第１及び第２の重み付けがされた第１及び第２の画像信号とを加算する加算回路と、
とからなる画像信号生成手段と；
前記加算回路から出力される画像信号に対し、表示手段に表示可能な映像信号を生成する信号処理手段と；
を備えたことを特徴とする撮像装置。
【００９５】
２．付記１の撮像装置であって、前記２つの露光時間の少なくとも一方の露光時間を可変設定する露光時間設定手段を有する。
【００９６】
３．クレーム１の撮像装置であって、前記第１の撮像信号レベルをｘとして前記第１の重み付けの関数Ｆ１（ｘ）は係数をｐとしてＣＯＳ^２（ｐｘ）であり、前記第２の重み付けの関数Ｆ２（ｘ）はＳＩＮ^２（ｐｘ）である。
【００９７】
４．付記３の撮像装置であって、前記係数ｐは、合成された出力信号Ｍの導関数が所定の光量レベルまでの区間（０≦ｘ≦ｙｓ２）において常に零以上となる条件を満たす定数である。
【００９８】
５．付記１の撮像装置であって、前記画像信号生成手段は前記第１の撮像信号に対する前記第１の重み付けと前記第２の撮像信号に対する前記第２の重み付けとの各データを格納した重み付けデータ格納手段を有する。
【００９９】
６．付記１の撮像装置であって、前記画像信号生成手段は光量レベルに対する前記加算回路から出力される画像信号の微分係数が前記第２の撮像信号が飽和するまでの光量レベルの増加に対して連続的となる特性の画像信号を生成する。
【０１００】
７．付記１の撮像装置であって、前記画像信号生成手段は、前記第１の撮像信号と前記第１の撮像信号とを合成し単調増加の画像信号を生成する。
【０１０１】
８．付記１の撮像装置であって、前記第１，第２のカラー固体撮像素子は両撮像面に入射される光量が互いに異なる入射光量に設定する入射光量設定手段を有する。
【０１０２】
９．付記８の撮像装置であって、前記入射光量設定手段は反射する光量と透過する光量の比が異なるハーフミラーである。
【０１０３】
１０．付記１の撮像装置であって、前記第１，第２のカラー固体撮像素子は共通の固体撮像素子駆動手段で駆動される。
【０１０４】
１１．２つの撮像素子を用いて、同じ被写体を互いに異なる露光量で撮像した場合におけるその２つの画像信号ｘ，ｕ（ａ≦ｘ≦：ｘが飽和しない範囲、ｘ≧ｕ）について、
ｆ（ｔ）＋ｇ（ｔ）＝１，ｔ＝ｈ（ｘ）かつｄ｛ｆ（ｔ）＋ｇ（ｔ）｝／ｄｔ≧０を満たす関数ｆ、ｇ、ｈを用いて、合成関数Ｍ＝ｘｆ（ｔ）＋ｕｇ（ｔ）に対し、区間（ａ≦ｘ≦ｂ）で微分可能な合成関数Ｍにより画素レートで画像を合成することを特徴とする撮像信号のダイナミックレンジの拡大方法。
【０１０５】
１２．前記ｆ（ｔ）、ｇ（ｔ）及びｈ（ｔ）がｆ（ｔ）＝ｃｏｓ^２（ｔ）、ｇ（ｔ）＝ｓｉｎ^２（ｔ）、ｔ＝ｐｘであることを特徴とする付記１１に記載の撮像信号のダイナミックレンジの拡大方法。
【０１０６】
【発明の効果】
以上説明したように本発明によれば、被写体を第１の露光条件で撮像して第１の撮像信号を出力する第１のカラー撮像手段と、
前記第１の露光条件より露光量が少ない露光条件で前記被写体を撮像して第２の撮像信号を出力する第２のカラー撮像手段と、
前記第１のカラー撮像手段から出力される前記第１の撮像信号の信号レベルに応じて単調減少関数の第１の重み付け係数を発生すると共に、該第１の重み付け係数との和が１となる単調増加関数の第２の重み付け係数を発生する係数発生手段と、
前記第１の撮像信号の撮像信号の信号レベルに対応付けられた前記係数発生手段からの前記第１の重み付け係数で前記第１の撮像信号を重み付けをするとともに、前記第２のカラー撮像手段からの前記第２の撮像信号を重み付けをする重み付け処理手段と、
前記重み付け処理手段からの重み付けされた前記第１の撮像信号と重み付けされた前記第２の撮像信号とを加算し、カラー画像信号を生成する画像信号生成手段と、
を具備しているので、低輝度側では露光量が大きい条件で撮像した第１のカラー撮像手段による第１の撮像信号の重み付けを大きく、逆に高輝度側では露光量が小さい条件で撮像した第２のカラー撮像手段による第２の撮像信号の重み付けを大きくして画像信号を生成して、その画像信号のダイナミックレンジの拡大を行い、かつ低輝度側でのＳ／Ｎの劣化を防止すると共に、違和感のない滑らかな自然な画像が得られる。また、ぶれの少ない画質の良い画像が得られる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を備えた内視鏡装置の全体構成図。
【図２】第１の実施の形態のカラー撮像装置の構成を示すブロック図。
【図３】図２のＲ用Ｄレンジ拡大回路の構成を示すブロック図。
【図４】図３の第１ＬＵＴ及び第２ＬＵＴのメモリマップと入力信号により第１ＬＵＴ及び第２ＬＵＴから重み付けされた係数が出力される様子を示す図。
【図５】図３のＲ用Ｄレンジ拡大回路の各信号のタイミングを示すタイミングチャート図。
【図６】図３のＲ用Ｄレンジ拡大回路の作用を説明する説明図。
【図７】図２のカラー撮像装置の変形例の構成を示すブロック図。
【図８】本発明の第２の実施の形態のカラー撮像装置の構成を示すブロック図。
【図９】Ｄレンジ拡大回路の構成を示すブロック図。
【符号の説明】
１…内視鏡装置
２…光学式内視鏡
３…ＴＶカメラ
５…光源装置
６…ＣＣＵ
７…モニタ
８…挿入部
１６…対物レンズ
２５…ハーフミラー
２６ａ、２６ｂ…ＣＣＤ
２８…映像処理回路
３１…カラー撮像装置
３３…ＳＳＧ
３４…タイミングジェネレータ
３５ａ、３５ｂ…ＣＣＤドライバ
３６ａ、３６ｂ…プリアンプ
３８ａ、３８ｂ…Ａ／Ｄ変換器
３９ａ、３９ｂ…色分離回路
４０ａ、４０ｂ…ホワイトバランス回路
４５…Ｄレンジ拡大回路
４５Ｒ…Ｒ用Ｄレンジ拡大回路
４５Ｇ…Ｇ用Ｄレンジ拡大回路
４５Ｂ…Ｂ用Ｄレンジ拡大回路
４６…エンハンス回路
４７…Ｄ／Ａ変換器
５１…第１ＬＵＴ
５２…第２ＬＵＴ
５３…第１乗算器
５４…フィールドメモリ
５５…第２乗算器
５６…加算器

Claims

被写体を第１の露光条件で撮像して第１の撮像信号を出力する第１のカラー撮像手段と、
前記第１の露光条件より露光量が少ない露光条件で前記被写体を撮像して第２の撮像信号を出力する第２のカラー撮像手段と、
前記第１のカラー撮像手段から出力される前記第１の撮像信号の信号レベルに応じて単調減少関数の第１の重み付け係数を発生すると共に、該第１の重み付け係数との和が１となる単調増加関数の第２の重み付け係数を発生する係数発生手段と、
前記第１の撮像信号の撮像信号の信号レベルに対応付けられた前記係数発生手段からの前記第１の重み付け係数で前記第１の撮像信号を重み付けをするとともに、前記第２のカラー撮像手段からの前記第２の撮像信号を重み付けをする重み付け処理手段と、
前記重み付け処理手段からの重み付けされた前記第１の撮像信号と重み付けされた前記第２の撮像信号とを加算し、カラー画像信号を生成する画像信号生成手段と、
を具備したことを特徴とする撮像装置。