JP2001148805A

JP2001148805A - 固体撮像装置

Info

Publication number: JP2001148805A
Application number: JP33122499A
Authority: JP
Inventors: Hiroya Kusaka; 博也日下; Shigeo Sakagami; 茂生阪上; Tomoaki To; 知章塘; Masaaki Nakayama; 正明中山
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1999-11-22
Filing date: 1999-11-22
Publication date: 2001-05-29
Anticipated expiration: 2019-11-22
Also published as: JP3674420B2

Abstract

(57)【要約】【課題】従来のダイナミックレンジ拡大カメラでは複
数枚の撮像素子や全画素読み出しＣＣＤを必要とし、装
置が高価になってしまうという問題があった。【解決手段】フィールド読み出しモードとフレーム読
み出しモードの２つの読み出しモードで信号を読み出す
ことが可能なインタラインＣＣＤ３（ＩＴ−ＣＣＤ）を
用い、ＣＣＤ３の露光及び信号読み出しモードをシステ
ム制御手段１１にて制御し、短時間露光信号（Ｓｈｏｒ
ｔ信号）はフィールド読み出し、長時間露光信号（Ｌｏ
ｎｇ信号）はフレーム読み出しにより画像を取得し、こ
れら２つの画像を信号合成手段７で合成することにより
ダイナミックレンジを拡大する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮影画像のダイナ
ミックレンジ拡大が可能な固体撮像装置に関するもので
ある。

【０００２】

【従来の技術】従来から、露光量の異なる２つの画像信
号を合成してダイナミックレンジの広い映像信号を得る
ための固体撮像装置としては、例えば、特開平９−２１
４８２９号公報及び特開平９−２７５５２７号公報で開
示されているものがある。

【０００３】特開平９−２１４８２９号公報において
は、露光時間を変えて撮影した連続する２枚のフィール
ド画像をそれぞれレベルシフトさせた後、１フレームの
画像に合成することでダイナミックレンジの広い画像を
得ることが可能なデジタルスチルカメラが開示されてい
る。

【０００４】また、特開平９−２７５５２７号公報にお
いては、複数のＣＣＤから得られる露光時間の異なった
複数のフレーム画像をそれぞれレベルシフトさせた後、
１フレームの画像に合成することでダイナミックレンジ
の広い画像を得ることが可能なデジタルスチルカメラが
開示されている。

【０００５】他にも、１フィールド期間内に長時間露光
信号と短時間露光信号を読み出し可能な特殊なＣＣＤを
用いてダイナミックレンジを拡大したビデオカメラの例
が知られている（映像メディア学会技術報告Vol.22,No.
3,pp1〜6（1998）”単板Hyper-Dカラーカメラ信号処理
方式の開発”）。

【０００６】

【発明が解決しようとする課題】しかしながら、例えば
特開平９−２１４８２９号公報にて開示されているデジ
タルスチルカメラにおいては、露光時間を変えて撮影し
た連続する２枚のフィールド画像を合成するため、合成
後の画像は１フィールド分の画像解像度、つまりＣＣＤ
の画素数の半分の解像度しか得られず、撮影画像の解像
度不足が懸念される。

【０００７】これに対し、特開平９−２７５５２７号公
報にて開示されているデジタルスチルカメラにおいて
は、複数のＣＣＤにより撮影された露光時間の異なる画
像信号を合成するために、合成後の画像は１フレーム分
の画像解像度、つまりＣＣＤの画素数分の解像度が得ら
れるが、ＣＣＤが複数個必要となり撮像装置のサイズ、
コストの面で不利となる。

【０００８】また、映像メディア学会技術報告Vol.22,N
o.3,pp1〜6（1998）”単板Hyper-Dカラーカメラ信号処
理方式の開発”で報告済みの撮像装置の場合は撮影画像
のダイナミックレンジ拡大には特殊なＣＣＤが必要とな
る。本発明は以上の問題に鑑みてなされたものであり、
民生用固体撮像装置に一般的に用いられる固体撮像素子
を１個用いることで安価で、且つＣＣＤの画素数並みの
画像解像度でダイナミックレンジを拡大した画像を撮影
可能な固体撮像装置を提供することを目的とする。

【０００９】

【課題を解決するための手段】このような課題を解決す
るために本願の請求項１記載の発明は、露光量の異なる
複数の画像信号を出力する固体撮像素子と、前記固体撮
像素子から出力される画像信号を合成する信号合成手段
と、を有し、前記固体撮像素子から出力される画像信号
のうち少なくとも１つは、他の画像信号に比べ画素数の
少ない画像信号であることを特徴とするものである。

【００１０】本願の請求項３記載の発明は、行列状に配
置された複数個のホトダイオードと、前記ホトダイオー
ド上に蓄積された電荷を外部に出力するための転送手段
を有する固体撮像素子と、前記ホトダイオードに入射す
る光を遮光する遮光手段と、前記固体撮像素子から出力
される画像信号を合成する信号合成手段と、を有し、前
記固体撮像素子は、第１露光として前記ホトダイオード
上に蓄積された電荷を第１の読み出し制御パルスの印加
後に前記転送手段を介して出力し、更に、前記第１の読
み出し制御パルス印加後、前記遮光手段による露光終了
をもって完了する第２露光において前記ホトダイオード
上に蓄積された電荷を第２の読み出し制御パルスの印加
後に前記転送手段を介して出力し、前記画像信号合成手
段は、前記第１露光及び前記第２露光により撮影された
画像信号を合成することを特徴とするものである。

【００１１】本願の請求項４記載の発明は、行列状に配
置された複数個のホトダイオードと、前記ホトダイオー
ド上に蓄積された電荷を外部に出力するための転送手段
を有する固体撮像素子と、前記ホトダイオードに入射す
る光を遮光する遮光手段と、前記固体撮像素子から出力
される画像信号を合成する信号合成手段と、を有し、前
記固体撮像素子は、第１露光として前記ホトダイオード
上に蓄積された電荷の一部のみを第１の読み出し制御パ
ルスの印加後に前記転送手段を介して出力し、更に、前
記第１の読み出し制御パルス印加後、前記遮光手段によ
る露光終了をもって完了する第２露光において前記ホト
ダイオード上に蓄積された電荷を第２の読み出し制御パ
ルスの印加後に前記転送手段を介して出力し、前記画像
信号合成手段は、前記第１露光及び前記第２露光により
撮影された画像信号を合成することを特徴とするもので
ある。

【００１２】本願の請求項５記載の発明は、行列状に配
置された複数個のホトダイオードと、前記ホトダイオー
ド上に蓄積された電荷を外部に出力するための転送手段
を有する固体撮像素子と、前記ホトダイオードに入射す
る光を遮光する遮光手段と、前記固体撮像素子から出力
される画像信号を合成する信号合成手段と、を有し、前
記固体撮像素子は、第１露光として前記ホトダイオード
上に蓄積された電荷を第１の読み出し制御パルスの印加
後にフィールド読み出しにより前記転送手段を介して出
力し、更に、前記第１の読み出し制御パルス印加後、前
記遮光手段による露光終了をもって完了する第２露光に
おいて前記ホトダイオード上に蓄積された電荷を第２の
読み出し制御パルスの印加後に前記転送手段を介して出
力し、前記画像信号合成手段は、前記第１露光及び前記
第２露光により撮影された画像信号を合成することを特
徴とするものである。

【００１３】本願の請求項１０記載の発明は、露光量と
画素数の異なる２つの画像信号を出力する固体撮像素子
と、前記画素数の異なる２つの画像信号のうち、画素数
の少ない画像信号を、補間処理により画素数の多い画像
信号と同じ信号形式に変換する補間手段と、前記画素数
の少ない画像信号、もしくは前記補間手段により画素数
の多い画像信号と同じ信号形式に変換された画像信号、
もしくは前記画素数の多い画像信号の少なくとも１つを
合成制御信号とし、この合成制御信号に応じて、前記補
間手段により画素数の多い画像信号と同じ信号形式に変
換された画像信号と前記画素数の多い画像信号とを合成
する信号合成手段と、を有することを特徴とするもので
ある。

【００１４】本願の請求項１１記載の発明は、露光量と
画素数の異なる２つの画像信号を出力する固体撮像素子
と、前記画素数の異なる２つの画像信号のうち、画素数
の少ない画像信号もしくは前記画素の多い画像信号から
その輝度信号を抽出する輝度信号抽出手段と、前記画素
の少ない画像信号を、補間処理により画素数の多い画像
信号と同じ信号形式に変換する補間手段と、前記画素数
の少ない画像信号から抽出した輝度信号もしくは前記画
素数の多い画像信号から抽出した輝度信号の少なくとも
１つを合成制御信号とし、この合成制御信号に応じて、
前記補間手段により画素数の多い画像信号と同じ信号形
式に変換された画像信号と前記画素数の多い画像信号と
を合成する信号合成手段と、を有することを特徴とする
ものである。

【００１５】本願の請求項１３記載の発明は、露光量と
画素数の異なる２つの画像信号を出力する固体撮像素子
と、前記画素数の異なる２つの画像信号のうち、画素数
の少ない画像信号と前記画素の多い画像信号からその輝
度信号を抽出する輝度信号抽出手段と、前記画素数の少
ない画像信号から抽出された輝度信号を、補間処理によ
り画素数の多い画像信号から得られる輝度信号と同じ信
号形式に変換する第１の補間手段と、前記画素が少ない
画像信号から抽出された輝度信号、もしくは前記第１の
補間手段により画素数の多い画像信号から得られる輝度
信号と同じ信号形式に変換された輝度信号、もしくは前
記画素数の多い画像信号から抽出された輝度信号の少な
くとも１つを合成制御信号とし、この合成制御信号に応
じて、前記第１の補間手段により画素数の多い画像信号
から得られる輝度信号と同じ信号形式に変換された輝度
信号と前記画素数の多い画像信号から抽出された輝度信
号とを合成する輝度信号合成手段と、前記画素数の少な
い画像信号を、補間処理により画素数が多い画像信号と
同じ信号形式に変換する第２の補間手段と、前記第２の
補間手段により画素数が多い画像信号と同じ信号形式に
変換された画像信号と前記画素数の多い画像信号を、前
記合成制御信号に応じて合成する信号合成手段と、を有
することを特徴とするものである。

【００１６】本願の請求項１８記載の発明は、露光量と
画素数の異なる２つの画像信号を出力する固体撮像素子
と、前記画素数の異なる２つの画像信号のうち、前記画
素の少ない画像信号と前記画素の多い画像信号からその
輝度信号を抽出する輝度信号抽出手段と、前記画素数の
少ない画像信号から抽出された輝度信号を、補間処理に
より画素数の多い画像信号から得られる輝度信号と同じ
信号形式に変換する補間手段と、前記画素の少ない画像
信号から抽出された輝度信号、もしくは前記補間手段に
より画素の多い画像信号から得られる輝度信号と同じ信
号形式に変換された輝度信号、もしくは前記画素数の多
い画像信号から抽出された輝度信号の少なくとも１つを
合成制御信号とし、この合成制御信号に応じて、前記補
間手段により画素数の多い画像信号から得られる輝度信
号と同じ信号形式に変換された輝度信号と前記画素数の
多い画像信号から抽出された輝度信号とを合成する輝度
信号合成手段と、前記画素数の多い画像信号を、間引き
処理により画素の少ない画像信号と同じ信号形式に変換
する間引き手段と、前記間引き手段により画素の少ない
画像信号と同じ信号形式に変換された画像信号と前記画
素の少ない画像信号を、前記合成制御信号に応じて合成
する信号合成手段と、を有することを特徴とするもので
ある。

【００１７】本願の請求項２３記載の発明は、露光量と
画素数の異なる２つの画像信号を出力する固体撮像素子
と、前記画素数の異なる２つの画像信号のうち、前記画
素の少ない画像信号と前記画素の多い画像信号からその
輝度信号を抽出する輝度信号抽出手段と、前記画素数の
少ない画像信号から抽出された輝度信号を、補間処理に
より画素数の多い画像信号から得られる輝度信号と同じ
信号形式に変換する補間手段と、前記画素の少ない画像
信号から抽出された輝度信号、もしくは前記補間手段に
より画素の多い画像信号から得られる輝度信号と同じ信
号形式に変換された輝度信号、もしくは前記画素数の多
い画像信号から抽出された輝度信号の少なくとも１つを
合成制御信号とし、この合成制御信号に応じて、前記補
間手段により画素数の多い画像信号から得られる輝度信
号と同じ信号形式に変換された輝度信号と前記画素数の
多い画像信号から抽出された輝度信号とを合成する輝度
信号合成手段と、前記画素数の多い画像信号に対し間引
き処理により画素を間引く第１の間引き手段と、前記画
素数の少ない画像信号に対し間引き処理により画素を間
引く第２の間引き手段と、前記第１の間引き手段及び第
２の間引き手段により画素を間引かれた画像信号を、前
記合成制御信号に応じて合成する信号合成手段と、を有
することを特徴とするものである。

【００１８】

【発明の実施の形態】（実施の形態１）図１は、本発明
の実施の形態１における固体撮像装置のブロック図であ
る。同図において、１は光学レンズ、２は光学絞りと兼
用の機械シャッター、３は固体撮像素子であり、本実施
の形態１においては民生用固体撮像装置で一般に用いら
れているインタライン転送ＣＣＤ（ＩＴ−ＣＣＤ）であ
るとする。４は相関二重サンプリング回路と自動利得制
御（ＡＧＣ）回路から構成されるアナログ信号処理手
段、５はＡ／Ｄ変換手段、６はＡ／Ｄ変換手段５により
デジタル信号に変換された画像信号を記憶する画像メモ
リである。７は画像メモリ６から読み出される２系統の
画像信号を合成する信号合成手段である。

【００１９】信号合成手段７で得られた信号はデジタル
信号処理手段８において、輝度信号と色信号の分離、ノ
イズ除去、エッジ強調、マトリクス演算、特定のフォー
マットへのエンコード等の処理が施される。また機械シ
ャッター駆動制御手段９は機械シャッター２の開閉の制
御を行う手段であり、固体撮像素子駆動制御手段１０は
固体撮像素子３の露光制御や信号読み出しのモード、タ
イミング等を制御する手段である。なおこれらを含め上
記すべての構成要素の動作モードや動作タイミングはシ
ステム制御手段１１により統合的に制御されるものとす
る。

【００２０】図２(a)、(b)、(c)、(d)は、固体撮像素子
３の動作、構成を説明するための模式図である。なお本
発明の実施の形態１において固体撮像素子３は、フィー
ルド読み出しモードとフレーム読み出しモードの２つの
読み出しモードで信号を読み出すことが可能なインタラ
イン転送ＣＣＤ（ＩＴ−ＣＣＤ）であり、説明の便宜
上、図２のような垂直４画素、水平２画素のいわゆる４
×２画素の構成で説明する。

【００２１】図２(a)、(b)は、ＩＴ−ＣＣＤにおけるフ
ィールド読み出しモードを説明するための図である。図
２(a)において、ホトダイオードは光電変換により光の
強さに応じた信号電荷が蓄積される部分であり、一定時
間の後、印加される制御パルスによってこの蓄積された
電荷は垂直転送ＣＣＤに移動する。このとき隣接する上
下２つのホトダイオードの電荷が垂直転送ＣＣＤ上で混
合され、水平転送ＣＣＤを介して外部に出力される。以
上が第１フィールドの読み出し動作である。

【００２２】第２フィールドは、図２(b)に示すよう
に、垂直転送ＣＣＤ上で混合されるホトダイオードのペ
アが第１フィールドの場合比べ垂直方向に１画素ずれ
る。これにより２フィールド分の信号読み出しにより、
インタレース方式の１フレームに相当する画像信号を読
み出すことができる。

【００２３】次に、図２(c)、(d)を用いてフレーム読み
出しモードについて説明する。フレーム読み出しモード
ではまず第１フィールドにおいて（図２(c)）、垂直方
向に１画素飛ばしでホトダイオードに蓄積された電荷が
垂直転送ＣＣＤに転送され、これが水平転送ＣＣＤを介
して外部に出力される。そして第２フィールドにおいて
（図２(d)）は、第１フィールドで垂直転送ＣＣＤに転
送されなかったホトダイオードの電荷が垂直転送ＣＣＤ
に転送され、これが水平転送ＣＣＤを介して外部に出力
される。このようにフレーム読み出しモードではホトダ
イオード上の電荷が垂直転送ＣＣＤで混合されることな
く、外部に出力される。これにより２フィールド分の信
号読み出しにより、インタレース方式の１フレームに相
当する画像信号を読み出すことができる。

【００２４】図３は、固体撮像素子３上に形成される補
色市松タイプのカラーフィルター配列図である。図３
中、Ｍｇはマゼンタ、Ｇはグリーン、Ｙｅはイエロー、
Ｃｙはシアンの各色を表す。図３に示す通りフォトダイ
オード１画素に対し１色のカラーフィルターが対応して
いる。

【００２５】図４は、信号合成手段７の構成例を示すブ
ロック図である。同図において７０１は画像メモリ６か
ら出力される画像信号の２水平走査ライン分の画像信号
を加算する２ライン加算手段である（なお以下、水平走
査ラインに相当する画像信号を単に水平ラインもしくは
水平ライン信号と称す）。７０２は画像メモリ６から出
力される画像信号に対し垂直方向の補間処理を施す補間
手段である。重み付け加算手段７０３は２水平ライン加
算手段７０１と補間手段７０２の出力を重み付け加算す
る手段である。

【００２６】図５は、２水平ライン加算手段７０１の構
成例を示すブロック図である。同図において７０１０１
は１ラインメモリであり画像メモリ６から出力された画
像信号の１ライン分を１水平同期期間だけ遅延させる手
段である。７０１０２は加算器であり、１ラインメモリ
７０１０１において遅延させられた水平ライン信号と、
２水平ライン加算手段７０１に入力する水平ライン信号
とがこの加算器７０１０２において加算されることで隣
接する上下２ラインの加算が行われる。

【００２７】図６は、補間手段７０２の構成を示すブロ
ック図である。同図において７０２０１、７０２０２は
１ラインメモリであり画像メモリ６から出力された画像
信号の１ライン分を１水平同期期間だけ遅延させる手段
である。７０２０３、７０２０４はアンプ手段であり、
画像メモリ６からの入力信号及び１ラインメモリ７０２
０２の出力信号に対し一定のゲインを乗算する。７０２
０５は加算器であり、アンプ手段７０２０３、７０２０
４でゲインを乗算された信号を加算する。

【００２８】図７は重み付け加算手段７０３の構成を示
すブロック図である。同図において７０３０１は合成係
数発生手段であり、ここで２水平ライン加算手段７０１
を経た信号の画素毎の信号レベルに応じてある係数ｋ
（１≧ｋ≧０）を発生し、ｋ及び１−ｋなる値を乗算器
７０３０２、７０３０３に与える。乗算器７０３０２、
７０３０３はｋ及び１−ｋを補間手段７０２を経た信号
及び２水平ライン加算手段７０１を経た信号に乗算し、
この結果は加算器７０３０４にて加算され出力される。

【００２９】以上のように構成された本発明の実施の形
態１の固体撮像装置に関し、以下その動作を説明する。
本発明の実施の形態１においては、短時間露光信号（以
下これをshort信号と称す）と長時間露光信号（以下こ
れをlong信号と称す）の２つの画像を撮影し、これを合
成することでダイナミックレンジを拡大した画像を撮影
することを特徴とする。このようなダイナミックレンジ
拡大の原理を図８を用いて説明する。図８(a)、(b)は露
光時の被写体の明るさ（固体撮像素子への入射光量）と
固体撮像素子から出力される信号量の関係を示すもので
ある。図８(a)に示すように長時間露光時は入射光によ
り固体撮像素子のホトダイオード上に発生する電荷量が
大きく、当然のことながら出力される信号量も大きくな
る。しかしホトダイオードに蓄積される電荷量には上限
が存在し、この上限を超えると飽和、つまり信号がつぶ
れてしまう現象が発生し、被写体像を正確に再現するこ
とができない。逆に図８(b)に示すように露光時間を短
く設定すれば飽和を回避することは可能であるが、今度
は被写体内の低輝度部分のＳ／Ｎが劣化する。そこで長
時間露光により得られた信号（long信号）と短時間露光
で得られた信号（short信号）を用いて、低輝度部はlon
g信号、高輝度部はshort信号からなる画像を合成すれ
ば、被写体の低輝度部から高輝度部までを再現でき、撮
像装置のダイナミックレンジを拡大することが可能とな
る。この際に、short信号にはlong信号との露光量の比
（露光時間の比）に相当するゲインを乗じた後（図８
(c)）に合成を行えば図８(d)に示すように露光量の比に
応じたダイナミックレンジの拡大が実現できる。例えば
long信号とshort信号の露光量比（露光時間比）が１：D
の場合、ダイナミックレンジはD倍に拡大可能である。
以下、上記の原理に従って撮影画像のダイナミックレン
ジを拡大可能な撮像装置の具体例に関し説明する。ま
ず、short信号とlong信号の撮影方法に関し図９を用い
て説明する。図９は固体撮像素子３における被写体像の
露光及び露光した信号の読み出しに関するタイミングチ
ャートである。同図において(a)は垂直方向の同期信
号、(b)は固体撮像素子３のホトダイオードからの信号
電荷読み出しを制御する読み出し制御パルス、(c)は機
械シャッター２の開閉状態、(d)は固体撮像素子３のホ
トダイオード上の露光信号、(e)は固体撮像素子３から
出力される信号を示す。short信号の露光時は、機械シ
ャッター２を開放状態にし、電子シャッター機能を用い
て必要な露光時間、例えば1／1000秒間露光を行う。1／
1000秒の露光が終了した後、読み出し制御パルスにより
ホトダイオード上の蓄積電荷は垂直転送ＣＣＤに移動さ
せる。このとき固体撮像素子３はフィールド読み出しモ
ードで駆動するものとし、図２(a)で説明したようにホ
トダイオード上の蓄積電荷を垂直転送ＣＣＤ上で混合
し、外部に読み出す。この際読み出す画像信号は第１フ
ィールド分の信号のみとする。図１０にフィールド読み
出しモードで読み出されたshort信号を示す。なお固体
撮像素子３の垂直方向のホトダイオードの数はN個（説
明の便宜上、Nは偶数とするがこれに限るものではな
い。）とする。図１０に示すように読み出されたshort
信号はYe、Cy、G、Mgの４色の信号がそれぞれ加算され
たYe+Mg、Cy+G、Ye+G、Cy+Mgの４種類の信号となる。ま
たその垂直方向のライン数はホトダイオードの垂直方向
の個数Nの1／2となる。次に、short信号を読み出してい
る間に、long信号の露光を行う。long信号の露光期間は
例えば1／100秒とする。long信号の露光時間は機械シャ
ッター２の開閉で制御するものとし、long信号の露光開
始後1／100秒後に機械シャッター２を閉じ露光を完了す
る。このように機械シャッター２を閉じることで、長時
間露光したその信号は読み出し中に余分に露光されるこ
とがない。long信号の露光が完了すると読み出し制御パ
ルスによりホトダイオード上の蓄積電荷は垂直転送ＣＣ
Ｄに転送される。このとき固体撮像素子３はフレーム読
み出しモードで駆動するものとし、図２(c)で説明した
ように垂直方向の奇数ラインに相当するホトダイオード
の電荷を第１フィールド分だけ読み出しを行う。第１フ
ィールドの信号読み出し終了後に、今度は垂直方向の偶
数ラインに相当するホトダイオードの電荷を読み出し
（第２フィールド）、これによってlong信号は１フレー
ムに相当する信号を固体撮像素子３から読み出す。な
お、図９(a)に示した垂直同期信号の周期は例えば1／10
0秒とし、固体撮像素子３からの１フィールド分の信号
読み出しは、垂直同期信号の１周期内で完了するものと
する。図１１にフレーム読み出しモードで読み出された
long信号を示す。図１１に示すように読み出されたlong
信号は第１フィールドはYe、Cyの２色の信号となり、第
２フィールドはG、Mgの２色の信号となる。またその垂
直方向のライン数は各フィールドでホトダイオードの垂
直方向の個数Nの1／2であり、２つのフィールドを合わ
せると１フレームに相当するNラインの信号となる。以
上のような露光及び信号読み出しを行うことで、露光時
間の異なる２つの信号、つまり１フィールド画像である
short信号と１フレーム画像であるlong信号を得ること
が可能である。なお、short信号は水平ライン数がlong
信号の１/２であるため、short信号はlong信号に比べ画
素数の少ない信号となっている。次に、固体撮像素子３
で得られた露光時間の異なる２つの信号は、アナログ信
号処理手段４を経てＡ／D変換手段５によりデジタル信
号に変換され画像メモリ６に一旦記憶される。画像メモ
リ６からはlong信号とshort信号が読み出される。な
お、画像メモリ６からlong信号を読み出す際、long信号
は第１フィールドの１ライン目、第２フィールドの１ラ
イン目、第１フィールドの２ライン目、というように１
フレーム画像としてみた場合の先頭ラインから順に読み
出されることとする。画像メモリ６から読み出されたlo
ng信号は２水平ライン加算手段７０１に送られる。２水
平ライン加算手段７０１においては、フレーム信号とし
てみた場合に隣接する上下２ラインのlong信号が加算混
合される。これはlong信号とshort信号を合成する際
に、２つの信号の信号形式が異なると合成ができないた
めであり、よってlong信号に対しては２水平ライン加算
手段７０１により、固体撮像素子３の垂直転送ＣＣＤ上
での画素混合と同一の処理を施し、short信号に対して
は補間手段７０２により１フィールド画像を１フレーム
画像に変換する。図１２(a)に２水平ライン加算手段７
０１において隣接する上下２ラインの信号が加算混合さ
れた後のlong信号を、図１２(b)に補間処理前のshort信
号を、図１２(c)に補間処理後のshort信号を示す。図１
２(a)と(c)に示すように、long信号に対する２水平ライ
ン加算処理及びshort信号に対する補間処理によって、l
ong信号とshort信号の信号形式が合致する。補間手段７
０２では、図１２(b)に示すフィールド画像を補間処理
により同図(c)に示すフレーム画像に変換するが、その
方法について以下に説明する。例えば図１２(b)におけ
る第２ラインと第３ラインの間の水平ライン信号を補間
処理により求める場合、Ye+G、Cy+Mgの信号からなる水
平ライン信号をつくる必要がある。このとき最も近傍の
Ye+G、Cy+Mgの信号からなるラインは第２ラインと第４
ラインであるため、この両者から補間処理により第２ラ
インと第３ラインの間のラインを求める。但し補間処理
により水平ライン信号を求める位置と、第２ライン、第
４ラインとの空間的距離は等距離ではないため、その距
離に応じて重み付けが必要となる。そこで補間手段７０
２においては、連続して入力される３ラインの水平ライ
ン信号のうち中心を除く上下両端のラインが乗算器７０
２０３、７０２０４に入力される構成であるため、この
乗算器７０２０３、７０２０４で乗じる数をそれぞれ１
／４、３／４として重み付けし、その乗算結果を加算器
７０２０５にて加算すればよい。なお、乗算器７０２０
３、７０２０４にて乗算される数は、補間処理により水
平ライン信号を求める位置と、第２ライン、第４ライン
との空間的距離の比が１：３であることから決定する。
同様に、第３ラインと第４ラインの間の水平ライン信号
を補間処理により求める場合、Ye+Mg、Cy+Gの信号から
なる水平ライン信号をつくる必要がり、このとき最も近
傍のYe+Mg、Cy+Gの信号からなるラインは第３ラインと
第５ラインであるため、この両者との距離の比に応じた
重み付けを行い、補間処理により第３ラインと第４ライ
ンの間のラインを求めることができる。

【００３０】以上の処理により、１フレーム分のlong信
号と、１フィールド分のshort信号から補間処理を経て
得られた１フレームに相当する信号が生成される。

【００３１】これらlong信号とshort信号を合成し、ダ
イナミックレンジを拡大した信号を合成する手段が、重
み付け加算手段７０３である。重み付け加算手段７０３
においては図７に示した合成係数発生手段７０３０１に
よりlong信号の画素毎の信号レベルに応じた合成係数ｋ
を求め、この合成係数ｋに応じて１画素単位でlong信号
と、画面上の同じ空間位置に存在する補間処理により１
フレーム画像となったshort信号とを合成する。

【００３２】図１３は合成係数発生手段７０３０１にお
けるlong信号の信号レベルから画素ごとに合成係数ｋを
求める方法の一例である。図１３に示すように、long信
号レベルに対し２つの閾値Th#minとTh#maxを設定し、lo
ng信号レベルが（数１）の場合、つまりlong信号の信号
レベルがTh#min以下で飽和の可能性がない場合は合成係
数ｋを０とし、longレベルが（数２）の場合、つまりlo
ng信号レベルがTh#max以上で固体撮像素子の出力が飽和
レベルに近いような場合、合成係数ｋを１とする。なお
閾値Th#max、Th#minは使用する固体撮像素子の飽和特性
やS/Nに応じて適宜決定する。

【００３３】

【数１】

【００３４】

【数２】

【００３５】また、long信号レベルが（数３）の場合、
つまりlong信号レベルが中間である場合には、図１３に
示すように合成係数ｋは（数４）の１次式で決定する。

【００３６】

【数３】

【００３７】

【数４】

【００３８】以上のように求められた合成係数ｋを用い
て、long信号とshort信号は画素毎に（数５）により合
成される。long信号とshort信号を合成した信号を合成
信号とする。

【００３９】

【数５】

【００４０】例えば、図１４に示すlong信号(Ye+Mg)L11
と、この(Ye+Mg)L11と空間的位置が同じであるshort信
号(Ye+Mg)S11から合成信号(Ye+Mg)M11を求める場合、lo
ng信号から決定される合成係数をk11とすると（数６）
により合成が行われる。

【００４１】

【数６】

【００４２】合成信号の他の画素も（数６）と同様に、
同じ空間的位置に存在するlong信号とshort信号から求
められる。

【００４３】なお、（数５）及び（数６）においてshor
t信号に乗算される定数Dは、long信号とshort信号の露
光量の比（露光時間の比）であり、例えばlong信号の露
光量（露光時間）をTL、short信号の露光量（露光時
間）をTSとすると、Dは（数７）で求められる。

【００４４】

【数７】

【００４５】このようにlong信号とshort信号を用い
て、long信号の信号レベルが閾値Th#min以下の部分はlo
ng信号、同信号レベルが閾値Th#max以上つまり固体撮像
素子３の出力が飽和するに近い部分（撮影画像の輝度が
高く、普通ならば信号がつぶれるような部分）はshort
信号、その中間の明るさの部分はlong信号とshort信号
を重み付け加算した信号からなる合成信号を合成するこ
とで、撮影した画像信号のダイナミックレンジを拡大す
ることが可能である。

【００４６】但し、ダイナミックレンジ拡大がなされた
合成信号のうち、long信号からなる部分は本来１フレー
ムの画像信号であるため画像解像度が高い。これに対し
てshort信号からなる部分は１フィールドの画像信号か
ら合成されるため、long信号からなる部分に比べ画像解
像度は低い。しかし一般に、画面全体の信号レベルが飽
和に近くなるような撮影条件はまれであり、そのような
条件下でも、光学絞りを絞りこむなどして入射光量を制
限するため画面全体の信号レベルが飽和に近いレベルと
なることはなく、撮影画像の大半をshort信号からなる
部分が占めることは実使用上あまり起こりえない。ま
た、限られた階調で画像を表現する場合、高輝度部つま
り信号レベルが高い部分は低・中輝度部に比べ、少なめ
に階調が割り当てられることが多い。このためshort信
号からなる部分の解像度劣化はさほど目立たず、上記の
ような方法でlong信号とshort信号を合成してもＣＣＤ
の画素数並みの解像度の合成画像が得られると考えられ
る。

【００４７】以上の通り、信号合成手段７において合成
された合成信号は、デジタル信号処理手段８において輝
度と色信号の分離、ノイズ除去、エッジ強調、ガンマ補
正、マトリクス演算、特定のフォーマットへのエンコー
ド等の処理が施される。デジタル信号処理手段８におけ
る信号処理に関しては本願発明の目的と直接は関係がな
いため詳細な説明は省略する。

【００４８】以上のように、本発明の実施の形態１の固
体撮像装置においては、固体撮像素子３の露光及び信号
読み出しモードを制御し、１フィールド分の短時間露光
信号と１フレーム分の長時間露光信号を撮影しこれらを
合成することで、ＣＣＤの画素数並みの解像度を持ちな
がらダイナミックレンジも拡大された画像を撮影するこ
とができる。さらに本固体撮像装置で使用する固体撮像
素子には、民生用固体撮像装置で一般に用いられている
ＩＴ−ＣＣＤが使用可能であるため、複数の固体撮像素
子や特殊な固体撮像素子を使用する必要がなく、安価に
装置を構成することができる。

【００４９】（実施の形態２）本発明の実施の形態２に
おける固体撮像装置は、図１に示した本発明の実施の形
態１に対し、重み付け加算手段（本実施の形態２では７
０４と付番し区別する）の構成及び同手段でなされる処
理が異なる。以下、本発明の実施の形態１と同様の処理
内容部分に関しては説明は省略し、本発明の実施の形態
１と異なる部分のみ説明する。

【００５０】図１５は、本発明の実施の形態２における
重み付け加算手段７０４のブロック図である。同図にお
いて７０４０１は２水平ライン加算手段７０１を経たlo
ng信号から輝度信号成分を抽出する輝度信号抽出手段で
ある。７０４０２は合成係数発生手段であり、ここで輝
度信号抽出手段７０４０１を経たlong信号の輝度成分の
輝度信号レベルに応じてある係数ｋ（１≧ｋ≧０）を発
生し、ｋ及び１−ｋなる値を乗算器７０４０３、７０４
０４に与える。乗算器７０４０３、７０４０４はｋ及び
１−ｋを補間手段７０２を経たshort信号及び２水平ラ
イン加算手段７０１を経たlong信号に乗算し、この結果
は加算器７０４０５にて加算され出力される。

【００５１】図１６は輝度信号抽出手段７０４０１の構
成例を示すブロック図である。同図において７０４０１
１は入力信号を１画素分の期間だけ遅延させる手段であ
る。７０４０１２は加算器であり、1画素遅延手段７０
４０１１において遅延された画素信号と輝度信号抽出手
段７０４０１に入力された画素信号を、この加算器７０
４０１２において加算することで水平方向に隣接する２
画素の加算が行われ信号の低域成分のみを抽出する。輝
度信号抽出手段７０４０１により抽出される信号の低域
成分はすなわち画像信号の輝度信号に相当する。

【００５２】以上のように構成された本発明の実施の形
態２の固体撮像装置に関し、以下その動作を説明する。
本発明の実施の形態１と異なり、本発明の実施の形態２
においてはlong信号とshort信号を合成する際に使用す
る合成係数をlong信号から抽出した輝度信号の信号レベ
ルをもとに決定する。そのためlong信号から輝度信号を
抽出する手段である輝度信号抽出手段７０４０１を重み
付け加算手段７０４内に有する。

【００５３】輝度信号抽出手段７０４０１においては、
２水平ライン加算手段７０１の出力のうち水平方向に隣
り合う２画素の信号を順次加算することで以下の（数
８）に基づきlong信号の輝度成分（以下これをlong輝度
信号と称す）を抽出する。

【００５４】

【数８】

【００５５】例えば、図１７に示すlong信号（Ye+Mg）L
11とlong信号（Cy+G）L12とからlong輝度信号YL11を求
める場合、（Ye+Mg）L11と（Cy+G）L12を加算すること
になる。同様にlong輝度信号YL12を求める場合は、（Cy
+G）L12と（Ye+Mg）L13を加算する。long信号から抽出
した輝度信号（long輝度信号）をもとに合成係数を決定
する方法を以下に説明する。

【００５６】図１８は合成係数発生手段７０４０２にお
けるlong輝度信号の信号レベルから画素ごとに合成係数
ｋを求める方法の一例である。図１８に示すように、lo
ng輝度信号レベルに対し２つの閾値Th#min’とTh#max’
を設定し、long輝度信号レベルが（数９）の場合、つま
り被写体の輝度レベルがTh#min’以下の低輝度の場合は
合成係数ｋを０とし、long輝度信号レベルが（数１０）
の場合、つまり被写体の輝度レベルがTh#max’以上の高
輝度の場合、合成係数ｋを１とする。なお閾値Th#ma
x’、Th#min’は使用する固体撮像素子の飽和特性やS/N
に応じて適宜決定する。

【００５７】

【数９】

【００５８】

【数１０】

【００５９】また、long輝度信号レベルが（数１１）の
場合、つまり輝度が低輝度と高輝度の中間である場合に
は、図１８に示すように合成係数ｋは（数１２）の１次
式で決定する。

【００６０】

【数１１】

【００６１】

【数１２】

【００６２】以上のように求められた合成係数ｋを用い
て、long信号とshort信号は画素毎に（数５）により合
成される。long信号とshort信号を合成した信号を合成
信号とする。

【００６３】例えば、図１９に示すlong信号(Ye+Mg)L11
と、この(Ye+Mg)L11と空間的位置が同じであるshort信
号(Ye+Mg)S11から合成信号(Ye+Mg)M11を求める場合、こ
れら２つの信号と空間的位置が同じであるlong輝度信号
YL11から決定される合成係数（これをky11とする）をも
とに（数１３）により合成が行われる。

【００６４】

【数１３】

【００６５】合成信号の他の画素も（数１３）と同様
に、同じ空間的位置に存在するlong信号とshort信号か
ら求められる。

【００６６】なお、（数１３）においてshort信号に乗
算される定数Dは、本発明の実施の形態１と同様にlong
信号とshort信号の露光量の比（露光時間の比）であ
り、（数７）で求められる。

【００６７】このようにlong信号とshort信号を用い
て、低輝度部はlong信号、高輝度部はshort信号、低輝
度部と高輝度部の中間の輝度の部分はlong信号とshort
信号を重み付け加算した信号からなる合成信号を合成す
ることで、撮影した画像信号のダイナミックレンジを拡
大することが可能である。また、輝度信号はlong信号か
ら抽出される低周波成分といえるため、この輝度信号を
もとに合成係数を求める場合、合成係数決定に対しlong
信号中のノイズ成分が及ぼす影響を低減することができ
る。

【００６８】以上のように、本発明の実施の形態２の固
体撮像装置においても、固体撮像素子３の露光及び信号
読み出しモードを制御し、１フィールド分の短時間露光
信号と１フレーム分の長時間露光信号を撮影しこれらを
合成することで、ＣＣＤの画素数並みの解像度を持ちつ
つダイナミックレンジが拡大された画像を撮影すること
ができる。さらに本固体撮像装置で使用する固体撮像素
子には、民生用固体撮像装置で一般に用いられているＩ
Ｔ−ＣＣＤが使用可能であるため、複数の固体撮像素子
や特殊な固体撮像素子を使用する必要がなく、安価に装
置を構成することができる。

【００６９】（実施の形態３）図２０は、本発明の実施
の形態３における固体撮像装置のブロック図である。同
図において、光学レンズ１、光学絞りと兼用の機械シャ
ッター２、固体撮像素子３、アナログ信号処理手段４、
Ａ／Ｄ変換手段５、画像メモリ６、シャッター駆動手段
９、固体撮像素子駆動手段１０、２水平ライン加算手段
７０１、輝度信号抽出手段７０４０１、補間手段７０２
の機能、動作は本発明の実施の形態１及び実施の形態２
と同様であるため、図１から図１９と同一の番号を付し
て説明は省略する。

【００７０】図２０に示したブロック図において、上記
以外の構成要素に関して説明すると、１２は輝度信号抽
出手段７０４０１の出力に対し垂直方向の補間処理を施
す輝度信号補間手段であり、輝度信号合成手段１３は輝
度信号抽出手段７０４０１と輝度信号補間手段１２の出
力を合成する手段である。なお、輝度信号補間手段１２
に入力される輝度信号はshort信号から抽出された輝度
信号であるためshort輝度信号と称し、long信号から抽
出される輝度信号をlong輝度信号と称す。よって輝度信
号抽出手段７０４０１から直接、輝度信号合成手段１３
に入力される信号がlong輝度信号、輝度信号補間手段１
２から輝度信号合成手段１３に入力される信号がshort
輝度信号の補間処理後の信号となる。

【００７１】また、信号合成手段１４は２ライン加算手
段７０１と補間手段７０２の出力を合成する手段であ
る。１ラインメモリ１５、１６、１７，１８は信号合成
手段１４の出力を同時化する際に必要な１水平同期期間
分の遅延手段であり、１ラインメモリ１５、１６、１
７，１８の出力と信号合成手段１４の出力の合計５ライ
ンの水平ライン信号から同じ空間位置にレッド（R）成
分を持つ信号とブルー（B）成分を持つ信号を同時化手
段１９で得る。

【００７２】輝度信号合成手段１３で得られた輝度信号
と、同時化手段１９で得られたレッド（R）成分を持つ
信号とブルー（B）成分を持つ信号はデジタル信号処理
手段２０において、ノイズ除去、エッジ強調、マトリク
ス演算、特定のフォーマットへのエンコード等の処理が
施される。なおこれらを含め上記すべての構成要素の動
作モードや動作タイミングはシステム制御手段２１によ
り統合的に制御されるものとする。

【００７３】図２１は輝度信号補間手段１２の構成を示
すブロック図である。同図において１２０１は１ライン
メモリであり輝度信号抽出手段７０４０１から出力され
た画像信号の１ライン分を１水平同期期間だけ遅延させ
る手段である。１２０２、１２０３はアンプ手段であ
り、それぞれ１２０１を経た信号及び輝度信号抽出手段
７０４０１を経て輝度信号補間手段１２に入力された信
号に対し一定のゲインを乗算する。１２０４は加算器で
あり、アンプ手段１２０２、１２０３でゲインを乗算さ
れた信号を加算する。

【００７４】図２２は輝度信号合成手段１３の構成を示
すブロック図である。同図において１３０１は合成係数
発生手段であり、ここで輝度信号抽出手段７０４０１を
経たlong輝度信号の画素毎の信号レベルに応じてある係
数ｋ（１≧ｋ≧０）を発生し、ｋ及び１−ｋなる値を乗
算器１３０２、１３０３に与える。乗算器１３０２、１
３０３はｋ及び１−ｋをshort輝度信号及びlong輝度信
号に乗算し、この結果は加算器１３０４にて加算され出
力される。

【００７５】図２３は信号合成手段１４の構成を示すブ
ロック図である。同図において１４０１、１４０２は乗
算器であり、輝度信号合成手段１３より供給される係数
ｋ及び１−ｋをそれぞれshort信号及び２水平ライン加
算後のlong信号に乗算する乗算器である。この乗算結果
は加算器１４０３にて加算され出力される。

【００７６】図２４は同時化手段１９の構成を示すブロ
ック図である。同図において１９０１は入力される信号
から３つの信号を選択し、出力A、出力B、出力Cに出力
するセレクタ、１９０２、１９０３は出力B及び出力Cか
ら出力される信号にある定数を乗算するアンプ手段であ
り、この乗算後の信号は加算器１９０４にて加算され
る。１９０５はセレクタ１９０１の出力Aと加算器１９
０４の出力を出力D、出力Eに振り分けて出力するセレク
タである。なお、セレクタ１９０１、１９０５による信
号の出力先の選択は後述の通り、信号の色成分によって
振り分けられることとする。

【００７７】以上のように構成された本発明の実施の形
態３の固体撮像装置に関し、以下その動作を説明する。
本発明の実施の形態３においても、短時間露光信号（sh
ort信号）と長時間露光信号（long信号）の２つの画像
を撮影し、これを合成することでダイナミックレンジを
拡大した画像を撮影する点は本発明の実施の形態１及び
２と同様である。しかし本発明の実施の形態３において
は、輝度信号と、後に色信号として処理される信号とで
個別に短時間露光信号（short信号）と長時間露光信号
（long信号）の合成を行うことを特徴とする。そのため
に本発明の実施の形態３においては本発明の実施の形態
１の場合と同様に、画像メモリ６から読み出されたlong
信号は、２水平ライン加算手段７０１においては、フレ
ーム信号としてみた場合に隣接する上下２ラインのlong
信号が加算混合される。これはshort信号が固体撮像素
子３の垂直転送ＣＣＤ上で画素混合されているため、こ
れにlong信号を合わせるための措置である。

【００７８】輝度信号抽出手段７０４０１においては、
本発明の実施の形態２と同様に２水平ライン加算手段７
０１の出力のうち水平方向に隣り合う２画素の信号を順
次加算することで（数８）に基づきlong信号の輝度成分
（以下これをlong輝度信号と称す）を抽出する。

【００７９】例えば、図１７に示すlong信号（Ye+Mg）L
11とlong信号（Cy+G）L12とからlong輝度信号YL11を求
める場合、（Ye+Mg）L11と（Cy+G）L12を加算すること
になる。同様にlong輝度信号YL12を求める場合は、（Cy
+G）L12と（Ye+Mg）L13を加算する。

【００８０】次に、画像メモリ６から読み出されるshor
t信号は、まず輝度信号抽出手段７０４０１においてlon
g信号の場合と同様に輝度信号が求められる。

【００８１】図２５にlong輝度信号、図２６にshort輝
度信号を示す。

【００８２】図２６に示すようにshort信号は１フィー
ルドの信号であったため、short輝度信号も当然１フィ
ールドの輝度信号である。そこでこの１フィールドのsh
ort輝度信号を１フレームの信号に変換し、long輝度信
号と信号形式を同一とするための手段が、輝度信号補間
手段１２である。

【００８３】輝度信号補間手段１２は具体的には、図２
１に示したアンプ手段１２０２、１２０３で乗算するゲ
インを０.５とすることで連続する２ラインの加算平均
値を求めこれを補間信号とする。図２７に補間処理後の
short輝度信号を示す。

【００８４】以上の処理により、１フレーム分のlong信
号から得られた輝度信号（long輝度信号）と、１フィー
ルド分のshort信号から補間処理を経て得られた１フレ
ームに相当する輝度信号（short輝度信号）が生成され
る。このように１フィールドのshort信号から１フレー
ムのshort輝度信号を合成した理由は、short信号とlong
信号を合成してダイナミックレンジ拡大を図る際に、sh
ort信号が１フィールドの信号のままでは画像を構成す
る水平ラインが不足し、１フレームの信号であるlong信
号と合成することができないためである。

【００８５】これらlong輝度信号とshort輝度信号を合
成し、ダイナミックレンジを拡大した輝度信号を合成す
る手段が、輝度信号合成手段１３である。輝度信号合成
手段１３においては図２２に示した合成係数発生手段１
３０１によりlong輝度信号の画素毎の信号レベルに応じ
た合成係数ｋを求め、この合成係数ｋに応じて１画素単
位でlong輝度信号と、画面上の同じ空間位置に存在する
short輝度信号とを合成する。

【００８６】long輝度信号の信号レベルから画素ごとに
合成係数ｋを求める方法の一例としては、本発明の実施
の形態２と同様の方法が考えられるため説明は省略す
る。

【００８７】求められた合成係数ｋを用いて、long輝度
信号とshort輝度信号は画素毎に（数１４）により合成
される。long輝度信号とshort輝度信号を合成した信号
を合成輝度信号とする。

【００８８】

【数１４】

【００８９】例えば、図２８に示すlong輝度信号YL11
と、このYL11と空間的位置が同じであるshort輝度信号Y
S11から合成輝度信号YM11を求める場合、long輝度信号
（YL11）から決定される合成係数をk11とすると（数１
５）により合成が行われる。

【００９０】

【数１５】

【００９１】合成輝度信号の他の画素も（数１５）と同
様に、同じ空間的位置に存在するlong輝度信号とshort
輝度信号から求められる。

【００９２】なお、（数１４）及び（数１５）において
short輝度信号に乗算される定数Dは、long信号とshort
信号の露光量の比（露光時間の比）であり（数７）で求
められる。

【００９３】このようにlong輝度信号とshort輝度信号
を用いて、低輝度部はlong輝度信号、高輝度部はshort
輝度信号、低輝度部と高輝度部の中間の輝度の部分はlo
ng輝度信号とshort輝度信号を重み付け加算した信号か
らなる合成輝度信号を合成することで、撮影した画像の
輝度信号のダイナミックレンジを拡大することが可能で
ある。

【００９４】但し、ダイナミックレンジ拡大がなされた
輝度信号のうち、long輝度信号からなる部分は本来１フ
レームの画像信号であるため画像解像度が高い。これに
対してshort輝度信号からなる部分は１フィールドの画
像信号から合成されるため、long輝度信号からなる部分
に比べ画像解像度は低い。しかし一般に、画面全体が高
輝度となるような撮影条件下はまれであり、そのような
条件下でも、光学絞りを絞りこむなどして入射光量を制
限するため画面全体が高輝度となることはなく、撮影画
像の大半をshort輝度信号からなる部分が占めることは
実使用上あまり起こりえない。また、限られた階調で画
像を表現する場合、高輝度部は低・中輝度部に比べ、少
なめに階調が割り当てられることが多い。このためshor
t輝度信号からなる部分の解像度劣化はさほど目立た
ず、上記のような方法でlong輝度信号とshort輝度信号
を合成してもＣＣＤの画素数並みの解像度の合成画像が
得られると考えられる。

【００９５】以上が輝度信号の合成によるダイナミック
レンジ拡大に関する処理内容である。次に、色信号に関
する処理について説明する。

【００９６】画像メモリ６から読み出されたshort信号
と、２水平ライン加算手段７０１において隣接する上下
２ラインが加算されたlong信号は、色信号のダイナミッ
クレンジ拡大のための合成処理を信号合成手段１４にお
いて施される。

【００９７】なお、short信号は１フィールド信号であ
るため１フレーム信号であるlong信号と信号形式が異な
る。よって本発明の実施の形態１と同様に、補間手段７
０２によって１フィールド画像を１フレーム画像に変換
する。２水平ライン加算手段７０１において隣接する上
下２ラインの信号が加算混合された後のlong信号及び補
間手段７０２において補間処理されたshort信号は、図
１２(a)、(c)示す通りであり、本発明の実施の形態１と
同様にlong信号に対する２水平ライン加算処理及びshor
t信号に対する補間処理によって、long信号とshort信号
の信号形式が合致している。

【００９８】信号合成手段１４におけるlong信号とshor
t信号の合成は、本発明の実施の形態２と同様に、信号
合成手段１４に入力されるlong信号及びshort信号と空
間的に位置が一致しているlong輝度信号とshort輝度信
号とが合成される際に使用される合成係数ｋ及び（数
７）で求められるDにより画素毎に実施される。信号合
成手段１４で合成された信号を合成信号と称す。

【００９９】以上が色信号のダイナミックレンジ拡大の
ための合成処理である。

【０１００】さて、信号合成手段１４で求められた合成
信号は、Ye+Mg及びCy+Gの画素が水平方向に並ぶライン
と、Ye+G及びCy+Mgの画素が水平方向に並ぶラインが垂
直方向に２ライン周期で繰り返される構成のため、色の
三原色であるレッド、グリーン、ブルーをそれぞれR、
G、Bとすると、Ye+Mg及びCy+Gの画素が並ぶラインから
は（数１６）によりR成分を持った２R−Gなる色信号
が、Ye+G及びCy+Mgが並ぶラインからは（数１７）によ
りB成分を持った２B―Gなる色信号が得られる。

【０１０１】

【数１６】

【０１０２】

【数１７】

【０１０３】これはいわゆる色差線順次であり、１水平
ライン信号に対して色信号はR成分を持った２R−G、も
しくはB成分を持った２B―Gのどちらか一方しか得られ
ない。そこで１水平ライン信号に対し、R成分とB成分の
双方の成分を持った信号を得るために、ラインメモリ１
５、１６、１７、１８及び同時化手段１９により同時化
処理が施される。

【０１０４】ラインメモリ１５、１６、１７、１８及び
同時化手段１９による同時化処理の具体的な内容を以下
に説明する。同時化手段１９には信号合成手段１４及び
ラインメモリ１５、１６、１７、１８から連続する５ラ
インの水平ライン信号が入力される。信号合成手段１４
で合成された信号を合成信号を図２９(a)とし、仮に同
時化手段１９に入力される５ラインの信号が図２９(b)
に示す第３ライン〜第７ラインの信号であったとする。
このとき、同時化処理の対象は入力される５ラインの中
心に位置する水平ライン信号であるとし、図２９(b)の
第５ラインの水平ライン信号に対し同時化処理を行うと
すると、第５ラインはR成分を持った２R−Gに対応する
信号であるため、B成分を持った２B―Gは周辺の水平ラ
イン信号から補間処理によりつくり出せばよい。そこで
図２４に示す同時化手段１９においてはセレクタ１９０
１は、第５ラインの信号を出力Aに、第３ライン及び第
７ラインの２B−Gに対応する信号を出力B及び出力Cに出
力する。アンプ手段１９０２、１９０３で乗算するゲイ
ンは0.5とし、この乗算結果を加算器１９０４で加算す
れば第３ラインと第７ラインの加算平均結果が求められ
る。この加算平均結果とセレクタ１９０１の出力Aの出
力である第５ラインの信号はセレクタ１９０５に入力さ
れ、ここで出力先が選択され、２R−Gに対応する第５ラ
インの水平ライン信号は出力Dに、２B−Gに対応する第
３ラインと第７ラインの加算平均結果は出力Eに出力さ
れる。このような動作により第５ラインが存在する空間
位置に、R成分を持った２R−Gに対応する信号とB成分を
持った２B−Gに対応する信号を得ることができる。同様
に、例えば同時化手段１９に第５ライン〜第９ラインの
信号が入力され、第７ラインの水平ライン信号に対し同
時化処理を行うとすると、第７ラインはB成分を持った
２B−Gに対応する信号であるため、今度はR成分を持っ
た２R―Gは周辺の水平ライン信号から補間処理によりつ
くり出せばよい。そこで図２４に示す同時化手段１９に
おいてはセレクタ１９０１は、第７ラインの信号を出力
Aに、第５ライン及び第９ラインの２R−Gに対応する信
号を出力B及び出力Cに出力する。アンプ手段１９０２、
１９０３で乗算するゲインは0.5とし、この乗算結果を
加算器１９０４で加算すれば第５ラインと第９ラインの
加算平均結果が求められる。この加算平均結果とセレク
タ１９０１の出力Aの出力である第７ラインの信号はセ
レクタ１９０５に入力され、ここで出力先が選択され２
B−Gに対応する第７ラインの水平ライン信号は出力E
に、２R−Gに対応する第５ラインと第９ラインの加算平
均結果は出力Dに出力される。このような動作により第
７ラインが存在する空間位置に、R成分を持った２R−G
に対応する信号とB成分を持った２B−Gに対応する信号
を得ることができる。なお、同時化手段１９は入力信号
に応じて上記のような処理が行われるよう、入出力信号
の選択等が自動的もしくはシステム制御手段２１の制御
により実施されるものとする。

【０１０５】以上の通り、輝度信号合成手段１３におい
て合成された合成輝度信号及び同時化手段１９で得られ
たR成分を持った２R−Gに対応する信号とB成分を持った
２B−Gに対応する信号は、デジタル信号処理手段２０に
おいてノイズ除去、エッジ強調、ガンマ補正、マトリク
ス演算、特定のフォーマットへのエンコード等の処理が
施される。デジタル信号手段２０における信号処理に関
しては本願発明の目的と直接は関係がないため詳細な説
明は省略する。

【０１０６】以上のように、本発明の実施の形態３の固
体撮像装置においては、固体撮像素子３の露光及び信号
読み出しモードを制御し、１フィールド分の短時間露光
信号と１フレーム分の長時間露光信号を撮影しこれらを
合成することで、固体撮像素子の画素数並みの解像度を
持ちながらもダイナミックレンジが拡大された画像を撮
影することができる。さらに本固体撮像装置で使用する
固体撮像素子には、民生用固体撮像装置で一般に用いら
れているＩＴ−ＣＣＤが使用可能であるため、複数の固
体撮像素子や特殊な固体撮像素子を使用する必要がな
く、安価に装置を構成することができる。

【０１０７】（実施の形態４）本発明の実施の形態４に
おける固体撮像装置は、図２０に示した本発明の実施の
形態３に対し、２水平ライン加算手段７０４０１の出力
に対する間引き手段２２が追加され、これに伴い補間手
段７０２、１ラインメモリ１７、１８が削除され、さら
に信号合成手段、同時化手段、デジタル信号処理手段、
システム制御手段の構成・機能が異なる（本発明の実施
の形態４では信号合成手段２３、同時化手段２４、デジ
タル信号処理手段２５、システム制御手段２６と付番し
区別する）点が主な相違点であるため、以下、本発明の
実施の形態３と同様の処理内容部分に関しては説明は省
略し、本発明の実施の形態３と異なる部分のみ説明す
る。図３０は、本発明の実施の形態４における固体撮像
装置のブロック図である。同図において、間引き手段２
２は２水平ライン加算手段７０１の出力からその水平ラ
イン信号を間引き、１フレーム画像を１フィールド画像
に変換する手段である。信号合成手段２３は、間引き手
段２２及び画像メモリ６の出力を輝度信号合成手段１３
にて求められる合成係数ｋに基づき合成する手段であ
る。同時化手段２４は、信号合成手段２３の出力を同時
化処理する手段である。

【０１０８】輝度信号合成手段１３で得られた輝度信号
と、同時化手段２４で得られたレッド（R）成分を持つ
信号とブルー（B）成分を持つ信号はデジタル信号処理
手段２５において、ノイズ除去、エッジ強調、マトリク
ス演算、特定のフォーマットへのエンコード等の処理が
施される。なおこれらを含め上記すべての構成要素の動
作モードや動作タイミングはシステム制御手段２６によ
り統合的に制御されるものとする。

【０１０９】図３１は同時化手段２４の構成を示すブロ
ック図である。２４０１、２４０２は信号合成手段２３
と１ラインメモリ１６を経た信号にある定数を乗算する
アンプ手段であり、この乗算後の信号は加算器２４０３
にて加算される。２４０４は１ラインメモリ１５の出力
と加算器２４０３の出力を出力D、出力Eに振り分けて出
力するセレクタである。なお、セレクタ２４０４による
信号の出力先の選択は後述の通り、信号の色成分によっ
て振り分けられることとする。以上のように構成された
本発明の実施の形態４の固体撮像装置に関し、以下その
動作を説明する。

【０１１０】本発明の実施の形態３で説明したように、
２水平ライン加算手段７０１の出力は１フレーム画像で
あるlong信号である。しかし画像メモリ６に記憶されて
いるshort信号は１フィールド画像であるため、このま
までは信号合成手段２３においてlong信号とshort信号
は合成が行えない。そこで本発明の実施の形態４におい
てはshort信号を補間処理により１フレームの信号に変
換した。

【０１１１】本発明の実施の形態４においては、色信号
は輝度信号と同程度の情報量を持たなくても画質面で問
題がないことを利用して、本発明の実施の形態３とは逆
に、１フレーム画像であるlong信号に対し垂直方向の間
引き処理を施すことでlong信号を１フィールド画像に変
換し、色信号合成手段２４においてshort信号と合成す
る。具体的には図１２(a)に示したような２ライン加算
後のlong信号の偶数ラインを間引き手段２２により間引
くことで、信号合成手段２３に入力されるlong信号を１
フィールド画像に変換する。この間引き後のlong信号は
図１２(b)に示したようなshort信号と同様の形式とな
る。

【０１１２】信号合成手段２３においては入力される１
フィールド画像であるlong信号とshort信号は、本発明
の実施の形態３と同様に、これらの信号と空間的に位置
が一致しているlong輝度信号とshort輝度信号とが合成
される際に使用される合成係数ｋ及び（数７）で求めら
れるDにより画素ごとに合成される。信号合成手段２３
で合成された信号を合成信号と称す。

【０１１３】次に、合成信号は同時化手段２４において
同時化処理がなされるが、本発明の実施の形態３と異な
り、合成信号は１フィールド信号であるため、同時化手
段２４に入力する信号は例えば図３２(b)に示すように
第２ラインから第４ラインの３ライン分でよい。この３
ラインの信号から本発明の実施の形態３と同様にR成分
を持った２R−Gに対応する信号とB成分を持った２B−G
に対応する信号を得ることができる。例えば、第３ライ
ンの位置にR成分を持った２R−Gに対応する信号とB成分
を持った２B−Gに対応する信号を得るには、第２ライン
と第４ラインの信号を加算平均して２B−Gに対応する信
号を合成すればよい。

【０１１４】同時化手段２４で得られた２つの信号はデ
ジタル信号処理手段２５において本発明の実施の形態３
と同様に処理されるが、本発明の実施の形態４では信号
合成手段２３で合成された合成信号は１フィールド信号
であるため、必要があればデジタル信号処理手段２５に
おいてフレーム画像への変換等がなされることは言うま
でもない。

【０１１５】以上のように、本発明の実施の形態４の固
体撮像装置においても、本発明の実施の形態３と同様に
固体撮像素子３の露光及び信号読み出しモードを制御
し、１フィールド分の短時間露光信号と１フレーム分の
長時間露光信号を撮影しこれらを合成することで、固体
撮像素子の画素数並みの解像度を持ちつつダイナミック
レンジが拡大された画像を撮影することができる。さら
に本発明の実施の形態４においては、色信号をフィール
ド信号として処理するため、１ラインメモリの必要個数
等を削減でき、より安価に装置を構成することができ
る。なお本発明の実施の形態１において、short信号は
フィールド読み出しモードで読み出した１フィールド画
像としたがこれに限るものではなく、例えば垂直方向に
水平ライン信号を間引いて読み出す構成も考えられる。
一例としては、図３３に示すように固体撮像素子３から
short信号を読み出す場合に垂直方向に３ライン毎に１
ラインの信号を読み出す構成が考えられる。この場合、
short信号は固体撮像素子上で上下２つのホトダイオー
ドに蓄積された電荷が混合されずに読み出されるため、
long信号に対する２水平ライン加算処理が不要となる。
また、図４に示した補間手段７０２による補間処理にお
いては、short信号の水平ライン数をlong信号に合わせ
るように補間処理を行う必要がある。つまり補間手段７
０２においてはshort信号の各水平ライン信号間に２ラ
イン分の水平ライン信号を補間処理により作成すること
になる。これによりshort信号とlong信号は同一の信号
形式となり図４に示した重み付け加算手段７０３により
合成することが可能となる。この場合、合成係数ｋは上
下２水平ライン加算されていないlong信号の各画素の信
号レベルから例えば図１３に示したような方法で求めれ
ばよい。なお、このようにshort信号を間引いて読み出
す場合はlong信号に対する２水平ライン加算処理が不要
と記したがこれに限るものではなく、long信号、short
信号ともに２水平ライン加算処理を施した後に、合成処
理を行う構成も考えられる。

【０１１６】また、本発明の実施の形態１において、露
光量の異なる２つの信号は１フィールド画像であるshor
t信号と１フレーム画像であるlong信号としたがこれに
限るものではなく、固体撮像装置の用途によっては１フ
ィールド画像であるlong信号と１フレーム画像であるsh
ort信号としてもよい。この場合、図３４に示すようにl
ong信号に対し補間手段７０２により垂直方向の補間処
理を行い、short信号に対しては２水平ライン加算手段
７０１により隣接する上下２ラインの加算を行う構成と
すればよく、重み付け加算手段７０３で使用する合成係
数は補間処理後のlong信号から求めればよい。また、補
間処理前のlong信号から合成係数を求める構成も考えら
れ、この場合、図３４(a)に示したshort信号の偶数ライ
ンの位置には対応するlong信号が存在せず合成係数ｋを
決めることができないため、short信号の偶数ラインの
上下のラインと同じ位置に存在するlong信号の水平ライ
ン信号から求められる合成係数から、short信号の偶数
ラインの位置の合成係数を決定するなどをすればよい。
このように、１フィールド画像であるlong信号と１フレ
ーム画像であるshort信号から合成信号を求めること
で、高輝度部での解像度の高いダイナミックレンジ拡大
画像が撮影可能である。

【０１１７】また、本発明の実施の形態１及び本発明の
実施の形態２において、補間手段７０２は１ラインメモ
リを２個使用し、２水平ライン分の信号から補間処理を
行う構成としたがこれに限るものではなく、例えば更に
多数の１ラインメモリを用いて、更に多数の水平ライン
信号から高次の内挿処理により補間処理を行う構成も考
えられる。また、図３５に示すように入力される１水平
ラインを２回ずつ繰り返し出力することで水平ライン数
を２倍にするいわゆる前値補間を行う構成も考えられ
る。

【０１１８】また、本発明の実施の形態１において、信
号合成手段７では、long信号とshort信号を合成するた
めの合成係数ｋはlong信号の画素毎に求めるものとした
がこれに限るものではなく、例えば複数の画素の信号レ
ベルの平均値もしくは最小値もしくは最大値もしくは中
間値から画素毎の合成係数ｋを求める構成や、画素毎に
求められたｋの値のうち複数個から求めたｋの平均値も
しくは最小値もしくは最大値もしくは中間値を画素毎の
合成係数とする構成も考えられる。

【０１１９】また、本発明の実施の形態１において、信
号合成手段７では、複数の画素からなるブロックに対し
て合成係数を求めて合成を行う構成も考えられる。例え
ば図３６において、long信号(Ye+Mg)L11と(Cy+G)L12、
(Ye+Mg)L13と(Cy+G)L14をそれぞれ１ブロックとし、こ
れと同位置に存在するshort信号(Ye+Mg)S11と(Cy+G)S1
2、(Ye+Mg)S13と(Cy+G)S14をそれぞれ１ブロックとする
と、この２画素単位のブロック毎に合成係数を求め、合
成を行うことも可能であり、このとき例えばlong信号(Y
e+Mg)L11と(Cy+G)L12からなるブロックとshort信号(Ye+
Mg)S11と(Cy+G)S12の合成は、このブロックの合成係数
をkb11とするとそれぞれ（数１８）のように行う。（(Y
e+Mg)M11、(Cy+G)M12は合成後の信号）

【０１２０】

【数１８】

【０１２１】この場合、合成係数kb11はブロックに含ま
れるlong信号（例えば(Ye+Mg)L11と(Cy+G)L12）のいず
れかの信号レベル、もしくはブロックに含まれるlong信
号（例えば(Ye+Mg)L11と(Cy+G)L12）の平均値、最大
値、最小値、中間値の少なくともいずれかから図１３に
示した方法で求まるｋをブロックの合成係数kb11とすれ
ばよい。また、ブロックに含まれるlong信号の各信号レ
ベルから図１３に示した方法で求められる画素毎のｋの
値（例えば図３６中のｋ１、ｋ２）の平均値、最大値、
最小値、中間値のいずれかをブロックの合成係数kb11と
する構成も考えられる。なおブロック内の画素数は２画
素と限らないことはいうまでもない。

【０１２２】また、本発明の実施の形態１において、信
号合成手段７では、複数の画素からなるブロックを設
け、このブロック内の特定の位置、例えばブロックの中
心位置に存在するlong信号レベルから図１３に示した方
法で求まる合成係数をブロック内の各画素の合成処理に
用いる構成も考えられる。この場合、合成係数を画素毎
に求める必要がなく、処理を簡略化できる。なお、合成
係数を求める際に使用する画素の位置はブロックの中心
位置に限る必要はない。また、本発明の実施の形態１に
おいて、信号合成手段７では、合成係数ｋはlong信号で
はなくフレーム画像に変換したshort信号から求める構
成も考えられる。また、フレーム画像に変換したshort
信号ではなく、フィールド画像であるshort信号から合
成係数ｋを求める構成も考えられる。この場合、図１２
からわかるようにlong信号の偶数ラインに対応するshor
t信号は存在しないため、このままでは合成係数を決定
することができない。この場合、long信号の偶数ライン
に対応する位置の合成係数は周辺のshort信号もしくは
周辺の合成係数から求めればよい。

【０１２３】また、本発明の実施の形態１において信号
レベルから合成係数ｋを求める方法の例を図１３に示し
たが、合成係数ｋの決定方法はこれに限るものではな
く、例えば図３７に示すように輝度レベルに応じて非線
形にｋを決定する方法も考えられる。

【０１２４】また、本発明の実施の形態２において、sh
ort信号はフィールド読み出しモードで読み出した１フ
ィールド画像としたがこれに限るものではなく、一例と
しては、図３３にあげたように垂直方向に水平ライン信
号を間引いて読み出す構成も考えられる。この場合、sh
ort信号は固体撮像素子上で上下２つのホトダイオード
に蓄積された電荷が混合されずに読み出されるため、lo
ng信号に対する２水平ライン加算処理が不要となる。ま
た、図４に示した補間手段７０２による補間処理におい
ては、short信号の水平ライン数をlong信号に合わせる
ように補間処理を行う必要がある。つまり補間手段７０
２においてはshort信号の各水平ライン信号間に２ライ
ン分の水平ライン信号を補間処理により作成することに
なる。これによりshort信号とlong信号は同一の信号形
式となり図４に示した重み付け加算手段７０３により合
成することが可能となる。但し、図１５に示した輝度信
号抽出手段７０４０１には上下２水平ライン加算されて
いないlong信号が供給されるため、同手段に輝度信号抽
出のための２水平ライン加算処理を新たに追加する必要
がある。あるいは輝度信号抽出手段７０４０１の前段に
２水平ライン加算手段７０１と同様の手段を設け、輝度
信号抽出手段７０４０１には２水平ラインが加算された
信号が供給されるようにする必要がある。なお、このよ
うにshort信号を間引いて読み出す場合はlong信号に対
する２水平ライン加算処理が不要と記したがこれに限る
ものではなく、long信号、short信号ともに２水平ライ
ン加算処理を施した後に、合成処理を行う構成も考えら
れる。

【０１２５】また、本発明の実施の形態２において、露
光量の異なる２つの信号は１フィールド画像であるshor
t信号と１フレーム画像であるlong信号としたがこれに
限るものではなく、固体撮像装置の用途によっては１フ
ィールド画像であるlong信号と１フレーム画像であるsh
ort信号としてもよい。この場合、図３４に示すようにl
ong信号に対し補間手段７０２により垂直方向の補間処
理を行い、short信号に対しては２水平ライン加算手段
７０１により隣接する上下２ラインの加算を行う構成と
すればよく、重み付け加算手段７０３で使用する合成係
数は補間処理後のlong信号から抽出された輝度信号から
求めればよい。また、補間処理前のlong信号から抽出さ
れた輝度信号から合成係数を求める構成も考えられ、こ
の場合、図３４(a)に示したshort信号の偶数ラインの位
置には対応するlong信号が存在せず合成係数ｋを決める
ことができないため、short信号の偶数ラインの上下の
ラインと同じ位置に存在するlong信号の水平ライン信号
から抽出された輝度信号より求められる合成係数から、
short信号の偶数ラインの位置の合成係数を決定するな
どをすればよい。このように、１フィールド画像である
long信号と１フレーム画像であるshort信号から合成信
号を求めることで、高輝度部での解像度の高いダイナミ
ックレンジ拡大画像が撮影可能である。

【０１２６】また、本発明の実施の形態２において、信
号合成手段７では、long信号とshort信号を合成するた
めの合成係数ｋはlong輝度信号の画素毎に求めるものと
したがこれに限るものではなく、例えば複数の画素の輝
度信号レベルの平均値もしくは最小値もしくは最大値も
しくは中間値から画素毎の合成係数ｋを求める構成や、
画素毎に求められたｋの値のうち複数個から求めたｋの
平均値もしくは最小値もしくは最大値もしくは中間値を
画素毎の合成係数とする構成も考えられる。

【０１２７】また、本発明の実施の形態２において、信
号合成手段７では、複数の画素からなるブロックに対し
て合成係数を求めて合成を行う構成も考えられる。例え
ば図３８において、long信号(Ye+Mg)L11と(Cy+G)L12、
(Ye+Mg)L13と(Cy+G)L14をそれぞれ１ブロックとし、こ
れと同位置に存在するshort信号(Ye+Mg)S11と(Cy+G)S1
2、(Ye+Mg)S13と(Cy+G)S14をそれぞれ１ブロックとする
と、この２画素単位のブロック毎に合成係数を求め、合
成を行うことも可能であり、このとき例えばlong信号(Y
e+Mg)L11と(Cy+G)L12からなるブロックとshort信号(Ye+
Mg)S11と(Cy+G)S12の合成は、このブロックの合成係数
をkb11とするとそれぞれ（数１８）のように行う。この
場合、合成係数kb11はブロックに対応するlong輝度信号
（例えば図３８中のYL11とYL12）のいずれかの信号レベ
ル、もしくはブロックに対応するlong輝度信号の平均
値、最大値、最小値、中間値の少なくともいずれかから
図１８に示した方法で求まるｋをブロックの合成係数kb
11とすればよい。また、ブロックに対応するlong輝度信
号の各信号レベルから図１８に示した方法で求められる
画素毎のｋの値（例えば図３８中のｋ１、ｋ２）の平均
値、最大値、最小値、中間値のいずれかをブロックの合
成係数kb11とする構成も考えられる。なおブロック内の
画素数は２画素と限らないことはいうまでもない。

【０１２８】また、本発明の実施の形態２において、信
号合成手段７では、複数の画素からなるブロックを設
け、このブロック内の特定の位置、例えばブロックの中
心位置に対応するlong輝度信号レベルから図１８に示し
た方法で求まる合成係数をブロック内の各画素の合成処
理に用いる構成も考えられる。この場合、合成係数を画
素毎に求める必要がなく、処理を簡略化できる。なお、
合成係数を求める際に使用する画素の位置はブロックの
中心位置に限る必要はない。また、本発明の実施の形態
２において、信号合成手段７では、合成係数ｋはlong輝
度信号ではなくフレーム画像に変換したshort信号から
抽出される輝度信号（short輝度信号）から求める構成
も考えられる。また、フレーム画像に変換したshort信
号から抽出される輝度信号ではなく、フィールド画像で
あるshort信号から抽出される輝度信号から合成係数ｋ
を求める構成も考えられる。この場合、図１２からわか
るようにlong信号の偶数ラインに対応するshort信号は
存在しないため、このままでは合成係数を決定すること
ができない。この場合、long信号の偶数ラインに対応す
る位置の合成係数は周辺のshort輝度信号もしくは周辺
の合成係数から求めればよい。

【０１２９】また、本発明の実施の形態２において信号
レベルから合成係数ｋを求める方法の例を図１８に示し
たが、合成係数ｋの決定方法はこれに限るものではな
く、例えば図３９に示すように輝度レベルに応じて非線
形にｋを決定する方法も考えられる。また、本発明の実
施の形態３において、short信号はフィールド読み出し
モードで読み出した１フィールド画像としたがこれに限
るものではなく、一例としては、図３３にあげたように
垂直方向に水平ライン信号を間引いて読み出す構成も考
えられる。この場合、short信号は固体撮像素子上で上
下２つのホトダイオードに蓄積された電荷が混合されず
に読み出されるため、例えば図４０に示すような構成と
すればよい。図４０に示した構成ではshort信号の上下
２画素混合を２水平ライン加算手段２７（２水平ライン
加算手段７０１と同様の手段であるが、区別するために
付番を２７とする）において行うため、結果的には図２
０に示した構成と同様の機能、効果を実現できる。但
し、輝度信号補間手段１２においてはshort信号の間引
かれ方に応じて、補間処理の内容が変わることは言うま
でもない。例えばshort信号が図３０に示したように間
引かれた信号の場合、例えば図４１に示すようにshort
輝度信号（図４１(c)）の各水平ライン間に２ラインづ
つの補間水平ライン信号を内挿により作成すればよい。
また補間手段７０２においても同様にshort信号の間引
かれ方に応じて、必要な水平ライン信号を作成すればよ
いことは言うまでもない。なお、図３３にあげたように
垂直方向に水平ライン信号を間引いて読み出す構成の場
合、図４０に２水平ライン加算手段７０１及び２７の２
つの２水平ライン加算手段を持つ構成を示したがこれに
限るものではなく、２水平ライン加算手段７０１及び２
７を持たない構成も考えられる。この場合、輝度信号抽
出手段７０４０１に２水平ライン加算手段７０１及び２
７と同様の効果を有する手段を包含させることでlong信
号とshort信号からの輝度抽出が可能である。またこの
ような２水平ライン加算手段７０１、２７を有さない構
成は、固体撮像素子３上に形成された色フィルターが例
えばレッド（R）、グリーン（G）、ブルー（B）の原色
からなり、一般に固体撮像素子３のホトダイオード上の
電荷を混合せずに輝度信号と色信号を得る撮像方式にお
いても有効である。また、本発明の実施の形態３及び本
発明の実施の形態４において、露光量の異なる２つの信
号は１フィールド画像であるshort信号と１フレーム画
像であるlong信号としたがこれに限るものではなく、固
体撮像装置の用途によっては１フィールド画像であるlo
ng信号と１フレーム画像であるshort信号としてもよ
い。この場合、long信号から得られるlong輝度信号に対
し輝度信号補間手段１２により垂直方向の補間処理を行
い、補間処理後のlong輝度とshort輝度信号を輝度信号
合成手段１３において合成すればよく、その際に使用す
る合成係数は補間処理後のlong輝度信号から求めればよ
い。また、本発明の実施の形態１及び本発明の実施の形
態２と同様に補間処理前のlong輝度信号から抽出された
輝度信号から合成係数を求める構成も考えられる。この
ように、１フィールド画像であるlong信号と１フレーム
画像であるshort信号から合成信号を求めることで、高
輝度部での解像度の高いダイナミックレンジ拡大画像が
撮影可能である。また、本発明の実施の形態３におい
て、補間手段７０２は１ラインメモリを２個使用し、２
水平ライン分の信号から補間処理を行う構成としたがこ
れに限るものではなく、例えば更に多数の１ラインメモ
リを用いて、更に多数の水平ライン信号から高次の内挿
処理により補間処理を行う構成も考えられる。また、入
力される１水平ラインを２回ずつ繰り返し出力すること
で水平ライン数を２倍にするいわゆる前値補間を行う構
成も考えられる。

【０１３０】また、本発明の実施の形態３及び本発明の
実施の形態４において、輝度信号補間手段１２は２水平
ライン信号の加算平均値を補間信号としたがこれに限る
ものではなく、例えば更に多数の水平ライン信号から高
次の内挿処理により補間処理を行う構成や、前値補間に
より補間信号を得る構成も考えられる。

【０１３１】また、本発明の実施の形態３及び本発明の
実施の形態４において、輝度信号合成手段１３において
long輝度信号とshort輝度信号を合成するための合成係
数ｋはlong輝度信号の画素毎に求めるものとしたがこれ
に限るものではなく、例えば、複数の画素のlong輝度信
号レベルの平均値もしくは最小値もしくは最大値もしく
は中間値から画素毎の合成係数ｋを求める構成や、画素
毎に求められたｋの値のうち複数個のｋの値の平均値も
しくは最小値もしくは最大値もしくは中間値を画素毎の
合成係数とする構成も考えられる。

【０１３２】また、本発明の実施の形態３及び本発明の
実施の形態４において、輝度信号合成手段１３では、複
数の画素からなるブロックに対して合成係数を求めて合
成を行う構成も考えられる。例えば図４３において、lo
ng輝度信号YL11とYL12、YL13とYL14をそれぞれ１ブロッ
クとし、これと同位置に存在するshort輝度信号YS11とY
S12、YS13とYS14をそれぞれ１ブロックとすると、この
２画素単位のブロック毎に合成係数を求め、合成を行う
ことも可能であり、このとき例えばlong輝度信号YL11と
YL12からなるブロックとshort輝度信号YS11とYS12の合
成は、このブロックの合成係数をkb11とするとそれぞれ
（数１９）のように行う。（YMは合成後の輝度信号）。

【０１３３】

【数１９】

【０１３４】この場合、合成係数kb11はブロックに対応
するlong輝度信号（例えば図４３中のY11とY12）のいず
れかの信号レベル、もしくはブロックに対応するlong輝
度信号の平均値、最大値、最小値、中間値の少なくとも
いずれかから図１８に示した方法で求まるｋをブロック
の合成係数kb11とすればよい。また、ブロックに対応す
るlong輝度信号の各信号レベルから図１８に示した方法
で求められる画素毎のｋの値（例えば図４３中のｋ１、
ｋ２）の平均値、最大値、最小値、中間値のいずれかを
ブロックの合成係数kb11とする構成も考えられる。なお
ブロック内の画素数は２画素と限らないことはいうまで
もない。

【０１３５】また、本発明の実施の形態３及び本発明の
実施の形態４において、輝度信号合成手段１３では、複
数の画素からなるブロックを設け、このブロック内の特
定の位置、例えばブロックの中心位置に対応するlong輝
度信号レベルから図１８に示した方法で求まる合成係数
をブロック内の各画素の合成処理に用いる構成も考えら
れる。この場合、合成係数を画素毎に求める必要がな
く、処理を簡略化できる。なお、合成係数を求める際に
使用する画素の位置はブロックの中心位置に限る必要は
ない。

【０１３６】また、本発明の実施の形態３及び本発明の
実施の形態４において、信号合成手段１４及び２３で
は、long信号とshort信号を合成するための合成係数ｋ
はlong輝度信号から合成係数発生手段１３０１により画
素毎に求められた値を用いるものとしたがこれに限るも
のではなく、例えば図４２に示すように信号合成手段１
４及び２３の内部に合成係数発生手段１４０４を独自に
備え、複数の画素のlong輝度信号レベルの平均値もしく
は最小値もしくは最大値もしくは中間値から画素毎の合
成係数ｋを求める構成や、画素毎に求められたｋの値の
うち複数個から求めたｋの平均値もしくは最小値もしく
は最大値もしくは中間値を画素毎の合成係数とする構成
も考えられる。なおここで、合成係数発生手段１４０４
の機能は合成係数発生手段１３０１と同様である。

【０１３７】また、本発明の実施の形態３及び本発明の
実施の形態４において、信号合成手段１４及び２３で
は、複数の画素からなるブロックに対して合成係数を求
めて合成を行う構成も考えられる。例えば図３８におい
て、long信号(Ye+Mg)L11と(Cy+G)L12、(Ye+Mg)L13と(Cy
+G)L14をそれぞれ１ブロックとし、これと同位置に存在
するshort信号(Ye+Mg)S11と(Cy+G)S12、(Ye+Mg)S13と(C
y+G)S14をそれぞれ１ブロックとすると、この２画素単
位のブロック毎に合成係数を求め、合成を行うことも可
能であり、このとき例えばlong信号(Ye+Mg)L11と(Cy+G)
L12からなるブロックとshort信号(Ye+Mg)S11と(Cy+G)S1
2の合成は、このブロックの合成係数をkb11とすると
（数１８）のように行う。この場合、合成係数kb11は各
ブロックと空間的に同じ位置に存在するlong輝度信号
（例えば図３８中のYL11とYL12）のいずれかの信号レベ
ル、もしくはブロックと空間的に同じ位置に存在するlo
ng輝度信号の平均値、最大値、最小値、中間値の少なく
ともいずれかから図１８に示した方法で求まるｋをブロ
ックの合成係数kb11とすればよい。また、ブロックと空
間的に同じ位置に存在するlong輝度信号の各信号レベル
から図１８に示した方法で求められる画素毎のｋの値
（例えば図３８中のｋ１、ｋ２）の平均値、最大値、最
小値、中間値のいずれかをブロックの合成係数kb11とす
る構成も考えられる。なおブロック内の画素数は２画素
と限らないことはいうまでもない。

【０１３８】また、本発明の実施の形態３及び本発明の
実施の形態４において、信号合成手段１４及び２３で
は、複数の画素からなるブロックを設け、このブロック
内の特定の位置、例えばブロックの中心位置と空間的に
同じ位置に存在するlong輝度信号レベルから図１８に示
した方法で求まる合成係数をブロック内の各画素の合成
処理に用いる構成も考えられる。この場合、合成係数を
画素毎に求める必要がなく、処理を簡略化できる。な
お、合成係数を求める際に使用する画素の位置はブロッ
クの中心位置に限る必要はない。

【０１３９】また、本発明の実施の形態３及び本発明の
実施の形態４において、信号合成手段１４及び２３で使
用する合成係数ｋは上記方法でlong輝度信号から得られ
た値に一定の係数を乗算、もしくは一定の係数を加減算
した値とする構成も考えられる。

【０１４０】また、本発明の実施の形態３及び本発明の
実施の形態４において、輝度信号合成手段１３、信号合
成手段１４及び２３では、合成係数ｋはlong輝度信号で
はなくフレーム画像に変換したshort信号から抽出され
る輝度信号（short輝度信号）から求める構成も考えら
れる。また、フレーム画像に変換したshort信号から抽
出される輝度信号ではなく、フィールド画像であるshor
t信号から抽出される輝度信号から合成係数ｋを求める
構成も考えられる。この場合、図１２からわかるように
long信号の偶数ラインに対応するshort信号は存在しな
いため、このままでは合成係数を決定することができな
い。この場合、long信号の偶数ラインに対応する位置の
合成係数は周辺のshort輝度信号もしくは周辺の合成係
数をそのまま用いるか、もしくは周辺の合成係数の平均
値もしくは最大値もしくは最小値もしくは中間値から求
めれる方法等が考えられる。その他、周辺の合成係数と
その位置関係から補間処理により求める方法も考えられ
る。

【０１４１】また、本発明の実施の形態３及び本発明の
実施の形態４において輝度信号レベルから合成係数ｋを
求める方法の例を図１８に示したが、合成係数ｋの決定
方法はこれに限るものではなく、例えば図３９に示すよ
うに輝度レベルに応じて非線形にｋを決定する方法も考
えられる。また、本発明の実施の形態４において、shor
t信号はフィールド読み出しモードで読み出した１フィ
ールド画像としたがこれに限るものではなく、一例とし
ては、図３３にあげたように垂直方向に水平ライン信号
を間引いて読み出す構成も考えられる。この場合、shor
t信号は固体撮像素子上で上下２つのホトダイオードに
蓄積された電荷が混合されずに読み出されるため、例え
ば図４０と同様に２水平ライン加算手段によりshort信
号の上下２画素混合を行うようにすれば、結果的には図
３０に示した構成と同様の機能、効果を実現できる。但
し、本発明の実施の形態３と同様に輝度信号補間手段１
２においてはshort信号の間引かれ方に応じて、補間処
理の内容が変わることは言うまでもない。また間引き手
段２２においても同様にshort信号の間引かれ方に応じ
て、long信号がshort信号と同じ信号形式になるように
間引きを行えばよいことは言うまでもない。

【０１４２】また、本発明の実施の形態４においては間
引き手段２２によりlong信号の垂直方向の間引き処理を
行う構成を説明したが、図４４に示すように画像信号か
ら水平方向に画素を間引く機能を持つ水平方向間引き手
段２７を設け、これにより２水平ライン加算手段７０１
を経たlong信号とshort信号の両者の水平方向の画素を
例えば１/２に間引くような構成も考えられる。この場
合、上記のように水平方向の画素を１/２に間引けば、
同時化処理のための１ラインメモリ１５、１６をその半
分の容量の０．５ラインメモリ２８、２９に置き換える
ことが可能である。このように水平方向にも画素を間引
くことで本発明の固体撮像装置の構成を更に簡略化し安
価にすることが可能である。その場合、水平方向の間引
き処理を行う前にlong信号及びshort信号の水平方向の
帯域制限を行っておけば、間引き処理により不要な折り
返しが発生しない。同様に垂直方向にも帯域制限を施せ
ば、垂直方向の間引き処理に際しても不要な折り返しを
回避可能であることは言うまでもない。

【０１４３】また上記すべての本発明の実施の形態にお
いて、long信号とshort信号は一旦画像メモリ６に記憶
することとしたがこれに限るものではなく、例えばlong
信号もしくはshort信号のいづれか一方のみ画像メモリ
６に記憶させ、残りの片方の信号の固体撮像素子３から
の読み出しと画像メモリ６からの信号読み出しを同期さ
せて合成の処理を行う方法も考えられる。この場合、画
像メモリ６の容量を削減でき、更に安価に固体撮像装置
を構成可能である。

【０１４４】また上記すべての本発明の実施の形態にお
いて、固体撮像素子３上に形成されるカラーフィルター
配列は図３に示すようなマゼンタ、グリーン、イエロ
ー、シアンの４色からなる補色市松タイプを用いて説明
したがこれに限るものではなく、一例をあげるならば、
図４５に示すようなマゼンタ(Mg)とグリーン(G)がライ
ン毎に位置反転しない配置や、図４６に示すようなグリ
ーン（G）とシアン（Cy）、イエロー（Ye）の２つの補
色フィルタをストライプ状に配置する構成も考えられ
る。

【０１４５】また上記すべての本発明の実施の形態にお
いて、固体撮像素子３上に形成されるカラーフィルター
配列は図３に示すようなマゼンタ、グリーン、イエロ
ー、シアンの４色からなる構成を用いて説明したがこれ
に限るものではなく、グリーン（G）、ブルー（B）、レ
ッド（R）からなる原色フィルタを用いた構成も考えら
れ、そのフィルター配置として一例をあげるならば、図
４７に示したベイヤー方式、図４８に示したインタライ
ン方式、図４９に示したGストライプRB完全市松方式、
図５０に示したストライプ方式、図５１に示した斜めス
トライプ方式、図５２に示したGストライプRB線順次方
式、図５３に示したGストライプRB点順次方式等が考え
られる。このように原色フィルタを用いた場合に輝度信
号は（数２０）に従い求められることは言うまでもな
い。

【０１４６】

【数２０】

【０１４７】また上記すべての本発明の実施の形態にお
いて、固体撮像素子３上に形成されるカラーフィルター
配列を図３に示すようなマゼンタ、グリーン、イエロ
ー、シアンの４色からなる補色市松タイプとし、更にsh
ort信号の読み出しをフィールド読み出しとして説明し
たため、long信号とshort信号の信号形式をあわせるた
めに、２水平ライン加算手段７０１によるlong信号の上
下２水平ライン加算処理を含む構成を示したがこれに限
るものではなく、上記図４５〜図５３に示したような他
のフィルター配置を採用した場合や、フィールド読み出
しではなく、図３３に示したような間引き読み出しを行
う場合には、２水平ライン加算処理が必ずしも必要では
ないことは言うまでもない。

【０１４８】また上記すべての本発明の実施の形態にお
いて、合成係数を求める際の閾値Th#max、Th#min、Th#m
ax’、Th#min’をそれぞれ（数２１）のように設定し、
長時間露光信号と短時間露光信号を重み付け加算ではな
く、ある信号レベルを境に切り替える構成も考えられ
る。

【０１４９】

【数２１】

【０１５０】

【発明の効果】以上のように本発明によれば、固体撮像
素子の露光及び信号読み出しモードを制御し、１フィー
ルド分の短時間露光信号と１フレーム分の長時間露光信
号を撮影しこれらを合成することで、固体撮像素子の画
素数並みの解像度を持ちながらもダイナミックレンジが
拡大された画像を撮影することができる。さらに本固体
撮像装置で使用する固体撮像素子には、民生用固体撮像
装置で一般に用いられているＩＴ−ＣＣＤが使用可能で
あるため、複数の固体撮像素子や特殊な固体撮像素子を
使用する必要がなく、安価に装置を構成することができ
る。

【図面の簡単な説明】

【図１】本発明の実施の形態１による固体撮像装置を示
すブロック図

【図２】本発明の実施の形態１における固体撮像素子３
からの信号読み出しモードの説明図

【図３】本発明の実施の形態１における固体撮像素子３
上に形成される色フィルタ配置の例を示す図

【図４】本発明の実施の形態１における信号合成手段７
の構成を示すブロック図

【図５】本発明の実施の形態１における２水平ライン加
算手段７０１の構成を示すブロック図

【図６】本発明の実施の形態１における補間手段７０２
の構成を示すブロック図

【図７】本発明の実施の形態１における重み付け加算手
段７０３の構成を示すブロック図

【図８】本発明の実施の形態１におけるダイナミックレ
ンジ拡大の原理を説明する説明図

【図９】本発明の実施の形態１におけるlong信号、shor
t信号の露光及び読み出しタイミングを説明するための
説明図

【図１０】本発明の実施の形態１におけるshort信号を
説明するための説明図

【図１１】本発明の実施の形態１におけるlong信号を説
明するための説明図

【図１２】本発明の実施の形態１における２水平ライン
加算処理と補間処理を説明するための説明図

【図１３】本発明の実施の形態１における合成係数決定
方法を説明するためのグラフ

【図１４】本発明の実施の形態１における信号合成処理
の方法を説明するための説明図

【図１５】本発明の実施の形態２における重み付け加算
手段７０４の構成を示すブロック図

【図１６】本発明の実施の形態２における輝度信号抽出
手段７０４０１の構成を示すブロック図

【図１７】本発明の実施の形態２におけるlong輝度信号
の作成方法を説明するための説明図

【図１８】本発明の実施の形態２における合成係数決定
方法を説明するためのグラフ

【図１９】本発明の実施の形態２における信号合成処理
の方法を説明するための説明図

【図２０】ｃ固体撮像装置を示すブロック図

【図２１】本発明の実施の形態３における輝度信号補間
手段１２の構成を示すブロック図

【図２２】本発明の実施の形態３における輝度信号合成
手段１３の構成を示すブロック図

【図２３】本発明の実施の形態３における信号合成手段
１４の構成を示すブロック図

【図２４】本発明の実施の形態３における同時化手段１
９の構成を示すブロック図

【図２５】本発明の実施の形態３におけるlong輝度信号
を説明するための説明図

【図２６】本発明の実施の形態３におけるshort輝度信
号を説明するための説明図

【図２７】本発明の実施の形態３における輝度信号の補
間処理を説明するための説明図

【図２８】本発明の実施の形態３における輝度信号の合
成方法を説明するための説明図

【図２９】本発明の実施の形態３における同時化手段１
９による同時化処理を説明するための説明図

【図３０】本発明の実施の形態４における固体撮像装置
を示すブロック図

【図３１】本発明の実施の形態４における同時化手段２
４の構成を示すブロック図

【図３２】本発明の実施の形態３における同時化手段２
４による同時化処理を説明するための説明図

【図３３】固体撮像素子３からの画像信号読み出し方法
の別の例を示す説明図

【図３４】本発明の実施の形態１においてlong信号をフ
ィールド画、short信号をフレーム画とした場合の２水
平ライン加算処理と補間処理を説明するための説明図

【図３５】前値補間処理を説明するための説明図

【図３６】本発明の実施の形態１におけるlong信号とsh
ort信号の合成方法の別の例を示す説明図

【図３７】本発明の実施の形態１におけるlong信号レベ
ルから合成係数を決定する方法の別の例を示すグラフ

【図３８】本発明の実施の形態２におけるlong信号とsh
ort信号の合成方法の別の例を示す説明図

【図３９】本発明の実施の形態２におけるlong輝度信号
レベルから合成係数を決定する方法の別の例を示すグラ
フ

【図４０】本発明の実施の形態３においてshort信号の
読み出し方法を変えた場合の固体撮像装置のブロック図

【図４１】本発明の実施の形態３においてshort信号の
読み出し方法を変えた場合の輝度信号補間処理の内容を
説明するための説明図

【図４２】本発明の実施の形態３において信号合成手段
１４の別の構成を示すブロック図

【図４３】本発明の実施の形態３及び本発明の実施の形
態４におけるlong輝度信号とshort輝度信号の合成方法
の別の例を示す説明図

【図４４】本発明の実施の形態４における固体撮像装置
の別の例を示すブロック図

【図４５】固体撮像素子３上に形成される色フィルタ配
置の別の例を示す図

【図４６】固体撮像素子３上に形成される色フィルタ配
置（CyYeGストライプ方式）の別の例を示す図

【図４７】固体撮像素子３上に形成される色フィルタ配
置（ベイヤー方式）の別の例を示す図

【図４８】固体撮像素子３上に形成される色フィルタ配
置（インタライン方式）の別の例を示す図

【図４９】固体撮像素子３上に形成される色フィルタ配
置（GストライプRB完全市松方式）の別の例を示す図

【図５０】固体撮像素子３上に形成される色フィルタ配
置（ストライプ方式）の別の例を示す図

【図５１】固体撮像素子３上に形成される色フィルタ配
置（斜めストライプ方式）の別の例を示す図

【図５２】固体撮像素子３上に形成される色フィルタ配
置（GストライプRB線順次方式）の別の例を示す図

【図５３】固体撮像素子３上に形成される色フィルタ配
置（GストライプRB点順次方式）の別の例を示す図

【符号の説明】

１光学レンズ２機械シャッター３固体撮像素子４アナログ信号処理手段５Ａ／Ｄ変換手段６画像メモリ７信号合成手段８デジタル信号処理手段９シャッター駆動制御手段１０固体撮像素子駆動制御手段１１システム制御手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者塘知章大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者中山正明大阪府門真市大字門真1006番地松下電器産業株式会社内Ｆターム(参考） 5C022 AA13 AB17 AB20 AC42 AC52 AC56 AC69 5C065 AA03 BB48 CC01 CC08 CC09 DD07 DD17 EE05 EE07 GG13 GG15 GG21 GG30

Claims

【特許請求の範囲】

【請求項１】露光量の異なる複数の画像信号を出力する
固体撮像素子と、前記固体撮像素子から出力される画像
信号を合成する信号合成手段と、を有し、前記固体撮像
素子から出力される画像信号のうち少なくとも１つは、
他の画像信号に比べ画素数の少ない画像信号であること
を特徴とする固体撮像装置。
【請求項２】画素数の少ない画像信号とは、垂直方向に
画素を間引かれた画像信号であることを特徴とする請求
項１記載の固体撮像装置。
【請求項３】行列状に配置された複数個のホトダイオー
ドと、前記ホトダイオード上に蓄積された電荷を外部に
出力するための転送手段を有する固体撮像素子と、前記
ホトダイオードに入射する光を遮光する遮光手段と、前
記固体撮像素子から出力される画像信号を合成する信号
合成手段と、を有し、前記固体撮像素子は、第１露光と
して前記ホトダイオード上に蓄積された電荷を第１の読
み出し制御パルスの印加後に前記転送手段を介して出力
し、更に、前記第１の読み出し制御パルス印加後、前記
遮光手段による露光終了をもって完了する第２露光にお
いて前記ホトダイオード上に蓄積された電荷を第２の読
み出し制御パルスの印加後に前記転送手段を介して出力
し、前記画像信号合成手段は、前記第１露光及び前記第
２露光により撮影された画像信号を合成することを特徴
とする固体撮像装置。
【請求項４】行列状に配置された複数個のホトダイオー
ドと、前記ホトダイオード上に蓄積された電荷を外部に
出力するための転送手段を有する固体撮像素子と、前記
ホトダイオードに入射する光を遮光する遮光手段と、前
記固体撮像素子から出力される画像信号を合成する信号
合成手段と、を有し、前記固体撮像素子は、第１露光と
して前記ホトダイオード上に蓄積された電荷の一部のみ
を第１の読み出し制御パルスの印加後に前記転送手段を
介して出力し、更に、前記第１の読み出し制御パルス印
加後、前記遮光手段による露光終了をもって完了する第
２露光において前記ホトダイオード上に蓄積された電荷
を第２の読み出し制御パルスの印加後に前記転送手段を
介して出力し、前記画像信号合成手段は、前記第１露光
及び前記第２露光により撮影された画像信号を合成する
ことを特徴とする固体撮像装置。
【請求項５】行列状に配置された複数個のホトダイオー
ドと、前記ホトダイオード上に蓄積された電荷を外部に
出力するための転送手段を有する固体撮像素子と、前記
ホトダイオードに入射する光を遮光する遮光手段と、前
記固体撮像素子から出力される画像信号を合成する信号
合成手段と、を有し、前記固体撮像素子は、第１露光と
して前記ホトダイオード上に蓄積された電荷を第１の読
み出し制御パルスの印加後にフィールド読み出しにより
前記転送手段を介して出力し、更に、前記第１の読み出
し制御パルス印加後、前記遮光手段による露光終了をも
って完了する第２露光において前記ホトダイオード上に
蓄積された電荷を第２の読み出し制御パルスの印加後に
前記転送手段を介して出力し、前記画像信号合成手段
は、前記第１露光及び前記第２露光により撮影された画
像信号を合成することを特徴とする固体撮像装置。
【請求項６】第１露光の露光時間は電子シャッターによ
り制御することを特徴とする請求項３から請求項５のい
ずれかに記載の固体撮像装置。
【請求項７】第２の読み出し制御パルスの印加後、第２
露光においてホトダイオードに蓄積された電荷はフレー
ム読み出しにより出力されることを特徴とする請求項３
から請求項６のいずれかに記載の固体撮像装置。
【請求項８】第１の読み出し制御パルスの印加後に読み
出される画像は、第２の読み出し制御パルス印加後に読
み出される画像に比べ、画素数の少ない画像であること
を特徴とする請求項３から請求項７のいずれかに記載の
固体撮像装置。
【請求項９】機械的な遮光手段は光学絞りを兼用するこ
とを特徴とする請求項３から請求項８のいずれかに記載
の固体撮像装置。
【請求項１０】露光量と画素数の異なる２つの画像信号
を出力する固体撮像素子と、前記画素数の異なる２つの
画像信号のうち、画素数の少ない画像信号を、補間処理
により画素数の多い画像信号と同じ信号形式に変換する
補間手段と、前記画素数の少ない画像信号、もしくは前
記補間手段により画素数の多い画像信号と同じ信号形式
に変換された画像信号、もしくは前記画素数の多い画像
信号の少なくとも１つを合成制御信号とし、この合成制
御信号に応じて、前記補間手段により画素数の多い画像
信号と同じ信号形式に変換された画像信号と前記画素数
の多い画像信号とを合成する信号合成手段と、を有する
ことを特徴とする固体撮像装置。
【請求項１１】露光量と画素数の異なる２つの画像信号
を出力する固体撮像素子と、前記画素数の異なる２つの
画像信号のうち、画素数の少ない画像信号もしくは前記
画素の多い画像信号からその輝度信号を抽出する輝度信
号抽出手段と、前記画素の少ない画像信号を、補間処理
により画素数の多い画像信号と同じ信号形式に変換する
補間手段と、前記画素数の少ない画像信号から抽出した
輝度信号もしくは前記画素数の多い画像信号から抽出し
た輝度信号の少なくとも１つを合成制御信号とし、この
合成制御信号に応じて、前記補間手段により画素数の多
い画像信号と同じ信号形式に変換された画像信号と前記
画素数の多い画像信号とを合成する信号合成手段と、を
有することを特徴とする固体撮像装置。
【請求項１２】信号合成手段は、合成制御信号の信号レ
ベルに応じてある係数ｋを発生する係数発生手段と、前
記係数発生手段により発生された係数ｋに応じて、補間
手段により画素数の多い画像信号と同じ信号形式に変換
された画像信号と画素数の多い画像信号を重み付け加算
する合成手段と、を有することを特徴とする請求項１０
または請求項１１に記載の固体撮像装置。
【請求項１３】露光量と画素数の異なる２つの画像信号
を出力する固体撮像素子と、前記画素数の異なる２つの
画像信号のうち、画素数の少ない画像信号と前記画素の
多い画像信号からその輝度信号を抽出する輝度信号抽出
手段と、前記画素数の少ない画像信号から抽出された輝
度信号を、補間処理により画素数の多い画像信号から得
られる輝度信号と同じ信号形式に変換する第１の補間手
段と、前記画素が少ない画像信号から抽出された輝度信
号、もしくは前記第１の補間手段により画素数の多い画
像信号から得られる輝度信号と同じ信号形式に変換され
た輝度信号、もしくは前記画素数の多い画像信号から抽
出された輝度信号の少なくとも１つを合成制御信号と
し、この合成制御信号に応じて、前記第１の補間手段に
より画素数の多い画像信号から得られる輝度信号と同じ
信号形式に変換された輝度信号と前記画素数の多い画像
信号から抽出された輝度信号とを合成する輝度信号合成
手段と、前記画素数の少ない画像信号を、補間処理によ
り画素数が多い画像信号と同じ信号形式に変換する第２
の補間手段と、前記第２の補間手段により画素数が多い
画像信号と同じ信号形式に変換された画像信号と前記画
素数の多い画像信号を、前記合成制御信号に応じて合成
する信号合成手段と、を有することを特徴とする固体撮
像装置。
【請求項１４】輝度信号合成手段は、合成制御信号の信
号レベルに応じてある係数ｋを発生する第１の係数発生
手段と、前記第１の係数発生手段により発生された係数
ｋに応じて、第１の補間手段により画素数の多い画像信
号から得られる輝度信号と同じ信号形式に変換された輝
度信号と画素の多い画像信号から抽出された輝度信号を
重み付け加算する第１の合成手段と、を有することを特
徴とする請求項１３に記載の固体撮像装置。
【請求項１５】信号合成手段は、第１の係数発生手段に
より発生された係数ｋのうち少なくとも１つの係数ｋに
応じて、第２の補間手段により画素数の多い画像信号と
同じ信号形式に変換された画像信号と画素数の多い画像
信号を重み付け加算する第２の合成手段を有することを
特徴とする請求項１３または請求項１４に記載の固体撮
像装置。
【請求項１６】信号合成手段は、第１の係数発生手段に
より発生された係数ｋのうち、複数個の係数ｋの平均
値、最大値、最小値、中間値の少なくともいずれか１つ
に応じて、第２の補間手段により画素数の多い画像信号
と同じ信号形式に変換された画像信号と画素数の多い画
像信号を重み付け加算する第２の合成手段を有すること
を特徴とする請求項１３または請求項１４に記載の固体
撮像装置。
【請求項１７】信号合成手段は、合成制御信号の信号レ
ベルに応じてある係数ｋを発生する第２の係数発生手段
と、前記第２の係数発生手段により発生された係数ｋに
応じて、第２の補間手段により画素数の多い画像信号と
同じ信号形式に変換された画像信号と画素数の多い画像
信号を重み付け加算する第２の合成手段を有することを
特徴とする請求項１３または請求項１４に記載の固体撮
像装置。
【請求項１８】露光量と画素数の異なる２つの画像信号
を出力する固体撮像素子と、前記画素数の異なる２つの
画像信号のうち、前記画素の少ない画像信号と前記画素
の多い画像信号からその輝度信号を抽出する輝度信号抽
出手段と、前記画素数の少ない画像信号から抽出された
輝度信号を、補間処理により画素数の多い画像信号から
得られる輝度信号と同じ信号形式に変換する補間手段
と、前記画素の少ない画像信号から抽出された輝度信
号、もしくは前記補間手段により画素の多い画像信号か
ら得られる輝度信号と同じ信号形式に変換された輝度信
号、もしくは前記画素数の多い画像信号から抽出された
輝度信号の少なくとも１つを合成制御信号とし、この合
成制御信号に応じて、前記補間手段により画素数の多い
画像信号から得られる輝度信号と同じ信号形式に変換さ
れた輝度信号と前記画素数の多い画像信号から抽出され
た輝度信号とを合成する輝度信号合成手段と、前記画素
数の多い画像信号を、間引き処理により画素の少ない画
像信号と同じ信号形式に変換する間引き手段と、前記間
引き手段により画素の少ない画像信号と同じ信号形式に
変換された画像信号と前記画素の少ない画像信号を、前
記合成制御信号に応じて合成する信号合成手段と、を有
することを特徴とする固体撮像装置。
【請求項１９】輝度信号合成手段は、合成制御信号の信
号レベルに応じてある係数ｋを発生する第１の係数発生
手段と、前記第１の係数発生手段により発生された係数
ｋに応じて、補間手段により画素数の多い画像信号から
得られる輝度信号と同じ信号形式に変換された輝度信号
と画素数の多い画像信号から抽出された輝度信号を重み
付け加算する第１の合成手段と、を有することを特徴と
する請求項１８に記載の固体撮像装置。
【請求項２０】信号合成手段は、第１の係数発生手段に
より発生された係数ｋのうち少なくとも１つの係数ｋに
応じて、間引き手段により画素数の少ない画像信号と同
じ信号形式に変換された画像信号と画素数の少ない画像
信号を重み付け加算する第２の合成手段を有することを
特徴とする請求項１８または請求項１９に記載の固体撮
像装置。
【請求項２１】信号合成手段は、第１の係数発生手段に
より発生された係数ｋのうち、複数個の係数ｋの平均
値、最大値、最小値、中間値の少なくともいずれか１つ
に応じて、間引き手段により画素数の少ない画像信号と
同じ信号形式に変換された画像信号と画素数の少ない画
像信号を重み付け加算する第２の合成手段を有すること
を特徴とする請求項１８または請求項１９に記載の固体
撮像装置。
【請求項２２】信号合成手段は、合成制御信号の信号レ
ベルに応じてある係数ｋを発生する第２の係数発生手段
と、前記第２の係数発生手段により発生された係数ｋに
応じて、間引き手段により画素数の少ない画像信号と同
じ信号形式に変換された画像信号と画素数の少ない画像
信号を重み付け加算する第２の合成手段を有することを
特徴とする請求項１８または請求項１９に記載の固体撮
像装置。
【請求項２３】露光量と画素数の異なる２つの画像信号
を出力する固体撮像素子と、前記画素数の異なる２つの
画像信号のうち、前記画素の少ない画像信号と前記画素
の多い画像信号からその輝度信号を抽出する輝度信号抽
出手段と、前記画素数の少ない画像信号から抽出された
輝度信号を、補間処理により画素数の多い画像信号から
得られる輝度信号と同じ信号形式に変換する補間手段
と、前記画素の少ない画像信号から抽出された輝度信
号、もしくは前記補間手段により画素の多い画像信号か
ら得られる輝度信号と同じ信号形式に変換された輝度信
号、もしくは前記画素数の多い画像信号から抽出された
輝度信号の少なくとも１つを合成制御信号とし、この合
成制御信号に応じて、前記補間手段により画素数の多い
画像信号から得られる輝度信号と同じ信号形式に変換さ
れた輝度信号と前記画素数の多い画像信号から抽出され
た輝度信号とを合成する輝度信号合成手段と、前記画素
数の多い画像信号に対し間引き処理により画素を間引く
第１の間引き手段と、前記画素数の少ない画像信号に対
し間引き処理により画素を間引く第２の間引き手段と、
前記第１の間引き手段及び第２の間引き手段により画素
を間引かれた画像信号を、前記合成制御信号に応じて合
成する信号合成手段と、を有することを特徴とする固体
撮像装置。
【請求項２４】輝度信号合成手段は、合成制御信号の信
号レベルに応じてある係数ｋを発生する第１の係数発生
手段と、前記第１の係数発生手段により発生された係数
ｋに応じて、補間手段により画素数の多い画像信号から
得られる輝度信号と同じ信号形式に変換された輝度信号
と画素数の多い画像信号から抽出された輝度信号を重み
付け加算する第１の合成手段と、を有することを特徴と
する請求項２３記載の固体撮像装置。
【請求項２５】信号合成手段は、第１の係数発生手段
により発生された係数ｋのうち少なくとも１つの係数ｋ
に応じて、第１の間引き手段及び第２の間引き手段によ
り画素を間引かれた画像信号を重み付け加算する第２の
合成手段を有することを特徴とする請求項２３または請
求項２４に記載の固体撮像装置。
【請求項２６】信号合成手段は、第１の係数発生手段に
より発生された係数ｋのうち、複数個の係数ｋの平均
値、最大値、最小値、中間値の少なくともいずれか１つ
に応じて、第１の間引き手段及び第２の間引き手段によ
り画素を間引かれた画像信号を重み付け加算する第２の
合成手段を有することを特徴とする請求項２３または請
求項２４に記載の固体撮像装置。
【請求項２７】信号合成手段は、合成制御信号の信号レ
ベルに応じてある係数ｋを発生する第２の係数発生手段
と、前記第２の係数発生手段により発生された係数ｋに
応じて、第１の間引き手段及び第２の間引き手段により
画素を間引かれた画像信号を重み付け加算する第２の合
成手段を有することを特徴とする請求項２３または請求
項２４に記載の固体撮像装置。
【請求項２８】画素数の少ない画像信号とは１フィール
ドの画像信号であり、画素数の多い画像信号とは１フレ
ームの画像信号であることを特徴とする請求項１、２、
３、５、１０、１１、１３、１８、２３のいずれかに記
載の固体撮像装置。
【請求項２９】係数発生手段及び第１の係数発生手段及
び第２の係数発生手段は、合成制御信号の少なくとも１
画素の信号レベルに応じて係数ｋを発生することを特徴
とする請求項１０から請求項２７のいずれかに記載の固
体撮像装置。
【請求項３０】係数発生手段及び第１の係数発生手段及
び第２の係数発生手段は、合成制御信号の複数画素の信
号レベルの平均値、最大値、最小値、中間値の少なくと
もいずれか1つに応じて係数ｋを発生することを特徴と
する請求項１０から請求項２７のいずれかに記載の固体
撮像装置。
【請求項３１】係数発生手段及び第１の係数発生手段及
び第２の係数発生手段は、合成制御信号の１画素毎に対
応する係数ｋを発生することを特徴とする請求項１０か
ら請求項２７のいずれかに記載の固体撮像装置。
【請求項３２】係数発生手段及び第１の係数発生手段及
び第２の係数発生手段は、合成制御信号の複数画素から
なるブロックに対応する係数ｋを発生することを特徴と
する請求項１０から請求項２７のいずれかに記載の固体
撮像装置。
【請求項３３】係数発生手段及び第１の係数発生手段及
び第２の係数発生手段は、合成制御信号の複数画素から
なるブロック内の各信号レベルの平均値、最大値、最小
値、中間値の少なくともいずれか１つに応じてある係数
ｋを発生することを特徴とする請求項１０から請求項２
７のいずれかに記載の固体撮像装置。
【請求項３４】係数発生手段及び第１の係数発生手段及
び第２の係数発生手段は、合成制御信号の複数画素から
なるブロック内の各信号レベルのうち、ブロック内の特
定位置に存在する画素の信号レベルに応じてある係数ｋ
を発生することを特徴とする請求項１０から請求項２７
のいずれかに記載の固体撮像装置。
【請求項３５】露光量と画素数の異なる２つの画像信号
のうち、画素数の少ない画像信号は短時間露光信号であ
り、画素数の多い画像信号は長時間露光信号であること
を特徴とする請求項１から請求項３４のいずれかに記載
の固体撮像装置。
【請求項３６】露光量と画素数の異なる２つの画像信号
のうち、画素数の少ない画像信号は長時間露光信号であ
り、画素数の多い画像信号は短時間露光信号であること
を特徴とする請求項１から請求項３４のいずれかに記載
の固体撮像装置。
【請求項３７】固体撮像素子で撮像する画像信号の露光
量は、機械的な遮光手段もしくは固体撮像素子の電子シ
ャッター機能により制御することを特徴とする請求項１
から請求項３６のいずれかに記載の固体撮像装置。
【請求項３８】固体撮像素子上に形成されるカラーフィ
ルターはマゼンタ、グリーン、イエロー、シアンの４色
であることを特徴とする請求項１から請求項３７のいず
れかに記載の固体撮像装置。
【請求項３９】固体撮像素子上に形成されるカラーフィ
ルター配列はマゼンタ、グリーン、イエロー、シアンの
４色からなる補色市松タイプであることを特徴とする請
求項１から請求項３８のいずれかに記載の固体撮像装
置。
【請求項４０】固体撮像素子上に形成されるカラーフィ
ルターはレッド、グリーン、ブルーの３色であることを
特徴とする請求項１から請求項３７のいずれかに記載の
固体撮像装置。
【請求項４１】固体撮像素子上に形成されるカラーフィ
ルター配列はレッド、グリーン、ブルーの３色からなる
３色ストライプタイプであることを特徴とする請求項１
から請求項３７のいずれかに記載の固体撮像装置。
【請求項４２】固体撮像素子はインタライン転送ＣＣＤ
（ＩＴ−ＣＣＤ）であることを特徴とする請求項１から
請求項４１のいずれかに記載の固体撮像装置。