JP2008205530A - 撮像装置、撮像システム及び撮像方法 - Google Patents

Abstract

【課題】 画像補正処理及び多段階露光画像の合成処理を行うことが可能な撮像装置の製
造コストを低減することが可能な撮像装置、撮像システム及び撮像方法を提供する。
【解決手段】撮像装置１を、非破壊型撮像部２と、信号処理部３と、ＢＲＡＭ４とを含む
構成とし、非破壊型撮像部２から、リセット直後の画素信号を含む短露光時間及び標準露
光時間の画素信号を読み出し、リセット直後の画素信号の画素データをノイズデータとし
、当該ノイズデータと画素欠陥フラグとを各露光時間の画素データに付加すると共に各画
素の撮像条件である露光コード及び飽和判定フラグを所定露光時間の画素データに付加し
てＨＤＲ−ＲＡＷデータを生成する。そして、ＢＲＡＭ４に記憶されたＨＤＲ−ＲＡＷデ
ータにおける、ノイズデータ及び画素欠陥フラグに基づき画素データを補正し、露光コー
ド及び飽和判定フラグに基づき、補正後の画素データを合成して撮像画像データを生成す
る。
【選択図】図１

Description

本発明は、ダイナミックレンジの広い画像を得ることが可能な撮像装置に関する。

固体撮像素子を用いた撮像装置の問題点の１つとして、ダイナミックレンジの狭さが挙
げられる。例えば、コントラストの大きなシーンを撮影すると、高輝度領域での白とび（
画素の飽和）や低輝度領域での黒つぶれが発生する。
上記問題を解決するために、露光量が異なった２枚以上の画像を合成する手法がある。
露光量が異なる画像を取得できる撮像素子として、例えば、１フレーム期間に２種類以上
の露光時間で撮影できるものが提案されている。

また、２フィールドで１フレームを構成する撮像素子において、奇数、偶数フィールド
で露光時間を替えて撮像する方法もある。この２種類以上の露光時間(例えば標準露光時
間Ｔ１と短露光時間Ｔ２（Ｔ１≫Ｔ２)）の出力画像を、センサ外部もしくは内部で合成
し、広いダイナミックレンジ画像を得る。画像の合成方法としては、標準露光時間で撮影
された画像中の飽和画素を、短露光時間で撮影した非飽和画素に置き換えるなどの方法が
ある。

ところで、このような同一フレーム内で標準露光時間と短露光時間など複数種類の露光
時間による撮像が可能な撮像素子は、一般的に出力が複数チャンネル（ＣＨ）ある。例え
ば１水平期間中に標準露光時間(ＣＨ１)、短露光時間（ＣＨ２）が多重化されて出力され
る。ＣＨ１とＣＨ２の出力の位相(時間)差は、遅延素子により、ライン単位（例えば数ラ
イン分）の遅延を行い、両者の位相を合わせる。

このように、両者の信号が１フィールドもしくは数ラインの時間差をもって出力される
場合、早く（先に）出力される信号を、遅く（後に）出力される信号のタイミング（時刻
）に合わせる目的で、図１０のごとくフレームメモリなどの遅延素子を用いて同期をとっ
た後、両者の合成を行う必要がある。
例えば、２フィールドを合成して１フレームとする場合に、奇数フィールドを標準露光
時間、偶数フィールドを短露光時間として両者を合成するときは、遅延素子によって、１
フィールド分遅延させる。

前記１フレームの期間に露光時間の異なる撮像が可能な撮像装置として、蓄積電荷を破
壊(リセット)する事無く、複数回、読み出すことが可能な撮像装置がある(容易にワイド
ダイナミックレンジ化が可能)。このような撮像装置として、例えば、特許文献１に記載
の撮像装置がある。
また、非破壊型撮像素子による撮像画像のダイナミックレンジの拡大に関する技術とし
て、例えば、特許文献２に記載の撮像装置がある。この撮像装置は、１フレーム期間中に
２種類の異なる露光時間で読出し動作を行う（信号出力レートの制限から、出力系を２系
統使用した実施例を記述している）。

非破壊型撮像素子は、素子ごとのばらつき等に起因して発生する固定パターンノイズ（
ＦＰＮ）が多いのが課題である。ただし、このノイズはフレームメモリを用いた手法によ
り除去が可能である。フレームメモリを用いたノイズ除去に関する技術としては、例えば
、特許文献３に記載の固体撮像装置がある。
特公昭６３−３１３７６号公報 特開平５−２２６７０号公報 特開平１−３９１７６号公報

しかしながら、上記特許文献３の従来技術においては、ノイズを除去するため、前述の
ようにフレームメモリ等の仕組みが必要であり、上記特許文献１及び２の従来技術におい
ては、多段階露光画像の合成において、遅延の為のフレームメモリが必要となる。このよ
うに、フレームメモリの数が増えるということは、サイズの大型化を招くと共に製造コス
トを増加させる要因となる。

本発明は、上記従来の技術の有する未解決の課題に着目してなされたものであって、画
像補正処理及び多段階露光画像の合成処理を行うことが可能な撮像装置の製造コストを低
減することが可能な撮像装置、撮像システム及び撮像方法を提供することを目的とする。

〔形態１〕 上記目的を達成するために、形態１の撮像装置は、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された
構成の光電変換部と、露光時間を制御する電子シャッタ機能とを備えた撮像装置であって
、
前記光電変換素子の構成する各画素から、Ｎ種類（Ｎは２以上の自然数）の露光時間で
露光時の画素信号を読み出す画素信号読出手段と、
前記画素信号読出手段で読み出された各画素信号のデータである画素データに対して、
前記各画素の補正情報を含む第１属性情報と、前記各画素の撮像条件を含む第２属性情報
とを付加する属性情報付加手段と、
前記第１属性情報及び前記第２属性情報の付加された画素データを記憶する記憶手段と
、
前記各画素データに付加された前記第１属性情報に基づき、当該各画素データに対して
補正処理を行うと共に、補正処理後の各画素データに付加された前記第２属性情報と、前
記記憶手段に記憶された各画素データに付加された前記第２属性情報とに基づき、前記各
画素毎に、前記記憶手段に記憶された各画素データを更新又は維持することで撮像画像デ
ータを生成する撮像画像データ生成手段と、を備えることを特徴とする。

このような構成であれば、画素信号読出手段によって、前記光電変換素子の構成する各
画素から、Ｎ種類（Ｎは２以上の自然数）の露光時間で露光時の画素信号を読み出すこと
が可能であり、属性情報付加手段によって、前記画素信号読出手段で読み出された各画素
信号のデータである画素データに対して、前記各画素の補正情報を含む第１属性情報と、
前記各画素の撮像条件を含む第２属性情報とを付加することが可能であり、記憶手段によ
って、前記第１属性情報及び前記第２属性情報の付加された画素データを記憶することが
可能であり、撮像画像データ生成手段によって、前記各画素データに付加された前記第１
属性情報に基づき、当該各画素データに対して補正処理を行うと共に、補正処理後の各画
素データに付加された前記第２属性情報と、前記記憶手段に記憶された各画素データに付
加された前記第２属性情報とに基づき、前記各画素毎に、前記記憶手段に記憶された各画
素データを更新又は維持することで撮像画像データを形成することが可能である。

従って、各画素の補正情報を含む第１属性情報及び各画素の撮像条件を含む第２属性情
報を付加したことにより、第１属性情報に基づく補正処理及び第２属性情報に基づく撮像
画像データ（広ダイミックレンジ画像データ）の生成処理（Ｎ種類の露光時間で露光され
た画素データの合成処理）を連続して行うことができるので回路の共通化等が容易となる
。
更に、撮像画像データの生成に用いる記憶手段（フレームメモリ）を、遅延素子用の記
憶手段（フレームメモリ）としても使用することができる。
以上より、記憶手段を利用して画素データの補正処理及び撮像画像データの生成処理を
行う場合に、撮像装置の製造コストを低減することができるという効果が得られる。

〔形態２〕 更に、形態２の撮像装置は、形態１の撮像装置において、
前記属性情報付加手段は、前記第１属性情報の１つとして、前記各画素に固有のノイズ
の情報であるノイズ情報を付加し、
前記撮像画像データ生成手段は、前記補正処理として、前記ノイズ情報に基づき各画素
データのノイズ成分を除去するノイズ除去処理を行うことを特徴とする。

このような構成であれば、各画素データから、各画素に固有のノイズ成分を除去するこ
とができるので、撮像画像の画質を向上することができるという効果が得られる。
ここで、上記画素に固有のノイズには、光電変換部を構成する各光電変換素子（画素）
の個々の特性のばらつきに起因して発生する固定パターンノイズなどがある。以下、撮像
システムに関する形態、撮像方法に関する形態などにおいて同じである。

〔形態３〕 更に、形態３の撮像装置は、形態２の撮像装置において、
前記画素信号読出手段は、前記光電変換素子の構成する各画素から、前記Ｎ種類の露光
時間で露光時の画素信号とは別に、リセット直後の画素信号を読み出し、
前記属性情報付加手段は、前記リセット直後に各画素から読み出される画素信号の画素
データを、前記ノイズ情報として、前記各画素に対応する画素データに付加し、
前記撮像画像データ生成手段は、前記ノイズ除去処理において、各露光時間で露光時の
各画素データの示す値から、前記リセット直後の画素データの示す値を減ずることで前記
ノイズ成分を除去することを特徴とする。

リセット直後の画素信号においては、蓄積電荷を空にした直後であるため、画素固有の
ノイズ成分（固定パターンノイズ）が支配的となっている。
従って、上記のような構成であれば、ノイズ成分が支配的な画素信号の画素データの示
す値を、Ｎ種類の露光時間の画素信号の示す値からそれぞれ減じることが可能であるので
、各露光時間に対応する画素データから簡易且つ適切にノイズ成分を除去することができ
るという効果が得られる。

〔形態４〕 更に、形態４の撮像装置は、形態３の撮像装置において、
前記画素信号読出手段は、前記Ｎ種類の露光時間の露光が行われる露光期間毎に、前記
リセット直後の画素信号を読み出し、
前記属性情報付加手段は、前記画素信号読出手段によって、リセット直後の画素信号が
読み出される毎に、当該読み出された画素信号の画素データに基づき、前記記憶手段に記
憶された各画素データに付加されたノイズ情報を更新することを特徴とする。
このような構成であれば、例えばフレームレートで実行されるリセット毎に、各画素デ
ータに付加されるノイズ情報を更新することができるので、例えば、周辺環境の変化（例
えば、気温の変化）に応じて変化するノイズ成分を適切に除去することが可能となるので
、より高画質な撮像画像を得ることができるという効果が得られる。

〔形態５〕 更に、形態５の撮像装置は、形態４の撮像装置において、
前記属性情報付加手段は、前記ノイズ情報を更新すると共に、前記記憶手段に記憶され
た画素データをクリアすることを特徴とする。
このような構成であれば、リセットが実行されてノイズ情報が更新される毎に、１つ前
の露光期間で取得した画素データが、記憶手段からクリア（初期値０に変更）されるので
、例えばフレーム単位で蓄積電荷量をデジタル的に管理する仮想デジタル撮像素子として
機能し、ノイズ除去など高度な画像処理が画素単位で行えるという効果が得られる。

〔形態６〕 更に、形態６の撮像装置は、形態１乃至５のいずれか１の撮像装置におい
て、
前記属性情報付加手段は、前記各画素の画素データに基づき各画素が欠陥画素か否かを
判定すると共に、当該判定結果に基づき、前記第１属性情報の１つとして、前記各画素デ
ータに対応する画素が欠陥画素か否かを示す情報である欠陥画素情報を付加し、
前記撮像画像データ生成手段は、前記補正処理として、前記欠陥画素情報に基づき、欠
陥画素に対応する画素データを補正する欠陥画素データ補正処理を行うことを特徴とする
。
このような構成であれば、例えば、画素に白傷や黒傷を発生させるような欠陥があった
場合でも、これらの画素に対応する画素データを適切に補正することができるので、撮像
画像の画質を向上することができるという効果が得られる。

〔形態７〕 更に、形態７の撮像装置は、形態１乃至６のいずれか１の撮像装置におい
て、
前記画素信号読出手段は、リセット直後から次のリセットまでの１回の露光期間におい
て、前記Ｎ種類の露光時間で露光時の画素信号を、非破壊読み出し方式で読み出すことを
特徴とする。
このような構成であれば、上記１回の露光期間において、Ｎ種類の露光時間で露光され
た画素の画素信号を非破壊で読み出すことができるので、容易に広ダイナミックレンジの
撮像画像を形成することができるという効果が得られる。
ここで、上記非破壊読み出し方式は、光電変換素子から電荷（画素信号）を読み出すと
きに、当該光電変換素子に蓄積された電荷を空にせず蓄積状態を維持したままで読み出す
ものである。つまり、電荷読み出し時にリセット処理を行わないため、設定された露光時
間に至るまで、電荷の蓄積途中において、何度でも電荷の読み出しを行うことができる。

〔形態８〕 更に、形態８の撮像装置は、形態７の撮像装置において、
前記画素信号読出手段は、前記Ｎ種類の露光時間における露光時間の短い順に、画像の
ライン単位で順次露光される各画素の画素信号を、当該露光時間の種類毎に且つ前記ライ
ン単位で順次読み出し、
前記Ｎ種類の露光時間にそれぞれ対応し且つ当該各種類毎に前記画素信号読出手段で読
み出される画素信号の画素データを前記ライン単位で記憶し、当該記憶したライン単位の
画素データをそれぞれ独立に出力するＮ個の出力チャンネルを備え、
前記属性情報付加手段は、前記Ｎ個の出力チャンネルから、前記露光時間の短い順に順
次出力される各ラインの画素データに対して前記第１属性情報及び前記第２属性情報を付
加し、
前記撮像画像データ生成手段は、前記属性情報付加手段で前記第１属性情報及び前記第
２属性情報の付加された各ラインの画素データに対して、前記補正処理及び前記撮像画像
データの生成処理を順次行うことを特徴とする。

このような構成であれば、Ｎ種類の露光時間で露光時の各画素データを、Ｎ個の独立し
た出力チャンネルから並列に出力することが可能となるので、共通の出力チャンネルを使
った場合に生じる遅延を大幅に低減することができ、高速に処理を行うことができるとい
う効果が得られる。

〔形態９〕 更に、形態９の撮像装置は、形態１乃至８のいずれか１の撮像装置におい
て、
前記属性情報付加手段は、前記第２属性情報として、前記各画素データに対して、前記
画素の露光時間を示す情報、及び前記画素の輝度値がダイナミックレンジの上限値である
ことを示す情報の少なくとも一方を付加し、
前記撮像画像データ生成手段は、新規に読み出された画素信号の画素データに付加され
た前記第２属性情報の示す露光時間が、前記記憶手段に記憶されている前記新規に読み出
された画素信号の画素に対応する画素データに付加された前記第２属性情報が示す露光時
間よりも長いか否かを判定する第１判定処理と、新規に読み出された画素信号の画素デー
タに付加された前記第２属性情報の示す輝度値がダイナミックレンジの上限値より大きく
、且つ前記記憶手段に記憶されている前記新規に読み出された画素信号の画素に対応する
画素データに付加された前記第２属性情報の示す輝度値がダイナミックレンジの上限値よ
り小さいか否かを判定する第２判定処理とのうち少なくとも一方を実行し、その判定結果
に基づき、前記記憶手段に記憶された前記画素データを更新又は維持することを特徴とす
る。

このような構成であれば、第２属性情報として、各画素の露光時間を示す情報を付加す
ることが可能であり、各画素データの示す輝度値がダイナミックレンジの上限値であるこ
とを示す情報を付加することが可能であり、各画素データの示す輝度値がダイナミックレ
ンジの上限値であることを示す情報を付加することが可能である。
また、第１判定処理及び第２判定処理の処理結果から、記憶手段に記憶された画素デー
タを、非飽和で、且つ、長い露光時間の画素データに優先的に更新することで、Ｓ／Ｎの
高い画像の撮像画像データを形成することができるという効果が得られる。

〔形態１０〕 一方、上記目的を達成するために、形態１０の撮像システムは、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された
構成の光電変換部と、露光時間を制御する電子シャッタ機能とを備えた撮像装置であって
、
前記光電変換素子の構成する各画素から、Ｎ種類（Ｎは２以上の自然数）の露光時間で
露光時の画素信号を読み出す画素信号読出手段と、
前記画素信号読出手段で読み出された各画素信号のデータである画素データに対して、
前記各画素の補正情報を含む第１属性情報と、前記各画素の撮像条件を含む第２属性情報
とを付加する属性情報付加手段と、
前記第１属性情報及び前記第２属性情報の付加された画素データを記憶する記憶手段と
、
前記各画素データに付加された前記第１属性情報に基づき、当該各画素データに対して
補正処理を行うと共に、補正処理後の各画素データに付加された前記第２属性情報と、前
記記憶手段に記憶された各画素データに付加された前記第２属性情報とに基づき、前記各
画素毎に、前記記憶手段に記憶された各画素データを更新又は維持することで撮像画像デ
ータを生成する撮像画像データ生成手段と、を備えることを特徴とする。

このような構成であれば、上記形態１の撮像装置と同様の作用及び効果が得られる。
ここで、本システムは、単一の装置、端末その他の機器として実現するようにしてもよ
いし（この場合は、形態１と同等となる）、複数の装置、端末その他の機器を通信可能に
接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要
素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していても
よい。

〔形態１１〕 また、上記目的を達成するために、形態１１の撮像方法は、
露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された
構成の光電変換部と、露光時間を制御する電子シャッタ機能とを備えた撮像装置で用いら
れる撮像方法であって、
前記光電変換素子の構成する各画素から、Ｎ種類（Ｎは２以上の自然数）の露光時間で
露光時の画素信号を読み出す画素信号読出ステップと、
前記画素信号読出ステップで読み出された各画素信号のデータである画素データに対し
て、前記各画素の補正情報を含む第１属性情報と、前記各画素の撮像条件を含む第２属性
情報とを付加する属性情報付加ステップと、
前記第１属性情報及び前記第２属性情報の付加された画素データをデータ書き換え可能
な記憶媒体に記憶する記憶ステップと、
前記各画素データに付加された前記第１属性情報に基づき、当該各画素データに対して
補正処理を行うと共に、補正処理後の各画素データに付加された前記第２属性情報と、前
記記憶媒体に記憶された各画素データに付加された前記第２属性情報とに基づき、前記各
画素毎に、前記記憶媒体に記憶された各画素データを更新又は維持することで撮像画像デ
ータを形成する撮像画像データ形成ステップと、を含むことを特徴とする。

これにより、形態１の撮像装置と同等の作用及び効果が得られる。

以下、図面に基づき、本発明に係る撮像装置、撮像システム及び撮像方法の実施の形態
を説明する。ここで、図１〜図９は、本発明に係る撮像装置、撮像システム及び撮像方法
の実施の形態を示す図である。図１は、本発明に係る撮像装置１の内部構成を示すブロッ
ク図である。
撮像装置１は、図１に示すように、非破壊型撮像部２と、信号処理部３と、ＢＲＡＭ(B
rain Random Access Memory)４とを含んで構成される。

非破壊型撮像部２は、１フレーム期間において、リセット直後の画像と、短露光時間で
露光時の画像と、標準露光時間（標準露光時間＞短露光時間）で露光時の画像とを撮像可
能な電子シャッタ機能を有する。そして、被写体からの各露光時間に応じた光を撮像レン
ズ（不図示）でエリアセンサ６に集光し、その集光量に応じた電荷をエリアセンサ６の各
画素に蓄積させる。

また、非破壊型撮像部２は、信号処理部３のタイミング制御部８（後述）から出力され
る駆動信号（水平同期信号及び垂直同期信号）に基づいて、エリアセンサ６の各画素列に
蓄積されている電荷群を電圧群に順次変換し、その変換された電圧群からなる画素信号を
水平転送部７で読み出し、信号処理部３へと順次出力する。画素信号を読み出すときには
、信号読出後に蓄積電荷のリセットを行わない非破壊読み出し方式を用いる。

エリアセンサ６は、ＣＭＯＳを用いて構成された複数のセンサセル（画素）をマトリク
ス状に配設し、各画素列毎に、各画素列を構成するセンサセルに対して、アドレス線、リ
セット線及び読出し線が共通に接続され、この３本の制御線を介して各種駆動信号が各画
素列を構成するセンサセルに送信される。そして、アドレス線及び読出し線が有効になる
と、信号線を介して蓄積電荷を水平転送部７に転送する構成となっている。このような構
成によって、アドレス線により、リセット動作又は読出し動作を行わせる画素列を有効に
（選択）する。そして、当該選択信号で選択した画素列の各センサセルに対して、リセッ
ト動作を行わせる場合はリセット線を介してリセット動作を指示する信号を入力し、画素
信号の読出しを行わせる場合は、読出し線を介して蓄積電荷の転送を指示する信号を入力
する。

水平転送部７は、エリアセンサ６の各画素から読み出したリセット直後の画素信号デー
タ（アナログ信号データ）と、短露光時間及び標準露光時間で露光時の画素信号データと
を一時記憶するそれぞれ独立した３つのラインメモリ（後述）と、後述する選択回路７０
と、後述するＡＤＣ(Analog Digital Converter）７１とを有する。そして、前記３つの
ラインメモリのうち、選択回路７０で選択されたラインメモリに記憶されたアナログの画
素信号データを、ＡＤＣ７１においてデジタル化された画像データ（以下、画素データと
称す）に変換する。そして、ＡＤＣ７１において変換後のデジタルの画素データを信号処
理部３の画像処理部９に出力する。

信号処理部３は、タイミング制御部８と、画像処理部９とを含んで構成される。
タイミング制御部８は、駆動信号（水平同期信号、垂直同期信号）を生成し、それをエ
リアセンサ６に出力する。また、タイミング制御部８は、水平同期信号、垂直同期信号に
基づき、エリアセンサ６から出力される画素信号の、撮像領域における画素位置（画素列
（ライン）番号、画素番号）が分かるので、その画素列(ライン)番号（以下、アドレス情
報と称す）を生成し、そのアドレス情報を不図示のＡＬＣ(Automatic Level Control)及
び画像処理部９に出力する。

ＡＬＣ（不図示）は、エリアセンサ６の露光制御を行う。即ち、後述の画像処理部９か
ら出力される画素データをライン単位もしくはフレーム単位で評価し、その評価結果に基
づいて、ライン単位もしくはフレーム単位に露光時間を算出し、その露光時間をＡＬＣ内
部の記憶手段（不図示）に格納する。また、ＡＬＣは、タイミング制御部８から出力され
るアドレス情報に基づいて、記憶手段から対応するアドレス(画素列)の露光時間を読み出
し、その露光時間をタイミング制御部８と画像処理部９とに出力する（本実施の形態では
ライン単位の露光制御を想定）。

画像処理部９は、図２に示すように、非破壊型撮像部２から読み出された各画素データ
（画素の輝度値を示すデータ）に、各画素データの補正処理に用いる情報を含む第１属性
データと、各画素データの撮像条件を含む第２属性データとを付加して１組のデータ（以
下、ＨＤＲ−ＲＡＷデータと称す）を生成する。そして、生成したＨＤＲ−ＲＡＷデータ
を合成することで、出力用の撮像画像データを生成し、当該生成した撮像画像データを、
表示装置などを含んで構成されるホストシステム５に出力する。ここで、図２は、本発明
のＨＤＲ−ＲＡＷデータを説明するための図である。

なお、第１属性データとしては、図２中のＮで示される、各画素の固定パターンノイズ
のデータ（以下、ノイズデータと称す）と、図２中のＦ３で示される、各画素が欠陥画素
か否かを示すフラグ情報（以下、画素欠陥フラグと称す）などが含まれる。
ここで、ノイズデータ（Ｎ）には、各フレーム毎に各画素から読み出したリセット直後
の画素信号から生成されるデータを用いる。

また、画素欠陥フラグは、画素データに対応する画素が欠陥画素である場合は「１」、
そうでない場合は「０」と２種類のコード（１ビット）から構成される。
また、第２属性データとしては、画素データの生成時における露光時間を示す露光コー
ド（図２中のＥ）、前記画素データの輝度値がダイナミックレンジの最大値であることを
示す飽和フラグ（図２中のＦ２）などが含まれる。

ここで、露光コードは、本実施の形態においては、「０」、「１」、「２」の３種類の
コードとなる。但し、露光コードは、拡張のために、２ビットが用意されている。また、
本実施の形態において、露光コード「０」は、リセット直後を示し、露光コード「１」は
、最長の露光時間（標準露光時間）よりも短い特定の露光時間（短露光時間）を示し、露
光コード「２」は、最長の露光時間を示す。

また、飽和フラグは、「０」、「１」の２種類（１ビット）のデータである。飽和フラ
グ「０」は、画像データの輝度値がダイナミックレンジの最大値であること（飽和してい
ること）を示し、飽和フラグ「１」は、前記輝度値がダイナミックレンジの最大値より小
さいこと（非飽和であること）を示す。なお、Ｆ０、Ｆ１はリザーブであり、他の機能を
割り当てることができる。例えば、感度補正パラメータなどがある。

ＢＲＡＭ４は、内部に仮想デジタル電荷蓄積部を有し、１フレーム期間が経過するたび
に、未飽和で高Ｓ／Ｎの画像の各画素の画像データを記録（更新）する。なお、複数の露
光時間の画素値を合成した画素データを記録してもよい。
更に、図３及び図４に基づき、非破壊型撮像部２の露光時間の制御方法、及びエリアセ
ンサ６からの画素信号の読み出し方法について説明する。ここで、図３は、非破壊読み出
し方式における画素の蓄積電荷量の推移を示す図である。また、図４は、非破壊型撮像部
２のエリアセンサ６における各画素のライン毎の露光及び画素信号の読み出し動作の一例
を示す図である。

まず、図３に基づき、非破壊読み出しにおけるエリアセンサ６の各画素の蓄積電荷量の
推移について説明する。図３に示すように、１フレーム（標準露光時間）の露光において
、各画素に蓄積される電荷量は時間の経過と共に増加する。また、非破壊読み出し方式で
各画素から電荷を読み出す場合は、電荷を読み出した後にリセット処理を行わないため、
露光中に電荷の読み出しを何度行っても各画素の蓄積電荷量が維持される。

本実施の形態では、上記したように、リセット直後の画素信号と、短露光時間及び標準
露光時間で露光時の画素信号とを非破壊読み出し方式で読み出す。
なお、図３中のリセットタイミングは、エリアセンサ６の各センサセルに蓄積された電
荷を空にするタイミングであり、このタイミングが標準露光時間を決定する。
次に、図４に基づき、露光時間の制御方法について説明する。露光時間の制御は、図４
に示すように、まず、エリアセンサ６の露光領域に対して、各画素のラインの蓄積電荷の
リセット（蓄積電荷を空にする処理）及びリセット直後の画素信号の非破壊読み出しを行
うリセット＆読み出しラインＬ０と、短露光時間で露光された各画素のラインから画素信
号の非破壊読み出しを行う非破壊読出しラインＬ１と、標準露光時間で露光された各画素
のラインから画素信号の非破壊読み出しを行う非破壊読出しラインＬ２とを設定する。

そして、１回の露光期間（標準露光時間）において、露光領域における画素のライン毎
に、リセット直後の画素信号の非破壊読み出し、短露光時間で露光時の画素信号の非破壊
読み出し、及び標準露光時間で露光時の画素信号の非破壊読み出しが順次に、且つそれぞ
れ独立に実行される。
つまり、リセット＆読み出しラインＬ０、非破壊読出しラインＬ１及びＬ２は、図４に
示すように、、リセット＆読み出しラインＬ０が、各画素のラインの蓄積電荷を順次リセ
ットすると共に、リセット直後の各画素のラインから画素信号を順次読み出すように設定
される。

また、リセット後において、標準露光時間分の電荷が蓄積される期間中（次のリセット
が行われるまでの期間中）において、短露光時間分の電荷が蓄積された各画素のラインの
画素信号を非破壊で順次読み出すように非破壊読出しラインＬ１が設定される。
また、リセット後において、標準露光時間分の電荷が蓄積された各画素のラインの画素
信号を非破壊で順次読み出すように非破壊読出しラインＬ２が設定される。

なお、本実施の形態においては、図４に示すように、露光領域に対する、リセット直後
の画素信号（アナログデータ）は、水平転送部７の有するリセット直後の信号用ラインメ
モリＳ０（出力チャンネル０（ＣＨ０））に読み出され、短露光時間で露光時の画素信号
は、水平転送部７の有する第１非破壊読出ラインメモリＳ１（出力チャンネル１（ＣＨ１
））に読み出され、標準露光時間で露光時の画素信号は、水平転送部７の有する第２非破
壊読出ラインメモリＳ２（出力チャンネル２（ＣＨ２））に読み出される。

また、上記各ラインメモリに読み出された画素信号は、図４に示すように、各ラインメ
モリの出力側に設けられた選択回路７０に出力され、更に選択回路７０で選択されたライ
ンの画素信号はＡＤＣ７１に出力され、ＡＤＣ７１においてデジタルのデータ（画素デー
タ）に変換されてから信号処理部３へと出力される。
また、上記リセット＆読み出しラインＬ０、図４に示すように、露光領域に対して、各
画素のライン毎に、リセット＆読み出しラインＬ０を順次走査し（図４では上方向）、当
該リセット＆読み出しラインＬ０においては、蓄積電荷のリセットを行うと共にリセット
直後の画素信号の非破壊読み出しを順次行う。そして、リセット＆読み出しラインＬ０が
再び以前走査したラインに到達したときに、丁度標準露光時間が経過するタイミングでリ
セット＆読み出しラインＬ０の走査が行われる。このような手順で、エリアセンサ６の露
光領域に対して、各画素のライン毎に、リセット及びリセット直後の画素信号の非破壊読
み出しを順次行う。

また、非破壊読出しラインＬ１の読み出しタイミングの制御は、リセット＆読み出しラ
インＬ０によって蓄積電荷がリセットされると、当該リセット後の画素のラインを、リセ
ット＆読み出しラインＬ０に対して、短露光時間の位相差で非破壊読出しラインＬ１を順
次走査し、当該非破壊読出しラインＬ１において短露光時間の露光が行われた画素の画素
信号の非破壊読み出しを順次行う。

また、非破壊読出しラインＬ２の読み出しタイミングの制御は、リセット＆読み出しラ
インＬ０によって蓄積電荷がリセットされると、当該リセット後の各画素のラインを、リ
セット＆読み出しラインＬ０に対して、標準露光時間の位相差で非破壊読出しラインＬ２
を順次走査し、当該非破壊読出しラインＬ２において標準露光時間の露光が行われた画素
の画素信号の非破壊読み出しを順次行う。

次に、図５〜図８に基づき、信号処理部３における画像処理部９の詳細な構成を説明す
る。
ここで、図５は、画像処理部９の内部構成を示すブロック図である。また、図６は、プ
リプロセス部１０の内部構成を示すブロック図である。また、図７（ａ）は、第１プロセ
ス部１４ａの内部構成を示す図であり、（ｂ）は、属性データ更新部５０の内部構成を示
すブロック図である。また、図８（ａ）は、第２プロセス部１４ｂ及び第３プロセス部１
４ｃの内部構成を示すブロック図であり、（ｂ）は、補正部６０の内部構成を示すブロッ
ク図である。

画像処理部９は、図５に示すように、プリプロセス部１０と、メモリアービタ１１と、
画像出力部１２とを含んで構成される。
プリプロセス部１０は、水平転送部７から出力される画素データに基づき、第１属性デ
ータ及び第２属性データの更新処理及び、撮像画像データの生成処理を行う。
メモリアービタ１１は、プリプロセス部１０などから読み出し指令が出力されると、そ
の出力された読み出し指令が示すＨＤＲ−ＲＡＷデータをＢＲＡＭ４から読み出し、その
ＨＤＲ−ＲＡＷデータを読み出し指令の出力元に出力する。また、メモリアービタ１１は
、プリプロセス部１０から書き込み指令が出力されると、その出力された書き込み指令が
示すＨＤＲ−ＲＡＷデータをＢＲＡＭ１０に書き込む。

画像出力部１２は、ＨＤＲ−ＲＡＷデータの画素信号を、ホストシステム５に出力する
ための形態に変換する。具体的に、広ダイナミックレンジに拡大された画素信号に対して
色補間などの画像処理を行ってからホストシステム５に出力する。
更に、図６に基づき、プリプロセス部１０の内部構成について説明する。
プリプロセス部１０は、図６に示すように、ＭＵＸ（マルチプレクサ）１３，１５，１
６と、プロセス部１４と、リード用ラインメモリ１７と、ライト用ラインメモリ１８とを
含んだ構成となっている。

ＭＵＸ１３は、非破壊型撮像部２から画素列（ライン）単位で入力された、リセット直
後の画素データ、短露光時間で露光時の画素データ、及び標準露光時間で露光時の画素デ
ータから、特定のラインの画素データを選択し、当該選択した画素データを、対応するプ
ロセス部に入力する。
ＭＵＸ１５は、リード用ラインメモリ１７に記憶されたライン単位のＨＤＲ−ＲＡＷデ
ータを、対応するプロセス部に入力する。

ＭＵＸ１６は、第１プロセス部１４ａ及び第２プロセス部１４ｂにおいて生成されたＨ
ＤＲ−ＲＡＷデータを選択し、当該選択したＨＤＲ−ＲＡＷデータをライト用ラインメモ
リ１８に出力する。
リード用ラインメモリ１７は、ＢＲＡＭ４から読み出したライン単位のＨＤＲ−ＲＡＷ
データを一時記憶するメモリであり、非破壊型撮像部２から入力される画素列（ライン）
に対応するラインの画素データを一時記憶し、プロセス部１４へ出力する（リード用ライ
ンメモリは常に先読みしている）。リード用ラインメモリ１７は、第１リードラインメモ
リ及び第２リードラインメモリの２つのラインメモリを有している。そして、この２つの
ラインメモリを切り替えながら、ＨＤＲ−ＲＡＷデータを書き込み（メモリアービタから
）又は読み出し（プロセス部へ）することで、後述する各サブ伝送期間におけるパイプラ
イン処理をを実現し、実時間処理を可能としている。

ライト用ラインメモリ１８は、ＢＲＡＭ４に書き込むＨＤＲ−ＲＡＷデータ（プロセス
部の処理結果）を一時記憶するメモリであり、１ライン分のＨＤＲ−ＲＡＷデータを記憶
可能な第１ライトラインメモリ及び第２ライトラインメモリの２つのラインメモリを有し
ている。そして、この２つのラインメモリを切り替えながら、ＨＤＲ−ＲＡＷデータを書
き込み（プロセス部から）又は読み出し（メモリアービタへ）することで、後述する各サ
ブ伝送期間におけるパイプライン処理を実現し、実時間処理を可能としている。

プロセス部１４は、第１プロセス部１４ａと、第２プロセス部１４ｂと、第３プロセス
部１４ｃとを含んで構成され、これら第１〜第３プロセス部１４ａ〜１４ｃの処理をパイ
プライン的に実行する。
第１プロセス部１４ａは、図７（ａ）に示すように、非破壊型撮像部２から入力される
リセット直後の画素データと、当該画素データと同じ画素位置の、ＢＲＡＭ４に記憶され
たＨＤＲ−ＲＡＷデータに含まれるノイズデータとに基づき第１属性データを更新する第
１属性データ更新部５０と、ＨＤＲ−ＲＡＷデータ中の画素データをクリアする画素デー
タクリア部５１と、更新用のＨＤＲ−ＲＡＷデータを生成するＨＤＲ−ＲＡＷデータ生成
部５２とを含んで構成される。

第１属性データ更新部５０は、図７（ｂ）に示すように、異常画素判定部５０ａと、ノ
イズデータ更新部５０ｂとを含んで構成される。
異常画素判定部５０ａは、非破壊型撮像部２からリセット直後の画素データ（ノイズデ
ータ）が入力され、且つ、当該入力画素データと同じ画素位置の、ＢＲＡＭ４に記憶され
たＨＤＲ−ＲＡＷデータに含まれるノイズデータが入力されると、まず、各画素毎に、非
破壊型撮像部２からのノイズデータと、ＢＲＡＭ４からのノイズデータとの差分値を演算
する。次に、前記演算した差分値の絶対値と予め設定された閾値とを比較する。

次に、前記演算した差分値と前記比較結果とから入力画素データの画素が欠陥画素か否
かを判定する。そして、画素に欠陥があると判定されたときは、画素欠陥フラグを「１」
に設定し、画素に欠陥がないと判定されたときは、画素欠陥フラグを「０」に設定する。
次に、この設定した画素欠陥フラグをＨＤＲ−ＲＡＷデータ生成部５２に出力し、ＢＲＡ
Ｍ４に記憶された対応するＨＤＲ−ＲＡＷデータの画素欠陥フラグを更新する。また、前
記画素欠陥フラグは、ノイズデータ更新部５０ｂにも出力する。

ノイズデータ更新部５０ｂは、非破壊型撮像部２からリセット直後の画素データ（ノイ
ズデータ）が入力され、且つ当該入力画素データに対応するＢＲＡＭ４に記憶されたＨＤ
Ｒ−ＲＡＷデータに含まれるノイズデータが入力されると、これら新規のノイズデータと
１つ前のノイズデータとを用いて、公知のリカーシブルフィルタによって、新規のノイズ
データからノイズを除去する。これにより、ノイズデータのばらつきを抑圧して、補正処
理の精度を向上することが可能である。

また、ノイズデータ更新部５０ｂは、異常画素判定部５０ａから画素に欠陥があること
を示す画素欠陥フラグ「１」が入力されたときは、例外として、ノイズデータの更新処理
を実行しないようにする。
第１属性データ更新部５０は、画素欠陥フラグ及びノイズ除去後の画素データ（ノイズ
データ）を第１属性データとしてＨＤＲ−ＲＡＷデータ生成部５２に出力する。

画素データクリア部５１は、ＨＤＲ−ＲＡＷデータに含まれる画素データをクリアして
（例えば、全て「０」にする）、クリア後の画素データをＨＤＲ−ＲＡＷデータ生成部５
２に出力する。また、本実施の形態においては、露光コード及び飽和フラグもクリア（「
０」に）する。
ＨＤＲ−ＲＡＷデータ生成部５２は、第１属性データ更新部５０から入力された画素欠
陥フラグ及びノイズデータと、画素データクリア部５１から入力された画素データ並びに
露光コード及び飽和フラグとから更新用のＨＤＲ−ＲＡＷデータを生成し、当該生成した
ＨＤＲ−ＲＡＷデータを、ＭＵＸ１６を介してライト用ラインメモリ１８に書き込む。ラ
イト用ラインメモリ１８に書き込まれたＨＤＲ−ＲＡＷデータは、メモリアービタ１１を
介してＢＲＡＭ４の同じ画素位置に対応するＨＤＲ−ＲＡＷデータに上書きされる。

なお、上記第１属性データの更新処理及び画素データのクリア処理は、毎フレームごと
に行われる。従って、ＨＤＲ−ＲＡＷデータは、常に最適なノイズデータから構成される
ことになる。
また、上記第１プロセス部１４ａの処理は、非破壊型撮像部２からリセット直後の画素
データが出力される期間（サブ伝送期間０）において順次行われる。

一方、第２プロセス部１４ｂは、図８（ａ）に示すように、補正部６０と、画素データ
更新部６１と、ＨＤＲ−ＲＡＷデータ生成部６２とを含んだ構成となっている。
補正部６０は、図８（ｂ）に示すように、黒レベル補正部６０ａと、ノイズ除去部６０
ｂと、感度・シェーディング補正部６０ｃと、欠陥画素補正部６０ｄとを含んだ構成とな
っている。

黒レベル補正部６０ａは、減算器から構成されており、非破壊型撮像部２から短露光時
間で露光時の画素データが入力されると、非破壊型撮像部２の遮光領域検出器（不図示）
から入力される遮光された信号成分を積分・平均化し、その黒レベルを前記画素データか
ら減ずる。黒レベル補正された画素データは、ノイズ除去部６０ｂに出力される。
ノイズ除去部６０ｂは、減算器から構成されており、先立って行われた第１プロセス部
１４ａにおける第１属性データの更新処理で更新されたノイズデータを用いて、非破壊型
撮像部２から入力された短露光時間で露光時の画素データから固定パターンノイズの除去
を行う。

具体的に、ノイズ除去部６０ｂは、ＢＲＡＭ４から、メモリアービタ１１を介して、Ｂ
ＲＡＭ４に記憶された最新のノイズデータを含む対応する画素(ライン)のＨＤＲ−ＲＡＷ
データを読み出し、当該ＨＤＲ−ＲＡＷデータを、まずリード用ラインメモリ１７に書き
込む。そして、リード用ラインメモリ１７に書き込まれたＨＤＲ−ＲＡＷデータを、ＭＵ
Ｘ１５を介して取得する。更に、非破壊型撮像部２から入力された画素データの輝度値か
ら、前記取得したＨＤＲ−ＲＡＷデータに含まれる最新のノイズデータの輝度値を減ずる
。これにより、短露光時間で露光時の画素データから、固定パターンノイズが除去される
。固定パターンノイズが除去された画素データは、感度・シェーディング補正部６０ｃに
出力される。

感度・シェーディング補正部６０ｃは、乗算器から構成されており、固定パターンノイ
ズが除去された画素データに対して、画素によってきまる感度補正パラメータに基づき、
感度補正を行う。感度に寄与するパラメータとしては、エリアセンサ６を構成する個々の
画素の感度ばらつき、集光レンズの収差によるシェーディングなどがある。感度補正パラ
メータを第１属性データとして付加することで感度補正を容易に行うことができる。

欠陥画素補正部６０ｄは、第１属性データの画素欠陥フラグに基づき、欠陥画素の画素
データの補正の有無を判断し、補正有りと判断したときに、画素データを補正する。具体
的に、補正有りの場合は、処理対象の画素に対して隣接する画素の画素データを、処理対
象の画素の画素データとする補正を行う。一方、補正無しと判断したときは、補正を行わ
ない。補正後の画素データは、画素データ更新部６１に出力される。

画素データ更新部６１は、ＢＲＡＭ４から読み出したＨＤＲ−ＲＡＷデータに含まれる
露光コードの値（「０」又は「１」）に応じて、画素データの更新処理を行う。この更新
処理は、露光コードの値によって内容が異なる。
ここでは、ＨＤＲ−ＲＡＷデータとして露光コードが「０」（リセット直後）のデータ
（画素データがクリアされたデータ）を扱っているので、上記欠陥画素補正部６０ｄで補
正処理後の画素データの輝度値と飽和判定用の閾値とを比較し、閾値以上であれば飽和フ
ラグを「１」（飽和）と設定し、閾値未満であれば飽和フラグを「０」と設定する。更に
、非破壊型撮像部２から入力される画素データは短露光時間で露光された画素データであ
るため、露光コードを「１」に設定する。そして、欠陥画素補正部６０ｄで補正処理後の
画素データと、前記設定した飽和フラグと、前記設定した露光コードとをＨＤＲ−ＲＡＷ
データ生成部６２に出力する。

ＨＤＲ−ＲＡＷデータ生成部６２は、画素データ更新部６１から入力された、飽和フラ
グ、露光コード及び画素データと、ＢＲＡＭ４から読み出したＨＤＲ−ＲＡＷデータとか
ら更新用のＨＤＲ−ＲＡＷデータを生成する。
ここで、ＢＲＡＭ４から読み出したＨＤＲ−ＲＡＷデータは、その画素データが全てク
リアされた状態（例えば、全て「０」）となっており、且つノイズデータ及び画素欠陥フ
ラグ（第１属性データ）は最新のものとなっている。

ＨＤＲ−ＲＡＷデータ生成部６２は、更新用のＨＤＲ−ＲＡＷデータとして、ＢＲＡＭ
４から読み出したＨＤＲ−ＲＡＷデータにおける、画素データ、飽和フラグ及び露光コー
ドを、画素データ更新部６１から入力された画素データ、飽和フラグ及び露光コードに変
更したものを生成する。そして、当該生成したＨＤＲ−ＲＡＷデータを、ＭＵＸ１６を介
してライト用ラインメモリ１８に書き込む。ライト用ラインメモリ１８に書き込まれた更
新用のＨＤＲ−ＲＡＷデータは、メモリアービタ１１を介してＢＲＡＭ４の対応するＨＤ
Ｒ−ＲＡＷデータに上書きされる。

なお、上記第２プロセス部１４ｂの処理は、非破壊型撮像部２から短露光時間で露光時
の画素データが出力される期間（サブ伝送期間１）において順次行われる。
また、第３プロセス部１４ｃは、上記第２プロセス部１４ｂと内部構成が同じであり、
図８（ａ）に示すように、補正部６０と、画素データ更新部６１と、ＨＤＲ−ＲＡＷデー
タ生成部６２とを含んだ構成となっている。但し、補正部６０における補正処理は、上記
第２プロセス部１４ｂと同様となるが、画素データ更新部６１及びＨＤＲ−ＲＡＷデータ
生成部６２における処理は異なる。

以下、第３プロセス部１４ｃにおける、画素データ更新部６１及びＨＤＲ−ＲＡＷデー
タ生成部６２の処理について説明する。
画素データ更新部６１は、補正部６０で補正処理後の標準露光時間で露光時の画素デー
タが入力され、且つ補正処理後の画素データの画素に対応するＢＲＡＭ４に記憶されたＨ
ＤＲ−ＲＡＷデータが入力されると、当該ＨＤＲ−ＲＡＷデータに含まれる露光コードが
「１」であるため、まず、補正処理後の画素データの輝度値と飽和判定用の閾値（ダイナ
ミックレンジの最大値）とを比較する。そして、この比較結果に基づき、閾値を超えてい
れば飽和フラグを「１」（飽和）と設定し、閾値以下であれば飽和フラグを「０」（非飽
和）と設定する。

次に、前記設定された飽和フラグが「１」である場合は、ＨＤＲ−ＲＡＷデータに含ま
れる画素データ及び露光コードをそのまま維持する指令をＨＤＲ−ＲＡＷデータ生成部６
２に出力する。一方、前記設定された飽和フラグが「０」である場合は、補正処理後の画
素データをＨＤＲ−ＲＡＷデータ生成部６２に出力し、露光コードを「２」とする。
ＨＤＲ−ＲＡＷデータ生成部６２は、画素データ更新部６１から、補正処理後の画素デ
ータが入力されたときは、ＢＲＡＭ４から読み出したＨＤＲ−ＲＡＷデータの画素データ
を、前記入力された画素データに更新し、更新後の画素データを含むＨＤＲ−ＲＡＷデー
タを画像出力部１２に出力する。

一方、画素データ更新部６１から、画素データを維持する指令が入力されたときは、Ｂ
ＲＡＭ４から読み出したＨＤＲ−ＲＡＷデータを更新せずに、そのまま画像出力部１２に
出力する。
なお、上記第３プロセス部１４ｃの処理は、非破壊型撮像部２から短露光時間で露光時
の画素データが出力される期間（サブ伝送期間２）において順次行われる。

次に、図９に基づき、本実施の形態の撮像装置１の動作を説明する。
ここで、図９は、プリプロセス部１０におけるパイプライン処理を示す図である。
図９の如く、１水平期間（１Ｈ期間）は、３つのサブ伝送期間に分割され、各々の期間
において、リセット＆読み出しラインＬ０によるリセット直後のライン読み出し、非破壊
読出しラインＬ１による短露光時間のライン読み出し、非破壊読出しラインＬ２による標
準露光時間のライン読み出しが行われる。

いま、撮像動作を何フレームか実施し、その結果、ＡＬＣ動作が収束し、短露光時間と
、標準露光時間が算出されたとする（位相差が決まる）。そして、いま、ある時刻（１Ｈ
の期間）において読み出しラインが図４の状態になったとする。図４の状態では、リセッ
ト＆読み出しラインＬ０において、リセット直後に撮像された画像の電荷群が非破壊型撮
像部２のエリアセンサ６で電圧群に変換される。すると、水平転送部７によって、信号処
理部３のタイミング制御部８から出力される駆動信号が示す画素列で変換された電圧群が
読み出され、その読み出された電圧群が水平転送部７で選択回路７０を介してＡＤＣ７１
に出力される。また、ＡＤＣ７１によって、その出力された電圧群に基づいてデジタルの
画素データが生成され、その生成された画素データが画素列単位に信号処理部３の画像処
理部９に出力される。

リセット直後の画素データが１画素列分、出力される期間は、図９に示すサブ伝送期間
０に該当し、第１プロセス部１４ａは、サブ伝送期間０において、各画素毎に、前記入力
された画素列単位のリセット直後の画素データ（ノイズデータ）と、当該画素データと同
じ画素位置の、ＢＲＡＭ４に記憶されたＨＤＲ−ＲＡＷデータに含まれるノイズデータと
に基づき、第１属性データの更新処理及び更新用ＨＤＲ−ＲＡＷデータの生成処理（以下
、「Pixel-PROCESS-N」と称す）を実行する。

そして、サブ伝送期間０が終了すると、次に、非破壊読出しラインＬ１において、短露
光時間で撮像された画像の電荷群が非破壊型撮像部２のエリアセンサ６で電圧群に変換さ
れる。すると、リセット直後の場合と同様に、駆動信号の示す画素列の電圧群が読み出さ
れ、読み出された電圧群が水平転送部７で選択回路７０を介してＡＤＣ７１に出力され、
ＡＤＣ７１によって、デジタルの画素データが画素列単位に信号処理部３の画像処理部９
に出力される。

サブ伝送期間０に続いて、短露光時間で露光時の画素データが１画素列分、出力される
期間は、図９に示すサブ伝送期間１に該当し、第２プロセス部１４ｂは、サブ伝送期間１
において、各画素毎に、前記入力された画素列単位の短露光時間で露光時の画素データと
、当該画素データと同じ画素位置の、ＢＲＡＭ４に記憶されたＨＤＲ−ＲＡＷデータとに
基づき、画素データの補正処理及びＨＤＲ−ＲＡＷデータの更新処理（以下、「Pixel-PR
OCESS-S1」と称す）を実行する。

そして、サブ伝送期間１が終了すると、次に、非破壊読出しラインＬ２において、標準
露光時間で撮像された画像の電荷群が非破壊型撮像部２のエリアセンサ６で電圧群に変換
される。すると、リセット直後の場合と同様に、駆動信号の示す画素列の電圧群が読み出
され、読み出された電圧群が水平転送部７で選択回路７０を介してＡＤＣ７１に出力され
、ＡＤＣ７１によって、デジタルの画素データが画素列単位に信号処理部３の画像処理部
９に出力される。

サブ伝送期間１に続いて、標準露光時間で露光時の画素データが１画素列分、出力され
る期間は、図９に示すサブ伝送期間２に該当し、第３プロセス部１４ｃは、サブ伝送期間
２において、各画素毎に、前記入力された画素列単位の標準露光時間で露光時の画素デー
タと、当該画素データと同じ画素位置の、ＢＲＡＭ４に記憶されたＨＤＲ−ＲＡＷデータ
とに基づき、画素データの補正処理及びＨＤＲ−ＲＡＷデータの更新処理（以下、「Pixe
l-PROCESS-S2」と称す）を実行する。

次に、サブ伝送期間０における、第１プロセス部１４ａの具体的な動作を説明する。
第１プロセス部１４ａは、ＡＤＣ７１から、リセット直後の画素データ（ノイズデータ
）が１画素分入力されると、リード用ラインメモリ１７の第２リードラインメモリから、
前記入力画素データと同じ画素位置のＨＤＲ−ＲＡＷデータをＭＵＸ１５を介して取得す
る。ここで、第２リードラインメモリには、１つ前のサブ伝送期間２において、非破壊読
出しラインＬ０の画素列に対応するＨＤＲ−ＲＡＷデータが、ＢＲＡＭ４から読み出され
て、予め記憶されている。

そして、第１属性データ更新部５０の異常画素判定部５０ａにおいて、前記入力された
画素データと、前記取得したＨＤＲ−ＲＡＷデータに含まれるノイズデータとに基づき、
これらに対応する画素が欠陥画素か否かを判定し、欠陥画素であった場合は、画素欠陥フ
ラグを「１」に、そうでなかった場合は、画素欠陥フラグを「０」に設定し、当該設定さ
れた画素欠陥フラグを、ＨＤＲ−ＲＡＷデータ生成部５２及びノイズデータ更新部５０ｂ
に出力する。

一方、ノイズデータ更新部５０ｂは、異常画素判定部５０ａから、画素欠陥フラグ「０
」が入力されると、前記入力された画素データと、前記取得したＨＤＲ−ＲＡＷデータに
含まれるノイズデータとに対して、公知のリカーシブルフィルタを適用して、入力された
画素データからノイズ成分を除去し、更新用のノイズデータを生成する。そして、当該生
成した更新用のノイズデータをＨＤＲ−ＲＡＷデータ生成部５２に出力する。

また、画素データクリア部５１は、前記取得したＨＤＲ−ＲＡＷデータにおける画素デ
ータを全て「０」にクリアし、クリア後の画素データを、ＨＤＲ−ＲＡＷデータ生成部５
２に出力する。また、露光コード及び飽和判定フラグも「０」にクリアし、露光コード「
０」及び飽和判定フラグ「０」をＨＤＲ−ＲＡＷデータ生成部５２に出力する。
ＨＤＲ−ＲＡＷデータ生成部５２は、異常画素判定部５０ａから入力された画素欠陥フ
ラグ「０」と、ノイズデータ更新部５０ｂから入力された更新用ノイズデータと、画素デ
ータクリア部５１から入力されたクリア後の画素データ（全て「０」）、飽和フラグ「０
」及び露光コード「０」とから、更新用のＨＤＲ−ＲＡＷデータを生成する。そして、当
該生成した更新用のＨＤＲ−ＲＡＷデータを、ライト用ラインメモリ１８の第１ライトラ
インメモリに書き込む。

上記更新用のＨＤＲ−ＲＡＷデータの生成処理を、サブ伝送期間０において入力される
１画素列分の画素データに対して行うと、第１ライトラインメモリに書き込まれた１画素
列分の更新用のＨＤＲ−ＲＡＷデータを、メモリアービタ１１を介して、ＢＲＡＭ４に記
憶された、前記更新用のＨＤＲ−ＲＡＷデータと同じ画素位置（ライン番号Ｌ０）のＨＤ
Ｒ−ＲＡＷデータに上書きする。このとき、メモリアービタ１１は第１ライトラインメモ
リのデータを、後述するサブ伝送期間１の期間においてＢＲＡＭ４へ書き込む。

また、メモリアービタ１１は、サブ伝送期間１における「Pixel-PROCESS-S1」のために
、先行して、サブ伝送期間０中に、ライン番号Ｌ１に対応するＨＤＲ−ＲＡＷデータを、
メモリアービタ１１を介してバースト的に読み出し、リード用ラインメモリ１７の第１リ
ードラインメモリに書き込む。
次に、サブ伝送期間１における、第２プロセス部１４ｂの具体的な動作を説明する。

第２プロセス部１４ｂは、ＡＤＣ７１から、短露光時間で露光時の画素データが１画素
分入力されると、リード用ラインメモリ１７の第１リードラインメモリから、前記入力画
素データと同じ画素位置のＨＤＲ−ＲＡＷデータをＭＵＸ１５を介して取得する。ここで
、第１リードラインメモリには、先述したように、サブ伝送期間０において、ライン番号
Ｌ１に対応するＨＤＲ−ＲＡＷデータが、ＢＲＡＭ４から読み出されて、予め記憶されて
いる。

そして、補正部６０の黒レベル補正部６０ａにおいて、入力画素データに対して黒レベ
ル補正を行い、黒レベル補正後の画素データから、前記取得したＨＤＲ−ＲＡＷデータに
含まれるノイズデータを減ずる。これにより、短露光時間で露光時の画素データから固定
パターンノイズが除去される。更に、感度・シェーディング補正部６０ｃにおいて、感度
補正パラメータに基づき感度補正が行われる。なお更に、欠陥画素補正部６０ｄにおいて
、前記取得したＨＤＲ−ＲＡＷデータに含まれる画素欠陥フラグが「１」である場合は、
画素に欠陥があるため、その画素データを、隣の画素のＨＤＲ−ＲＡＷデータの画素デー
タに変更し、変更後の画素データを画素データ更新部６１に出力する。一方、画素欠陥フ
ラグが「０」である場合は、画素には欠陥がないので、そのまま感度補正後の画素データ
を画素データ更新部６１に出力する。ここでは、画素に欠陥はなく、感度補正後の画素デ
ータをそのままＨＤＲ−ＲＡＷデータ生成部６２に出力したとする。

画素データ更新部６１は、前記取得したＨＤＲ−ＲＡＷデータに含まれる露光コードに
基づき、画素データの更新処理を行う。ここでは、取得した露光コードは「０」であり、
画素データ更新部６１は、入力画素データの輝度値と、飽和判定用の輝度値（ダイナミッ
クレンジの最大値）とを比較し、当該比較結果に基づき、飽和判定フラグの値を設定する
。ここでは、飽和判定フラグが「０」（非飽和）に設定されたとする。また、露光コード
を「１」に設定する。これら設定した飽和判定フラグ「０」及び露光コード「１」を、Ｈ
ＤＲ−ＲＡＷデータ生成部６２に出力する。

ＨＤＲ−ＲＡＷデータ生成部６２は、画素データ更新部６１から入力された、補正処理
後の画素データ、飽和判定フラグ「０」及び露光コード「１」と、前記取得したＨＤＲ−
ＲＡＷデータとから、更新用のＨＤＲ−ＲＡＷデータを生成する。具体的には、前記取得
したＨＤＲ−ＲＡＷデータにおける、画素データ、飽和判定フラグ及び露光コードを、前
記画素データ更新部６１から取得したものに変更したデータを、更新用のＨＤＲ−ＲＡＷ
データとして生成する。そして、当該生成した更新用のＨＤＲ−ＲＡＷデータを、ライト
用ラインメモリ１８の第２ライトラインメモリに書き込む。

上記更新用のＨＤＲ−ＲＡＷデータの生成処理を、サブ伝送期間１において入力される
１画素列分の画素データに対して行うと、第２ライトラインメモリに書き込まれた１画素
列分の更新用のＨＤＲ−ＲＡＷデータを、メモリアービタ１１を介して、ＢＲＡＭ４に記
憶された、前記更新用のＨＤＲ−ＲＡＷデータと同じ画素位置（ライン番号Ｌ１）のＨＤ
Ｒ−ＲＡＷデータに上書きする。このとき、メモリアービタ１１は第２ラインメモリのデ
ータを、後述するサブ伝送期間２の期間においてＢＲＡＭ４へと書き込む。

また、メモリアービタ１１は、サブ伝送期間２における「Pixel-PROCESS-S2」のために
、先行して、サブ伝送期間１中に、ライン番号Ｌ２に対応するＨＤＲ−ＲＡＷデータを、
メモリアービタ１１を介してバースト的に読み出し、リード用ラインメモリ１７の第２リ
ードラインメモリに書き込む。
次に、サブ伝送期間２における、第３プロセス部１４ｃの具体的な動作を説明する。

第３プロセス部１４ｃは、ＡＤＣ７１から、標準露光時間で露光時の画素データが１画
素分入力されると、リード用ラインメモリ１７の第２リードラインメモリから、前記入力
画素データと同じ画素位置のＨＤＲ−ＲＡＷデータをＭＵＸ１５を介して取得する。ここ
で、第２リードラインメモリには、先述したように、サブ伝送期間１において、ライン番
号Ｌ２に対応するＨＤＲ−ＲＡＷデータが、ＢＲＡＭ４から読み出されて、予め記憶され
ている。

補正部６０では、上記サブ伝送期間１における補正処理と同様に、入力画素データ（標
準露光時間で露光時の画素データ）に対して、黒レベル補正、ノイズ除去処理、感度補正
処理、及び欠陥画素の補正処理が順次施され、補正処理後の画素データが、画素データ更
新部６１に出力される。
画素データ更新部６１では、前記取得したＨＤＲ−ＲＡＷデータに含まれる露光コード
に基づき、画素データの更新処理を行う。ここでは、露光コードは「１」となるので、画
素データ更新部６１は、入力画素データの輝度値と、飽和判定用の輝度値（ダイナミック
レンジの最大値）とを比較し、当該比較結果に基づき、飽和判定フラグの値を設定する。
ここでは、飽和判定フラグが「０」（非飽和）に設定されたとする。次に、この飽和判定
フラグ「０」と、前記取得したＨＤＲ−ＲＡＷデータに含まれる飽和判定フラグ「０」と
を比較する。この場合は、標準露光時間で露光時の画素データが非飽和であるため、露光
時間のより長い標準露光時間で露光時の画素データを、ＨＤＲ−ＲＡＷデータ生成部６２
に出力する。また、露光コードを「２」に更新する。

ＨＤＲ−ＲＡＷデータ生成部６２は、画素データ更新部６１から、標準露光時間で露光
時の画素データが入力されると、前記取得したＨＤＲ−ＲＡＷデータに含まれる画素デー
タを、前記入力された画素データに変更した構成のＨＤＲ−ＲＡＷデータを生成する。そ
して、当該生成したＨＤＲ−ＲＡＷデータ（広ダイナミックレンジに対応）を、画像出力
部１２に出力する。

また、メモリアービタ１１は、次の画素列（現在のＬ０＋１ライン目）のサブ伝送期間
０における「Pixel-PROCESS-N」のために、サブ伝送期間２中に、先行して、現在のＬ０
＋１ライン目のＨＤＲ−ＲＡＷデータを、メモリアービタ１１を介してバースト的に読み
出し、リード用ラインメモリ１７の第１リードラインメモリに書き込む。
画像出力部１２は、ＨＤＲ−ＲＡＷデータ生成部６２から入力されたＨＤＲ−ＲＡＷデ
ータ中の画素データに対して、例えばトーンマッピング処理、またカラーフィルタが搭載
された撮像素子の場合は色補間処理等を行い、ホストシステム５からの駆動信号に基づき
画像処理後のＨＤＲ−ＲＡＷデータを、ホストシステム５に出力する。

以上、本実施の形態の撮像装置１は、非破壊型撮像部２において、エリアセンサ６から
読み出される各露光時間で露光時の画素データに対して、画素データの補正処理に用いる
第１属性データ（ノイズデータ及び画素欠陥フラグ）を付加すると共に、画素データの合
成処理に用いる第２属性データ（露光コード及び飽和判定フラグ）を付加することが可能
である。また、ＢＲＡＭ４に記憶された、ＨＤＲ−ＲＡＷデータ（第１属性データ及び第
２属性データが付加されたデータ）を用いて、画素データの補正処理及び画素データの合
成処理を行うことが可能である。

これにより、１回のＢＲＡＭ４へのアクセスで、画素データの補正処理及び画素データ
の合成処理を行うことができるので、メモリへのアクセス回数が減り、処理を高速化する
ことができる。
また、共通のＢＲＡＭ４を、合成のための遅延素子と、ノイズ除去のための素子として
兼用することが可能である。

これにより、ノイズ除去用に別途遅延素子を設ける必要がなく、その結果、遅延素子の
分だけ製造コストを低くすることができる。
また、本発明の画像データ形式とその構成により、画素単位での補正処理及び合成を簡
単に実現できる。即ち、画像を構成する各画素データに対して第１属性データ（ノイズデ
ータ、画素欠陥フラグ）と、第２属性データ（露光コード、飽和フラグ）とを付加し、そ
の付加された第１属性データを用いて補正処理を行い、第２属性データを用いて合成を行
うようにした。そのため、補正処理及び合成処理を容易に行うことが可能になる。つまり
、本合成手法により、未飽和で、且つ、Ｓ／Ｎの高い高品質の画像を生成することができ
る。なお、合成に必要な大容量フレームメモリ（ＢＲＡＭ４）は安価に入手できることか
ら、属性データを追加することは、大きな欠点とはならない。

以上、上記実施の形態において、図１のエリアセンサ６は、形態１、２、１０及び１１
のいずれか１の光電変換部に対応し、図１のエリアセンサ６、水平転送部７及びタイミン
グ制御部８による画素信号の読み出し処理は、形態１、３、４、７、８及び１０のいずれ
か１の画素信号読出手段、又は形態１１の画素信号読出ステップに対応し、図１の画像処
理部９のプリプロセス部１０における第１属性データ及び第２属性データの付加及び更新
処理は、形態１、２、３、４、５、６、８、９及び１０のいずれか１の属性情報付加手段
、又は形態１１の属性情報付加ステップに対応し、図１のＢＲＡＭ４は、形態１、４、５
、９及び１０のいずれか１の記憶手段に対応し、図１の画像処理部９及びＢＲＡＭ４によ
るＨＤＲ−ＲＡＷデータの生成処理（画素データの合成処理）は、形態１、２、３、６、
８、９及び１０のいずれか１の撮像画像データ生成手段、又は形態１１の撮像画像データ
生成ステップに対応する。

なお、本発明の撮像装置は、上記実施の形態の内容に限定されるものではなく、本発明
の趣旨を逸脱しない範囲で適宜変更可能である。
例えば、第２属性データとして、画像データの生成時における露光時間を示す露光コー
ド、前記画像データの輝度値がダイナミックレンジの最大値であることを示す飽和フラグ
を用いる例を示したが、これに限られるものではない。例えば、画像データが生成された
時刻を示す作成時刻コードや、画素固有のデータをさらに追加することも可能である。

また、本発明の撮像装置は、独立した３つの出力チャンネルを介して、非破壊読み出し
方式で読み出した、リセット直後を含む３種類の露光時間の画素データを利用して処理を
行う構成としたが、これに限らず、４つ以上の出力チャンネルを介して、４種類以上の露
光時間の画素データを読み出す構成としても良い。
また、本発明の撮像装置は、非破壊読み出し方式で各画素から電荷を読み出す構成とし
たが、これに限らず、電荷の読み出し後にリセットを伴う破壊読み出し方式を用いて電荷
を読み出す構成としても良い。

また、本発明は撮像装置に適用したが、画素毎に属性データを与え、それに基づいて画
像処理や画像合成を行わせるアイディアは、一般的な画像処理装置にも適応できることは
明らかである。

本発明に係る撮像装置１の内部構成を示すブロック図である。 本発明のＨＤＲ−ＲＡＷデータを説明するための図である。 非破壊読み出し方式における画素の蓄積電荷量の推移を示す図である。 非破壊型撮像部２のエリアセンサ６における各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。 画像処理部９の内部構成を示すブロック図である。 プリプロセス部１０の内部構成を示すブロック図である。 （ａ）は、第１プロセス部１４ａの内部構成を示す図であり、（ｂ）は、属性データ更新部５０の内部構成を示すブロック図である。 （ａ）は、第２プロセス部１４ｂ及び第３プロセス部１４ｃの内部構成を示すブロック図であり、（ｂ）は、補正部６０の内部構成を示すブロック図である。 プリプロセス部１０におけるパイプライン処理を示す図である。 従来の撮像装置の構成を示すブロック図である。

符号の説明

１は撮像装置、２は非破壊型撮像部、３は信号処理部、４はＢＲＡＭ、５はホストシステ
ム、６はエリアセンサ、７は水平転送部、８はタイミング制御部、９は画像処理部、１０
はプリプロセス部、１１はメモリアービタ、１２は画像出力部、１３，１５，１６はＭＵ
Ｘ、１４はプロセス部、１７はリード用ラインメモリ、１８はライト用ラインメモリ

Claims (11)

1. 露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された
   構成の光電変換部と、露光時間を制御する電子シャッタ機能とを備えた撮像装置であって
   、
   前記光電変換素子の構成する各画素から、Ｎ種類（Ｎは２以上の自然数）の露光時間で
   露光時の画素信号を読み出す画素信号読出手段と、
   前記画素信号読出手段で読み出された各画素信号のデータである画素データに対して、
   前記各画素の補正情報を含む第１属性情報と、前記各画素の撮像条件を含む第２属性情報
   とを付加する属性情報付加手段と、
   前記第１属性情報及び前記第２属性情報の付加された画素データを記憶する記憶手段と
   、
   前記各画素データに付加された前記第１属性情報に基づき、当該各画素データに対して
   補正処理を行うと共に、補正処理後の各画素データに付加された前記第２属性情報と、前
   記記憶手段に記憶された各画素データに付加された前記第２属性情報とに基づき、前記各
   画素毎に、前記記憶手段に記憶された各画素データを更新又は維持することで撮像画像デ
   ータを生成する撮像画像データ生成手段と、を備えることを特徴とする撮像装置。
2. 前記属性情報付加手段は、前記第１属性情報の１つとして、前記各画素に固有のノイズ
   の情報であるノイズ情報を付加し、
   前記撮像画像データ生成手段は、前記補正処理として、前記ノイズ情報に基づき各画素
   データのノイズ成分を除去するノイズ除去処理を行うことを特徴とする請求項１に記載の
   撮像装置。
3. 前記画素信号読出手段は、前記光電変換素子の構成する各画素から、前記Ｎ種類の露光
   時間で露光時の画素信号とは別に、リセット直後の画素信号を読み出し、
   前記属性情報付加手段は、前記リセット直後に各画素から読み出される画素信号の画素
   データを、前記ノイズ情報として、前記各画素に対応する画素データに付加し、
   前記撮像画像データ生成手段は、前記ノイズ除去処理において、各露光時間で露光時の
   各画素データの示す値から、前記リセット直後の画素データの示す値を減ずることで前記
   ノイズ成分を除去することを特徴とする請求項２に記載の撮像装置。
4. 前記画素信号読出手段は、前記Ｎ種類の露光時間の露光が行われる露光期間毎に、前記
   リセット直後の画素信号を読み出し、
   前記属性情報付加手段は、前記画素信号読出手段によって、リセット直後の画素信号が
   読み出される毎に、当該読み出された画素信号の画素データに基づき、前記記憶手段に記
   憶された各画素データに付加されたノイズ情報を更新することを特徴とする請求項３に記
   載の撮像装置。
5. 前記属性情報付加手段は、前記ノイズ情報を更新すると共に、前記記憶手段に記憶され
   た画素データをクリアすることを特徴とする請求項４に記載の撮像装置。
6. 前記属性情報付加手段は、前記各画素の画素データに基づき各画素が欠陥画素か否かを
   判定すると共に、当該判定結果に基づき、前記第１属性情報の１つとして、前記各画素デ
   ータに対応する画素が欠陥画素か否かを示す情報である欠陥画素情報を付加し、
   前記撮像画像データ生成手段は、前記補正処理として、前記欠陥画素情報に基づき、欠
   陥画素に対応する画素データを補正する欠陥画素データ補正処理を行うことを特徴とする
   請求項１乃至請求項５のいずれか１項に記載の撮像装置。
7. 前記画素信号読出手段は、リセット直後から次のリセットまでの１回の露光期間におい
   て、前記Ｎ種類の露光時間で露光時の画素信号を、非破壊読み出し方式で読み出すことを
   特徴とする請求項１乃至請求項６のいずれか１項に記載の撮像装置。
8. 前記画素信号読出手段は、前記Ｎ種類の露光時間における露光時間の短い順に、画像の
   ライン単位で順次露光される各画素の画素信号を、当該露光時間の種類毎に且つ前記ライ
   ン単位で順次読み出し、
   前記Ｎ種類の露光時間にそれぞれ対応し且つ当該各種類毎に前記画素信号読出手段で読
   み出される画素信号の画素データを前記ライン単位で記憶し、当該記憶したライン単位の
   画素データをそれぞれ独立に出力するＮ個の出力チャンネルを備え、
   前記属性情報付加手段は、前記Ｎ個の出力チャンネルから、前記露光時間の短い順に順
   次出力される各ラインの画素データに対して前記第１属性情報及び前記第２属性情報を付
   加し、
   前記撮像画像データ生成手段は、前記属性情報付加手段で前記第１属性情報及び前記第
   ２属性情報の付加された各ラインの画素データに対して、前記補正処理及び前記撮像画像
   データの生成処理を順次行うことを特徴とする請求項７に記載の撮像装置。
9. 前記属性情報付加手段は、前記第２属性情報として、前記各画素データに対して、前記
   画素の露光時間を示す情報、及び前記画素の輝度値がダイナミックレンジの上限値である
   ことを示す情報の少なくとも一方を付加し、
   前記撮像画像データ生成手段は、新規に読み出された画素信号の画素データに付加され
   た前記第２属性情報の示す露光時間が、前記記憶手段に記憶されている前記新規に読み出
   された画素信号の画素に対応する画素データに付加された前記第２属性情報が示す露光時
   間よりも長いか否かを判定する第１判定処理と、新規に読み出された画素信号の画素デー
   タに付加された前記第２属性情報の示す輝度値がダイナミックレンジの上限値より大きく
   、且つ前記記憶手段に記憶されている前記新規に読み出された画素信号の画素に対応する
   画素データに付加された前記第２属性情報の示す輝度値がダイナミックレンジの上限値よ
   り小さいか否かを判定する第２判定処理とのうち少なくとも一方を実行し、その判定結果
   に基づき、前記記憶手段に記憶された前記画素データを更新又は維持することを特徴とす
   る請求項１乃至請求項８のいずれか１項に記載の撮像装置。
10. 露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された
    構成の光電変換部と、露光時間を制御する電子シャッタ機能とを備えた撮像装置であって
    、
    前記光電変換素子の構成する各画素から、Ｎ種類（Ｎは２以上の自然数）の露光時間で
    露光時の画素信号を読み出す画素信号読出手段と、
    前記画素信号読出手段で読み出された各画素信号のデータである画素データに対して、
    前記各画素の補正情報を含む第１属性情報と、前記各画素の撮像条件を含む第２属性情報
    とを付加する属性情報付加手段と、
    前記第１属性情報及び前記第２属性情報の付加された画素データを記憶する記憶手段と
    、
    前記各画素データに付加された前記第１属性情報に基づき、当該各画素データに対して
    補正処理を行うと共に、補正処理後の各画素データに付加された前記第２属性情報と、前
    記記憶手段に記憶された各画素データに付加された前記第２属性情報とに基づき、前記各
    画素毎に、前記記憶手段に記憶された各画素データを更新又は維持することで撮像画像デ
    ータを生成する撮像画像データ生成手段と、を備えることを特徴とする撮像システム。
11. 露光した光を電荷に変換して蓄積する複数の光電変換素子がマトリクス状に配設された
    構成の光電変換部と、露光時間を制御する電子シャッタ機能とを備えた撮像装置で用いら
    れる撮像方法であって、
    前記光電変換素子の構成する各画素から、Ｎ種類（Ｎは２以上の自然数）の露光時間で
    露光時の画素信号を読み出す画素信号読出ステップと、
    前記画素信号読出ステップで読み出された各画素信号のデータである画素データに対し
    て、前記各画素の補正情報を含む第１属性情報と、前記各画素の撮像条件を含む第２属性
    情報とを付加する属性情報付加ステップと、
    前記第１属性情報及び前記第２属性情報の付加された画素データをデータ書き換え可能
    な記憶媒体に記憶する記憶ステップと、
    前記各画素データに付加された前記第１属性情報に基づき、当該各画素データに対して
    補正処理を行うと共に、補正処理後の各画素データに付加された前記第２属性情報と、前
    記記憶媒体に記憶された各画素データに付加された前記第２属性情報とに基づき、前記各
    画素毎に、前記記憶媒体に記憶された各画素データを更新又は維持することで撮像画像デ
    ータを形成する撮像画像データ形成ステップと、を含むことを特徴とする撮像方法。

Images