JP2006191536A - 撮像装置 - Google Patents

Abstract

【課題】撮像装置の製造コストを低くすること。
【解決手段】ＢＲＡＭデータ蓄積部１９に蓄積されているＨＤＲ−ＲＡＷデータの飽和フラグが「１」であり、また、入力データ蓄積部１８に蓄積されているＨＤＲ−ＲＡＷデータの飽和フラグが「０」である場合、つまり、それまで飽和状態であった画素が飽和状態でなくなった場合に、それまでのＨＤＲ−ＲＡＷデータに代えて入力データ蓄積部１８に蓄積されているＨＤＲ−ＲＡＷデータをＢＲＡＭ１０に記録させるようにした。そのため、例えば、第１の画像を撮像した後に、第２の画像を撮像し、第１の画像の画像データを遅延素子で遅延させ、その遅延された第１の画像内で輝度値がダイナミックレンジの最大値となっている画素の画像データに代えて第２の画像内の画素の画像データを記録させる方法と異なり、遅延素子を設ける必要がなく、その結果、遅延素子の分だけ製造コストを低くすることができる。
【選択図】図３

Description

本発明は、ダイナミックレンジの広い画像を得ることが可能な撮像装置に関する。

従来、この種の撮像装置としては、標準露光時間で第１の画像を撮像した後、その標準露光時間より短い短露光時間で第２の画像を撮像手段で撮像し、その撮像された第１の画像内で輝度値がダイナミックレンジの上限値に達している画素を合成手段で前記第２の画像内の画素に置き換えることで、ダイナミックレンジの広い画像を生成するものがある。
このような撮像装置にあっては、一般に、第１の画像の画像データをバッファで遅延させることで、第１の画像の各画素の画像データを、置き換え候補となる第２の画像の画像データと同時に合成手段に取得させるようになっている（例えば特許文献１参照）。
特開２００３―１９８９４８号公報

しかしながら、上記従来の撮像装置にあっては、標準露光時間で撮像された第１の画像を遅延させるための大容量のバッファが必要となる。また、バッファ容量（遅延時間）は撮像手段の構成に依存し、また、遅延時間が撮像条件によって変わる場合、遅延時間を変化させる制御を行うための複雑な回路が必要となるため、製造コストが高くなってしまう恐れがあった。また、従来、露光時間は１フレームの期間において固定であり、合成手段はそれを想定して構成されるが、露光時間が動的に変わる場合、合成手段は柔軟な対応が必要となる。さらに、複数チャンネル出力の撮像素子において、各々のチャンネルが、別の画素列を出力し、且つ、露光時間が変わる場合、その構成はより複雑となる。

本発明は、上記従来の撮像装置の未解決の課題を解決することを目的とするものであって、製造コストを低くすることができる撮像装置を提供することを課題とする。

上記課題を解決するために、本発明の撮像装置は、露光時間を変更可能な電子シャッタ機能を備えた撮像手段と、その撮像手段で撮像された画像の各画素に当該画素の撮像条件を含む属性情報を付加する属性情報付加手段と、その付加された属性情報に基づいて、前記画像を画素毎に選択することで撮像画像を生成する撮像画像生成手段とを備えたことを特徴とする。

また、前記撮像画像生成手段は、前記属性情報付加手段で各画素に付加された属性情報が当該属性情報に対応する画素を選択する選択条件を満たすか否かを判定する選択条件判定手段と、その選択条件を満たすと判定された属性情報に対応する画素を選択して撮像画像を生成する選択画素合成手段とを備えるようにしてもよい。
さらに、前記撮像手段で撮像された画像のうち先に撮像された画像を記録する記録手段を備え、前記選択画素合成手段は、前記撮像手段で後に撮像された画像に含まれる画素の属性情報が前記選択条件を満たすと判定された場合に当該画素を前記記録手段に記録されている撮像画像の対応画素と置き換えるようにしてもよい。

また、前記画素の属性情報は、前記画素の露光時間を示す情報、前記画素の輝度値がダイナミックレンジの上限値であることを示す情報及び前記画素の撮像時刻を示す情報の少なくともいずれかを含むようにしてもよい。
さらに、前記選択条件判定手段は、新しく撮像された画像の対象画素の露光時間が前記記録手段に記録されている撮像画像の対応画素の露光時間より長いか否か、新しく撮像された画像の対象画素の輝度値がダイナミックレンジの上限値より大きく且つ前記記録手段に記録されている撮像画像の対応画素の輝度値がダイナミックレンジの上限値より小さいか否か、及び新しく撮像された画像の対象画素の撮像時刻が前記記録手段に記録されている撮像画像の対応画素の撮像時刻より所定時間以上離れているか否かの少なくともいずれかを判定するようにしてもよい。

また、前記選択条件判定手段は、前記画素の選択条件を満たすか否かを判定する処理として、各画素に付加された前記属性情報に基づき、新しく撮像された画像の対象画素の撮像時刻が前記記録手段に記録されている撮像画像の対応画素の撮像時刻より所定時間以上離れているか否かを判定する優先順位が第１位の第１判定処理、新しく撮像された画像の対象画素の輝度値がダイナミックレンジの上限値より小さく且つ前記記録手段に記録されている撮像画像の対応画素の輝度値がダイナミックレンジの上限値より大きいか否かを判定する優先順位が第２位の第２判定処理、及び新しく撮像された画像の対象画素の輝度値がダイナミックレンジの上限値より小さく且つ前記記録手段に記録されている撮像画像の対応画素の輝度値がダイナミックレンジの上限値より小さい場合に、新しく撮像された画像の対象画素の露光時間が前記記録手段に記録されている撮像画像の対応画素の露光時間より長いか否かを判定する優先順位が第３位の第３判定処理を、前記優先順位の高い方から順に実行し、前記第１〜第３判定処理のいずれかにおいて、前記選択条件を満たした時点で前記判定処理を終了するようにしてもよい。

このような構成によれば、例えば、撮像された画像の画素の属性情報として当該画素の輝度値がダイナミックレンジの最大値であるか否かを示す情報を付加し、新しく撮像された画像の対象画素の輝度値がダイナミックレンジの上限値より小さく、先に撮像された画像の対象画素の輝度値がダイナミックレンジの上限値である場合、つまり、それまで飽和状態であった画素が飽和状態でなくなった場合に、当該画素に代えて前記対象画素を前記記録手段に記録させることで、非飽和な画像、即ち、ダイナミックレンジの広い画像を生成することができる。また、撮像された画像の画素の属性情報として当該画素の露光時間を示す情報を付加し、常に非飽和で、且つ、長い露光時間の画像を記録させることで、Ｓ／Ｎの高い画像を生成することができる。また、撮像された画像の各画素の属性情報として、前記画素の露光時間を示す情報、前記画素の輝度値がダイナミックレンジの上限値であることを示す情報及び前記画素の撮像時刻を示す情報を付加し、記録手段に記録された対応画素のうち撮像時刻が所定時間以上経過している画素を最優先で新しく撮像された対象画素に更新するようにし、記録手段に記録された対応画素の撮像時刻が所定時間経過しておらず、新しく撮像された対象画素の輝度値がダイナミックレンジの上限値より小さく且つ前記記録手段に記録されている対応画素の輝度値がダイナミックレンジの上限値より大きい場合に、前記対応画素を前記対象画素に更新するようにし、新しく撮像された対象画素の輝度値がダイナミックレンジの上限値より小さく且つ前記記録手段に記録されている対応画素の輝度値がダイナミックレンジの上限値より小さい場合で、且つ前記新しく撮像された対象画素の露光時間が前記記録手段に記録されている対応画素の露光時間より長い場合に、前記対応画素を前記対象画素に更新するようにすることで、撮像画像の画質への悪影響を最優先で抑えつつ、ダイナミックレンジが広く且つＳ／Ｎが高い画像を生成することができる。そのため、例えば、標準露光時間で第１の画像を撮像した後、当該標準露光時間より短い短露光時間で第２の画像を撮像し、第１の画像の画像データを遅延素子で遅延させて第２の画像の画像データと同時に出力させ、その同時に出力された第１の画像内で輝度値がダイナミックレンジの上限値となっている画素の画像データに代えて第２の画像内の画素の画像データを選択することで、ダイナミックレンジの広い画像を生成する方法と異なり、画像処理装置に必須のフレームメモリを遅延素子として使用することができ、その結果、製造コストを低くすることができる。さらに、撮像手段からの構成に依存することなく、ダイナミックレンジ拡大のための合成処理装置を実現することができる。

一方、上記課題を解決するために、本発明の撮像装置は、露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、前記光電変換部における前記光電変換素子の構成するライン毎に露光時間を変更可能な電子シャッタ機能とを有し、前記露光時間の異なる各ライン毎に、前記各光電変換素子のリセット及び露光並びに前記各光電変換素子からの電荷の読み出しを順次行う撮像手段と、Ｎ種類（Ｎは２以上の自然数）の露光時間にそれぞれ対応し、且つ当該各種類毎に読み出した前記ライン毎の電荷に対応する画像データを記録及び出力するＮ個の出力チャンネルとを備えた撮像装置であって、
前記撮像手段で撮像された撮像画像の画像データを構成する各画素のデータに当該画素の撮像条件を含む属性情報を付加する属性情報付加手段と、
前記属性情報の付加された撮像画像の画像データを記録する記録手段と、
前記Ｎ個の出力チャンネルから前記露光時間の種類毎に所定の順番で順次出力される各ラインの画像データに付加された属性情報と、前記記録手段に記録された前記各ラインの画像データに対応するラインの画像データに付加された属性情報とに基づいて、各画素毎に、当該各画素のデータに付加された属性情報が予め設定された画素の選択条件を満たすか否かを判定する選択条件判定手段と、
前記選択条件を満たすと判定された属性情報に対応する画素のデータを選択し、当該選択した画素のデータが前記記録手段に記録されるようにして、当該記録手段に記録された前記撮像画像の画像データを各画素毎に更新又は維持する撮像画像生成手段とを備えることを特徴とする。

さらに、前記各画素のデータに付加される属性情報は、前記画素の露光時間を示す情報、前記画素の輝度値がダイナミックレンジの上限値であることを示す情報及び前記画素の撮像時刻を示す情報の少なくともいずれかを含むようにしてもよい。
また、前記選択条件判定手段は、前記各画素のデータに付加された属性情報に基づき、前記出力チャンネルから出力される画像データにおける対象画素のデータの露光時間が前記記録手段に記録されている画像データにおける対応画素のデータの露光時間より長いか否か、前記出力チャンネルから出力される画像データにおける対象画素のデータの輝度値がダイナミックレンジの上限値より大きく且つ前記記録手段に記録されている画像データにおける対応画素のデータの輝度値がダイナミックレンジの上限値より小さいか否か、及び前記出力チャンネルから出力される画像データにおける対象画素のデータの撮像時刻が前記記録手段に記録されている画像データにおける対応画素のデータの撮像時刻より所定時間以上離れているか否かの少なくともいずれかを判定するようにしてもよい。

さらに、前記選択条件判定手段は、前記画素の選択条件を満たすか否かを判定する処理として、各画素のデータに付加された属性情報に基づき、前記出力チャンネルから出力される画像データにおける対象画素のデータの撮像時刻が前記記録手段に記録されている画像データの対応画素のデータの撮像時刻より所定時間以上離れているか否かを判定する優先順位が第１位の第１判定処理、前記出力チャンネルから出力される画像データにおける対象画素のデータの輝度値がダイナミックレンジの上限値より小さく且つ前記記録手段に記録されている画像データにおける対応画素のデータの輝度値がダイナミックレンジの上限値より大きいか否かを判定する優先順位が第２位の第２判定処理、及び前記出力チャンネルから出力される画像データにおける対象画素のデータの輝度値がダイナミックレンジの上限値より小さく且つ前記記録手段に記録されている画像データの対応画素のデータの輝度値がダイナミックレンジの上限値より小さい場合に、前記出力チャンネルから出力される画像データにおける対象画素のデータの露光時間が前記記録手段に記録されている画像データにおける対応画素のデータの露光時間より長いか否かを判定する優先順位が第３位の第３判定処理を前記優先順位の高い方から順に実行し、前記第１〜第３判定処理のいずれかにおいて、前記選択条件を満たした時点で前記判定処理を終了するようにしてもよい。

また、前記撮像画像生成手段は、前記Ｎ個の出力チャンネルから前記露光時間の種類毎に所定の順番で順次出力される前記ライン毎の画像データのうち、最初に画像データが出力される出力チャンネルにおいて、当該出力チャンネルから出力される画像データのラインに対応するラインの前記記録手段に記録された画像データを構成する画素のデータのうち、前記撮像画像生成手段で記録が更新されず、且つ次以降に画像データが出力される残りＮ−１個の出力チャンネルにおいて、各出力チャンネルから出力される画像データのラインに対応するラインの前記記録手段に記録された画像データを構成する画素のデータのうち、前記撮像画像生成手段で記録が更新されなかった画素のデータに付加された前記撮像時刻を示す情報を当該撮像時刻を所定時間経過させた情報に変更し、前記Ｎ個の出力チャンネルにおいて、各出力チャンネルから出力される画像データのラインに対応するラインの前記記録手段に記録された画像データを構成する画素のデータのうち、前記撮像画像生成手段で記録が更新された画素のデータに付加された前記撮像時刻を示す情報を所定値にリセットするようにしてもよい。

このような構成によれば、例えば、撮像された画像の各画素の属性情報として当該各画素の輝度値がダイナミックレンジの最大値であるか否かを示す情報を付加する場合に、例えば、１フレームの期間において、２種類の露光時間で撮像された画像のうち一方の出力チャンネルから先に出力された画像の対象画素のデータの輝度値がダイナミックレンジの上限値より小さく、２種類の露光時間のうち他方の出力チャンネルから一方の出力チャンネルより後に出力された画像の対象画素のデータの輝度値がダイナミックレンジの上限値である場合、つまり、一方の露光時間では飽和状態であった画素が他方の露光時間においては飽和状態でない場合に、既に記録されている対応画素のデータの輝度値が飽和状態であるとすると、当該記録された画素に代えて前記他方の露光時間に対応する対象画素のデータを前記記録手段に記録させることで、非飽和な画像、即ち、ダイナミックレンジの広い画像を生成することができる。

また、撮像された画像の各画素のデータの属性情報として当該画素の露光時間を示す情報を付加し、常に非飽和で、且つ、長い露光時間の画像データを優先的に記録させることで、Ｓ／Ｎの高い画像を生成することができる。
また、撮像された画像の各画素のデータの属性情報として、前記画素の露光時間を示す情報、前記画素の輝度値がダイナミックレンジの上限値であることを示す情報及び前記画素の撮像時刻を示す情報を付加し、記録手段に記録された対応画素のデータのうち撮像時刻が所定時間以上経過している画素のデータを最優先で出力チャンネルから出力された対象画素のデータに更新するようにし、記録手段に記録された対応画素の撮像時刻が所定時間経過しておらず、出力チャンネルから出力された対象画素のデータの輝度値がダイナミックレンジの上限値より小さく且つ前記記録手段に記録されている対応画素のデータの輝度値がダイナミックレンジの上限値より大きい場合に、前記対応画素のデータを前記対象画素のデータに更新するようにし、出力チャンネルから出力された対象画素のデータの輝度値がダイナミックレンジの上限値より小さく且つ前記記録手段に記録されている対応画素のデータの輝度値がダイナミックレンジの上限値より小さい場合で、且つ前記出力チャンネルから出力される対象画素のデータの露光時間が前記記録手段に記録されている対応画素のデータの露光時間より長い場合に、前記対応画素のデータを前記対象画素のデータに更新するようにすることで、撮像画像の画質への悪影響を最優先で抑えつつ、ダイナミックレンジが広く且つＳ／Ｎが高い画像を生成することができる。

また、撮像された画像の各画素のデータの属性情報として、前記画素の撮像時刻を示す情報を付加し、前記Ｎ個の出力チャンネルにおける、最初に画像データが出力される出力チャンネルにおいて、当該出力チャンネルから出力される画像データのラインに対応するラインの前記記録手段に記録された画像データを構成する画素のデータのうち、前記撮像画像生成手段で記録が更新されず、且つ次以降に画像データが出力される残りＮ−１個の出力チャンネルにおいて、各出力チャンネルから出力される画像データのラインに対応するラインの前記記録手段に記録された画像データを構成する画素のデータのうち、前記撮像画像生成手段で記録が更新されなかった画素のデータに付加された前記撮像時刻を示す情報を当該撮像時刻を所定時間経過させた情報に変更し、前記Ｎ個の出力チャンネルにおいて、各出力チャンネルから出力される画像データのラインに対応するラインの前記記録手段に記録された画像データを構成する画素のデータのうち、前記撮像画像生成手段で記録が更新された画素のデータに付加された前記撮像時刻を示す情報を所定値（例えば、「０」）にリセットするようにすることで、例えば、Ｎ種類の露光時間に対応した画像を撮像し、これらの画像を各画素毎に合成して１つの撮像画像を生成するような場合に、適切なタイミングで撮像時刻を更新することができる。

以上より、例えば、標準露光時間で第１の画像を撮像した後、当該標準露光時間より短い短露光時間で第２の画像を撮像し、第１の画像の画像データを遅延素子で遅延させて第２の画像の画像データと同時に出力させ、その同時に出力された第１の画像内で輝度値がダイナミックレンジの上限値となっている画素の画像データに代えて第２の画像内の画素の画像データを選択することで、ダイナミックレンジの広い画像を生成する従来の方法と異なり、画像処理装置に必須のフレームメモリを遅延素子として使用することができ、その結果、製造コストを低くすることができる。さらに、撮像手段からの構成に依存することなく、ダイナミックレンジ拡大のための合成処理装置を実現することができる。

〔第１の実施形態〕
以下、本発明に係る撮像装置の第１の実施形態を、図面に基づいて説明する。
この撮像装置１は、１フレーム期間に４種類の露光時間（長露光時間＞標準露光時間＞短露光時間＞超短露光時間）で画像を撮像可能な電子シャッタ機能を備えた撮像素子を備える。通常の撮像素子は、画素列毎に順次、光電変換された画素信号が出力される。本実施例は、画素列毎(単位)に露光時間が変えられる撮像素子を想定する。なお、一般的なフレーム単位に露光時間が変えられる撮像素子でも本発明は適応できる。そして、撮像装置１は、図１に示すように、その読み出された画素信号に基づいて形成される画像の各画素の画像データ（画素の輝度値を示すデータ）に、その画像データの属性データを付加して１組のデータ（以下、「ＨＤＲ―ＲＡＷデータ」とも呼ぶ。）を生成する。なお、属性データとしては、画像データの生成時における露光時間を示す露光コード、前記画像データの輝度値がダイナミックレンジの最大値であることを示す飽和フラグ、前記画像データが生成された時刻を示す作成時刻コード等が挙げられる。

ここで、露光コードは、「０」、「１」、「２」、「３」の４種類（２ビット）のコードである。露光コード「０」は、画像データの生成時における露光時間が最も長い特定の露光時間（長露光時間）であることを示し、また、露光コード「１」は、露光コード「０」が示す露光時間よりも短い中間の特定の露光時間（標準露光時間）を示し、露光コード「２」は、露光コード「１」が示す露光時間よりも短い中間の特定の露光時間（短露光時間）を示し、露光コード「３」は、最も短い特定の露光時間（超短露光時間）を示す。

また、飽和フラグは、「０」、「１」の２種類（１ビット）のデータである。飽和フラグ「０」は、画像データの輝度値がダイナミックレンジの最大値であることを示し、飽和フラグ「１」は、前記輝度値がダイナミックレンジの最大値より小さいことを示す。
さらに、作成時刻コードは、「０」、「１」、「２」、「３」の４種類（２ビット）のコードである。作成時刻コード「０」は、画像データが最新のフレームで生成されたことを示し、作成時刻コード「１」は、画像データが１つ前のフレームで生成されたことを示し、作成時刻コード「２」は、画像データが２つ前のフレームで生成されたことを示し、作成時刻コード「３」は、画像データが３つ前のフレームで生成されたことを示す。

また、撮像装置１は、ＨＤＲ−ＲＡＷデータ、つまり、画像データと属性データとを同時に記録するＢＲＡＭ(Brain Random Access Memory)を備える。そして、このＢＲＡＭは、人間の脳の動作を真似た仕組みを実現し、１フレーム期間が経過するたびに、未飽和で高Ｓ／Ｎの画像の各画素の画像データを記録（更新）する。即ち、撮像装置１は、ＢＲＡＭに記録されたＨＤＲ―ＲＡＷデータ群から、前記画素列を示す画像データ群を含むＨＤＲ−ＲＡＷデータを読み出す。さらに、撮像装置１は、前記生成されたＨＤＲ−ＲＡＷデータと前記読み出されたＨＤＲ−ＲＡＷデータとを画素毎に比較し、その比較結果に基づき、前記読み出されたＨＤＲ−ＲＡＷデータに代えて前記生成されたＨＤＲ−ＲＡＷデータをＢＲＡＭに記録させる。そして、撮像装置１は、そのＢＲＡＭに記録されている画像データを表示装置・画像処理装置に出力する。

＜撮像装置の構成＞
図２は、本発明の第１の実施形態の内部構成を示すブロック図である。図２に示すように、撮像装置１は、撮像処理部２、信号処理部３及び表示装置・画像処理装置４を含んで構成される。
また、撮像処理部２は、撮像素子５及びＡＦＥ(Analog Front End)６を含んで構成される。
撮像素子５は、被写体からの光を撮像レンズ（不図示）でエリアセンサ７に集光し、その集光量に応じた電荷をエリアセンサ７の各画素に蓄積させる。また、撮像素子５は、信号処理部３のタイミング制御部１１（後述）から出力される駆動信号（水平同期信号及び垂直同期信号）に基づいて、エリアセンサ７の各画素列に蓄積されている電荷群を電圧群に順次変換し、その変換された電圧群を水平転送部８でＡＦＥ６に順次出力させる。

また、ＡＦＥ６は、水平転送部８から出力される電圧を、デジタル化された画像データ（以下、「デジタル画像データ」とも呼ぶ。）に変換する。そして、ＡＦＥ６は、その生成されたデジタル画像データを信号処理部３の画像合成部９に出力する。
信号処理部３は、画像合成部９、ＢＲＡＭ１０、タイミング制御部１１及びＡＬＣ(Automatic Level Control)１２を含んで構成される。

タイミング制御部１１は、駆動信号（水平同期信号、垂直同期信号）を生成し、それを撮像素子５に出力する。また、タイミング制御部１１は、水平同期信号、垂直同期信号から、撮像素子５から出力される画素信号の、撮像素子における画素位置（画素列（ライン）番号、画素番号）が分かるので、その画素列(ライン)番号（以下、「アドレス情報」とも呼ぶ。）を生成し、そのアドレス情報をＡＬＣ１２及び画像合成部９（ＨＤＲ−ＲＡＷ生成器１４（後述）（ＢＲＡＭデータ蓄積部１９（後述）））に出力する。さらに、タイミング制御部１１は、ＡＬＣ１２から出力される露光時間に基づいて、所定の露光時間の画素信号が得られるように撮像素子を駆動する。それは、ライン単位の露光制御であってもよいし、フレーム単位での制御であってもよい。

ＡＬＣ１２は、撮像素子５の露光制御を行う。即ち、後述の画像合成部９（プリプロセス１３（後述））から出力されるデジタル画像データをライン単位もしくはフレーム単位で評価し、その評価結果に基づいて、ライン単位もしくはフレーム単位に露光時間を算出し、その露光時間をＡＬＣ内部の記憶手段（不図示）に格納する。また、ＡＬＣ１２は、タイミング制御部１１から出力されるアドレス情報に基づいて、記憶手段から対応するアドレス(画素列)の露光時間を読み出し、その露光時間をタイミング制御部１１と画像合成部９（ＨＤＲ−ＲＡＷ生成器１４（ＨＤＲ−ＲＡＷ入力データ生成部１７（後述））とに出力する（本実施形態ではライン単位の露光制御を想定）。

画像合成部９は、図３に示すように、プリプロセス１３、ＨＤＲ−ＲＡＷ生成器１４、メモリアービタ１５及び出力読出器１６を含んで構成される。
プリプロセス１３は、ＡＦＥ６から出力されるデジタル画像データを黒レベル補正する。そして、補正されたデジタル画像データをＡＬＣ１２とＨＤＲ−ＲＡＷ生成器１４（ＨＤＲ−ＲＡＷ入力データ生成部１７（後述））とに出力する。また、プリプロセス１３は、デジタル画像データの輝度値がダイナミックレンジの最大値であるか否か（飽和／未飽和）を判定し、その結果（飽和フラグ）をＨＤＲ−ＲＡＷ生成器１４（ＨＤＲ−ＲＡＷ入力データ生成部１７）に出力する。なお、デジタル画像データが飽和している場合は飽和フラグとして「１」を、また、未飽和の場合は飽和フラグとして「０」を出力する。

ＨＤＲ−ＲＡＷ生成器１４は、図４に示すように、ＨＤＲ−ＲＡＷ入力データ生成部１７、入力データ蓄積部１８、ＢＲＡＭデータ蓄積部１９、データ判定部２０及びデータ更新部２１を含んで構成される。
ＨＤＲ−ＲＡＷ入力データ生成部１７は、プリプロセス１３から出力されるデジタル画像データに、そのデジタル画像データの属性データ（露光コード、飽和フラグ、作成時刻コード）を付加してＨＤＲ−ＲＡＷデータを生成する。具体的に、まず、露光コード（２ビットコード）の付加について説明する。ＨＤＲ−ＲＡＷ入力データ生成部１７は、プリプロセス１３からのデジタル画像データの露光時間を示す情報をＡＬＣ１２から受け取る。そして、その露光時間が長露光時間であった場合には露光コードとして「０」を当該画像データに付加し、前記露光時間が標準露光時間であった場合には露光コードとして「１」を付加し、前記露光時間が短露光時間であった場合には露光コードとして「２」を付加し、前記露光時間が超短露光時間であった場合には露光コードとして「３」を付加する。

また、ＨＤＲ−ＲＡＷ入力データ生成部１７は、プリプロセス１３からの飽和フラグを当該画像データに付加する。
さらに、ＨＤＲ−ＲＡＷ入力データ生成部１７は、作成時刻コードとして「０」（画像データが最新のフレームで生成されたことを示すコード）を画像データに付加する。
また、ＨＤＲ−ＲＡＷ入力データ生成部１７は、それら属性データが付加されたデジタル画像データ、つまり、ＨＤＲ−ＲＡＷデータを入力データ蓄積部１８に出力する。

さらに、入力データ蓄積部１８は、ＨＤＲ−ＲＡＷ入力データ生成部１７から出力されるＨＤＲ−ＲＡＷデータをエリアセンサ７の１画素列分だけ蓄積する。
また、ＢＲＡＭデータ蓄積部１９は、タイミング制御部１１から出力されるアドレス情報が示す画素列（プリプロセス１３から出力されるデジタル画像データに対応する画素列）のＨＤＲ−ＲＡＷデータをＢＲＡＭ１０から読み出させる指令（以下、「読み出し指令」とも呼ぶ。）をメモリアービタ１５に出力する。そして、ＢＲＡＭデータ蓄積部１９は、その読み出し指令によって読み出されるＨＤＲ−ＲＡＷデータを１画素列分蓄積する。なお、ＢＲＡＭデータ蓄積部１９に蓄積されたＨＤＲ−ＲＡＷデータは、入力データ蓄積部１８に蓄積されたそれと同じ画素列番号のデータとなる。

データ判定部２０は、入力データ蓄積部１８に蓄積されているＨＤＲ−ＲＡＷ入力データと、ＢＲＡＭデータ蓄積部１９に蓄積されているＨＤＲ−ＲＡＷ入力データにおいて、同じ画素位置のＨＤＲ−ＲＡＷデータをそれぞれ比較し、その比較結果に基づいて、ＢＲＡＭ１０に記録されているＨＤＲ−ＲＡＷデータを更新する。具体的には、データ判定部２０は、前記同じ画素位置のＨＤＲ−ＲＡＷデータの属性データを、以下に示す「優先順位１、２、３」の処理によってそれぞれ比較し、その比較結果に基づいて、入力データ蓄積部１８のＨＤＲ−ＲＡＷデータを用いてＨＤＲ−ＲＡＷデータを更新する必要があるか否かを判定する。そして、データ判定部２０は、更新する必要がないと判定されたＨＤＲ−ＲＡＷデータはＢＲＡＭデータ蓄積部１９のデータを選択し、また、更新する必要があると判定されたＨＤＲ−ＲＡＷデータは入力データ蓄積部１８のデータを選択して合成することで、１画素列分のＨＤＲ−ＲＡＷデータを新しく生成（更新）する。なお、ＨＤＲ−ＲＡＷデータの更新時には、属性データも更新する。具体的には、入力データ蓄積部１８に蓄積されているＨＤＲ−ＲＡＷデータを用いる場合には、作成時刻コードを「０」とし、ＢＲＡＭデータ蓄積部１９に蓄積されているＨＤＲ−ＲＡＷデータを用いる場合には、作成時刻コードの数値を１つインクリメントする。また、露光コード、飽和フラグは、選択されたＨＤＲ−ＲＡＷデータのそれを選択（更新）する。

・優先順位１
ＢＲＡＭデータ蓄積部１９に蓄積されているＨＤＲ−ＲＡＷデータの作成更新時刻コードが「２」又は「３」（２フレーム期間以上前を示すコード）であるか否かを判定する。そして、「２」又は「３」である場合には、ＨＤＲ−ＲＡＷデータを更新する必要があると判定し、また、「優先順位２、３」の処理は行わない。

・優先順位２
ＢＲＡＭデータ蓄積部１９に蓄積されているＨＤＲ−ＲＡＷデータの飽和フラグが「１」（輝度値がダイナミックレンジの最大値であることを示すフラグ）であり、入力データ蓄積部１８に蓄積されているＨＤＲ−ＲＡＷデータの飽和フラグが「０」（輝度値がダイナミックレンジの最大値より小さいことを示すフラグ）であるか否かを判定する。そして、前者が「１」であり、後者が「０」である場合には、ＨＤＲ−ＲＡＷデータを更新する必要があると判定する。逆に、前者が「０」で、後者が「１」の場合には、ＨＤＲ−ＲＡＷデータを更新しないと判定する。そして、「優先順位３」の処理は行わない。

・優先順位３
ＢＲＡＭデータ蓄積部１９のＨＤＲ−ＲＡＷデータの飽和フラグが「０」で、入力データ蓄積部１８のそれ（飽和フラグ）が「０」の場合、ＢＲＡＭデータ蓄積部１９のＨＤＲ−ＲＡＷデータの露光コードと、入力データ蓄積部１８のＨＤＲ−ＲＡＷデータの露光コードを比較し、入力データ蓄積部１８の露光時間が長い場合には、ＨＤＲ−ＲＡＷデータを更新する必要があると判定する。この処理により、より長い露光時間で生成された画像データに更新することができるので、Ｓ／Ｎの高い画像を生成できる。ＢＲＡＭデータ蓄積部１９のＨＤＲ−ＲＡＷデータの飽和フラグが「１」で、入力データ蓄積部１８のそれ（飽和フラグ）が「１」の場合、ＢＲＡＭデータ蓄積部１９のＨＤＲ−ＲＡＷデータの露光コードと、入力データ蓄積部１８のＨＤＲ−ＲＡＷデータの露光コードを比較し、入力データ蓄積部１８の露光時間が短い場合には、ＨＤＲ−ＲＡＷデータを更新する必要があると判定する（画素データは最大値のため同じ値になるが、露光コードが更新される）。

また、データ更新部２１は、データ判定部２０で生成（更新）された１画素列分のＨＤＲ−ＲＡＷデータを蓄積し、その蓄積されたＨＤＲ−ＲＡＷデータをＢＲＡＭ１０に書き込ませる指令（以下、「書き込み指令」とも呼ぶ。）をメモリアービタ１５に出力する。
さらに、メモリアービタ１５は、ＨＤＲ−ＲＡＷ生成器１４（ＢＲＡＭデータ蓄積部１９、データ更新部２１）及び出力読出器１６のいずれかから読み出し指令が出力されると、その出力された読み出し指令が示すＨＤＲ−ＲＡＷをＢＲＡＭ１０から読み出し、そのＨＤＲ−ＲＡＷデータを読み出し指令の出力元に出力する。また、メモリアービタ１５は、ＨＤＲ−ＲＡＷ生成器１４（データ更新部２１）から書き込み指令が出力されると、その出力された書き込み指令が示すＨＤＲ−ＲＡＷデータをＢＲＡＭ１０に書き込む。

また、出力読出器１６は、表示装置・画像処理装置４への画像信号の同期信号に同期した読み出し指令をメモリアービタ１５に出力する（撮像素子５の駆動信号と非同期）。前記読み出し指令に基づいてメモリアービタ１５により読み出されたＨＤＲ−ＲＡＷデータは、出力読出器１６に蓄積される（図示無し）。前記蓄積されたＨＤＲ−ＲＡＷデータは、表示装置・画像処理装置４が理解できる形式に変換し、且つ、同期をとって外部出力する。表示装置・画像処理装置４は、前記形式の画像データが入力されると、装置に応じた処理を施す（例えば表示処理、画像認識処理など）。

さらに、ＢＲＡＭ１０は、メモリアービタ１５から読み出し要求があると、その要求が示すＨＤＲ−ＲＡＷデータを読み出させる。また、ＢＲＡＭ１０は、メモリアービタ１５から書き込み要求があると、その書き込み要求が示すＨＤＲ−ＲＡＷを書き込ませる。

＜撮像装置の動作＞
次に、本実施形態の撮像装置の動作を具体的状況に基づいて詳細に説明する。
ここでは、画素列（ライン）単位で露光時間が変えられる撮像装置を想定する。なお、フレーム単位で露光時間を変えられる撮像装置においても以下の説明を適応できる。
いま、撮像動作を何フレームか実施し、その結果、ＡＬＣ動作が収束し、画素列毎に露光時間が算出されたとする。そして、Ｎライン目において、標準露光時間で撮像された画像の電荷群が撮像素子５のエリアセンサ７で電圧群に変換されたとする。すると、図２に示すように、水平転送部８によって、信号処理部３のタイミング制御部１１から出力される駆動信号が示す画素列で変換された電圧群が読み出され、その読み出された電圧群が水平転送部８でＡＦＥ６に出力される。また、ＡＦＥ６によって、その出力された電圧群に基づいてデジタル画像データが生成され、その生成されたデジタル画像データが信号処理部３の画像合成部９（プリプロセス１３）に出力される。さらに、図３に示すように、プリプロセス１３によって、その出力されたデジタル画像データが黒レベル補正され、その黒レベル補正されたデジタル画像データがＡＬＣ１２とＨＤＲ−ＲＡＷ生成器１４（ＨＤＲ−ＲＡＷ入力データ生成部１７）とに出力される。また、プリプロセス１３は、デジタル画像データの未飽和／飽和を判定し、その結果（飽和フラグ）をＨＤＲ−ＲＡＷ生成器１４（ＨＤＲ−ＲＡＷ入力データ生成部１７）に出力する（輝度値がダイナミックレンジの最大値である画素のデジタル画像データに飽和フラグ「１」を出力）。ＡＬＣ１２は、タイミング制御部１１から出力されるアドレス情報に基づいて現在入力されているデジタル画像データの露光時間を出力し、その露光時間を画像合成部９のＨＤＲ−ＲＡＷ生成器１４（ＨＤＲ−ＲＡＷ入力データ生成部１７）とタイミング制御部１１とに出力する。すると、ＨＤＲ−ＲＡＷ入力データ生成部１７によって、そのデジタル画像データにそのデジタル画像データの属性データが付加されてＨＤＲ−ＲＡＷデータが生成される。このとき、属性データとして、飽和フラグ、作成時刻データ、露光コードが付加される。なお、露光コードは露光時間から算出される。そして、ＨＤＲ−ＲＡＷ入力データ生成部１７によって、その生成されたＨＤＲ−ＲＡＷデータが入力データ蓄積部１８に出力される。そして、入力データ蓄積部１８によって、生成されたＨＤＲ−ＲＡＷデータが１画素列分蓄積される。この入力データ蓄積動作と平行して、ＢＲＡＭデータ蓄積部１９によって、読み出し指令がメモリアービタ１５に出力される。このとき、ＢＲＡＭデータ蓄積部１９に対して、タイミング制御部１１から、現在入力されているデジタル画像データに対応する画素列のアドレス情報と、水平同期信号に同期した制御信号が入力される。このアドレス情報と制御信号に基づいた読み出し指令がメモリアービタに出力される。メモリアービタは、前記読み出し指令に基づいて、ＨＤＲ−ＲＡＷデータをＢＲＡＭ１０から読み出す。そして、ＢＲＡＭデータ蓄積部１９によって、その読み出されたＨＤＲ−ＲＡＷデータが１画素列分蓄積される。

ここで、説明の簡単のために各画素列は１０画素からなるものとし、入力データ蓄積部１８に蓄積されたＨＤＲ−ＲＡＷデータは画素列の平面視左端側から１番目及び５〜７番目の画素で属性データの飽和フラグが「１」であり、また、ＢＲＡＭデータ蓄積部１９に蓄積されたＨＤＲ−ＲＡＷデータは画素列の平面視左端側から２〜４番目及び８〜１０番目で飽和フラグが「１」であったとする。さらに、ＢＲＡＭデータ蓄積部１９に蓄積されたＨＤＲ−ＲＡＷデータの作成時刻データは全て「１」であったとする。また、入力データ蓄積部１８に蓄積された全てのＨＤＲ−ＲＡＷデータの露光コードが「１」で、ＢＲＡＭデータ蓄積部１９に蓄積された全てのＨＤＲ−ＲＡＷデータの露光コードが「１」で、両者の値が等しかったとする。この属性データに基づいて、データ判定部２０は、入力データ蓄積部１８に蓄積されているＨＤＲ−ＲＡＷ入力データと、ＢＲＡＭデータ蓄積部１９に蓄積されているＨＤＲ−ＲＡＷ入力データを比較・判定する。このとき、同じ画素位置のＨＤＲ−ＲＡＷデータを比較し、その比較結果から、平面視左端側から２〜４番目及び８〜１０番目の画素のＨＤＲ−ＲＡＷデータが更新の必要があると判定される。また、データ判定部２０は、その判定結果に基づき、平面視左端側から１番目及び４〜７番目の画素のＨＤＲ−ＲＡＷデータは、ＢＲＡＭデータ蓄積部１９のＨＤＲ−ＲＡＷデータを選択し、また、平面視左端側から２〜４番目及び８〜１０番目の画素のＨＤＲ−ＲＡＷデータは、入力データ蓄積部１８のＨＤＲ−ＲＡＷデータを選択し、それらが合成されることで、１画素列分のＨＤＲ−ＲＡＷデータが更新される。そして、データ更新部２１によって、書き込み指令がメモリアービタ１５に出力され、メモリアービタ１５によって、その更新されたＨＤＲ−ＲＡＷデータがＢＲＡＭ１０に書き込まれる。なお、このとき、ＢＲＡＭ１０の対応する画素列（アドレス情報）の領域に書き込み動作が行われる。

そして、上記フローが他の行の画素列でも繰り返される。
次に、ＢＲＡＭに格納されたＨＤＲ−ＲＡＷデータの外部装置（表示装置・画像処理装置４）への出力方法について記述する。出力読出器１６は、前記合成動作とは非同期に、即ち、表示装置・画像処理装置４の同期信号に同期した読み出し指令をメモリアービタ１５に出力する。メモリアービタ１５は、外部出力のための読み出し指令に基づいて、ＨＤＲ−ＲＡＷデータをＢＲＡＭ１０から読み出し、その読み出したＨＤＲ−ＲＡＷデータが出力読出器１６に出力される。また、出力読出器１６は、ＨＤＲ−ＲＡＷデータを表示装置・画像処理装置４が理解できる形式に変換して外部出力する。本実施形態では、画像データ形式として特別な形式を想定する。即ち、デジタル画像データと露光コードで構成される画像データ形式とする（画素単位）。表示装置・画像処理装置４は、前記形式の画像データが入力されると、デジタル画像データと露光コードから、画像信号を再構成し、表示や画像処理を行う。

このように、本実施形態の撮像装置では、ＢＲＡＭデータ蓄積部１９に蓄積されているＨＤＲ−ＲＡＷデータの飽和フラグが「１」であり、また、入力データ蓄積部１８に蓄積されているＨＤＲ−ＲＡＷデータの飽和フラグが「０」である場合、つまり、それまで飽和状態であった画素が飽和状態でなくなった場合に、それまでのＨＤＲ−ＲＡＷデータに代えて入力データ蓄積部１８に蓄積されているＨＤＲ−ＲＡＷデータをＢＲＡＭ１０に記録させることで、ダイナミックレンジの広い画像の画像データを生成することができる。

また、本実施形態によれば、表示装置・画像処理装置と同期をとるために必要なフレームメモリを、遅延のためのバッファと兼用できる。そのため、例えば、第１の画像を撮像した後に、第２の画像を撮像し、第１の画像の画像データを遅延素子で遅延させて、第１の画像の画像データを第２の画像の画像データと同時に出力させ、その遅延された第１の画像内で輝度値がダイナミックレンジの最大値となっている画素の画像データに代えて第２の画像内の画素の画像データを記録させることで、ダイナミックレンジの広い画像の画像データを生成する方法と異なり、遅延素子を設ける必要がなく、その結果、遅延素子の分だけ製造コストを低くすることができる。

また、本発明の画像データ形式とその構成により、画素単位での合成を簡単に実現できる。即ち、画像を構成する各画素データに対して属性データ（露光コード、飽和フラグ、作成時間コード）を付加し、その付加された属性データを用いて合成を行うようにした。そのため、属性データにより飽和状態、露光時間、作成時刻が分かるので、それを利用することで合成が容易になる。本合成手法により、未飽和で、且つ、Ｓ／Ｎの高い画像を生成することができる。なお、合成に必要な大容量フレームメモリ（ＢＲＡＭ１０）は安価に入手できることから、属性データを追加することは、大きな欠点とはならない。

以上、上記第１の実施形態において、図４のＨＤＲ−ＲＡＷ入力データ生成部１７が特許請求の範囲に記載の属性情報付加手段を構成し、以下同様に、図４の入力データ蓄積部１８、ＢＲＡＭデータ蓄積部１９、データ判定部２０及びデータ更新部２１が撮像画像生成手段を構成し、図４のデータ判定部２０が選択条件判定手段を構成し、図４のデータ判定部２０及びデータ更新部２１が選択画素合成手段を構成し、図２及び図３のＢＲＡＭ１０が記録手段を構成する。

〔第２の実施形態〕
以下、本発明に係る撮像装置の第２の実施形態を、図面に基づいて説明する。
上記第１の実施形態においては、アナログの画像データをＡＦＥ６に出力するための出力チャンネルを１つだけ持つ撮像処理部２（センサ）を用いる例を示したが、本実施形態における撮像装置は、出力チャンネルを２つ以上持ち、複数チャンネルで同時に非同期に（別々の画素列から）複数種類の露光時間に対応したアナログの画像データ（画素信号データ）を出力するセンサを用い、そのセンサから出力される複数種類の露光時間に対応したアナログの画像データをＡＦＥでデジタル化された画像データに変換し、当該デジタル化した画像データと、この画像データに対応するＢＲＡＭに記録された画像データとを画像合成部で各画素毎に合成して撮像画像を生成するようにした。また、上記第１の実施形態と同様に、撮像処理部のエリアセンサから読み出された画素信号に基づいて形成される画像の各画素のデジタル画像データ（画素の輝度値を示すデータ）に、その画像データの属性データを付加して１組のデータ（以下、「ＨＤＲ―ＲＡＷデータ」とも呼ぶ。）を生成する。なお、属性データについては、上記第１の実施形態と同様に、画像データの生成時における露光時間を示す露光コード、前記画像データの輝度値がダイナミックレンジの最大値であることを示す飽和フラグ、前記画像データが生成された時刻を示す作成時刻コード等を含み、これらは上記第１の実施形態と同様の構成のものを用いることとする。また、ＢＲＡＭについても、上記第１の実施形態と同様の構成とする。

以下、上記構成の撮像装置１を撮像装置１’として説明を行う。
＜撮像装置の構成＞
本実施形態の撮像装置１’は、上記第１の実施形態の図２に示す撮像装置１と基本的な構成は同じであり、撮像処理部２における撮像素子５の水平転送部８に、異なる２種類の露光時間で撮像した画像の画素信号をそれぞれ別々に読み出して出力するための第１の出力チャネル及び第２の出力チャンネルを追加すると共に、これら２つの出力チャンネルにそれぞれ対応させて、撮像処理部２のＡＦＥ６を第１のＡＦＥ６として、当該撮像処理部２に、更に第１のＡＦＥ６と同じ構成の第２のＡＦＥ６’を追加し、水平転送部８に、前記２つの出力チャンネルから前記読み出した画素列単位の画像データを第１及び第２のＡＦＥ６及び６’にそれぞれ別々に出力させる機能を追加する構成とした。また、撮像装置１’は、第１及び第２のＡＦＥ６及び６’から出力される露光時間の異なる２種類のデジタル画像データを別々に処理するために、画像合成部９のプリプロセス１３を第１のプリプロセス１３として、当該画像合成部９に、更に第１のプリプロセス１３と同じ構成の第２のプリプロセス１３’を追加し、同じく画像合成部９のＨＤＲ−ＲＡＷ生成器１４を第１のＨＤＲ−ＲＡＷ生成器１４として、当該画像合成部９に、更に第１のＨＤＲ−ＲＡＷ生成器１４と同じ構成の第２のＨＤＲ−ＲＡＷ生成器１４’を追加する構成とした。なお、上記第１の実施形態と同様の構成部については同じ符号を付して詳細な説明を省略し、以下、異なる部分を詳細に説明する。

撮像装置１’における撮像処理部２は、撮像素子５、第１のＡＦＥ(Analog Front End)６及び第２のＡＦＥ６’を含んで構成される。
撮像素子５は、エリアセンサ７及び水平転送部８を含んで構成され、水平転送部８は、アナログラインメモリを含んで構成される第１の出力チャンネル及び第２の出力チャンネルを含んで構成される。また、撮像素子５は、信号処理部３のタイミング制御部１１から出力される駆動信号（水平同期信号及び垂直同期信号）に基づいて、異なる２種類の露光時間毎にエリアセンサ７の各画素列に蓄積されている電荷群を電圧群に順次変換し、その変換された電圧群を水平転送部８の第１の出力チャンネル及び第２の出力チャンネル（これらのチャンネルは物理的に異なるものである）を介して各露光時間毎にそれぞれ別々に第１及び第２のＡＦＥ６及び６’に順次出力させる。本実施の形態においては、第１の出力チャンネルと第１のＡＦＥ６とが対応しており、第２の出力チャンネルと第２のＡＦＥ６’とが対応していることとする。

以下、図６に基づき、撮像装置１’における撮像素子５の露光時間の制御方法及び画素信号の読み出し及びＡＦＥへの出力の構成について説明する。ここで、図６は、撮像素子５における各画素のリセット及び露光並びに画素信号の読み出し及びＡＦＥへの出力動作を示す図である。
ここで、本発明の露光時間の制御は、エリアセンサ７に対して、画素信号の読み出し及び各画素のリセットを画素列単位で行う読み出し・リセットラインを各露光時間毎に複数設定し、各読み出し・リセットラインにおける画素信号の読み出し及び画素のリセットを、ＡＬＣ１２から出力される露光時間に基づいて、各露光時間に応じたタイミングで画素信号の読み出し及びリセットが実行されるように制御することで行う。例えば、図６に示すように、ＡＬＣ１２から出力された短露光時間に対して読み出し・リセットライン１を設定し、同じくＡＬＣ１２から出力された標準露光時間に対して読み出し・リセットライン２を設定する。これら読み出し・リセットライン１及び２の画素信号の読み出し及び画素のリセットのタイミングの制御は、図６に示すように、標準露光時間に対応する読み出し・リセットライン２において画素信号の読み出し及び画素のリセットが行われた画素列に対して、短露光時間の経過後に、短露光時間に対応する読み出し・リセットライン１において画素信号の読み出し及び画素のリセットが行われ、且つ読み出し・リセットライン１において画素信号の読み出し及び画素のリセットが行われた画素列に対して、標準露光時間の経過後に、読み出し・リセットライン２において画素信号の読み出し及びリセットが行われるように制御する。つまり、標準露光時間の経過に合わせて、先行して読み出し・リセットライン２による画素信号の読み出し及び画素のリセットを開始し、当該リセット後で且つ短露光時間の経過後に、読み出し・リセットライン２の開始位置と同じ位置の画素列から同じ走査方向に向けて、読み出し・リセットライン１による画素信号の読み出し及び画素のリセットを開始する。このようなタイミングで、エリアセンサ７の全領域を、読み出し・リセットライン１及び２によって並列に走査して画素信号の読み出し及びリセットを順次行い、異なる２種類の露光時間に対する撮像画像のアナログデータをそれぞれ読み出す。

また、各露光時間毎に読み出された画素列の画素信号は、各露光時間毎に異なる出力チャンネル（第１の出力チャンネル及び第２の出力チャンネル）のアナログラインメモリにそれぞれ記録され、タイミング制御部１１から出力される駆動信号（水平同期信号及び垂直同期信号）に基づいて、当該各出力チャンネルからこれら出力チャンネルと一対一に対応したＡＦＥ（第１及び第２のＡＦＥ６及び６’）へとそれぞれ出力される。図６に示す例では、出力チャンネル１のアナログラインメモリに、読み出し・リセットライン１で読み出した短露光時間の画素信号のアナログデータを記録し、出力チャンネル２のアナログラインメモリに、読み出し・リセットライン２で読み出した標準露光時間の画素信号のアナログデータを記録して、これら記録したアナログデータを、各出力チャンネル毎に異なる駆動信号に基づき、第１の出力チャンネルから第１のＡＦＥ６に、第２の出力チャンネルから第２のＡＦＥ６’に出力する。このとき、両チャンネルからは、それぞれ標準露光時間と短露光時間との位相差（時間差）をもってデータが出力されることになる。

更に、図７に基づき、撮像装置１’の画像合成を行う機能部の構成を説明する。ここで、図７は、撮像装置１’における画像合成機能部の構成を示すブロック図である。
画像構成処理を行う主たる機能部は、画像構成部９、ＢＲＡＭ１０、タイミング制御部１１及びＡＬＣ１２を含んで構成される。
撮像装置１’におけるタイミング制御部１１は、各露光時間毎に、各画素列のアドレス情報をＡＬＣ１２及び画像合成部９（第１のＨＤＲ−ＲＡＷ生成器１４、第２のＨＤＲ−ＲＡＷ生成器１１’）に出力する。その他の機能は、上記第１の実施の形態と同様となる。

また、撮像装置１’におけるＡＬＣ１２は、タイミング制御部１１から出力されるアドレス情報に基づいて、記憶手段から対応するアドレス(画素列)の露光時間を読み出し、その露光時間をタイミング制御部１１と画像合成部９（第１のＨＤＲ−ＲＡＷ生成器１４、第２のＨＤＲ−ＲＡＷ生成器１１’）とに出力する。その他の機能は、上記第１の実施の形態と同様となる。

また、撮像装置１’における画像合成部９は、図７に示すように、第１のプリプロセス１３、第２のプリプロセス１３’、第１のＨＤＲ−ＲＡＷ生成器１４、第２のＨＤＲ−ＲＡＷ生成器１４’、メモリアービタ１５及び出力読出器１６を含んで構成される。
第１のプリプロセス１３は、第１のＡＦＥ６から出力されるデジタル画像データを黒レベル補正し、第２のプリプロセス１３’は、第２のＡＦＥ６’から出力されるデジタル画像データを黒レベル補正する。そして、第１のプリプロセス１３は、補正されたデジタル画像データをＡＬＣ１２と第１のＨＤＲ−ＲＡＷ生成器１４（第１のＨＤＲ−ＲＡＷ入力データ生成部１７（後述））とに出力し、第２のプリプロセス１３’は、補正されたデジタル画像データをＡＬＣ１２と第２のＨＤＲ−ＲＡＷ生成器１４’（第２のＨＤＲ−ＲＡＷ入力データ生成部１７’（後述））とに出力する。

また、第１のプリプロセス１３は、デジタル画像データの輝度値がダイナミックレンジの最大値であるか否か（飽和／未飽和）を判定し、その結果（飽和フラグ）を第１のＨＤＲ−ＲＡＷ生成器１４（第１のＨＤＲ−ＲＡＷ入力データ生成部１７）に出力し、第２のプリプロセス１３’は、前記飽和フラグを第２のＨＤＲ−ＲＡＷ生成器１４’（第２のＨＤＲ−ＲＡＷ入力データ生成部１７’）に出力する。

また、第１及び第２のＨＤＲ−ＲＡＷ生成器１４及び１４’は、第１及び第２のプリプロセス１３及び１３’から位相差をもってそれぞれ入力された、露光時間の異なる２種類のデジタル画像データ（それぞれ１画素列分の画像データ）に対して、上記第１の実施形態と同様に属性データを付加して、それぞれの露光時間のデジタル画像データに対応する第１ＨＤＲ−ＲＡＷデータ及び第２ＨＤＲ−ＲＡＷデータを生成する。これら生成された第１及び第２ＨＤＲ−ＲＡＷデータは、第１ＨＤＲ−ＲＡＷデータが第１の入力データ蓄積部１８に蓄積され、第２ＨＤＲ−ＲＡＷデータが第２の入力データ蓄積部１８’に蓄積される。

一方、第１及び第２のＢＲＡＭデータ蓄積部１９及び１９’のいずれか一方には、第１及び第２のプリプロセス１３及び１３’から先に出力される画像データに対応する画素列のＨＤＲ−ＲＡＷデータがＢＲＡＭ１０から読み出され記憶される。具体的には、例えば、第２のプリプロセス１３’から先に画像データが出力された場合、第２ＨＤＲ−ＲＡＷデータに対応する画素列のＨＤＲ−ＲＡＷデータがＢＲＡＭ１０から読み出され第２のＢＲＡＭデータ蓄積部１９’に蓄積される。以下、同様に第２のプリプロセス１３’から先に画像データ（第２の出力チャンネルに対応する画像データ）が出力され、その後に、所定の位相差でこの画像データと同じ画素列番号の画像データ（第１の出力チャンネルに対応する画像データ）が第１のプリプロセス１３から出力されることとする。従って、先行する第２のプリプロセス１３’（第２の出力チャンネルに対応）からは、第１のプリプロセス１３（第１の出力チャンネルに対応）からデータが出力されるまでに、次々と新たなデータが出力されてくることになる。

更に、第２のＨＤＲ−ＲＡＷ生成器１４’を構成する第２のデータ判定部２０’は、第２の入力データ蓄積部１８’に蓄積されている第２ＨＤＲ−ＲＡＷ入力データと、第２のＢＲＡＭデータ蓄積部１９’に蓄積されているＨＤＲ−ＲＡＷ入力データにおいて、同じ画素位置のＨＤＲ−ＲＡＷデータをそれぞれ比較し、その比較結果に基づいて、ＢＲＡＭ１０に記録されているＨＤＲ−ＲＡＷデータを更新する。具体的には、第２の入力データ蓄積部１８’に蓄積されているＨＤＲ−ＲＡＷ入力データと、これと同じ画素位置にある第２のＢＲＡＭデータ蓄積部１９’に蓄積されたＨＤＲ−ＲＡＷデータの属性データを、上記第１の実施形態と同様に「優先順位１、２、３」の処理によってそれぞれ比較し、その比較結果に基づいて、第２の入力データ蓄積部１８’の第２ＨＤＲ−ＲＡＷデータを用いてそれぞれ対応するＨＤＲ−ＲＡＷデータを更新する必要があるか否かを判定する。そして、第２のデータ判定部２０’は、更新する必要がないと判定されたＨＤＲ−ＲＡＷデータは第２のＢＲＡＭデータ蓄積部１９’のデータを選択し、また、更新する必要があると判定されたＨＤＲ−ＲＡＷデータは第２の入力データ蓄積部１８’のデータを選択して合成することで、それぞれ１画素列分のＨＤＲ−ＲＡＷデータを新しく生成（更新）する。なお、ＨＤＲ−ＲＡＷデータの更新時には、属性データも更新する。このようにして生成されたＨＤＲ−ＲＡＷデータは、第２のデータ更新部２１’及びメモリアービタ１５を介してＢＲＡＭ１０に書き込まれる。

一方、遅れて入力された短露光時間に対応する第１ＨＤＲ−ＲＡＷデータが第１の入力データ蓄積部１８に蓄積されると、第１のＨＤＲ−ＲＡＷ生成器１４は、標準露光時間に対応する第２ＨＤＲ−ＲＡＷデータによって更新処理が施されたＨＤＲ−ＲＡＷデータ（正確には、第１ＨＤＲ−ＲＡＷデータと同じ画素列番号のＨＤＲ−ＲＡＷデータ）を、ＢＲＡＭ１０から読み出して第１のＢＲＡＭデータ蓄積部１９に蓄積する。第１のデータ判定部２０は、上記第２のデータ判定部２０’と同様に、第１の入力データ蓄積部１８に蓄積されている第１ＨＤＲ−ＲＡＷ入力データと、第１のＢＲＡＭデータ蓄積部１９に蓄積されているＨＤＲ−ＲＡＷ入力データにおいて、同じ画素位置のＨＤＲ−ＲＡＷデータをそれぞれ比較し、その比較結果に基づいて、ＢＲＡＭ１０に記録されているＨＤＲ−ＲＡＷデータを更新する。

第１及び第２の判定部２０及び２０’における属性データの更新処理は、具体的に、上記第１の実施の形態と同様に、露光コード、及び飽和フラグは、選択されたＨＤＲ−ＲＡＷデータのそれを選択（更新）する。一方、作成時刻コードについては、図８（ａ）及び（ｂ）に示すフローチャートに従って、第１及び第２の判定部２０及び２０’においてそれぞれ別々の更新処理が行われる。ここで、図８は、作成時刻コードの更新処理を示すフローチャートであり、（ａ）は、先に出力された第２ＨＤＲ−ＲＡＷデータ（第２の出力チャンネルに対応）を用いた更新処理に対する作成時刻コードの更新処理を示すフローチャートであり、（ｂ）は、後に出力された第１ＨＤＲ−ＲＡＷデータ（第１の出力チャンネルに対応）を用いた更新処理に対する作成時刻コードの更新処理を示すフローチャートである。

まず、図８（ａ）に基づき、第２の判定部２０’における属性データ更新処理について説明する。
図８（ａ）に示すように、まずステップＳ１００に移行し、画素値の更新処理後の画素データを選択してステップＳ１０２に移行する。
ステップＳ１０２では、ステップＳ１００で選択した画素データは、第２ＨＤＲ−ＲＡＷデータによって、画素値が更新された画素であるか否かを判定し、更新された画素データであると判定された場合(Yes)は、ステップＳ１０４に移行し、そうでない場合(No)は、ステップＳ１０８に移行する。

ステップＳ１０４に移行した場合は、選択画素データに付加された作成時刻コードを０にリセットして処理を終了する。
一方、ステップＳ１０６に移行した場合は、選択画素データに付加された作成時刻コードを更新せずに（そのまま維持して）処理を終了する。例えば、作成時刻コードが「０」の場合は、「０」のまま維持する。

次に、図８（ｂ）に基づき、第１の判定部２０における属性データ更新処理について説明する。
図８（ｂ）に示すように、まずステップＳ２００に移行し、先に出力された第２ＨＤＲ−ＲＡＷデータによる画素値更新処理後で且つ上記図８（ａ）による作成時刻コードの更新処理後の画素データを選択してステップＳ２０２に移行する。

ステップＳ２０２では、ステップＳ２００で選択した画素データは、第１ＨＤＲ−ＲＡＷデータによって更新された画素データであるか否かを判定し、更新された画素データであると判定された場合(Yes)は、ステップＳ２０４に移行し、そうでない場合(No)は、ステップＳ２０６に移行する。
ステップＳ２０４に移行した場合は、選択画素データに付加された作成時刻コードを０にリセットして処理を終了する。

一方、ステップＳ２０６に移行した場合は、選択画素データに付加された作成時刻コードを１つインクリメントして処理を終了する。つまり、作成時刻コードが「０」の場合は、１つインクリメントして「１」に更新する。

＜撮像装置の動作＞
次に、本実施形態の撮像装置の動作を具体的状況に基づいて詳細に説明する。
ここでは、画素列（ライン）単位で露光時間が変えられる撮像装置を想定する。
いま、撮像動作を何フレームか実施し、その結果、ＡＬＣ動作が収束し、画素列毎に露光時間が算出されたとする。そして、読み出し・リセットライン２の走査によって、Ｎライン目において、標準露光時間で撮像された画像の電荷群が撮像素子５のエリアセンサ７で電圧群に変換されたとする。すると、水平転送部８によって、信号処理部３のタイミング制御部１１から出力される駆動信号が示す画素列で変換された電圧群が読み出され、その読み出された電圧群が水平転送部８の第２の出力チャンネルを介して第２のＡＦＥ６’に出力される。一方、読み出し・リセットライン２の走査によって、Ｎライン目の画素がリセット後に短露光時間が経過し、読み出し・リセットライン１の走査によって、Ｎライン目において、短露光時間で撮像された画像の電荷群が撮像素子５のエリアセンサ７で電圧群に変換されたとする。すると、水平転送部８によって、信号処理部３のタイミング制御部１１から出力される駆動信号が示す画素列で変換された電圧群が読み出され、その読み出された電圧群が水平転送部８の第１の出力チャンネルを介して第１のＡＦＥ６に出力される。第１及び第２の出力チャンネルからそれぞれ出力されるアナログデータは、所定の位相差（少なくとも短露光時間以上の差）をもって第１のＡＦＥ６及び第２のＡＦＥ６’に出力される。つまり、第２の出力チャンネルから、標準露光時間に対応するアナログデータが先に出力され、その後、所定の位相差をもって第１の出力チャンネルから、短露光時間に対応するアナログデータが出力される。

また、第１及び第２のＡＦＥ６及び６’によって、それぞれ出力された露光時間の異なる電圧群に基づいてデジタル画像データが生成され、その生成されたデジタル画像データが信号処理部３の画像合成部９（第１及び第２のプリプロセス１３及び１３’）に出力される。さらに、第１及び第２のプリプロセス１３及び１３’によって、それぞれ出力された露光時間の異なるデジタル画像データが黒レベル補正され、その黒レベル補正されたデジタル画像データがＡＬＣ１２と第１及び第２のＨＤＲ−ＲＡＷ生成器１４及び１４’（第１のＨＤＲ−ＲＡＷ入力データ生成部１７及び１７’）とに出力される。また、第１及び第２のプリプロセス１３及び１３’は、デジタル画像データの未飽和／飽和を判定し、その結果（飽和フラグ）を第１及び第２のＨＤＲ−ＲＡＷ生成器１４及び１４’（第１及び第２のＨＤＲ−ＲＡＷ入力データ生成部１７及び１７’）に出力する。

ＡＬＣ１２は、タイミング制御部１１から出力されるアドレス情報に基づいて現在入力されているデジタル画像データの露光時間を出力し、その露光時間を画像合成部９の第１及び第２のＨＤＲ−ＲＡＷ生成器１４（ＨＤＲ−ＲＡＷ入力データ生成部１７）とタイミング制御部１１とに出力する。すると、第１及び第２のＨＤＲ−ＲＡＷ入力データ生成部１７及び１７’によって、そのデジタル画像データにそのデジタル画像データの属性データが付加されて、標準露光時間に対応する第２ＨＤＲ−ＲＡＷデータ及び短露光時間に対応する第１ＨＤＲ−ＲＡＷデータがそれぞれ生成される。このとき、属性データとして、飽和フラグ、作成時刻データ、露光コードが付加される。なお、露光コードは露光時間から算出される。そして、第１及び第２のＨＤＲ−ＲＡＷ入力データ生成部１７及び１７’によって、その生成された第１及び第２ＨＤＲ−ＲＡＷデータが第１の入力データ蓄積部１８及び１８’に出力される。そして、第１及び第２の入力データ蓄積部１８及び１８’によって、生成されたＨＤＲ−ＲＡＷデータが１画素列分蓄積される。

一方、第２ＨＤＲ−ＲＡＷ入力データの蓄積動作と平行して、第２のＢＲＡＭデータ蓄積部１９’によって、読み出し指令がメモリアービタ１５に出力される。このとき、第２のＢＲＡＭデータ蓄積部１９’に対して、タイミング制御部１１から、現在入力されているデジタル画像データ（第２ＨＤＲ−ＲＡＷデータ）に対応する画素列のアドレス情報と、水平同期信号に同期した制御信号が入力される。このアドレス情報と制御信号に基づいた読み出し指令がメモリアービタ１５に出力される。メモリアービタ１５は、前記読み出し指令に基づいて、ＨＤＲ−ＲＡＷデータをＢＲＡＭ１０から読み出す。そして、第２のＢＲＡＭデータ蓄積部１９’によって、その読み出されたＨＤＲ−ＲＡＷデータが１画素列分蓄積される。

ここで、説明の簡単のために各画素列は１０画素からなるものとし、第２の入力データ蓄積部１８’に蓄積された第２ＨＤＲ−ＲＡＷデータは画素列の平面視左端側から１〜２番目及び５〜７番目の画素で属性データの飽和フラグが「１」であり、また、第２のＢＲＡＭデータ蓄積部１９’に蓄積されたＨＤＲ−ＲＡＷデータは画素列の平面視左端側から２〜４番目及び８〜１０番目で飽和フラグが「１」であったとする。さらに、第２のＢＲＡＭデータ蓄積部１９’に蓄積されたＨＤＲ−ＲＡＷデータの作成時刻データは全て「０」であったとする。また、第２の入力データ蓄積部１８’に蓄積された全てのＨＤＲ−ＲＡＷデータの露光コードが「１」で、第２のＢＲＡＭデータ蓄積部１９’に蓄積された全てのＨＤＲ−ＲＡＷデータの露光コードが「１」で、両者の値が等しかったとする。この属性データに基づいて、第２のデータ判定部２０’は、第２の入力データ蓄積部１８’に蓄積されている第２ＨＤＲ−ＲＡＷ入力データと、第２のＢＲＡＭデータ蓄積部１９’に蓄積されているＨＤＲ−ＲＡＷ入力データとを各画素毎に比較・判定する。このとき、同じ画素位置のＨＤＲ−ＲＡＷデータを比較し、その比較結果から、平面視左端側から３〜４番目及び８〜１０番目の画素のＨＤＲ−ＲＡＷデータが更新の必要があると判定される。また、第２のデータ判定部２０’は、その判定結果に基づき、平面視左端側から１〜２番目及び４〜７番目の画素のＨＤＲ−ＲＡＷデータは、第２のＢＲＡＭデータ蓄積部１９’のＨＤＲ−ＲＡＷデータを選択し、また、平面視左端側から３〜４番目及び８〜１０番目の画素のＨＤＲ−ＲＡＷデータは、第２の入力データ蓄積部１８’の第２ＨＤＲ−ＲＡＷデータを選択し、それらが合成されることで、１画素列分のＨＤＲ−ＲＡＷデータが更新される。このとき、第２ＨＤＲ−ＲＡＷデータによって更新されたＨＤＲ−ＲＡＷデータの属性データの更新処理も行われる。露光コード及び飽和フラグは、第２ＨＤＲ−ＲＡＷデータ及び第２のＢＲＡＭデータ蓄積部１９’のＨＤＲ−ＲＡＷデータのうち選択された方のＨＤＲ−ＲＡＷデータのものとなり、作成時刻コードは、第２ＨＤＲ−ＲＡＷデータによって更新が行われた平面視左端側から３〜４番目及び８〜１０番目の画素のＨＤＲ−ＲＡＷデータの作成時刻コードを「０」にクリアし、平面視左端側から１〜２番目及び５〜７番目の画素のＨＤＲ−ＲＡＷデータの作成時刻コードを「０」のまま維持する。そして、第２のデータ更新部２１’によって、書き込み指令がメモリアービタ１５に出力され、メモリアービタ１５によって、その更新されたＨＤＲ−ＲＡＷデータがＢＲＡＭ１０に書き込まれる。なお、このとき、ＢＲＡＭ１０の対応する画素列（アドレス情報）の領域に書き込み動作が行われる。

一方、所定の位相差をもって、第１ＨＤＲ−ＲＡＷデータが第１の入力データ蓄積部１８に蓄積されると、第１のＢＲＡＭデータ蓄積部１９によって、読み出し指令がメモリアービタ１５に出力される。このとき、第１のＢＲＡＭデータ蓄積部１９に対して、タイミング制御部１１から、現在入力されているデジタル画像データ（第１ＨＤＲ−ＲＡＷデータ）に対応する画素列のアドレス情報と、水平同期信号に同期した制御信号が入力される。このアドレス情報と制御信号に基づいた読み出し指令がメモリアービタ１５に出力される。メモリアービタ１５は、前記読み出し指令に基づいて、第２ＨＤＲ−ＲＡＷデータを用いた更新処理後のＨＤＲ−ＲＡＷデータをＢＲＡＭ１０から読み出す。そして、第１のＢＲＡＭデータ蓄積部１９によって、その読み出されたＨＤＲ−ＲＡＷデータが１画素列分蓄積される。

ここで、第１の入力データ蓄積部１８に蓄積された第１ＨＤＲ−ＲＡＷデータは画素列の平面視左端側から１〜８番目の画素で属性データの飽和フラグが「０」であり、第１の入力データ蓄積部１８に蓄積された全ての第１ＨＤＲ−ＲＡＷデータの露光コードが「２」である。一方、第１のＢＲＡＭデータ蓄積部１９に蓄積されたＨＤＲ−ＲＡＷデータは、上記更新によって、平面視左端側から２番目以外の飽和フラグが「０」となっており、第１のＢＲＡＭデータ蓄積部１９に蓄積されたＨＤＲ−ＲＡＷデータの全ての画素で属性データの作成時刻コードが「０」である。

この属性データに基づいて、第１のデータ判定部２０は、第１の入力データ蓄積部１８に蓄積されている第１ＨＤＲ−ＲＡＷ入力データと、第１のＢＲＡＭデータ蓄積部１９に蓄積されているＨＤＲ−ＲＡＷ入力データとを比較・判定する。このとき、同じ画素位置のＨＤＲ−ＲＡＷデータを比較し、その比較結果から、平面視左端側から２番目の画素のＨＤＲ−ＲＡＷデータが更新の必要があると判定される。また、第１のデータ判定部２０は、その判定結果に基づき、平面視左端側から１番目及び３〜１０番目の画素のＨＤＲ−ＲＡＷデータは、第１のＢＲＡＭデータ蓄積部１９のＨＤＲ−ＲＡＷデータを選択し、また、平面視左端側から２番目の画素のＨＤＲ−ＲＡＷデータは、第１の入力データ蓄積部１８の第１ＨＤＲ−ＲＡＷデータを選択し、それらが合成されることで、１画素列分のＨＤＲ−ＲＡＷデータが更新される。このとき、第１ＨＤＲ−ＲＡＷデータによって更新されたＨＤＲ−ＲＡＷデータの属性データの更新処理も行われる。露光コード及び飽和フラグは、第１ＨＤＲ−ＲＡＷデータ及び第１のＢＲＡＭデータ蓄積部１９のＨＤＲ−ＲＡＷデータのうち選択された方のＨＤＲ−ＲＡＷデータのものとなり、作成時刻コードは、第１ＨＤＲ−ＲＡＷデータによって更新が行われた平面視左端側から２番目の画素のＨＤＲ−ＲＡＷデータの作成時刻コードを「０」にクリアし、第１ＨＤＲ−ＲＡＷデータによって更新が行われなかった平面視左端側から１番目及び３〜１０番目の画素のＨＤＲ−ＲＡＷデータの作成時刻コードを１つインクリメントして「１」とする。そして、第１のデータ更新部２１によって、書き込み指令がメモリアービタ１５に出力され、メモリアービタ１５によって、その更新されたＨＤＲ−ＲＡＷデータがＢＲＡＭ１０に書き込まれる。なお、このとき、ＢＲＡＭ１０の対応する画素列（アドレス情報）の領域に書き込み動作が行われる。

そして、上記フローが他の行の画素列に対しても繰り返される。
このように、本実施形態の撮像装置では、第２のＢＲＡＭデータ蓄積部１９’に蓄積されているＨＤＲ−ＲＡＷデータの飽和フラグが「１」であり、また、第２の入力データ蓄積部１８’に蓄積されている第２ＨＤＲ−ＲＡＷデータの飽和フラグが「０」である場合、つまり、それまで飽和状態であった画素が飽和状態でなくなった場合に、それまでのＨＤＲ−ＲＡＷデータに代えて第２の入力データ蓄積部１８’に蓄積されているＨＤＲ−ＲＡＷデータをＢＲＡＭ１０に記録させ、更に、第２ＨＤＲ−ＲＡＷデータを用いた更新処理後においてもＨＤＲ−ＲＡＷデータの飽和フラグが「１」であり、第１の入力データ蓄積部１８に蓄積されている、第２ＨＤＲ−ＲＡＷデータよりも短い露光時間で撮像された第１ＨＤＲ−ＲＡＷデータの飽和フラグが「０」である場合、つまり、それまで飽和状態であった画素が露光時間を短くしたことにより飽和状態でなくなった場合に、それまでのＨＤＲ−ＲＡＷデータに代えて第１の入力データ蓄積部１８に蓄積されているＨＤＲ−ＲＡＷデータをＢＲＡＭ１０に記録させて、ダイナミックレンジの広い画像の画像データを生成することができる。

また、本実施形態によれば、表示装置・画像処理装置と同期をとるために必要なフレームメモリを、遅延のためのバッファと兼用できる。そのため、例えば、第１の画像を撮像した後に、第２の画像を撮像し、第１の画像の画像データを遅延素子で遅延させて、第１の画像の画像データを第２の画像の画像データと同時に出力させ、その遅延された第１の画像内で輝度値がダイナミックレンジの最大値となっている画素の画像データに代えて第２の画像内の画素の画像データを記録させることで、ダイナミックレンジの広い画像の画像データを生成する従来の方法と異なり、遅延素子を設ける必要がなく、その結果、遅延素子の分だけ製造コストを低くすることができる。

以上、上記第２の実施形態において、第１及び第２のＨＤＲ−ＲＡＷ入力データ生成部１７及び１７’が特許請求の範囲に記載の属性情報付加手段を構成し、以下同様に、第１及び第２の入力データ蓄積部１８及び１８’、第１及び第２のＢＲＡＭデータ蓄積部１９及び１９’、第１及び第２のデータ判定部２０及び２０’及び第１及び第２のデータ更新部２１及び２１’が撮像画像生成手段を構成し、第１及び第２のデータ判定部２０及び２０’が選択条件判定手段を構成し、第１及び第２のデータ判定部２０及び２０’並びに第１及び第２のデータ更新部２１及び２１’が選択画素合成手段を構成し、ＢＲＡＭ１０が記録手段を構成する。

なお、本発明の撮像装置は、上記実施の形態の内容に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
例えば、属性データとして、画像データの生成時における露光時間を示す露光コード、前記画像データの輝度値がダイナミックレンジの最大値であることを示す飽和フラグ、前記画像データが生成された時刻を示す作成時刻コードを用いる例を示したが、これに限られるものではない。例えば、画素固有のデータをさらに追加することも可能である。例えば、欠陥画素であることを示すデータ等がある。

なお、本発明は撮像装置に適用したが、画素毎に属性データを与え、それに基づいて画像処理や画像合成を行わせるアイディアは、一般的な画像処理装置にも適応できることは明らかである。

ＨＤＲ−ＲＡＷデータを説明するための説明図である。 本発明に係る撮像装置の概略構成を示すブロック図である。 図２の画像合成部の内部構成を示すブロック図である。 図３のＨＤＲ−ＲＡＷ生成器の内部構成を示すブロック図である。 図３のデータ判定部の動作を説明するための説明図である。 撮像素子５における各画素のリセット及び露光並びに画素信号の読み出し及びＡＦＥへの出力動作を示す図である。 画像合成部の変形例を説明するための説明図である。 作成時刻コードの更新処理を示すフローチャートである。

符号の説明

１は撮像装置、２は撮像処理部、３は信号処理部、４は表示装置、５は撮像素子、６はＡＦＥ又は第１のＡＦＥ、６’は第２のＡＦＥ、７はエリアセンサ、８は水平転送部、９は画像合成部、１０はＢＲＡＭ、１１はタイミング制御部、１２はＡＬＣ、１３はプリプロセス又は第１のプリプロセス、１３’は第２のプリプロセス、１４はＨＤＲ−ＲＡＷ生成器又は第１のＨＤＲ−ＲＡＷ生成器、１４’は第２のＨＤＲ−ＲＡＷ生成器、１５はメモリアービタ、１６は出力読出器、１７はＨＤＲ−ＲＡＷ入力データ生成部又は第１のＨＤＲ−ＲＡＷ入力データ生成部、１７’は第２のＨＤＲ−ＲＡＷ入力データ生成部、１８は入力データ蓄積部又は第１の入力データ蓄積部、１８’は第２の入力データ蓄積部、１９はＢＲＡＭデータ蓄積部又は第１のＢＲＡＭデータ蓄積部、１９’は第２のＢＲＡＭデータ蓄積部、２０はデータ判定部又は第１のデータ判定部、２０’は第２のデータ判定部、２１はデータ更新部又は第１のデータ更新部、２１’は第２のデータ更新部

Claims (11)

1. 露光時間を変更可能な電子シャッタ機能を備えた撮像手段と、その撮像手段で撮像された画像の各画素に当該画素の撮像条件を含む属性情報を付加する属性情報付加手段と、その付加された属性情報に基づいて、前記画像を画素毎に選択することで撮像画像を生成する撮像画像生成手段とを備えたことを特徴とする撮像装置。
2. 前記撮像画像生成手段は、前記属性情報付加手段で各画素に付加された属性情報が当該属性情報に対応する画素を選択する選択条件を満たすか否かを判定する選択条件判定手段と、その選択条件を満たすと判定された属性情報に対応する画素を選択して撮像画像を生成する選択画素合成手段とを備えたことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像手段で撮像された画像のうち先に撮像された画像を記録する記録手段を備え、前記選択画素合成手段は、前記撮像手段で後に撮像された画像に含まれる画素の属性情報が前記選択条件を満たすと判定された場合に当該画素を前記記録手段に記録されている撮像画像の対応画素と置き換えることを特徴とする請求項２に記載の撮像装置。
4. 前記画素の属性情報は、前記画素の露光時間を示す情報、前記画素の輝度値がダイナミックレンジの上限値であることを示す情報及び前記画素の撮像時刻を示す情報の少なくともいずれかを含むことを特徴とする請求項３に記載の撮像装置。
5. 前記選択条件判定手段は、新しく撮像された画像の対象画素の露光時間が前記記録手段に記録されている撮像画像の対応画素の露光時間より長いか否か、新しく撮像された画像の対象画素の輝度値がダイナミックレンジの上限値より大きく且つ前記記録手段に記録されている撮像画像の対応画素の輝度値がダイナミックレンジの上限値より小さいか否か、及び新しく撮像された画像の対象画素の撮像時刻が前記記録手段に記録されている撮像画像の対応画素の撮像時刻より所定時間以上離れているか否かの少なくともいずれかを判定することを特徴とする請求項４に記載の撮像装置。
6. 前記選択条件判定手段は、前記画素の選択条件を満たすか否かを判定する処理として、各画素に付加された前記属性情報に基づき、新しく撮像された画像の対象画素の撮像時刻が前記記録手段に記録されている撮像画像の対応画素の撮像時刻より所定時間以上離れているか否かを判定する優先順位が第１位の第１判定処理、新しく撮像された画像の対象画素の輝度値がダイナミックレンジの上限値より小さく且つ前記記録手段に記録されている撮像画像の対応画素の輝度値がダイナミックレンジの上限値より大きいか否かを判定する優先順位が第２位の第２判定処理、及び新しく撮像された画像の対象画素の輝度値がダイナミックレンジの上限値より小さく且つ前記記録手段に記録されている撮像画像の対応画素の輝度値がダイナミックレンジの上限値より小さい場合に、新しく撮像された画像の対象画素の露光時間が前記記録手段に記録されている撮像画像の対応画素の露光時間より長いか否かを判定する優先順位が第３位の第３判定処理を、前記優先順位の高い方から順に実行し、前記第１〜第３判定処理のいずれかにおいて、前記選択条件を満たした時点で前記判定処理を終了することを特徴とする請求項４に記載の撮像装置。
7. 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、前記光電変換部における前記光電変換素子の構成する画素のライン毎に露光時間を変更可能な電子シャッタ機能とを有し、前記露光時間の異なる各ライン毎に、前記各光電変換素子のリセット及び露光並びに前記各光電変換素子からの電荷の読み出しを順次行う撮像手段と、Ｎ種類（Ｎは２以上の自然数）の露光時間にそれぞれ対応し、且つ当該各種類毎に読み出した前記ライン毎の電荷に対応する画像データを記録及び出力するＮ個の出力チャンネルとを備えた撮像装置であって、
   前記撮像手段で撮像された撮像画像の画像データを構成する各画素のデータに当該画素の撮像条件を含む属性情報を付加する属性情報付加手段と、
   前記属性情報の付加された撮像画像の画像データを記録する記録手段と、
   前記Ｎ個の出力チャンネルから前記露光時間の種類毎に所定の順番で順次出力される各ラインの画像データに付加された属性情報と、前記記録手段に記録された前記各ラインの画像データに対応するラインの画像データに付加された属性情報とに基づいて、各画素毎に、当該各画素のデータに付加された属性情報が予め設定された画素の選択条件を満たすか否かを判定する選択条件判定手段と、
   前記選択条件を満たすと判定された属性情報に対応する画素のデータを選択し、当該選択した画素のデータが前記記録手段に記録されるようにして、当該記録手段に記録された前記撮像画像の画像データを各画素毎に更新又は維持する撮像画像生成手段とを備えることを特徴とする撮像装置。
8. 前記各画素のデータに付加される属性情報は、前記画素の露光時間を示す情報、前記画素の輝度値がダイナミックレンジの上限値であることを示す情報及び前記画素の撮像時刻を示す情報の少なくともいずれかを含むことを特徴とする請求項７に記載の撮像装置。
9. 前記選択条件判定手段は、前記各画素のデータに付加された属性情報に基づき、前記出力チャンネルから出力される画像データにおける対象画素のデータの露光時間が前記記録手段に記録されている画像データにおける対応画素のデータの露光時間より長いか否か、前記出力チャンネルから出力される画像データにおける対象画素のデータの輝度値がダイナミックレンジの上限値より大きく且つ前記記録手段に記録されている画像データにおける対応画素のデータの輝度値がダイナミックレンジの上限値より小さいか否か、及び前記出力チャンネルから出力される画像データにおける対象画素のデータの撮像時刻が前記記録手段に記録されている画像データにおける対応画素のデータの撮像時刻より所定時間以上離れているか否かの少なくともいずれかを判定することを特徴とする請求項８に記載の撮像装置。
10. 前記選択条件判定手段は、前記画素の選択条件を満たすか否かを判定する処理として、各画素のデータに付加された属性情報に基づき、前記出力チャンネルから出力される画像データにおける対象画素のデータの撮像時刻が前記記録手段に記録されている画像データの対応画素のデータの撮像時刻より所定時間以上離れているか否かを判定する優先順位が第１位の第１判定処理、前記出力チャンネルから出力される画像データにおける対象画素のデータの輝度値がダイナミックレンジの上限値より小さく且つ前記記録手段に記録されている画像データにおける対応画素のデータの輝度値がダイナミックレンジの上限値より大きいか否かを判定する優先順位が第２位の第２判定処理、及び前記出力チャンネルから出力される画像データにおける対象画素のデータの輝度値がダイナミックレンジの上限値より小さく且つ前記記録手段に記録されている画像データの対応画素のデータの輝度値がダイナミックレンジの上限値より小さい場合に、前記出力チャンネルから出力される画像データにおける対象画素のデータの露光時間が前記記録手段に記録されている画像データにおける対応画素のデータの露光時間より長いか否かを判定する優先順位が第３位の第３判定処理を前記優先順位の高い方から順に実行し、前記第１〜第３判定処理のいずれかにおいて、前記選択条件を満たした時点で前記判定処理を終了することを特徴とする請求項８に記載の撮像装置。
11. 前記撮像画像生成手段は、前記Ｎ個の出力チャンネルから前記露光時間の種類毎に所定の順番で順次出力される前記ライン毎の画像データのうち、最初に画像データが出力される出力チャンネルにおいて、当該出力チャンネルから出力される画像データのラインに対応するラインの前記記録手段に記録された画像データを構成する画素のデータのうち、前記撮像画像生成手段で記録が更新されず、且つ次以降に画像データが出力される残りＮ−１個の出力チャンネルにおいて、各出力チャンネルから出力される画像データのラインに対応するラインの前記記録手段に記録された画像データを構成する画素のデータのうち、前記撮像画像生成手段で記録が更新されなかった画素のデータに付加された前記撮像時刻を示す情報を当該撮像時刻を所定時間経過させた情報に変更し、前記Ｎ個の出力チャンネルにおいて、各出力チャンネルから出力される画像データのラインに対応するラインの前記記録手段に記録された画像データを構成する画素のデータのうち、前記撮像画像生成手段で記録が更新された画素のデータに付加された前記撮像時刻を示す情報を所定値にリセットすることを特徴とする請求項１０に記載の撮像装置。

Images