JP2012054661A - 撮像装置、および信号処理方法、並びにプログラム - Google Patents

Abstract

【課題】画像合成による広ダイナミックレンジ画像と通常画像を生成する撮像装置におけるメモリ利用構成の改善とスムーズなモード切り替えを実現する。
【解決手段】撮像信号を格納するメモリと、メモリに格納された画像信号を入力して画像合成処理を実行して広ダイナミックレンジ画像を生成する画像合成部と、γ補正処理による信号変換処理を実行する画像補正部と、メモリに対する入出力経路の切り替えを伴う信号経路制御を実行する制御部を有し、制御部は、画像合成部における画像合成処理を実行しない通常画像生成時に、画像補正部による補正後の信号を前記メモリに対する書き込み読み出し信号として設定し、画像合成部における画像合成処理を実行する広ダイナミックレンジ画像生成時には、画像補正部による補正前の信号をメモリに対する書き込み読み出し信号として設定する信号経路制御を実行する。
【選択図】図３

Description

本発明は、撮像装置、および信号処理方法、並びにプログラムに関する。特に、複数の露光時間の異なる画像を利用した画像合成処理によりダイナミックレンジの広い高品質な画像を生成可能とした撮像装置、および信号処理方法、並びにプログラムに関する。

ビデオカメラやデジタルスチルカメラなどに用いられるＣＣＤイメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサのような固体撮像素子は入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。しかし、光電変換素子における電荷蓄積量には上限があり、一定以上の光量を受けると蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域は飽和した輝度レベルに設定されるいわゆる白とびが発生してしまう。

このような現象を防止するため、外光の変化等に応じて、光電変換素子における電荷蓄積期間を制御して露光時間を調整し、感度を最適値に制御するといった処理が行なわれる。例えば、明るい被写体に対しては、シャッタを高速に切ることで露光時間を短縮し光電変換素子における電荷蓄積期間を短くして蓄積電荷量が飽和レベルに達する以前に電気信号を出力させる。このような処理により被写体に応じた階調を正確に再現した画像の出力が可能となる。

しかし、明るいところと暗いところが混在するような被写体の撮影においては、シャッタを高速に切ると、暗い部分で十分な露光時間がとれないためにＳ／Ｎが劣化し画質が落ちることになる。このように明るいところと暗いところが混在する被写体の撮影画像において、明るい部分、暗い部分の輝度レベルを正確に再現するためには、イメージセンサ上での入射光が少ない画素では長い露光時間として高いＳ／Ｎを実現し、入射光が多い画素では飽和を回避する処理が必要となる。

このような処理を実現する手法として、露光時間の異なる複数の画像を利用する手法が知られている。すなわち、暗い画像領域では長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用して最適な画素レベルを決定するという手法である。このように、複数の異なる露光画像を合成することで、白とびのないダイナミックレンジの広い画像を得ることができる。

例えば特許文献１（特開２００８−９９１５８号公報）や、特許文献２（特開２００８−２２７６９７号公報）は、複数の異なる露光量の画像を合成して広いダイナミックレンジの画像を得る構成を開示している。

図１に、撮像素子の露光時間を長時間露光と短時間露光を垂直期間毎に切換えて得られた２種類の感度の画像を合成して広ダイナミックレンジ画像を生成する従来の撮像装置１０のブロック図を示す。

図１の撮像装置１０において広ダイナミックレンジ画像を生成する処理について説明する。レンズ１１を介して入射した光を撮像素子１２で光電変換して出力される映像信号をアナログフロントエンド１３で相関２重サンプリング処理とＡＧＣをかけた後にＡＤ変換してデジタル信号にする。アナログフロントエンド１３の出力するデジタル撮像信号は信号処理部２０に入力される。

信号処理部２０では、まずＹＲＧＢ生成回路２１によって、輝度信号Ｙ信号と色信号であるＲ信号、Ｇ信号、Ｂ信号を生成する。ＹＲＧＢ生成回路２１出力のＹ信号、Ｒ信号、Ｇ信号、Ｂ信号は第１信号処理部２２において必要な信号処理が施された後、メモリ２３に対する書き込み（Ｗｒｉｔｅ）処理がなされる。

メモリ２３には、撮像素子の露光時間が異なる低感度と高感度の画像、すなわち長時間露光画像と短時間露光画像が格納される。その後、メモリ２３から長時間露光画像と短時間露光画像を読み出して画像合成部（ＷＤＲ：Ｗｉｄｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ合成）２４に入力されて、画像合成による広ダイナミックレンジ化処理が施される。

その後、広ダイナミックレンジ化された合成画像を画像補正部（γ補正）２５に入力し、例えばＹＲＧＢ信号を色差信号含むＹＣｂＣｒ信号に変換する処理を含むγ補正処理等を実行して、さらに第２信号処理部２６において最終的な信号処理を行って最終的な出力画像を生成する。

なお、第１信号処理部２２では周波数補正や信号レベル補正、ホワイトバランス（ＷＢ）調整などを行い、第１信号処理部２２と第２信号処理部２６とでメモリ２３への制御と連動して画像の垂直反転やスロースチルや手振れ補正や電子ズームなどを行い、第２信号処理部２６では、ピーククリップや色差信号生成、ＯＳＤや出力エンコード処理などを行う場合が多い。

このような長時間露光画像と短時間露光画像の合成処理により広ダイナミックレンジ画像を生成する撮像装置では、広ダイナミックレンジ化を実行しない通常画像と広ダイナミックレンジ化した画像と撮像装置１０の出力信号レベルの定格値が同じために、被写体の状況によって、広ダイナミックレンジ化を実行しない通常画像と広ダイナミックレンジ化画像のそれぞれの被写体のコントラストや明るさが異なってしまうために、必ずしも広ダイナミックレンジ化した画像側が常に好ましい画像でないことが多く、そのため広ダイナミックレンジ化を実行しない通常画像の撮影と、広ダイナミックレンジ化画像の撮影のいずれも可能な構成となっているものが多く、被写体の状況によって広ダイナミックレンジ化するかしないかを選択して使用する設定としたものが多い。

なお、図１に示すように画像合成による広ダイナミックレンジ化処理を行う画像合成部２４の合成処理は画像補正部２５のγ処理前に行う必要がある。従って、例えば、従来のＹ，Ｃｒ，Ｃｂ各８ｂｉｔを出力信号として生成する撮像装置では、メモリへ書き込み／読み出しデータ、すなわちライトリードデータは図２に示すように、輝度信号（Ｙ）と、色信号（Ｇ）（Ｒ）（Ｂ）各々１０ｂｉｔ以上で、輝度信号２画素に対して色信号１ペアの分解能のいわゆる４２２形式のデータ形式でライトリードを行う。

図２（ａ）に示すように、輝度信号（Ｙ）は画素単位の信号を利用するが、色信号（Ｇ）（Ｒ）（Ｂ）については２画素の平均値として利用する４２２形式でデータのリードライトを行う。
図２（ｂ）は、輝度信号（Ｙ）＝１０ｂｉｔ、色信号（Ｇ）（Ｒ）（Ｂ）＝１２ｂｉｔとしてライトリードする場合の各信号のビット設定例を示している。

なお、撮像素子からのデータ読み出し方式としては、全画素を全て独立な信号として読み出すプログレッシブ読み出し方式と、上下隣接した２ラインの画素を混合して読み出しを行うインターレース読み出し方式が知られている。

インターレース表示方式であるＮＴＳＣやＰＡＬフォーマットに対応した撮像素子の駆動周波数は、撮像素子からのインターレース読み出しの場合、１３．５ＭＨｚ，約１４ＭＨｚ，１８ＭＨｚ等であり、プログレッシブ読み出しの場合、その倍の２７ＭＨｚ，約２８ＭＨｚ，３６ＭＨｚが多く用いられている。

撮像素子からのデータ読み出し方式が、プログレッシブ読み出しの場合、広ダイナミックレンジ化のために２つの画像の合成処理を行うためには、１回のライトに対して２回リードが必要になるので、メモリ２３を１個とするためには、少なくとも撮像素子の駆動周波数の３倍の周波数でメモリを動作させる必要があり、プログレッシブ読み出しの場合、その倍の８１ＭＨｚ，約８６ＭＨｚ，１０８ＭＨｚとなる。

ＹＲＧＢを４２２形式でライトリードするためには、データは１クロックあたり５０÷２＝２５ｂｉｔが必要となるので、メモリのデータ幅が３２ｂｉｔ品を使うか、１６ｂｉｔ品を使うためには、周波数をさらに倍として１６２ＭＨｚ，約１７１ＭＨｚ，２１６ＭＨｚとする必要がある。ＮＴＳＣやＰＡＬフォーマットに対応した撮像装置で広ダイナミックレンジの画像を得るためには４つの画像を記憶する必要があるが、プログレッシブ動作時でもデータ容量は６４ＭＢ未満で満足できるが、６４ＭＢに対応するメモリでは、１３３〜１６６ＭＨｚが最大周波数であって、１３３ＭＨｚを採用する代わりにデータ幅を３２ｂｉｔとするか、高速なメモリを採用する必要があった。

前者ではメモリ制御線が増加する、あるいはメモリを２個使うために、実装面積が大きくなる、メモリ需要が少ない品種となるために高価になるなどの問題があった。また、メモリのデータフォーマットを１６ｂｉｔ以下としようとするとデータの分解能不足で画質が低下する問題があり、特に広ダイナミックレンジ化のためにＷＤＲ合成しないときに画質の低下が目立つ問題があった。また、広ダイナミックレンジ化画像と通常画像の２種類のデータフォーマットを切換えて動作させる撮像装置では切り替えの際にエラー画像が出る問題があった。

特開２００８−９９１５８号公報 特開２００８−２２７６９７号公報

本発明は、例えば、上述の問題点に鑑みてなされたものであり、広ダイナミックレンジ化画像と通常画像の２種類の画像の撮影が可能な撮像装置において、必要なメモリの容量の低減や、広ダイナミックレンジ化画像と通常画像の２種類の画像の撮影モードの切り替え時における出力エラーの発生等を防止し、スムーズなモード切り替えを可能とした撮像装置、および信号処理方法、並びにプログラムを提供することを目的とする。

本発明の第１の側面は、
撮像信号を格納するメモリと、
メモリに格納された画像信号を入力して画像合成処理を実行して広ダイナミックレンジ画像を生成する画像合成部と、
γ補正処理による信号変換処理を実行する画像補正部と、
メモリに対する入出力経路の切り替えを伴う信号経路制御を実行する制御部を有し、
前記制御部は、
前記画像合成部における画像合成処理を実行しない通常画像生成時には、前記画像補正部による補正後の信号を前記メモリに対する書き込み読み出し信号として設定する信号経路制御を実行し、
前記画像合成部における画像合成処理を実行する広ダイナミックレンジ画像生成時には、前記画像補正部による補正前の信号を前記メモリに対する書き込み読み出し信号として設定する信号経路制御を実行する撮像装置にある。

さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、撮像素子からの出力信号に対する信号処理を実行する第１信号処理部を有し、前記第１信号処理部は、輝度信号（Ｙ）９ビット、色信号（Ｒ，Ｇ，Ｂ）について、（Ｇ）１０ビット、（Ｒ），（Ｂ）各々９ビット、上記設定とした輝度（Ｙ）４に対して色信号（Ｒ，Ｇ，Ｂ）各１の比率を持つフォーマット（ｆ２）に従った信号を出力し、前記制御部は、前記画像合成部における画像合成処理を実行する広ダイナミックレンジ画像生成時に、前記フォーマット（ｆ２）に従った信号を前記メモリに対する書き込み読み出し信号として設定する信号経路制御を実行する。

さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、前記画像補正部の出力信号を入力して信号処理を実行する第２信号処理部を有し、前記第２信号処理部は、輝度信号（Ｙ）８ビット、色差信号（Ｃｂ，Ｃｒ）について、（Ｃｂ），（Ｃｒ）各々８ビット、上記設定とした輝度（Ｙ）４に対して色差信号（Ｃｂ，Ｃｒ）各２の比率、または、輝度（Ｙ）４に対して色差信号（Ｃｂ，Ｃｒ）各１の比率を持つフォーマット（ｆ１）に従った信号を出力し、前記制御部は、前記画像合成部における画像合成処理を実行しない通常画像生成時に、前記フォーマット（ｆ１）に従った信号を前記メモリに対する書き込み読み出し信号として設定する信号経路制御を実行する。

さらに、本発明の撮像装置の一実施態様において、前記制御部は、前記画像合成部における画像合成処理を実行しない通常画像生成時には、撮像素子の出力信号を、前記第１信号処理部から前記画像補正部、さらに前記第２信号処理部と、前記メモリを経由して、撮像装置出力を生成する第３信号処理部へ入力する信号経路を設定する制御を行う。

さらに、本発明の撮像装置の一実施態様において、前記制御部は、前記画像合成部における画像合成処理を実行する広ダイナミックレンジ画像生成時には、撮像素子の出力信号を、前記第１信号処理部から前記メモリ、さらに、メモリ読み出し信号を前記画像合成部に入力し、さらに、前記画像補正部と、前記第２信号処理部を経由して、撮像装置出力を生成する第３信号処理部へ入力する信号経路を設定する制御を行う。

さらに、本発明の撮像装置の一実施態様において、前記制御部は、前記画像合成部における画像合成処理を実行しない通常画像生成時には、２つのメモリアドレスを交互に利用して通常画像を順次メモリへ書き込み、書き込みアドレス以外のアドレスを利用して書き込みデータをメモリから読み出す処理を実行させる制御を行う。

さらに、本発明の撮像装置の一実施態様において、前記制御部は、前記画像合成部における画像合成処理を実行する広ダイナミックレンジ画像生成時には、４つのメモリアドレスを順次利用して長時間露光画像（光感度画像）と短時間露光画像（低感度画像）を順次メモリへ書き込み、書き込みアドレス以外のアドレスを利用して、長時間露光画像（光感度画像）と短時間露光画像（低感度画像）をメモリから並列に読み出す処理を実行させる制御を行う。

さらに、本発明の撮像装置の一実施態様において、前記制御部は、通常画像生成処理モードと広ダイナミックレンジ画像生成処理モードとの切り替え処理時に、前記メモリに対する入力データを切り替え後のモードに対応するデータを入力し、前記メモリからの出力データを切り替え前のモードに対応するデータを出力する設定とした遷移期間を設けて、該遷移期間の経過後、前記メモリからの出力データを切り替え後のモードに対応するデータを出力する設定とする制御を行う。

さらに、本発明の撮像装置の一実施態様において、前記制御部は、切り替え後モードが広ダイナミックレンジ画像生成処理モードである場合、前記遷移期間を広ダイナミックレンジ画像の生成に必要な長時間露光画像（光感度画像）と短時間露光画像（低感度画像）の格納が終了するまでの期間とし、切り替え後モードが通常画像生成処理モードである場合、前記遷移期間を通常画像の生成に必要な画像の格納が終了するまでの期間とする制御を行う。

さらに、本発明の撮像装置の一実施態様において、前記制御部は、メモリ格納データの垂直反転処理に対応したアドレス設定処理を実行する場合、通常画像生成処理モードと広ダイナミックレンジ画像生成処理モードとの切り替え処理時に、アドレスとデータとの対応関係を維持したアドレス設定制御を行う。

さらに、本発明の第２の側面は、
撮像信号を格納するメモリと、
メモリに格納された画像信号を入力して画像合成処理を実行して広ダイナミックレンジ画像を生成する画像合成部と、
γ補正処理による信号変換処理を実行する画像補正部と、
メモリに対する入出力経路の切り替えを伴う信号経路制御を実行する制御部を有し、
前記制御部は、
前記画像合成部における画像合成処理を実行しない通常画像生成時には、前記画像補正部による補正後の信号を前記メモリに対する書き込み読み出し信号として設定する信号経路制御を実行し、
前記画像合成部における画像合成処理を実行する広ダイナミックレンジ画像生成時には、前記画像補正部による補正前の信号を前記メモリに対する書き込み読み出し信号として設定する信号経路制御を実行する画像処理装置にある。

さらに、本発明の第３の側面は、
画像処理装置において実行する信号処理方法であり、
前記画像処理装置は、
メモリに格納された画像信号を入力して画像合成処理を実行して広ダイナミックレンジ画像を生成する画像合成部と、
γ補正処理による信号変換処理を実行する画像補正部と、
メモリに対する入出力経路の切り替えを伴う信号経路制御を実行する制御部を有し、
前記制御部は、
前記画像合成部における画像合成処理を実行しない通常画像生成時には、前記画像補正部による補正後の信号を前記メモリに対する書き込み読み出し信号として設定する信号経路制御を実行し、
前記画像合成部における画像合成処理を実行する広ダイナミックレンジ画像生成時には、前記画像補正部による補正前の信号を前記メモリに対する書き込み読み出し信号として設定する信号経路制御を実行する信号処理方法にある。

さらに、本発明の第４の側面は、
画像処理装置において信号処理制御を実行させるプログラムであり、
前記画像処理装置は、
メモリに格納された画像信号を入力して画像合成処理を実行して広ダイナミックレンジ画像を生成する画像合成部と、
γ補正処理による信号変換処理を実行する画像補正部と、
メモリに対する入出力経路の切り替えを伴う信号経路制御を実行する制御部を有し、
前記プログラムは、前記制御部に、
前記画像合成部における画像合成処理を実行しない通常画像生成時には、前記画像補正部による補正後の信号を前記メモリに対する書き込み読み出し信号として設定する信号経路制御を実行させ、
前記画像合成部における画像合成処理を実行する広ダイナミックレンジ画像生成時には、前記画像補正部による補正前の信号を前記メモリに対する書き込み読み出し信号として設定する信号経路制御を実行させるプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例の構成によれば、画像合成による広ダイナミックレンジ画像と、画像合成を行わない通常画像を生成する撮像装置におけるメモリ利用構成の改善とスムーズなモード切り替えを実現することができる。本発明の一実施例に係る撮像装置は、撮像信号を格納するメモリと、メモリに格納された画像信号を入力して画像合成処理を実行して広ダイナミックレンジ画像を生成する画像合成部と、γ補正処理による信号変換処理を実行する画像補正部と、メモリに対する入出力経路の切り替えを伴う信号経路制御を実行する制御部を有し、制御部は、画像合成部における画像合成処理を実行しない通常画像生成時に、画像補正部による補正後の信号を前記メモリに対する書き込み読み出し信号として設定し、画像合成部における画像合成処理を実行する広ダイナミックレンジ画像生成時には、画像補正部による補正前の信号をメモリに対する書き込み読み出し信号として設定する信号経路制御を実行する。

これらの構成により、例えば、通常画像生成モードではＹＣｂＣｒ信号、広ダイナミックレンジ画像生成モードではＹＲＧＢ信号をメモリに格納する設定として、それぞれのフォーマットを定義して格納データを設定することで限られたメモリ容量を利用した効率的なメモリ利用構成が実現される。
また、通常画像生成モードと広ダイナミックレンジ画像生成モードとの切り替え時にロモリ入力データを先行して切り替えることで、出力画像を途切れさせることのないスムーズなモード遷移が実現される。

２種類の感度の画像を合成して広ダイナミックレンジ画像を生成する撮像装置の構成例について説明する図である。 撮像装置におけるメモリ格納データの構成例について説明する図である。 本発明の一実施例に係る撮像装置の構成例について説明する図である。 本発明の一実施例に係る撮像装置において、通常画像を生成する通常画像モード設定時のスイッチ設定および処理について説明する図である。 本発明の一実施例に係る撮像装置において、広ダイナミックレンジ像を生成する広ダイナミックレンジモード設定時のスイッチ設定および処理について説明する図である。 本発明の一実施例に係る撮像装置におけるメモリ格納データのフォーマットの一例について説明する図である。 本発明の一実施例に係る撮像装置におけるメモリ格納データのフォーマットの一例について説明する図である。 本発明の一実施例に係る撮像装置の実行するプログレッシブ読み出し、プログレッシブ出力における通常画像生成シーケンスについて説明する図である。 本発明の一実施例に係る撮像装置の実行するプログレッシブ読み出し、プログレッシブ出力における広ダイナミックレンジ画像生成シーケンス（例１）について説明する図である。 本発明の一実施例に係る撮像装置の実行するプログレッシブ読み出し、プログレッシブ出力における広ダイナミックレンジ画像生成シーケンス（例２）について説明する図である。 本発明の一実施例に係る撮像装置の実行するプログレッシブ読み出し、インターレース出力における通常画像生成シーケンス（例１）について説明する図である。 本発明の一実施例に係る撮像装置の実行するプログレッシブ読み出し、インターレース出力における通常画像生成シーケンス（例２）について説明する図である。 本発明の一実施例に係る撮像装置の実行するプログレッシブ読み出し、インターレース出力における広ダイナミックレンジ画像生成シーケンス（例１）について説明する図である。 本発明の一実施例に係る撮像装置の実行するプログレッシブ読み出し、インターレース出力における広ダイナミックレンジ画像生成シーケンス（例２）について説明する図である。 本発明の一実施例に係る撮像装置の実行するプログレッシブ読み出し、インターレース出力における広ダイナミックレンジ画像生成シーケンス（例３）について説明する図である。 本発明の一実施例に係る撮像装置の実行するプログレッシブ読み出し、インターレース出力における広ダイナミックレンジ画像生成シーケンス（例４）について説明する図である。 本発明の一実施例に係る撮像装置の実行するプログレッシブ読み出し、プログレッシブ出力における通常画像生成と広ダイナミックレンジ画像生成の切り替えシーケンスについて説明する図である。 本発明の一実施例に係る撮像装置の実行するプログレッシブ読み出し、プログレッシブ出力における通常画像生成と広ダイナミックレンジ画像生成の切り替えシーケンスにおけるスイッチ設定について説明する図である。 本発明の一実施例に係る撮像装置の実行するプログレッシブ読み出し、プログレッシブ出力における通常画像生成と広ダイナミックレンジ画像生成の切り替えシーケンスにおけるスイッチ設定について説明する図である。 通常画像生成と広ダイナミックレンジ画像生成の切り替えシーケンスにおける問題点について説明する図である。

以下、図面を参照しながら、本発明の撮像装置、および信号処理方法、並びにプログラムについて説明する。説明は以下の項目順に行う。
１．撮像装置の全体構成例について
２．通常画像生成処理と広ダイナミックレンジ画像生成処理時の設定について
３．メモリ格納データのフォーマットについて
４．画像生成処理の詳細シーケンスについて
（４−Ａ）プログレッシブ読み出し、プログレッシブ出力における通常画像生成シーケンス
（４−Ｂ）プログレッシブ読み出し、プログレッシブ出力における広ダイナミックレンジ画像生成シーケンス（例１）
（４−Ｃ）プログレッシブ読み出し、プログレッシブ出力における広ダイナミックレンジ画像生成シーケンス（例２）
（４−Ｄ）プログレッシブ読み出し、インターレース出力における通常画像生成シーケンス（例１）
（４−Ｅ）プログレッシブ読み出し、インターレース出力における通常画像生成シーケンス（例２）
（４−Ｆ）プログレッシブ読み出し、インターレース出力における広ダイナミックレンジ画像生成シーケンス（例１）
（４−Ｇ）プログレッシブ読み出し、インターレース出力における広ダイナミックレンジ画像生成シーケンス（例２）
（４−Ｈ）プログレッシブ読み出し、インターレース出力における広ダイナミックレンジ画像生成シーケンス（例３）
（４−Ｉ）プログレッシブ読み出し、インターレース出力における広ダイナミックレンジ画像生成シーケンス（例４）
（４−Ｊ）プログレッシブ読み出し、プログレッシブ出力における通常画像生成と広ダイナミックレンジ画像生成の切り替えシーケンス

［１．撮像装置の全体構成例について］
図３は、本発明の撮像装置の一実施例を示すブロック図である。なお、以下の説明では撮像装置の実施例として説明するが、本発明は、撮像信号を入力して信号処理を行う撮像部分を持たない画像処理装置においても利用可能な発明である。
図３に示す撮像装置１００の構成と処理について説明する。
レンズ１０１を介して入射した光は撮像素子１０２で光電変換される。撮像素子１０２において生成された画像に対応する電気信号はアナログフロントエンド１０３で相関２重サンプリング処理とＡＧＣが施され、さらにＡＤ変換されて画像に対応するデジタル信号が生成される。

さらに、アナログフロントエンド１０３の出力するデジタル信号は、信号処理部１２０のＹＲＧＢ生成部１２１に入力され、ＹＲＧＢ生成部１２１において、輝度信号Ｙ信号と色信号であるＲ信号、Ｇ信号、Ｂ信号が生成される。

ＹＲＧＢ生成部１２１の出力するＹ信号、Ｒ信号、Ｇ信号、Ｂ信号は第１信号処理部１２２において必要な信号処理が実行され、切り替えスイッチａ，１５１ａのＮ側入力端子と切り替えスイッチｃ，１５１ｃのＷ側入力端子に入力される。

切り替えスイッチａ，１５１ａの出力は画像合成部（ＷＤＲ合成）１２３に入力され、必要に応じて画像合成処理、すなわち、短時間露光画像と長時間露光画像との画像合成処理による広ダイナミックレンジ化処理が実行される。なお、通常画像の生成時には、画像合成部（ＷＤＲ合成）１２３での画像合成処理は実行せず第２信号処理部１２５において実行する第２信号処理に必要な分解能を持つ信号である第１信号処理部１２２からの入力をそのまま画像補正部（γ補正）１２４に出力する。
なお、第１信号処理部１２２は、通常画像の生成時には第２信号処理部１２５において実行する通常画像のメモリ１３０に対する格納データ（後述する図６に示すフォーマット１（ｆ１）に従ったデータ）を生成可能とした信号、例えばＹＲＧＢ各１０ビット以上の信号を出力する。

画像補正部（γ補正）１２４は、ＹＲＧＢ信号それぞれにγ変換処理を実行して補正画像を第２信号処理部１２５に出力する。
第２信号処理部１２５は、例えば色差信号を含む信号（ＹＣｂＣｒ）への変換処理等の必要な信号処理を行い、処理画像を切り替えスイッチ１５１ｂのＷ側入力端子と切り替えスイッチｃ，１５１ｃのＮ側入力端子に出力する。
切り替えスイッチｂ，１５１ｂの出力は第３信号処理部１２６に入力され、最終的な信号処理を行い、撮像装置出力信号を生成して出力される。

切り替えスイッチｃ，１５１ｃ出力はメモリ１３０に対する書き込み（Ｗｒｉｔｅ）データとなり、メモリ１３０からの読み出し（Ｒｅａｄ）データは切り替えスイッチ１５１ｄに入力される。

切り替えスイッチｄ，１５１ｄのＮ側出力端子から出力される信号は切り替えスイッチ１５１ｂのＮ側入力端子に入力され、切り替えスイッチｄ，１５１ｄのＷ側出力端子から出力される信号は切り替えスイッチａ，１５１ａのＷ側入力端子に入力される。

なお、第１信号処理部１２２では周波数補正や信号レベル補正、ホワイトバランス（ＷＢ）調整などを行う。第２信号処理部１２５では、ピーククリップや色差信号の生成や補正などを行い、第３信号処理部１２６ではＯＳＤや出力エンコードなどを行う場合が多いが、これらの信号処理部の役割は、適宜変更可能である。
なお、第１信号処理部２２では周波数補正や信号レベル補正、ホワイトバランス（ＷＢ）調整などを行い、第２信号処理部１２５と第３信号処理部１２６とでメモリ１３０への制御と連動して画像の垂直反転やスロースチルや手振れ補正や電子ズームなどを行い、第２信号処理部２６では、ピーククリップや色差信号生成、ＯＳＤや出力エンコード処理などを行う場合が多い。

図３に示す撮像装置１００は、
（１）撮像素子１０２の出力する１つの画像フレームを１つの出力画像として生成する通常（Ｎｏｒｍａｌ）画像生成処理、
（２）撮像素子１０２の露光時間を長時間露光と短時間露光を垂直期間毎に切換えて得られた２種類の感度の画像を合成して広ダイナミックレンジの画像を生成する広ダイナミックレンジ（ＷＤＲ：Ｗｉｄｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像生成処理、
これらの処理を選択的に実行可能な構成を持つ。

通常画像生成処理において好ましい明るさで出力されている被写体は、広ダイナミックレンジ化した場合、暗くなり、コントラストが低下する画像となってしまう。このため、広ダイナミックレンジ化できるビデオカメラであっても、広ダイナミックレンジ化した方がいい被写体条件と通常画像の方が好ましい被写体条件が有る。

図３に示す撮像装置１００においては、例えば入力部１０６を介するユーザ設定をマイコン（制御部）１０５が検出して、通常画像生成動作と広ダイナミックレンジ画像生成動作を切換えることを可能としている。

あるいは、例えばマイコン（制御部）１０５が撮影画像の解析、例えば長時間露光による高感度画像の輝度信号のヒストグラムを解析し、白つぶれ領域の比率が高いと判断した時に、短時間露光による低感度画像の撮像を実行させる制御を行ってもよい。例えば高感度撮像時のヒストグラムにおいて黒つぶれ白つぶれ領域が少ない場合は広ダイナミックレンジ化することが好ましくないと判断して、通常画像撮影動作に切換える。

マイコン（制御部）１０５は、メモリに対するアクセス制御、例えばアドレス設定やアクセスシーケンスの制御等を行う。さらに通常画像生成動作と広ダイナミックレンジ画像生成動作の切り替え処理に際して、例えばメモリ１３０に対する入出力経路の切り替えを伴う信号経路制御を実行する。なお、マイコン（制御部）１０５は、マイコン内の記憶部あるいは図示しない記憶部に格納されたプログラムに従って各種の処理や制御を実行する。

マイコン（制御部）１０５の実行する制御の１つである通常画像生成動作と広ダイナミックレンジ画像生成動作の切り替え処理の具体的な処理は例えば以下の処理である。画像合成部１２３における画像合成処理を実行しない通常画像生成時には、画像補正部１２４による補正後の信号をメモリ１３０に対する書き込み読み出し信号として設定する信号経路制御を実行し、画像合成部１２３における画像合成処理を実行する広ダイナミックレンジ画像生成時には、画像補正部１２４による補正前の信号をメモリ１３０に対する書き込み読み出し信号として設定する信号経路制御を実行する。

このように、撮像装置１００は、ユーザ設定あるいはマイコンによる自動制御により、通常画像生成モードと、広ダイナミックレンジ画像生成モードの切り替えを行う構成である。
マイコン（制御部）１０５は、通常画像生成モードである場合は、信号処理部１２０のスイッチａ〜ｄ，１５１ａ〜ｄをＮ側接続構成とし、広ダイナミックレンジ画像生成モードである場合は、信号処理部１２０のスイッチａ〜ｄ，１５１ａ〜ｄをＷ側接続構成とする制御を行う。

また、マイコン（制御部）１０５は、通常画像生成モードにある場合には、画像合成部１２３における画像合成処理は停止させ、第１信号処理部１２２からの入力をそのまま画像補正部（γ補正）１２４に出力させる制御を行う。
広ダイナミックレンジ画像生成モードである場合は、画像合成部１２３における画像合成処理を実行させる。画像合成部１２３は、長時間露光によって得られる高感度画像の白つぶれ領域に、短時間露光によって得られる低感度画像の有効画素値を設定する画像合成処理を実行して広ダイナミックレンジ画像を生成する。

［２．通常画像生成処理と広ダイナミックレンジ画像生成処理時の設定について］
図３の撮像装置１００の構成において、通常画像を生成する通常動作時と、広ダイナミックレンジ画像を生成する広ダイナミックレンジ動作時ではスイッチ１５１ａ〜ｄの設定が異なり、信号の流れが異なる。

これら、モードの違いによる信号の流れの違いを図４、図５を参照して説明する。
図４は、通常画像を生成する通常動作時における信号の流れを太線で示した図である。
図５は、広ダイナミックレンジ画像を生成する広ダイナミックレンジ動作時における信号の流れを太線で示した図である。

まず、図４を参照して、通常画像を生成する通常動作時における信号の流れについて説明する。
通常画像を生成する通常動作時には、切り替えスイッチ１５１ａ〜１５１ｄをＮ側に切り替える。
撮像素子１０２からの入力信号はアナログフロントエンド１０３を介してデジタル信号に変換された後、信号処理部１２０のＹＲＧＢ生成部１２１に入力され、ＹＲＧＢ生成部１２１において、輝度信号Ｙ信号と色信号Ｒ、Ｇ、Ｂ信号が生成される。

輝度信号Ｙ信号と色信号Ｒ、Ｇ、Ｂ信号は第１信号処理部１２２において信号処理が実行された後、スイッチａ，１５１ａを介して画像合成部１２３に入力される。
画像合成部１２３は、通常動作時は画像合成処理を行わず、入力信号をそのまま画像補正部１２４に出力する。

画像補正部１２４はＹＲＧＢ信号それぞれにγ補正を行い、補正信号を第２信号処理部１２５に出力する。第２信号処理部１２５では、例えば色差信号を含む信号（ＹＣｂＣｒ）への変換処理等やピーククリップやその他の信号処理を行い、処理信号がメモリ１３０の入力部にあるスイッチｃ，１５１ｃを介してメモリ１３０に書き込まれる。

さらに、メモリ１３０からの読み出し（Ｒｅａｄ）信号がスイッチｄ，１５１ｄと、スイッチｂ，１５１ｂを介して第３信号処理部１２６に入力される。
第３信号処理部１２６は、メモリ１３０からの読み出し信号に対する最終的な信号処理を実行して撮像装置から出力する通常画像を生成して出力する。

次に図５を参照して、広ダイナミックレンジ画像を生成する広ダイナミックレンジ動作時における信号の流れについて説明する。
広ダイナミックレンジ画像を生成する広ダイナミックレンジ動作時には、切り替えスイッチ１５１ａ〜１５１ｄをＷ側に切り替える。

撮像素子１０２からの入力信号はアナログフロントエンド１０３を介してデジタル信号に変換された後、信号処理部１２０のＹＲＧＢ生成部１２１に入力され、ＹＲＧＢ生成部１２１において、輝度信号Ｙ信号と色信号Ｒ、Ｇ、Ｂ信号が生成される。

輝度信号Ｙ信号と色信号Ｒ、Ｇ、Ｂ信号は第１信号処理部１２２において信号処理が実行されたＹＲＧＢ信号は、その後の信号処理を行う前に一旦、メモリ１３０に格納される。メモリ１３０の入力部にあるスイッチｃ，１５１ｃを介してメモリ１３０に書き込む。

先に説明したように広ダイナミックレンジ画像を生成する画像合成処理は、長時間露光画像と短時間露光画像の２枚の画像を利用する。従って、ここまで説明した撮像素子１０２による画像撮影〜メモリ１３０への画像格納処理は、
（ａ）短時間露光画像（低感度画像：Ｌｎ）
（ｂ）長時間露光画像（高感度画像：Ｈｎ）
上記（ａ），（ｂ）の連続撮影された２枚の画像に対する処理として行われる。
なお、具体的な処理シーケンスについては後段で詳細に説明する。

メモリ１３０へ格納された２枚の画像は、その後、メモリ１３０の出力部にあるスイッチｄ，１５１ｄを介してメモリ１３０からの読み取りが実行され、スイッチａ，１５１ａを介して画像合成部１２３に入力される。
メモリ１３０からの画像読み取り処理は、
（ａ）短時間露光画像（低感度画像：Ｌｎ）
（ｂ）長時間露光画像（高感度画像：Ｈｎ）
これら２枚の画像をそれぞれのメモリ格納アドレスを適用して並列に読み取る処理として実行される。

画像合成部１２３は、メモリ１３０から読み取った短時間露光画像と長時間露光画像を合成して広ダイナミックレンジ画像を生成する。
生成された広ダイナミックレンジ画像合は、画像補正部１２４に出力される。

画像補正部１２４はＹＲＧＢ信号それぞれにγ補正を行い、補正信号を第２信号処理部１２５に出力する。第２信号処理部１２５では、例えば色差信号を含む信号（ＹＣｂＣｒ）への変換処理等やピーククリップやその他の信号処理を行い、処理信号をスイッチｂ，１５１ｂを介して第３信号処理部１２６に入力する。
第３信号処理部１２６は、メモリ１３０からの読み出し信号に対する最終的な信号処理を実行して撮像装置から出力する広ダイナミックレンジ画像を生成して出力する。

図４を参照して説明した通常画像生成処理と、
図５を参照して説明した広ダイナミックレンジ画像生成処理、
これらの処理時の大きな差異の１つは、以下のメモリ書き込み、読み出しタイミングである。

図４を参照して説明した通常画像生成処理では、画像補正部１２４における画像補正（γ補正）と、第２信号処理部１２５における信号処理後にメモリ１３０に対する書き込み、読み取り処理が行われる。その後、メモリ１３０からの読み取り信号に対して第３信号処理部１２５において最終的な信号処理が実行され通常画像の出力がなされる。

一方、図５を参照して説明した広ダイナミックレンジ画像生成処理では、画像合成部１２３における画像合成処理と、画像補正部１２４における画像補正（γ補正）と、第２信号処理部１２５における信号処理以前にメモリ１３０に対する書き込み、読み取り処理が行われる。

その後、メモリ１３０からの読み出し信号に対して、画像合成部１２３における画像合成処理と、画像補正部１２４における画像補正（γ補正）と、第２信号処理部１２５における信号処理がなされ、さらに、第３信号処理部１２５において最終的な信号処理が実行され広ダイナミックレンジ画像の出力がなされる。

なお、広ダイナミックレンジ画像生成処理では、メモリ１３０に対する書き込みは、
（ａ）短時間露光画像（低感度画像：Ｌｎ）
（ｂ）長時間露光画像（高感度画像：Ｈｎ）
これら２枚の画像を個別のメモリアドレス指定位置に対してシーケンシャルに書き込む処理が実行され、読み取りに際しては２つのメモリアドレスを利用して並列に読み取る処理が行われる。

なお、図４を参照して説明した通常画像生成処理では、画像補正部１２４における画像補正（γ補正）後の信号、具体的には、例えばＹＣｂＣｒ信号がメモリ１３０に書き込まれ、また読み取りが行われる。

一方、図５を参照して説明した広ダイナミックレンジ画像生成時には、メモリ１３０に対する書き込み、読み取りは画像補正部１２４における画像補正（γ補正）の処理以前に行われる。すなわち第１信号処理部１２２の出力であるＹＲＧＢ信号の書き込み、読み取りが実行される。
なお、図５を参照して説明した広ダイナミックレンジ画像生成時には、
（ａ）短時間露光画像（低感度画像：Ｌｎ）
（ｂ）長時間露光画像（高感度画像：Ｈｎ）
これ等２つの画像各々のＹＲＧＢ各信号値がメモリ１３０に格納される。

［３．メモリ格納データのフォーマットについて］
上述したように、図４を参照して説明した通常画像生成処理では、画像補正部１２４における画像補正（γ補正）、第２信号処理部１２５における信号処理結果としてのＹＣｂＣｒ信号がメモリ１３０に書き込まれ、また読み取りが行われる。
メモリ格納データ構成例を図６（１ａ），（１ｂ）に示す。

図６（１ａ）に示すように輝度信号（Ｙｎ）２画素に対して色信号（Ｃｂｎ，Ｃｒｎ）１ペアの分解能のいわゆる４２２形式の信号、あるいは、図６（１ｂ）に示すように出力信号と同様の輝度信号（Ｙ）８ｂｉｔ、色信号（Ｃｒ＝Ｒ−Ｙ，Ｃｂ＝Ｂ−Ｙ）８ｂｉｔで、輝度信号４画素に対して色信号１ペアの分解能のいわゆる４１１形式のデータ形式（以下データフォーマット１（＝ｆ１））と記す）でメモリ１３０に対するデータ格納が行われる。

なお、図６（１ｂ）に示す２つのＣｂ１は同じ８ビットデータ（例えば２画素分の平均）を意味する。２つのＣｒ１も同じＣｒ１の８ビットデータである。

一方、図５を参照して説明した広ダイナミックレンジ画像生成時には、第１信号処理部１２２の出力信号がメモリ１３０に格納される。
この場合のメモリ格納データの構成例を図７（２）に示す。
図７（２）に示すように、輝度信号（Ｙ）９ｂｉｔ、色信号（Ｇ）１０ｂｉｔ、色信号（Ｒ）９ｂｉｔと（Ｂ）９ｂｉｔで、輝度信号４画素に対して色信号１ペアの分解能のいわゆる４１１形式のデータ形式（以下データフォーマット２（＝ｆ２）と記す）でメモリ１３０に対するデータ書き込み、読み取りを実行する。

前述したように、マイコン（制御部）１０５は、画像合成部１２３における画像合成処理を実行しない通常画像生成時には、画像補正部１２４による補正後の信号をメモリ１３０に対する書き込み読み出し信号として設定する信号経路制御を実行し、画像合成部１２３における画像合成処理を実行する広ダイナミックレンジ画像生成時には、画像補正部１２４による補正前の信号をメモリ１３０に対する書き込み読み出し信号として設定する信号経路制御を実行する。

第２信号処理部１２５は、
輝度信号（Ｙ）８ビット、
色差信号（Ｃｂ，Ｃｒ）について、（Ｃｂ），（Ｃｒ）各々８ビット、
上記設定とした輝度（Ｙ）４に対して色差信号（Ｃｂ，Ｃｒ）各２の比率、または、輝度（Ｙ）４に対して色差信号（Ｃｂ，Ｃｒ）各１の比率を持つ図６に示すフォーマット（ｆ１）に従った信号を出力し、マイコン（制御部）１０５は、画像合成部１２３における画像合成処理を実行しない通常画像生成時に、図６に示すフォーマット（ｆ１）に従った信号をメモリ１３０に対する書き込み読み出し信号として設定する信号経路制御を実行する。

また、第１信号処理部１２２は、
輝度信号（Ｙ）９ビット、
色信号（Ｒ，Ｇ，Ｂ）について、（Ｇ）１０ビット、（Ｒ），（Ｂ）各々９ビット、
上記設定とした輝度（Ｙ）４に対して色信号（Ｒ，Ｇ，Ｂ）各１の比率を持つ図７に示すフォーマット（ｆ２）に従った信号を出力し、マイコン（制御部）１０５は、画像合成部１２３における画像合成処理を実行する広ダイナミックレンジ画像生成時に、フォーマット（ｆ２）に従った信号をメモリ１３０に対する書き込み読み出し信号として設定する信号経路制御を実行する。

［４．画像生成処理の詳細シーケンスについて］
図３〜図５を参照して説明したように、本発明の撮像装置は、
図４を参照して説明した通常画像モードにおいて実行する通常画像生成処理と、
図５を参照して説明した広ダイナミックレンジモードにおいて実行する広ダイナミックレンジ画像生成処理、
これらの２つのモードで異なる画像を生成する。

本発明の撮像装置は、これらの異なる画像生成処理においてメモリ１３０に対する格納データを変更し、また、メモリ書き込み、読み出しタイミングを異ならせた処理を行う。
以下では、本発明の撮像装置の実行する様々な画像生成処理シーケンスの詳細について説明する。

なお、撮像素子からの画素値読み出し態様として、画像の構成画素の画素値を１回の走査で読み出すプログレッシブ読み出しと、偶数ライン走査と奇数ライン走査を個別に実行して読み出すインターレース読み出しがある。
また、表示装置に対する出力である撮像装置出力の態様にも、画像の構成画素の画素値を１回の走査で出力するプログレッシブ出力と、偶数ライン走査と奇数ライン走査を個別に実行して出力するインターレース出力がある。
以下では、これらの様々な読み出しと出力態様の組み合わせに応じた具体的な画像生成処理シーケンスの詳細について個別に説明する。以下の各処理について順次、説明する。

（４−Ａ）プログレッシブ読み出し、プログレッシブ出力における通常画像生成シーケンス（図８）
（４−Ｂ）プログレッシブ読み出し、プログレッシブ出力における広ダイナミックレンジ画像生成シーケンス（例１）（図９）
（４−Ｃ）プログレッシブ読み出し、プログレッシブ出力における広ダイナミックレンジ画像生成シーケンス（例２）（図１０）
（４−Ｄ）プログレッシブ読み出し、インターレース出力における通常画像生成シーケンス（例１）（図１１）
（４−Ｅ）プログレッシブ読み出し、インターレース出力における通常画像生成シーケンス（例２）（図１２）
（４−Ｆ）プログレッシブ読み出し、インターレース出力における広ダイナミックレンジ画像生成シーケンス（例１）（図１３）
（４−Ｇ）プログレッシブ読み出し、インターレース出力における広ダイナミックレンジ画像生成シーケンス（例２）（図１４）
（４−Ｈ）プログレッシブ読み出し、インターレース出力における広ダイナミックレンジ画像生成シーケンス（例３）（図１５）
（４−Ｉ）プログレッシブ読み出し、インターレース出力における広ダイナミックレンジ画像生成シーケンス（例４）（図１６）
（４−Ｊ）プログレッシブ読み出し、プログレッシブ出力における通常画像生成と広ダイナミックレンジ画像生成の切り替えシーケンス（図１７）

（４−Ａ）プログレッシブ読み出し、プログレッシブ出力における通常画像生成シーケンス
まず、図８を参照してプログレッシブ読み出し、プログレッシブ出力における通常画像生成シーケンスの詳細について説明する。

図８は、本発明の撮像装置において、撮像素子をプログレッシブ読み出しで動作させ、撮像装置出力をプログレッシブ動作させて通常画像を生成する通常動作時（図４参照）の詳細シーケンスを示す図である。

左から右に時間経過（時間ｔ０〜ｔ６）を示し、これらの各時間における以下のデータおよび設定を示している。
（１）撮像素子１０２の露光と出力
（２）スイッチａ，１５１ａと、スイッチｃ，１５１ｃの設定
（３）メモリ１３０に対する書き込みアドレスと書き込みデータ
（４）メモリ１３０からの読み出しアドレスと読み出しデータ
（５）スイッチｄ，１５１ｄと、スイッチｂ，１５１ｂの設定
（６）撮像装置１００の出力
これらのデータおよび設定を示している。

時間ｔ０〜ｔ１、ｔ１〜ｔ２・・、この時間間隔は、撮像素子１０２からの信号読み取り周期としての垂直周期に相当する。
図８（１）に示すように、撮像素子１０２は、各垂直周期（ｔ０〜ｔ１、ｔ１〜ｔ２・・）において露光された結果としての撮像素子出力として、（ＶＩ１），（ＶＩ２），（ＶＩ３），（ＶＩ４）・・・を出力する。
数値１，２は撮像素子からの出力順を示す識別番号である。

図８（２）に示すように、スイッチａ，１５１ａと、スイッチｃ，１５１ｃの設定は、通常画像生成モードでは図４を参照して説明した通り、全て端子Ｎ側に設定される。なお、この設定はマイコン１０５によって行われる。

このスイッチ設定に従い、メモリ１０３には第２信号処理部１２５の処理結果が格納される。
図８（３）に示すように、２つのメモリアドレス（ＡＤ１）、（ＡＤ２）を交互に使用して、第２信号処理部１２５の処理結果としてのデータ（ｆ１＿１）、（ｆ１＿２）、（ｆ１＿３）・・・、が順次格納される。
なお、ｆ１は、
メモリ格納フォーマット＝フォーマット１
に従ってメモリに格納されることを意味する。

フォーマット１（ｆ１）は、先に図６（１ａ），（１ｂ）を参照して説明したフォーマットに対応し、図６（１ａ），または（１ｂ）の第１フォーマットで第２信号処理部１２５の処理結果であるＹＣｂＣｒ信号を格納する。

通常画像生成モードでは第２信号処理部１２６の処理結果として出力されるＹＣｂＣｒ信号を図６（１ａ）または（１ｂ）に示す第１フォーマット（ｆ１）でメモリ１３０に記録する。すなわち、図６（１ａ）に示すように輝度信号（Ｙｎ）２画素に対して色信号（Ｃｂｎ，Ｃｒｎ）１ペアの分解能のいわゆる４２２形式の信号、あるいは、図６（１ｂ）に示すように輝度信号４画素に対して色信号１ペアの分解能のいわゆる４１１形式の信号として輝度信号（Ｙ）８ｂｉｔ、色信号（Ｃｒ，Ｃｂ）８ｂｉｔ信号をメモリ１３０に書き込む。

なお、図８（１）に示す撮像素子出力（ＶＩ１）の第２信号処理部１２５の処理結果としてのデータが図８（３）に示すメモリ格納データ（ｆ１＿１）に対応する。
時間ｔ０〜ｔ１の期間内で撮像素子１０２の出力〜メモリ１３０への格納までの処理が行われる。

この時間ｔ０〜ｔ１において実行されるのは、メモリアドレス（ＡＤ１）によって指定される位置にフォーマット１（＝ｆ１）でデータ（ｆ１＿１）を格納するまでの処理である。

次の時間ｔ１〜ｔ２においては、
（１）撮像素子〜（３）メモリ書き込みまでの処理は、次の撮像素子出力（ＶＩ２）に対して、時間ｔ０〜ｔ１における撮像素子出力（ＶＩ１）に対する処理と同様の処理が実行される。
ただし、時間ｔ０〜ｔ１でメモリに格納したアドレスとは異なるアドレス（ＡＤ２）のメモリ位置にデータ（ｆ１＿２）が書き込まれる。

この時間ｔ１〜ｔ２の期間においては、さらに、
図８（４）メモリ読み出し〜（６）撮像装置出力までの処理も行われる。これらの処理は、時間ｔ０〜ｔ１においてメモリに書き込まれたデータ（ｆ１＿１）に対する処理である。

図８（４）メモリ読み出しの欄に示すように、アドレス（ＡＤ１）位置からデータ（ｆ１＿１）が読み出される。
図８（５）のスイッチ設定はスイッチｄ，１５１ｄと、スイッチｂ，１５１ｂの設定状態を示している。図４を参照して説明したように通常画像生成処理モードにおいては、スイッチｄ，１５１ｄと、スイッチｂ，１５１ｂはいずれもＮ側接続の設定とされる。

このスイッチ設定に従ってメモリ１３０から読み出されたデータ（ｆ１＿１）は第３信号処理部１２６に供給され、最終的な信号処理が実行されて通常画像としての出力（ＶＯ１）として出力される。

図８に示すプログレッシブ読み出し、プログレッシブ出力における通常画像生成シーケンスでは、データフォーマット１（＝ｆ１）でメモリの２つのアドレス（ＡＤ１），（ＡＤ２）を利用して交互にデータ書き込みが実行される。
データ書き込み処理に併せて書き込み処理の適用アドレス以外のアドレスを利用してデータ読み出しが実行される。
時間ｔ１以降は、このようにアドレス（ＡＤ１），（ＡＤ２）の一方を利用して撮像素子から入力するデータの書き込みが実行され、他方を利用してメモリに先行して書き込まれたデータの読み出しが実行される。
この処理を繰り返し、実行して、通常画像の撮像装置出力ＶＯ１，ＶＯ２，ＶＯ３，ＶＯ４・・・を出力する。

（４−Ｂ）プログレッシブ読み出し、プログレッシブ出力における広ダイナミックレンジ画像生成シーケンス（例１）
次に、図９を参照してプログレッシブ読み出し、プログレッシブ出力における広ダイナミックレンジ画像生成シーケンスの詳細について説明する。

図９は、本発明の撮像装置において、撮像素子をプログレッシブ読み出しで動作させ、撮像装置出力をプログレッシブ動作させて広ダイナミックレンジ画像を生成する広ダイナミック動作時（図５参照）の詳細シーケンスを示す図である。

左から右に時間経過（時間ｔ０〜ｔ６）を示し、これらの各時間における以下のデータおよび設定を示している。
（１）撮像素子１０２の露光と出力
（２）スイッチａ，１５１ａと、スイッチｃ，１５１ｃの設定
（３）メモリ１３０に対する書き込みアドレスと書き込みデータ
（４ａ）メモリ１３０からの読み出しアドレスと読み出しデータ
（４ｂ）メモリ１３０からの読み出しアドレスと読み出しデータ
（５）スイッチｄ，１５１ｄと、スイッチｂ，１５１ｂの設定
（６）撮像装置１００の出力
これらのデータおよび設定を示している。

本例では、メモリ１３０からのデータ読み出しは、画像合成部１２３において実行する画像合成処理に適用する長時間露光画像（高感度画像（Ｈｎ））と短時間露光画像（低感度画像（Ｌｎ））、これら２枚の画像データの読み出し処理として実行される。
この並列読み出し処理が（４ａ），（４ｂ）の処理に対応する。

時間ｔ０〜ｔ１、ｔ１〜ｔ２・・、この時間間隔は、撮像素子１０２からの信号読み取り周期としての垂直周期に相当する。
図９（１）に示すように、撮像素子１０２は、各垂直周期（ｔ０〜ｔ１、ｔ１〜ｔ２・・）において露光された結果としての撮像素子出力として、（ＶＩＬ１），（ＶＩＨ１），（ＶＩＬ２），（ＶＩＨ２）・・・を出力する。
なお、Ｌは短時間露光画像（低感度画像）、Ｈは、長時間露光画像（高感度画像）を意味する。
数値１，２は撮像素子からの出力順を示す識別番号である。

図９（２）に示すように、スイッチａ，１５１ａと、スイッチｃ，１５１ｃの設定は、広ダイナミックレンジ画像生成モードでは図５を参照して説明した通り、全て端子Ｗ側に設定される。なお、この設定はマイコン１０５によって行われる。

このスイッチ設定に従い、メモリ１０３には、第１信号処理部１２２の処理結果が格納される。
図９（３）に示すように、４つのメモリアドレス（ＡＤ１）、（ＡＤ２）、（ＡＤ３）、（ＡＤ４）を順番に繰り返し使用して、第１信号処理部１２２の処理結果としてのデータ（ｆ２＿Ｌ１）、（ｆ２＿Ｈ１）、（ｆ２＿Ｌ２）、（ｆ２＿Ｈ２）・・・、が順次格納される。
すなわち、短時間露光画像（低感度画像（Ｌｎ））と、長時間露光画像（高感度画像（Ｈｎ））が順次格納される。

なお、ｆ２は、
メモリ格納フォーマット＝フォーマット２
に従ってメモリに格納されることを意味する。
フォーマット２（ｆ２）は、先に図７（２）を参照して説明したフォーマットに対応し、図７（２）の第２フォーマットで第１信号処理部１２２の処理結果であるＹＲＧＢ信号を格納する。

広ダイナミックレンジ画像生成モードでは第１信号処理部１２２の処理結果として出力されるＹＲＧＢ信号を図７（２）に示すフォーマットでメモリ１３０に記録する。すなわち、輝度信号（Ｙ）９ｂｉｔ、色信号（Ｇ）１０ｂｉｔ、色信号（Ｒ）９ｂｉｔと（Ｂ）９ｂｉｔで、輝度信号４画素に対して色信号１ペアの分解能のいわゆる４１１形式のデータ形式（第２フォーマット（＝ｆ２））でメモリ１３０に対するデータ書き込み、読み取りを実行する。

なお、図９（１）に示す撮像素子出力（ＶＩＬ１）の第１信号処理部１２２の処理結果データが図９（３）に示すメモリ格納データ（ｆ２＿Ｌ１）に対応する。
時間ｔ０〜ｔ１の期間内で撮像素子１０２の出力〜メモリ１３０への格納までの処理が行われる。

この時間ｔ０〜ｔ１において実行されるのは、メモリアドレス（ＡＤ１）によって指定される位置にフォーマット２（＝ｆ２）でデータ（ｆ２＿Ｌ１）を格納するまでの処理である。

次の時間ｔ１〜ｔ２においては、
（１）撮像素子〜（３）メモリ書き込みまでの処理が、次の撮像素子出力（ＶＩＨ１）に対して、時間ｔ０〜ｔ１における撮像素子出力（ＶＩＬ１）に対する処理と同様の処理が実行される。
なお、時間ｔ０〜ｔ１における撮像素子出力（ＶＩＬ１）と、撮像素子出力（ＶＩＨ１）は広ダイナミックレンジ画像生成のための画像合成処理の対象となる２つの画像である。

図９の（３）メモリ書き込みにおいては、ｔ０〜ｔ１でメモリに格納したアドレス（ＡＤ１）とは異なるアドレス（ＡＤ２）のメモリ位置にデータ（ｆ１＿２）が書き込まれる。

次の時間ｔ２〜ｔ３の期間においては、
（１）撮像素子〜（３）メモリ書き込みまでの処理が、次の撮像素子出力（ＶＩＬ２）に対して、時間ｔ０〜ｔ１における撮像素子出力（ＶＩＬ１）に対する処理と同様の処理が実行される。
図９の（３）メモリ書き込みにおいては、ｔ０〜ｔ１でメモリ書き込みに利用したアドレス（ＡＤ１）、ｔ１〜ｔ２でメモリ書き込みに利用したアドレス（ＡＤ２）、これらとは異なるアドレス（ＡＤ３）のメモリ位置にデータ（ｆ２＿Ｌ２）が書き込まれる。

さらに、時間ｔ２〜ｔ３の期間においては、
図９（４）メモリ読み出し〜（６）撮像装置出力までの処理も行われる。これらの処理は、時間ｔ０〜ｔ１においてメモリに書き込まれたデータ（ｆ２＿Ｌ１）、時間ｔ１〜ｔ２においてメモリに書き込まれたデータ（ｆ２＿Ｈ１）に対する処理である。

図９（４ａ）メモリ読み出しの欄に示すように、アドレス（ＡＤ１）位置からデータ（ｆ２＿Ｌ１）が読み出される。
さらに、図９（４ｂ）メモリ読み出しの欄に示すように、アドレス（ＡＤ２）位置からデータ（ｆ２＿Ｈ１）が読み出される。

ただし、データ（ｆ２＿Ｌ１）とデータ（ｆ２＿Ｈ１）の読み出しは、この時間ｔ２〜ｔ３のみではなく、次の時間ｔ３〜ｔ４も同じデータ読み出しが実行される。

図９の時間ｔ２〜ｔ３、ｔ３〜ｔ４の欄に示すように、
合成画像を生成するために必要となる２つのデータ、すなわちデータ（ｆ２＿Ｌ１）のアドレス（ＡＤ１）からの読み出しと、データ（ｆ２＿Ｈ１）のアドレス（ＡＤ２）からの読み出しは、
時間ｔ２〜ｔ３におけるデータ（ｆ２＿Ｌ２）のメモリ（アドレス＝ＡＤ３）への書き込み時間と、
時間ｔ３〜ｔ４におけるデータ（ｆ２＿Ｈ２）のメモリ（アドレス＝ＡＤ４）への書き込み時間、
これらの時間ｔ２〜ｔ３，ｔ３〜ｔ４を利用して行われる。
すなわち、合成画像を生成するために必要となる２つの画像の書き込み処理時間に併せて、先行してメモリに書き込まれた合成画像を生成するために必要となる２つの画像の読み取りが実行される。

図９（５）のスイッチ設定はスイッチｄ，１５１ｄと、スイッチｂ，１５１ｂの設定状態を示している。図５を参照して説明したように広ダイナミックレンジ画像生成処理モードにおいては、スイッチｄ，１５１ｄと、スイッチｂ，１５１ｂはいずれもＷ側接続の設定とされる。

このスイッチ設定に従ってメモリ１３０から読み出された、
短時間露光画像データ（低感度画像（ｆ２＿Ｌ１））と、
長時間露光画像データ（高感度画像（ｆ２＿Ｈ１））、
これらのデータは画像合成部１２３に出力される。
画像合成部１２３では、これらの２つの画像を利用した画像合成処理を実行し、広ダイナミックレンジ画像を生成する。

その後、生成された広ダイナミックレンジ画像合は、画像補正部１２４に出力される。画像補正部１２４はγ補正を行い補正信号を第２信号処理部１２５に出力する。第２信号処理部１２５では、ＹＲＧＢ信号を例えばＹＣｂＣｒ信号に変換し、変換信号をスイッチｂ，１５１ｂを介して第３信号処理部１２６に入力する。

第３信号処理部１２６は、メモリ１３０からの読み出し信号に対する最終的な信号処理を実行して撮像装置から出力する広ダイナミックレンジ画像を生成して出力する。
この最終出力が図９（６）撮像装置出力（ＷＶ１１）に相当する。

図９に示すプログレッシブ読み出し、プログレッシブ出力における広ダイナミックレンジ画像生成シーケンスでは、データフォーマット２（＝ｆ２）でメモリの４つのアドレス（ＡＤ１），（ＡＤ２），（ＡＤ３），（ＡＤ４）を順次利用して、
短時間露光画像データ（低感度画像（ｆ２＿Ｌｎ））と、
長時間露光画像データ（高感度画像（ｆ２＿Ｈｎ））、
さらに、次の
短時間露光画像データ（低感度画像（ｆ２＿Ｌｎ＋１））と、
長時間露光画像データ（高感度画像（ｆ２＿Ｈｎ＋１））、
これ等の画像ペアが、順次メモリの異なる位置に書き込まれる。

時間ｔ２以降の処理として示すように、データ書き込み処理に併せて書き込み処理の適用アドレス以外の２つのアドレスを利用して合成画像生成用の２つの画像データの読み出しが実行される。
時間ｔ２以降は、アドレス（ＡＤ１）〜（ＡＤ４）のいずれかを利用して撮像素子から入力するデータの書き込みが実行され、アドレス（ＡＤ１），（ＡＤ２）または（ＡＤ３），（ＡＤ４）のいずれかの組み合わせを利用してメモリに先行して書き込まれた合成画像生成用の２つの画像データの読み出しが実行される。
この処理を繰り返し実行して、広ダイナミックレンジ画像の撮像装置出力ＷＶ１１，ＷＶ１１，ＷＶ２２，ＷＶ２２・・・、これらを出力する。

なお、ＷＶは広ダイナミックレンジ画像であることを意味し、その後の数値列は、前の数値が長時間露光画像（高感度画像（Ｈ））の識別番号、後の数値が短時間露光画像（低感度画像（Ｌ））の識別番号である。

例えば、
時間ｔ２〜ｔ３の出力ＷＶ１１は、メモリから読み出された長時間露光画像（高感度画像（Ｈ））（ｆ２＿Ｈ１）と、短時間露光画像（低感度画像（Ｌ））（ｆ２＿Ｌ１）の合成処理によって生成された広ダイナミックレンジ画像である。
時間ｔ３〜ｔ４の出力ＷＶ１１も同じ出力となる。
時間ｔ４〜ｔ５の出力ＷＶ２２は、メモリから読み出された長時間露光画像（高感度画像（Ｈ））（ｆ２＿Ｈ２）と、短時間露光画像（低感度画像（Ｌ））（ｆ２＿Ｌ２）の合成処理によって生成された広ダイナミックレンジ画像である。

なお、この処理例では、２つの連続する時間ｔ２〜ｔ３、ｔ３〜ｔ４の間の出力画像は同じ広ダイナミックレンジ画像となり、次の時間ｔ４〜ｔ５、ｔ５〜ｔ６の間の出力画像も同じ広ダイナミックレンジ画像となる。すなわち、先に図８を参照して説明した通常画像の出力レートより低下した出力レートとなる。

（４−Ｃ）プログレッシブ読み出し、プログレッシブ出力における広ダイナミックレンジ画像生成シーケンス（例２）
次に、図１０を参照してプログレッシブ読み出し、プログレッシブ出力における広ダイナミックレンジ画像生成シーケンスのもう１つの例について説明する。
図１０に示す処理例は、図９に示す処理例と同様、プログレッシブ読み出し、プログレッシブ出力における広ダイナミックレンジ画像生成シーケンスである。ただし、図１０に示す処理では、広ダイナミックレンジ画像を生成するためにメモリ１３０から読み出す画像のペアの設定を常に最新の画像として設定している点が異なっている。

例えば図９に示すシーケンスでは、
時間ｔ２〜ｔ３においてデータ（ｆ２＿Ｌ１）のアドレス（ＡＤ１）からの読み出しと、データ（ｆ２＿Ｈ１）のアドレス（ＡＤ２）からの読み出しを実行し、
さらに、時間ｔ３〜ｔ４においてデータ（ｆ２＿Ｌ１）のアドレス（ＡＤ１）からの読み出しと、データ（ｆ２＿Ｈ１）のアドレス（ＡＤ２）からの読み出しを実行している。

一方、図１０に示すシーケンスでは、
図９では読み出し処理が実行されていなかった時間ｔ１〜ｔ２において、データ（ｆ２＿Ｌ１）のアドレス（ＡＤ１）からの読み出しを開始している。
さらに、時間ｔ２〜ｔ３においてデータ（ｆ２＿Ｌ１）のアドレス（ＡＤ１）からの読み出しと、データ（ｆ２＿Ｈ１）のアドレス（ＡＤ２）からの読み出しを実行し、
次の、時間ｔ３〜ｔ４においては、データ（ｆ２＿Ｌ２）のアドレス（ＡＤ３）からの読み出しと、データ（ｆ２＿Ｈ１）のアドレス（ＡＤ２）からの読み出しを実行している。

すなわち、図１０に示す本処理例では、時間ｔ２〜ｔ３においてデータ（ｆ２＿Ｌ２）のアドレス（ＡＤ３）からの読み出しを行う点が異なる。このデータ（ｆ２＿Ｌ２）は、直前の時間ｔ２〜ｔ３にメモリ１３０に書き込まれたデータである。

この処理例では、メモリ１３０に格納されたデータ中も最新のデータの組み合わせを利用して合成画像としての広ダイナミックレンジ画像を生成するシーケンスである。

図１０に示すシーケンスにおいて、（１）撮像素子〜（３）メモリ書き込みまでの処理は、図９と同様である。
（４ａ），（４ｂ）のメモリ読み出し処理は、上述したようにメモリに格納されたデータ中、最新のデータ、すなわち最も後のタイミングでメモリ１３０に書き込まれたデータを読み取っている点が異なっている。

（５）スイッチ設定は図９のシーケンスと同様であり、先に図５を参照して説明したようにＷ側の接続に設定される。
（６）撮像装置出力は、図９を参照して説明したシーケンスにおける出力とは異なる画像となる。すなわち、広ダイナミックレンジ画像を生成するために適用する画像の組み合わせが異なるからである。

図１０（６）撮像装置出力に示すように、
時間ｔ２〜ｔ３の出力は、ＷＶ１１、
時間ｔ３〜ｔ４の出力は、ＷＶ１２、
時間ｔ４〜ｔ５の出力は、ＷＶ２２、
時間ｔ５〜ｔ６の出力は、ＷＶ２３、
このような設定となる。
なお、ＷＶは広ダイナミックレンジ画像であることを意味し、その後の数値列は、前の数値が長時間露光画像（高感度画像（Ｈ））の識別番号、後の数値が短時間露光画像（低感度画像（Ｌ））の識別番号である。

例えば、
時間ｔ２〜ｔ３の出力ＷＶ１１は、メモリから読み出された長時間露光画像（高感度画像（Ｈ））（ｆ２＿Ｈ１）と、短時間露光画像（低感度画像（Ｌ））（ｆ２＿Ｌ１）の合成処理によって生成された広ダイナミックレンジ画像である。
時間ｔ３〜ｔ４の出力ＷＶ１２は、メモリから読み出された長時間露光画像（高感度画像（Ｈ））（ｆ２＿Ｈ１）と、短時間露光画像（低感度画像（Ｌ））（ｆ２＿Ｌ２）の合成処理によって生成された広ダイナミックレンジ画像である。

このように、本処理例では、利用化可能な最新のメモリ格納画像を取得して合成処理を行って広ダイナミックレンジ画像を生成する処理例である。

このように、図１０に示す処理例は、メモリ１３０には第１信号処理部１２２の出力をデータフォーマット２（ｆ２）でメモリ１３０の４つのアドレス（ＡＤ１）〜（ＡＤ４）を利用して、順次書き込みを行う。メモリからのデータ読み出しに際しては、高感度データと低感度データをそれぞれ最新のデータを読み取る。

画像合成部１２３では、最新の画像のペアを利用して広ダイナミックレンジ化した映像信号を生成して、撮像装置出力ＷＶ１１，ＷＶ１２，ＷＶ２２，ＷＶ２３，ＷＶ３３，ＷＶ３４，・・・として出力する。このように本処理例では、広ダイナミックレンジ化処理に適用する低感度画像と高感度各画像の組合せを、より新しい撮影画像に基づいて生成することを可能としたものである。

（４−Ｄ）プログレッシブ読み出し、インターレース出力における通常画像生成シーケンス（例１）
次に、図１１を参照してプログレッシブ読み出し、インターレース出力における通常画像生成シーケンスの詳細について説明する。

図１１は、本発明の撮像装置において、撮像素子をプログレッシブ読み出しで動作させ、撮像装置出力をインターレース動作させて通常画像を生成する通常動作時（図４参照）の詳細シーケンスを示す図である。

左から右に時間経過（時間ｔ０〜ｔ６）を示し、これらの各時間における以下のデータおよび設定を示している。
（１）撮像素子１０２の露光と出力
（２）スイッチａ，１５１ａと、スイッチｃ，１５１ｃの設定
（３）メモリ１３０に対する書き込みアドレスと書き込みデータ
（４）メモリ１３０からの読み出しアドレスと読み出しデータ
（５）スイッチｄ，１５１ｄと、スイッチｂ，１５１ｂの設定
（６）撮像装置１００の出力
これらのデータおよび設定を示している。

時間ｔ０〜ｔ１、ｔ１〜ｔ２・・、この時間間隔は、撮像素子１０２からの信号読み取り周期としての垂直周期に相当する。

インターレース出力では、図１１（４）メモリ読み出しの欄に示すように、垂直周期毎に撮像素子の奇数ライン出力と撮像素子の偶数ライン出力を読み取る。
なお、例えば時間ｔ２〜ｔ３のメモリ読み出しデータ（ｆ１＿１ｏ）は、フォーマット１（ｆ１）の第１番目の奇数フィールド（ｏ：ＯＤＤ）のメモリ格納データであることを意味する。
ｏはＯＤＤ（奇数）、ｅはＥＶＥＮ（偶数）フィールドのデータである。

インターレース出力では、垂直周期毎に撮像素子の奇数ライン出力と撮像素子の偶数ライン出力を読み取ることによって、（６）に示す撮像装置出力をＯＤＤ、ＥＶＥＮフィールド出力ＶＯ１ｏ，ＶＯ１ｅ，ＶＯ２ｏ，ＶＯｅ２，ＶＯ３ｏ，ＶＯ３ｅ・・・の順に出力する。すなわち、インターレース出力を実現している。この出力により、出力信号をＯＤＤ＋ＥＶＥＮの組合せで合成するとインターレースブレのない画像を得ることができる。

図１１（１）に示すように、撮像素子１０２は、各垂直周期の２倍の期間（ｔ０〜ｔ２、ｔ２〜ｔ４・・）において露光された結果としての撮像素子出力として、（ＶＩ１），（ＶＩ２），（ＶＩ３）・・・を出力する。

図１１（２）に示すように、スイッチａ，１５１ａと、スイッチｃ，１５１ｃの設定は、通常画像生成モードでは図４を参照して説明した通り、全て端子Ｎ側に設定される。なお、この設定はマイコン１０５によって行われる。

図１１（３）に示すように、２つのメモリアドレス（ＡＤ１）、（ＡＤ２）を交互に使用して、第２信号処理部１２５の処理結果としてのデータ（ｆ１＿１）、（ｆ１＿２）、（ｆ１＿３）・・・、が順次格納される。
なお、ｆ１は、図６を参照して説明したフォーマット１に従ってメモリに格納されることを意味する。
時間ｔ２までに、メモリアドレス（ＡＤ１）にデータ（ｆ１＿１）が格納される。
時間ｔ４までに、メモリアドレス（ＡＤ２）にデータ（ｆ１＿２）が格納される。
時間ｔ６までに、メモリアドレス（ＡＤ１）にデータ（ｆ１＿３）が格納される。

時間ｔ２以降の期間においては、さらに、
図１１（４）メモリ読み出し〜（６）撮像装置出力までの処理も行われる。これらの処理は、メモリに書き込まれたデータに対する処理である。

時間ｔ２〜ｔ３においては、図１１（４）メモリ読み出しの欄に示すように、アドレス（ＡＤ１ｏ）位置からデータ（ｆ１＿１ｏ）が読み出される。
なお、アドレス（ＡＤ１ｏ）は、アドレス（ＡＤ１）の一部を構成し、奇数（ＯＤＤ）フィールドに対応するデータの読み出し用アドレスである。
アドレス（ＡＤｎ）は、奇数（ＯＤＤ）フィールドに対応するデータの読み出し用アドレス（ＡＤｎｏ）と、偶数（ＥＶＥＮ）フィールドに対応するデータの読み出し用アドレス（ＡＤｎｅ）とに分離して利用可能な構成を持つ。

アドレス（ＡＤ１ｏ）位置から読み出されるデータ（ｆ１＿１ｏ）は、出力フレームを構成する全フィールドの奇数フィールドのみのデータである。

図１１（５）のスイッチ設定はスイッチｄ，１５１ｄと、スイッチｂ，１５１ｂの設定状態を示している。図４を参照して説明したように通常画像生成処理モードにおいては、スイッチｄ，１５１ｄと、スイッチｂ，１５１ｂはいずれもＮ側接続の設定とされる。

このスイッチ設定に従ってメモリ１３０から読み出されたデータ（ｆ１＿１ｏ）は第３信号処理部１２６に供給され、最終的な信号処理が実行されて通常画像としての出力（ＶＯ１ｏ）として出力される。

出力（ＶＯ１ｏ）は、アドレス（ＡＤ１ｏ）位置から読み出されるデータ（ｆ１＿１ｏ）に基づいて生成される出力であり、出力フレームを構成する全フィールドの奇数フィールドのみの出力である。

次の時間ｔ３〜ｔ４において、奇数フィールド出力（ＶＯ１ｏ）に対応する偶数フィールド出力（ＶＯ１ｅ）がメモリ１３０からアドレス（ＡＤ１ｅ）によって読み出されたデータ（ｆ１＿１ｅ）によって生成されて出力される。

このように、本処理例では、垂直周期毎に、撮像素子の奇数ライン出力と撮像素子の偶数ライン出力をメモリ１３０から読み出すことによって、撮像装置出力をＯＤＤ、ＥＶＥＮフィールド出力ＶＯ１ｏ，ＶＯ１ｅ，ＶＯ２ｏ，ＶＯ２ｅ，ＶＯ３ｏ，ＶＯ３ｅ・・・として出力するもので、出力信号をＯＤＤ＋ＥＶＥＮの組合せで合成するとインターレースブレのない画像を得ることができる。

（４−Ｅ）プログレッシブ読み出し、インターレース出力における通常画像生成シーケンス（例２）
次に、図１２を参照してプログレッシブ読み出し、インターレース出力における通常画像生成シーケンス第２例の詳細について説明する。

図１２は、本発明の撮像装置において、撮像素子をプログレッシブ読み出しで動作させ、撮像装置出力をインターレース動作させて通常画像を生成する通常動作時（図４参照）の詳細シーケンスを示す図である。

左から右に時間経過（時間ｔ０〜ｔ６）を示し、これらの各時間における以下のデータおよび設定を示している。
（１）撮像素子１０２の露光と出力
（２）スイッチａ，１５１ａと、スイッチｃ，１５１ｃの設定
（３）メモリ１３０に対する書き込みアドレスと書き込みデータ
（４）メモリ１３０からの読み出しアドレスと読み出しデータ
（５）スイッチｄ，１５１ｄと、スイッチｂ，１５１ｂの設定
（６）撮像装置１００の出力
これらのデータおよび設定を示している。

時間ｔ０〜ｔ１、ｔ１〜ｔ２・・、この時間間隔は、撮像素子１０２からの信号読み取り周期としての垂直周期に相当する。

図１２に示す例は、先に説明した図１１の例と同様、プログレッシブ読み出し、インターレース出力における通常画像生成シーケンスである。
図１１と図１２の違いは、（６）撮像装置出力のシーケンスである。
図１１を参照して説明した処理では、出力順が、
ＶＯ１ｏ，ＶＯ１ｅ，ＶＯ２ｏ，ＶＯ２ｅ・・・
であり、奇数（ＯＤＤ）フィールド、偶数（ＥＶＥＮ）フィールドの順で出力する構成である。

一方、図１２に示す例では、出力順が、
ＶＯ１ｅ，ＶＯ１ｏ，ＶＯ２ｅ，ＶＯ２ｏ・・・
であり、偶数（ＥＶＥＮ）フィールド、奇数（ＯＤＤ）フィールドの順で出力する構成である。

この出力順の変更に伴い、（４）メモリ読み出しの順番も偶数（ＥＶＥＮ）フィールドデータ（ｆ１＿１ｅ）を、奇数（ＯＤＤ）フィールドデータ（ｆ１＿１ｏ）に先行して読み取る設定としている。
その他の点は、先に図１１を参照して説明した処理と同様である。

本処理例においても、先に図１１を参照して説明した処理例と同様、垂直周期毎に、撮像素子の偶数ライン出力と撮像素子の奇数ライン出力をメモリ１３０から読み出すことによって、撮像装置出力をＥＶＥＮ、ＯＤＤフィールド出力ＶＯ１ｅ，ＶＯ１ｏ，ＶＯ２ｅ，ＶＯ２ｏ，ＶＯ３ｅ，ＶＯ３ｏ・・・として出力するもので、出力信号をＥＶＥＮ＋ＯＤＤの組合せで合成するとインターレースブレのない画像を得ることができる。

（４−Ｆ）プログレッシブ読み出し、インターレース出力における広ダイナミックレンジ画像生成シーケンス（例１）
次に、図１３を参照してプログレッシブ読み出し、インターレース出力における広ダイナミックレンジ画像生成シーケンスの詳細について説明する。

図１３は、本発明の撮像装置において、撮像素子をプログレッシブ読み出しで動作させ、撮像装置出力をインターレース動作させて広ダイナミックレンジ画像を生成する広ダイナミックレンジ動作時（図５参照）の詳細シーケンスを示す図である。

左から右に時間経過（時間ｔ０〜ｔ６）を示し、これらの各時間における以下のデータおよび設定を示している。
（１）撮像素子１０２の露光と出力
（２）スイッチａ，１５１ａと、スイッチｃ，１５１ｃの設定
（３）メモリ１３０に対する書き込みアドレスと書き込みデータ
（４ａ）メモリ１３０からの読み出しアドレスと読み出しデータ
（４ｂ）メモリ１３０からの読み出しアドレスと読み出しデータ
（５）スイッチｄ，１５１ｄと、スイッチｂ，１５１ｂの設定
（６）撮像装置１００の出力
これらのデータおよび設定を示している。

本例では、メモリ１３０からのデータ読み出しは、画像合成部１２３において実行する画像合成処理に適用する長時間露光画像（高感度画像（Ｈｎ））と短時間露光画像（低感度画像（Ｌｎ））、これら２枚の画像データの読み出し処理として実行される。
この並列読み出し処理が（４ａ），（４ｂ）の処理に対応する。

時間ｔ０〜ｔ１、ｔ１〜ｔ２・・、この時間間隔は、撮像素子１０２からの信号読み取り周期としての垂直周期に相当する。
図１３（１）に示すように、撮像素子１０２は、各垂直周期（ｔ０〜ｔ１、ｔ１〜ｔ２・・）において露光された結果としての撮像素子出力として、（ＶＩＬ１），（ＶＩＨ１），（ＶＩＬ２），（ＶＩＨ２）・・・を出力する。
なお、Ｌは短時間露光画像（低感度画像）、Ｈは、長時間露光画像（高感度画像）を意味する。
数値１，２は撮像素子からの出力順を示す識別番号である。

図１３（２）に示すように、スイッチａ，１５１ａと、スイッチｃ，１５１ｃの設定は、広ダイナミックレンジ画像生成モードでは図５を参照して説明した通り、全て端子Ｗ側に設定される。なお、この設定はマイコン１０５によって行われる。

このスイッチ設定に従い、メモリ１０３には、第１信号処理部１２２の処理結果が格納される。
図１３（３）に示すように、４つのメモリアドレス（ＡＤ１）、（ＡＤ２）、（ＡＤ３）、（ＡＤ４）を順番に繰り返し使用して、第１信号処理部１２２の処理結果としてのデータ（ｆ２＿Ｌ１）、（ｆ２＿Ｈ１）、（ｆ２＿Ｌ２）、（ｆ２＿Ｈ２）・・・、が順次格納される。
すなわち、短時間露光画像（低感度画像（Ｌｎ））と、長時間露光画像（高感度画像（Ｈｎ））が順次格納される。
フォーマット２（ｆ２）は、先に図７（２）を参照して説明したフォーマットに対応し、図７（２）の第２フォーマットで第１信号処理部１２２の処理結果であるＹＲＧＢ信号を格納する。

なお、図１３（１）に示す撮像素子出力（ＶＩＬ１）の第１信号処理部１２２の処理結果データが図１３（３）に示すメモリ格納データ（ｆ２＿Ｌ１）に対応する。
時間ｔ０〜ｔ１の期間内で撮像素子１０２の出力〜メモリ１３０への格納までの処理が行われる。

この時間ｔ０〜ｔ１において実行されるのは、メモリアドレス（ＡＤ１）によって指定される位置にフォーマット２（＝ｆ２）でデータ（ｆ２＿Ｌ１）を格納するまでの処理である。

次の時間ｔ１〜ｔ２においては、
（１）撮像素子〜（３）メモリ書き込みまでの処理が、次の撮像素子出力（ＶＩＨ１）に対して、時間ｔ０〜ｔ１における撮像素子出力（ＶＩＬ１）に対する処理と同様の処理が実行される。
なお、時間ｔ０〜ｔ１における撮像素子出力（ＶＩＬ１）と、撮像素子出力（ＶＩＨ１）は広ダイナミックレンジ画像生成のための画像合成処理の対象となる２つの画像である。

図１３の（３）メモリ書き込みにおいては、ｔ０〜ｔ１でメモリに格納したアドレス（ＡＤ１）とは異なるアドレス（ＡＤ２）のメモリ位置にデータ（ｆ１＿２）が書き込まれる。

次の時間ｔ２〜ｔ３の期間においては、
（１）撮像素子〜（３）メモリ書き込みまでの処理が、次の撮像素子出力（ＶＩＬ２）に対して、時間ｔ０〜ｔ１における撮像素子出力（ＶＩＬ１）に対する処理と同様の処理が実行される。
図１３の（３）メモリ書き込みにおいては、ｔ０〜ｔ１でメモリ書き込みに利用したアドレス（ＡＤ１）、ｔ１〜ｔ２でメモリ書き込みに利用したアドレス（ＡＤ２）、これらとは異なるアドレス（ＡＤ３）のメモリ位置にデータ（ｆ２＿Ｌ２）が書き込まれる。

さらに、時間ｔ２〜ｔ３の期間においては、
図１３（４）メモリ読み出し〜（６）撮像装置出力までの処理も行われる。これらの処理は、時間ｔ０〜ｔ１においてメモリに書き込まれたデータ（ｆ２＿Ｌ１）、時間ｔ１〜ｔ２においてメモリに書き込まれたデータ（ｆ２＿Ｈ１）に対する処理である。

図１３（４ａ）メモリ読み出しの欄に示すように、アドレス（ＡＤ１ｏ）位置からデータ（ｆ２＿Ｌ１ｏ）が読み出される。
さらに、図１３（４ｂ）メモリ読み出しの欄に示すように、アドレス（ＡＤ２ｏ）位置からデータ（ｆ２＿Ｈ１ｏ）が読み出される。

なお、アドレス（ＡＤ１ｏ）は、アドレス（ＡＤ１）の一部を構成し、奇数（ＯＤＤ）フィールドに対応するデータの読み出し用アドレスである。
アドレス（ＡＤｎ）は、奇数（ＯＤＤ）フィールドに対応するデータの読み出し用アドレス（ＡＤｎｏ）と、偶数（ＥＶＥＮ）フィールドに対応するデータの読み出し用アドレス（ＡＤｎｅ）とに分離して利用可能な構成を持つ。

時間ｔ２〜ｔ３において、
アドレス（ＡＤ１ｏ）位置から読み出されるデータ（ｆ２＿Ｌ１ｏ）は、
短時間露光画像（低感度画像（Ｌ））の奇数（ＯＤＤ）フィールドデータである。
アドレス（ＡＤ２ｏ）位置から読み出されるデータ（ｆ２＿Ｈ１ｏ）は、
長時間露光画像（高感度画像（Ｈ））の奇数（ＯＤＤ）フィールドデータである。

図１３（５）のスイッチ設定はスイッチｄ，１５１ｄと、スイッチｂ，１５１ｂの設定状態を示している。図５を参照して説明したように広ダイナミックレンジ画像生成処理モードにおいては、スイッチｄ，１５１ｄと、スイッチｂ，１５１ｂはいずれもＷ側接続の設定とされる。

このスイッチ設定に従ってメモリ１３０から読み出された、
短時間露光画像データ（低感度画像（Ｌ））の奇数フィールドデータ（ｆ２＿Ｌ１ｏ））と、
長時間露光画像データ（高感度画像（Ｈ））の奇数フィールドデータ（ｆ２＿Ｈ１ｏ））、
これらのデータは画像合成部１２３に出力される。
画像合成部１２３では、これらの２つの画像を利用した画像合成処理を実行し、広ダイナミックレンジ画像の奇数フィールドに対応する合成画像を生成する。

その後、生成された奇数フィールド対応の広ダイナミックレンジ画像合は、画像補正部１２４に出力される。画像補正部１２４はγ補正を行い補正信号を第２信号処理部１２５に出力する。第２信号処理部１２５では、ＹＲＧＢ信号を例えばＹＣｂＣｒ信号に変換し、変換信号をスイッチｂ，１５１ｂを介して第３信号処理部１２６に入力する。

第３信号処理部１２６は、メモリ１３０からの読み出し信号に対する最終的な信号処理を実行して撮像装置から出力する広ダイナミックレンジ画像を生成して出力する。
この最終出力が図１３（６）撮像装置出力（ＷＶ１１ｏ）に相当する。

なお、ＷＶは広ダイナミックレンジ画像であることを意味し、その後の数値列は、前の数値が長時間露光画像（高感度画像（Ｈ））の識別番号、後の数値が短時間露光画像（低感度画像（Ｌ））の識別番号である。
ｏは奇数（ＯＤＤ）フィールド画像、
ｅは偶数（ＥＶＥＮ）フィールド画像であることを示す。

この撮像装置出力（ＷＶ１１ｏ）は奇数フィールドのみの画像である。
次の時間（ｔ３〜ｔ４）において、この撮像装置出力（ＷＶ１１ｏ）に対応する偶数フィールド画像（ＷＶ１１ｅ）が生成され出力される。

時間ｔ３〜ｔ４では、アドレス（ＡＤ１ｅ）位置からデータ（ｆ２＿Ｌ１ｅ）が読み出される。
さらに、図１３（４ｂ）メモリ読み出しの欄に示すように、アドレス（ＡＤ２ｅ）位置からデータ（ｆ２＿Ｈ１ｅ）が読み出される。

なお、アドレス（ＡＤ１ｅ）は、アドレス（ＡＤ１）の一部を構成し、偶数（ＥＶＥＮ）フィールドに対応するデータの読み出し用アドレスである。

時間ｔ２〜ｔ３において、
アドレス（ＡＤ１ｅ）位置から読み出されるデータ（ｆ２＿Ｌ１ｅ）は、
短時間露光画像（低感度画像（Ｌ））の偶数（ＥＶＥＮ）フィールドデータである。
アドレス（ＡＤ２ｅ）位置から読み出されるデータ（ｆ２＿Ｈ１ｅ）は、
長時間露光画像（高感度画像（Ｈ））の偶数（ＥＶＥＮ）フィールドデータである。

図１３（５）のスイッチ設定はスイッチｄ，１５１ｄと、スイッチｂ，１５１ｂの設定状態を示している。図５を参照して説明したように広ダイナミックレンジ画像生成処理モードにおいては、スイッチｄ，１５１ｄと、スイッチｂ，１５１ｂはいずれもＷ側接続の設定とされる。

このスイッチ設定に従ってメモリ１３０から読み出された、
短時間露光画像データ（低感度画像（Ｌ））の偶数フィールドデータ（ｆ２＿Ｌ１ｅ））と、
長時間露光画像データ（高感度画像（Ｈ））の偶数フィールドデータ（ｆ２＿Ｈ１ｅ））、
これらのデータは画像合成部１２３に出力される。
画像合成部１２３では、これらの２つの画像を利用した画像合成処理を実行し、広ダイナミックレンジ画像の偶数フィールドに対応する合成画像を生成する。

その後、生成された偶数フィールド対応の広ダイナミックレンジ画像合は、画像補正部１２４に出力される。画像補正部１２４はγ補正を行い補正信号を第２信号処理部１２５に出力する。第２信号処理部１２５では、ＹＲＧＢ信号を例えばＹＣｂＣｒ信号に変換し、変換信号をスイッチｂ，１５１ｂを介して第３信号処理部１２６に入力する。

第３信号処理部１２６は、メモリ１３０からの読み出し信号に対する最終的な信号処理を実行して撮像装置から出力する広ダイナミックレンジ画像を生成して出力する。
この最終出力が図１３（６）撮像装置出力（ＷＶ１１ｅ）に相当する。

この撮像装置出力（ＷＶ１１ｅ）は偶数フィールドのみの画像である。
前の時間（ｔ２〜ｔ３）における撮像装置出力（ＷＶ１１ｏ）に併せて出力され、フレーム画像全体が表示されることになる。

本処理例では、２種類の露光時間を垂直周期毎に交番させて得る高感度、低感度の撮像素子出力ＶＩＬ１，ＶＩＨ１，Ｖ１Ｌ２，ＶＩＨ２，ＶＩＬ３，ＶＩＨ４・・・は第１信号処理部１２２において処理された後、メモリ１３０に、４つの異なるアドレス（ＡＤ１）〜（ＡＤ４）を順次適用して格納される。

さらに、垂直周期毎にアドレス（ＡＤ１）〜（ＡＤ４）の奇数ライン出力と偶数ライン出力をメモリ１３０から読み取り、画像合成、補正処理、信号処理を行い、撮像装置出力をＯＤＤ、ＥＶＥＮフィールド個別に出力する。この処理により、図１３（６）に示すように、ＷＶ１１ｏ，ＷＶ１１ｅ，ＷＶ２２ｏ，ＷＶ２２２・・・として、出力信号をＯＤＤ＋ＥＶＥＮの組合せで合成してインターレース出力が実行される。本処理例ではインターレースブレの少ない広ダイナミックレンジ画像の出力が実現される。

（４−Ｇ）プログレッシブ読み出し、インターレース出力における広ダイナミックレンジ画像生成シーケンス（例２）
次に、図１４を参照してプログレッシブ読み出し、インターレース出力における広ダイナミックレンジ画像生成シーケンス第２例の詳細について説明する。

図１４は、本発明の撮像装置において、撮像素子をプログレッシブ読み出しで動作させ、撮像装置出力をインターレース動作させて広ダイナミックレンジ画像を生成する広ダイナミックレンジ動作時（図５参照）の詳細シーケンスを示す図である。

左から右に時間経過（時間ｔ０〜ｔ６）を示し、これらの各時間における以下のデータおよび設定を示している。
（１）撮像素子１０２の露光と出力
（２）スイッチａ，１５１ａと、スイッチｃ，１５１ｃの設定
（３）メモリ１３０に対する書き込みアドレスと書き込みデータ
（４ａ）メモリ１３０からの読み出しアドレスと読み出しデータ
（４ｂ）メモリ１３０からの読み出しアドレスと読み出しデータ
（５）スイッチｄ，１５１ｄと、スイッチｂ，１５１ｂの設定
（６）撮像装置１００の出力
これらのデータおよび設定を示している。

本例では、メモリ１３０からのデータ読み出しは、画像合成部１２３において実行する画像合成処理に適用する長時間露光画像（高感度画像（Ｈｎ））と短時間露光画像（低感度画像（Ｌｎ））、これら２枚の画像データの読み出し処理として実行される。
この並列読み出し処理が（４ａ），（４ｂ）の処理に対応する。

時間ｔ０〜ｔ１、ｔ１〜ｔ２・・、この時間間隔は、撮像素子１０２からの信号読み取り周期としての垂直周期に相当する。

この図１４に示す例は、先に説明した図１３の例と同様、プログレッシブ読み出し、インターレース出力における広ダイナミックレンジ画像生成シーケンスである。
図１３と図１４の違いは、（６）撮像装置出力のシーケンスである。
図１３を参照して説明した処理では、出力順が、
ＷＶ１１ｏ，ＷＶ１１ｅ，ＷＶ２２ｏ，ＷＶ２２ｅ・・・
であり、奇数（ＯＤＤ）フィールド、偶数（ＥＶＥＮ）フィールドの順で出力する構成である。

一方、図１４に示す例では、出力順が、
ＷＶ１１ｅ，ＷＶ１１ｏ，ＷＶ２２ｅ，ＷＶ２２ｏ・・・
であり、偶数（ＥＶＥＮ）フィールド、奇数（ＯＤＤ）フィールドの順で出力する構成である。

この出力順の変更に伴い、（４）メモリ読み出しの順番も偶数（ＥＶＥＮ）フィールドデータ（ｆ２＿Ｌ１ｅ），（ｆ２＿Ｈ１ｅ）を、奇数（ＯＤＤ）フィールドデータ（ｆ２＿Ｌ１ｏ），（ｆ２＿Ｈ１ｏ）に先行して読み取る設定としている。
その他の点は、先に図１３を参照して説明した処理と同様である。

本処理例においても、先に図１３を参照して説明した処理例と同様、垂直周期毎に、撮像素子の偶数ライン出力と撮像素子の奇数ライン出力をメモリ１３０から読み出すことによって、撮像装置出力をＥＶＥＮ、ＯＤＤフィールド出力ＷＶ１１ｅ，ＷＶ１１ｏ，ＷＶ２２ｅ，ＷＶ２２ｏ・・・として出力する。本処理例に従って、出力信号をＥＶＥＮ＋ＯＤＤの組合せで合成するとインターレースブレのない画像を得ることができる。

（４−Ｈ）プログレッシブ読み出し、インターレース出力における広ダイナミックレンジ画像生成シーケンス（例３）
次に、図１５を参照してプログレッシブ読み出し、インターレース出力における広ダイナミックレンジ画像生成シーケンス第３例の詳細について説明する。

図１５に示す処理例は、図１３に示す処理例と同様、プログレッシブ読み出し、インターレース出力における広ダイナミックレンジ画像生成シーケンスである。ただし、図１５に示す処理では、広ダイナミックレンジ画像を生成するためにメモリ１３０から読み出す画像のペアの設定を常に最新の画像として設定している点が異なっている。

例えば図１３に示すシーケンスでは、
時間ｔ２〜ｔ３において、
（４ａ）データ（ｆ２＿Ｌ１ｏ）のアドレス（ＡＤ１ｏ）からの読み出しと、
（４ｂ）データ（ｆ２＿Ｈ１ｏ）のアドレス（ＡＤ２ｏ）からの読み出し、
これらを実行し、さらに、時間ｔ３〜ｔ４において、
（４ａ）データ（ｆ２＿Ｌ１ｅ）のアドレス（ＡＤ１ｅ）からの読み出しと、
（４ｂ）データ（ｆ２＿Ｈ１ｅ）のアドレス（ＡＤ２ｅ）からの読み出し＜
これらを実行している。

一方、図１５に示すシーケンスでは、
時間ｔ１〜ｔ２において、
（４ａ）データ（ｆ２＿Ｌ１ｅ）のアドレス（ＡＤ１ｅ）からの読み出しを実行し、
時間ｔ２〜ｔ３において、
（４ａ）データ（ｆ２＿Ｌ１ｏ）のアドレス（ＡＤ１ｏ）からの読み出しと、
（４ｂ）データ（ｆ２＿Ｈ１ｏ）のアドレス（ＡＤ２ｏ）からの読み出し、
これらを実行し、
次の、時間ｔ３〜ｔ４においては、
（４ａ）データ（ｆ２＿Ｌ２ｅ）のアドレス（ＡＤ３ｅ）からの読み出しと、
（４ｂ）データ（ｆ２＿Ｈ１ｅ）のアドレス（ＡＤ２ｅ）からの読み出し＜
これらを実行している。

すなわち、図１５に示す本処理例では、メモリからの読み出しデータを最新のデータに設定している点が異なる。本処理例では各読み出しタイミングで読み出し可能なデータ中、最新のデータを取得する。

この処理例では、メモリ１３０に格納されたデータ中も最新のデータの組み合わせを利用して合成画像としての広ダイナミックレンジ画像を生成するシーケンスである。

図１５に示すシーケンスにおいて、（１）撮像素子〜（３）メモリ書き込みまでの処理は、図１３と同様である。
時間ｔ１以降におけるメモリからの読み出しデータが図１３とは異なり、メモリ格納済みのデータから最新のデータを読み取る設定としている。

図１３（５）のスイッチ設定はスイッチｄ，１５１ｄと、スイッチｂ，１５１ｂの設定状態を示している。図５を参照して説明したように広ダイナミックレンジ画像生成処理モードにおいては、スイッチｄ，１５１ｄと、スイッチｂ，１５１ｂはいずれもＷ側接続の設定とされる。

このスイッチ設定に従ってメモリ１３０から読み出されたデータは合成処理部１２３に入力され画像合成による広ダイナミックレンジ画像生成処理が行われる。
ただし、時間ｔ１〜ｔ２では、
（４ａ）アドレス（ＡＤ１ｅ）から短時間露光画像データ（低感度画像（Ｌ））（ｆ２＿Ｌ１ｅ）が読み出されているのみで、長時間露光画像データ（高感度画像（Ｈ））の読み出しが実行されていないので、この時間ｔ１〜ｔ２では画像合成処理は実行されない。

時間ｔ２〜ｔ３では、メモリ１３０から読み出された、
（４ａ）短時間露光画像データ（低感度画像（Ｌ））データ（ｆ２＿Ｌ１ｏ）、
（４ｂ）長／時間露光画像データ（高感度画像（Ｈ））データ（ｆ２＿Ｈ１ｏ）、
これらのデータの合成処理により奇数（ＯＤＤ）フィールドのみの広ダイナミックレンジ画像の生成が実行される。

その後、生成された奇数フィールド対応の広ダイナミックレンジ画像合は、画像補正部１２４に出力される。画像補正部１２４はγ補正を行い補正信号を第２信号処理部１２５に出力する。第２信号処理部１２５では、ＹＲＧＢ信号を例えばＹＣｂＣｒ信号に変換し、変換信号をスイッチｂ，１５１ｂを介して第３信号処理部１２６に入力する。

第３信号処理部１２６は、メモリ１３０からの読み出し信号に対する最終的な信号処理を実行して撮像装置から出力する広ダイナミックレンジ画像を生成して出力する。
この最終出力が図５３（６）撮像装置出力（ＷＶ１１ｏ）に相当する。

この撮像装置出力（ＷＶ１１ｏ）は奇数フィールドのみの画像である。
次の時間（ｔ３〜ｔ４）における撮像装置出力（ＷＶ１２ｅ）に併せて出力され、フレーム画像全体が表示されることになる。

時間ｔ３〜ｔ４では、図１５（４ａ）メモリ読み出しの欄に示すように、アドレス（ＡＤ３ｅ）位置からデータ（ｆ２＿Ｌ２ｅ）が読み出される。
さらに、図１５（４ｂ）メモリ読み出しの欄に示すように、アドレス（ＡＤ２ｅ）位置からデータ（ｆ２＿Ｈ１ｅ）が読み出される。

時間ｔ２〜ｔ３において、
アドレス（ＡＤ３ｅ）位置から読み出されるデータ（ｆ２＿Ｌ２ｅ）は、
短時間露光画像（低感度画像（Ｌ））の偶数（ＥＶＥＮ）フィールドデータである。
アドレス（ＡＤ２ｅ）位置から読み出されるデータ（ｆ２＿Ｈ１ｅ）は、
長時間露光画像（高感度画像（Ｈ））の偶数（ＥＶＥＮ）フィールドデータである。

図１５（５）のスイッチ設定はスイッチｄ，１５１ｄと、スイッチｂ，１５１ｂの設定状態を示している。図５を参照して説明したように広ダイナミックレンジ画像生成処理モードにおいては、スイッチｄ，１５１ｄと、スイッチｂ，１５１ｂはいずれもＷ側接続の設定とされる。

このスイッチ設定に従ってメモリ１３０から読み出された、
短時間露光画像データ（低感度画像（Ｌ））の偶数フィールドデータ（ｆ２＿Ｌ２ｅ））と、
長時間露光画像データ（高感度画像（Ｈ））の偶数フィールドデータ（ｆ２＿Ｈ１ｅ））、
これらのデータは画像合成部１２３に出力される。
画像合成部１２３では、これらの２つの画像を利用した画像合成処理を実行し、広ダイナミックレンジ画像の偶数フィールドに対応する合成画像を生成する。

その後、生成された偶数フィールド対応の広ダイナミックレンジ画像合は、画像補正部１２４に出力される。画像補正部１２４はγ補正を行い補正信号を第２信号処理部１２５に出力する。第２信号処理部１２５では、ＹＲＧＢ信号を例えばＹＣｂＣｒ信号に変換し、変換信号をスイッチｂ，１５１ｂを介して第３信号処理部１２６に入力する。

第３信号処理部１２６は、メモリ１３０からの読み出し信号に対する最終的な信号処理を実行して撮像装置から出力する広ダイナミックレンジ画像を生成して出力する。
この最終出力が図１５（６）撮像装置出力（ＷＶ１２ｅ）に相当する。

この撮像装置出力（ＷＶ１２ｅ）は偶数フィールドのみの画像である。
前の時間（ｔ２〜ｔ３）における撮像装置出力（ＷＶ１１ｏ）に併せて出力され、フレーム画像全体が表示されることになる。

本処理例では、２種類の露光時間を垂直周期毎に交番させて得る高感度、低感度の撮像素子出力ＶＩＬ１，ＶＩＨ１，Ｖ１Ｌ２，ＶＩＨ２，ＶＩＬ３，ＶＩＨ４・・・は第１信号処理部１２２において処理された後、メモリ１３０に、４つの異なるアドレス（ＡＤ１）〜（ＡＤ４）を順次適用して格納される。

さらに、垂直周期毎にアドレス（ＡＤ１）〜（ＡＤ４）の奇数ライン出力と偶数ライン出力をメモリ１３０から読み取り、画像合成、補正処理、信号処理を行い、撮像装置出力をＯＤＤ、ＥＶＥＮフィールド個別に出力する。この処理に際してメモリからの読み取り画像を最新のデータとする設定としている。
この処理により、図１５（６）に示すように、ＷＶ１１ｏ，ＷＶ１２ｅ，ＷＶ２２ｏ，ＷＶ２３ｏ・・・として、インターレース出力が実行される。このように本処理例では、広ダイナミックレンジ化処理に適用する低感度画像と高感度各画像の組合せを、より新しい撮影画像に基づいて生成することを可能としたものである。

（４−Ｉ）プログレッシブ読み出し、インターレース出力における広ダイナミックレンジ画像生成シーケンス（例４）
次に、図１６を参照してプログレッシブ読み出し、インターレース出力における広ダイナミックレンジ画像生成シーケンス第４例の詳細について説明する。

図１６は、本発明の撮像装置において、撮像素子をプログレッシブ読み出しで動作させ、撮像装置出力をインターレース動作させて広ダイナミックレンジ画像を生成する広ダイナミックレンジ動作時（図５参照）の詳細シーケンスを示す図である。

左から右に時間経過（時間ｔ０〜ｔ６）を示し、これらの各時間における以下のデータおよび設定を示している。
（１）撮像素子１０２の露光と出力
（２）スイッチａ，１５１ａと、スイッチｃ，１５１ｃの設定
（３）メモリ１３０に対する書き込みアドレスと書き込みデータ
（４ａ）メモリ１３０からの読み出しアドレスと読み出しデータ
（４ｂ）メモリ１３０からの読み出しアドレスと読み出しデータ
（５）スイッチｄ，１５１ｄと、スイッチｂ，１５１ｂの設定
（６）撮像装置１００の出力
これらのデータおよび設定を示している。

本例では、メモリ１３０からのデータ読み出しは、画像合成部１２３において実行する画像合成処理に適用する長時間露光画像（高感度画像（Ｈｎ））と短時間露光画像（低感度画像（Ｌｎ））、これら２枚の画像データの読み出し処理として実行される。
この並列読み出し処理が（４ａ），（４ｂ）の処理に対応する。

時間ｔ０〜ｔ１、ｔ１〜ｔ２・・、この時間間隔は、撮像素子１０２からの信号読み取り周期としての垂直周期に相当する。

この図１６に示す例は、先に説明した図１５の例と同様、プログレッシブ読み出し、インターレース出力における広ダイナミックレンジ画像生成シーケンスである。
図１５と図１６の違いは、（６）撮像装置出力のシーケンスである。
図１５を参照して説明した処理では、出力順が、
ＷＶ１１ｏ，ＷＶ１２ｅ，ＷＶ２２ｏ，ＷＶ２３ｅ・・・
であり、奇数（ＯＤＤ）フィールド、偶数（ＥＶＥＮ）フィールドの順で出力する構成である。

一方、図１６に示す例では、出力順が、
ＷＶ１１ｅ，ＷＶ１２ｏ，ＷＶ２２ｅ，ＷＶ２３ｏ・・・
であり、偶数（ＥＶＥＮ）フィールド、奇数（ＯＤＤ）フィールドの順で出力する構成である。
この出力順の変更に伴い、（４）メモリ読み出しの順番も変更される。すなわち。偶数（ＥＶＥＮ）フィールドデータと奇数（ＯＤＤ）フィールドデータの読み出し順が図１５と図１６では入れ替わっている。
その他の点は、先に図１５を参照して説明した処理と同様である。

本処理例においても、先に図１５を参照して説明した処理例と同様、垂直周期毎に、撮像素子の偶数ライン出力と撮像素子の奇数ライン出力をメモリ１３０から読み出すことによって、撮像装置出力をＥＶＥＮ、ＯＤＤフィールド出力ＷＶ１１ｅ，ＷＶ１２ｏ，ＷＶ２２ｅ，ＷＶ２３ｏ・・・としてインターレース出力する。広ダイナミックレンジ化処理に適用する低感度画像と高感度各画像の組合せを、より新しい撮影画像に基づいて生成することが可能となる。

（４−Ｊ）プログレッシブ読み出し、プログレッシブ出力における通常画像生成と広ダイナミックレンジ画像生成の切り替えシーケンス
次に、図１７を参照してプログレッシブ読み出し、プログレッシブ出力における通常画像生成と広ダイナミックレンジ画像生成の切り替えシーケンスについて説明する。

この図１７に示す処理は、先に図８を参照して説明した処理と、図９を参照して説明した処理を途中で切り替える処理シーケンスである。すなわち、
（４−Ａ）プログレッシブ読み出し、プログレッシブ出力における通常画像生成シーケンス（図８）
（４−Ｂ）プログレッシブ読み出し、プログレッシブ出力における広ダイナミックレンジ画像生成シーケンス（例１）（図９）
上記（Ａ），（Ｂ）の処理を切り替える処理である。

図１７は、本発明の撮像装置において、撮像素子をプログレッシブ読み出しで動作させ、撮像装置出力についてもプログレッシブ動作させる設定において、通常画像を生成する通常モード（図４参照）と、広ダイナミックレンジ画像を生成する広ダイナミックレンジモード（図５参照）との切り替え制御を行う場合の詳細シーケンスを示す図である。

なお、モード切り替え時にはスイッチａ〜ｄ，１５１ａ〜１５１ｄの接続設定を全てＮ接続から全てＷ接続へ切り替える制御、またはその逆の全てのスイッチをＷ接続からＮ接続へ切り替える制御が実行される。この切り替えはマイコン１０５によって行われる。

図１７には、左から右に時間経過（時間ｔ０〜ｔ１７）を示し、これらの各時間における以下のデータおよび設定を示している。
（１）撮像素子１０２の露光と出力
（２）スイッチａ，１５１ａと、スイッチｃ，１５１ｃの設定
（３）メモリ１３０に対する書き込みアドレスと書き込みデータ
（４ａ）メモリ１３０からの読み出しアドレスと読み出しデータ
（４ｂ）メモリ１３０からの読み出しアドレスと読み出しデータ
（５）スイッチｄ，１５１ｄと、スイッチｂ，１５１ｂの設定
（６）撮像装置１００の出力
これらのデータおよび設定を示している。

時間タイミングＴａ（＝ｔ６）までは、通常画像の生成処理である通常モード動作で処理が行われる。
時間ｔ０〜ｔ６の処理は、先に図８を参照して説明した処理、すなわち、
（４−Ａ）プログレッシブ読み出し、プログレッシブ出力における通常画像生成シーケンス
この処理と同一の処理が行われる。図１７の（１）撮像素子露光／出力〜（６）撮像装置出力に示す設定は、図８に示すｔ０〜ｔ６の処理における設定と同じ設定である。

時間タイミングＴａ（＝ｔ６）において、マイコン（制御部）１０５は、通常画像の生成処理からダイナミックレンジ画像の生成処理への移行を開始する。
なお、前述したように、これらのモード切り替え処理は、例えばマイコン（制御部）１０５の撮影画像の解析結果に基づく自動制御、あるいは入力部１０６を介するユーザ指示に基づいて行われる。

時間Ｔａ（＝ｔ６）以降、撮像素子では、短時間露光画像（低感度画像（Ｌ））と長時間露光画像（高感度画像（Ｈ））が交互に撮影される。
通常動作から広ダイナミックレンジ動作への切換え処理に際して、マイコン（制御部）１０５は以下のようなスイッチ制御を行う。
まず、メモリ１３０の入力部のスイッチであるスイッチ１５１ｃのみをＷ側に切換える。時間Ｔａ（＝ｔ６）〜Ｔｂ（＝ｔ８）の期間のスイッチ設定である。

このスイッチ設定を図１８に示す。図１８に示すように、メモリ１３０の入力部のスイッチであるスイッチ１５１ｃのみをＷ側に切換える。その他のスイッチａ，１５１ａ、スイッチｂ，１５１ｂ、スイッチｄ，１５１ｄはＮ側の接続設定のままとする。

時間Ｔａ（＝ｔ６）〜Ｔｂ（＝ｔ８）では、メモリ１３０からのデータ読み出し用アドレスは、アドレス（ＡＤ２）、（ＡＤ２）と同じアドレスを継続させる。この同じ読み出しアドレスを適用したデータ読み出し処理によってこの期間の出力は（６）撮像装置出力に示すように（ＶＯ６），（ＶＯ６）と通常画像の出力が継続される。

また、時間Ｔａ（＝ｔ６）〜Ｔｂ（＝ｔ８）では、この読み出しアドレス（ＡＤ２）以外のアドレスを利用して、撮像素子１０２で撮影され、第１信号処理部１２２において信号処理された短時間露光画像（低感度画像（Ｌ））と長時間露光画像（高感度画像（Ｈ））がスイッチｃ，１５１ｃを介してメモリ１３０に記録される。

すなわち、図１７に示すように、
時間ｔ６〜ｔ７において、アドレス（ＡＤ３）に従って短時間露光画像（低感度画像（Ｌ））データ（ｆ２＿Ｌ１）が書き込まれる。
時間ｔ７〜ｔ８において、アドレス（ＡＤ４）に従って長時間露光画像（高感度画像（Ｈ））データ（ｆ２＿Ｈ１）が書き込まれる。

時間Ｔａ（＝ｔ６）〜Ｔｂ（＝ｔ８）において、広ダイナミックレンジ画像を生成するための合成処理に適用する２つの画像がメモリ１３０に書き込まれた後、スイッチａ，１５１ａ、スイッチｂ，１５１ｂ，スイッチｄ，１５１ｄをＷ側に切換える。すなわち、図５を参照して説明したダイナミックレンジモードの設定とする。
この時間Ｔｂ（＝ｔ８）において、通常モードから広ダイナミックレンジモードへの切り替えを完了する。

すなわち、通常モードから広ダイナミックレンジモードへの切り替え時には、メモリ１３０に対する入力データのみを先行してダイナミックレンジ画像の入力に切り替え、メモリ１３０からの出力やその他の処理部の接続は通常モードの設定（Ｎ側接続）に維持する。
ダイナミックレンジ画像の生成に必要な画像がメモリ１３０に格納された後、すなわちジカンＴｂ（＝ｔ８）において、メモリ１３０からの出力やその他の処理部の接続をダイナミックレンジモードの設定（Ｗ側接続）に変更する。

図１７において、時間Ｔｂ（＝ｔ８）〜Ｔｃ（＝ｔ１４）の処理は、先に図９を参照して説明した処理、すなわち、
（４−Ｂ）プログレッシブ読み出し、プログレッシブ出力における広ダイナミックレンジ画像生成シーケンス（例１）
この処理と同じ処理が行われる。図１７の時間時間Ｔｂ（＝ｔ８）〜Ｔｃ（＝ｔ１４）の（１）撮像素子露光／出力〜（６）撮像装置出力に示す処理は、図９に示すｔ０〜ｔ６の処理と同様の処理である。

なお、図１７では時間ｔ６〜ｔ８においてメモリ書き込みアドレスとして、（ＡＤ３），（ＡＤ４）を先行して利用しているので、図９と図１７ではアドレスとデータ識別子の設定にずれか発生している。しかし、処理としてはいずれも同様の処理である。

時間Ｔｃ（＝ｔ１４）において、マイコン（制御部）１０５は、ダイナミックレンジ画像の生成処理から通常画像の生成処理への移行を開始する。
なお、前述したように、これらのモード切り替え処理は、例えばマイコン（制御部）１０５の撮影画像の解析結果に基づく自動制御、あるいは入力部１０６を介するユーザ指示に基づいて行われる。

時間Ｔｃ（＝ｔ１４）以降、撮像素子では、通常画像が順次撮影される。
広ダイナミックレンジ動作から通常動作への切換え処理に際して、マイコン（制御部）１０５は以下のようなスイッチ制御を行う。
まず、メモリ１３０の入力部のスイッチであるスイッチ１５１ｃのみをＮ側に切換える。時間Ｔｃ（＝ｔ１４）〜Ｔｄ（＝ｔ１５）の期間のスイッチ設定である。

このスイッチ設定を図１９に示す。図１９に示すように、メモリ１３０の入力部のスイッチであるスイッチ１５１ｃのみをＮ側に切換える。その他のスイッチａ，１５１ａ、スイッチｂ，１５１ｂ、スイッチｄ，１５１ｄはＷ側の接続設定のままとする。

時間Ｔｃ（＝ｔ１４）〜Ｔｄ（＝ｔ１５）では、メモリ１３０からのデータ読み出し用アドレスは、直前の時間ｔ１３〜ｔ１４の読み出しアドレス（ＡＤ３）、（ＡＤ４）と同じアドレスを継続させる。この同じ読み出しアドレスを適用したデータ読み出し処理によってこの期間の出力は（６）撮像装置出力に示すように（ＷＶ３３），（ＷＶ３３）と広ダイナミックレンジ画像の出力が継続される

また、時間Ｔｃ（＝ｔ１４）〜Ｔｄ（＝ｔ１５）では、この読み出しアドレス以外のアドレスを利用して、撮像素子１０２で撮影され、第２信号処理部１２５において信号処理された通常画像がスイッチｃ，１５１ｃを介してメモリ１３０に記録される。

すなわち、図１７に示すように、
時間Ｔｃ（＝ｔ１４）〜Ｔｄ（＝ｔ１５）において、アドレス（ＡＤ１）には、メモリ１３０からのデータ読み出し用アドレスは、直前の時間ｔ１３〜ｔ１４の読み出しアドレス（ＡＤ３）、（ＡＤ４）と同じアドレスを継続させる。この同じ読み出しアドレスを適用したデータ読み出し処理によってこの期間の出力は（６）撮像装置出力に示す（ＷＶ３３）の広ダイナミックレンジ画像の出力が継続されていてスイッチａ，１５１ａがＷ側になっていて画像合成部１２３にて広ダイナミックレンジ画像(ＷＶ３３)が生成され、γ補正部１２４、第２信号処理部１２５の処理結果としてのフォーマット１形式の広ダイナミックレンジ画像のデータ（ｆ１＿ＷＶ３３）がスイッチｃ、１５１ｃを介してがメモリ１３０に書き込まれる。

時間Ｔｃ（＝ｔ１４）〜Ｔｄ（＝ｔ１５）において、通常画像がメモリ１３０に書き込まれた後、スイッチａ，１５１ａ、スイッチｂ，１５１ｂ，スイッチｄ，１５１ｄをＮ側に切換える。すなわち、図４を参照して説明した通常画像モードの設定とする。
この時間Ｔｄ（＝ｔ１５）〜Ｔｅ（＝ｔ１６）において、広ダイナミックレンジモードの画像が出て、Ｔｅ（＝ｔ１６）において、広ダイナミックレンジモードから通常モードへの切り替えを完了する。

この切り替え制御はマイコン（制御部）１０５の制御によって実行される。マイコン（制御部）１０５は、通常画像生成処理モードと広ダイナミックレンジ画像生成処理モードとの切り替え処理時に、メモリ１３０に対する入力データを切り替え後のモードに対応するデータを入力し、メモリ１３０からの出力データを切り替え前のモードに対応するデータを出力する設定とした遷移期間を設けて、該遷移期間の経過後、メモリ１３０からの出力データを切り替え後のモードに対応するデータを出力する設定とする制御を行う。

具体的には、マイコン（制御部）１０５は、切り替え後モードが広ダイナミックレンジ画像生成処理モードである場合、遷移期間を広ダイナミックレンジ画像の生成に必要な長時間露光画像（光感度画像）と短時間露光画像（低感度画像）の格納が終了するまでの期間とし、切り替え後モードが通常画像生成処理モードである場合、遷移期間を通常画像の生成に必要な画像の格納が終了するまでの期間とする制御を行う。

このように、本発明に従ったモード切り替え処理では、メモリ入力データのみを先行して切り替え、メモリに通常画像生成用の１つの画像データ、あるいは広ダイナミックレンジ画像生成用の２つの画像の格納が完了した時点で、メモリ出力データおよびその他の処理回路のスイッチを切り替える構成としている。

この制御により、各切り替えタイミングにおいて、撮像装置からの出力は、通常画像または広ダイナミックレンジ画像のいずれかの画像が確実に出力され、モード切り替え時に画像が途切れることなくスムーズなモード切り替え、画像出力が実現される。

なお、参考シーケンスとして、すべてのスイッチａ〜ｄ，１５１ａ〜ｄを同一タイミングで切り替えた場合の処理シーケンスを図２０に示す。
図２０に示すように、このような制御を行うと、モード切り替え後の一定期間、メモリ読み出しエラー、あるいは撮像装置出力エラーが発生することになる。

たとえば図２０の時間Ｔａにおいて、通常画像モードから広ダイナミックレンジ画像モードへの切り替え時にスイッチａ〜ｄ，１５１ａ〜ｄを全てＮからＷ接続に切り替えてしまうと、広ダイナミックレンジ画像を生成するための画像がメモリに格納されていない状態で広ダイナミックレンジ画像の出力が開始されることになり、結果として画像出力ができない（ＮＧ）状態となる。

図２０の時間Ｔｂにおいても、広ダイナミックレンジ画像モードから通常画像モードへの切り替え時にスイッチａ〜ｄ，１５１ａ〜ｄを全てＷからＮ接続に切り替えてしまうと、通常画像を生成するための画像がメモリに格納されていない状態で通常画像の出力が開始されることになり、結果として画像出力ができない（ＮＧ）状態となる。

これに対して、図１７を参照して説明したようにメモリ入力データのみを先行して切り替える制御を実行することで、撮像装置の出力にエラーを発生させることなく、スムーズなモード切り替えと画像出力切り替えが実現される。

なお、例えば、メモリの格納データに対して垂直反転等の処理を行うことが可能であるが、このような処理を実行する場合は、メモリ１３０の入力部のスイッチｃ，１５１ｃのみが切り替わっているときのメモリの書き込み（Ｗｒｉｔｅ）アドレスを垂直反転に対応させるか、残りのスイッチａ，１５１ａ、スイッチｂ，１５１ｂ，スイッチｄ，１５１ｄを切換えた直後のメモリの読み出し（Ｒｅａｄ）アドレスを、一定期間垂直反転をしない対応とするといった制御を行ってメモリレ１３０に対する読み出し書き込み（Ｒｅａｄ／Ｗｒｉｔｅ）を実行すればよい。
すなわちマイコン（制御部）１０５は、エラーのないアドレスとデータとの対応付けを維持するようにメモリへのデータ書き込み、読み出しを制御する。

本発明の撮像装置では、通常画像を生成する通常動作時には、メモリ格納データとして、先に図６を参照して説明したＹＣｒＣｂ各８ｂｉｔ４２２形式のフォーマットでの記録が可能となる。
また、広ダイナミックレンジ動作時には、画像合成部において長時間露光画像（高感度画像）と短時間露光画像（低感度画像）の２枚の画像に基づく合成画像が生成される。この画像合成に際しては、２つの画像の画素値に対して１より小さい値を乗算し加算する画素値設定による合成処理が行われる。この合成処理により各画像の分解能不足が補間され広ダイナミックレンジ化された画像が生成される。

また、本願の撮像装置においてメモリ１３０に対するデータ格納は、先に図６、図７を参照して説明したように、通常画像生成モードと、広ダイナミックレンジ画像高生成モードにおいて、異なるデータフォーマットで格納する。
通常画像生成モードでは、ＹＣｂＣｒ信号を、図６（１ａ）に示す８ビット輝度信号（Ｙ）２画素に対して８ビット色信号（Ｃｂ，Ｃｒ）１ペアの４２２形式の信号、あるいは、図６（１ｂ）に示す輝度信号（Ｙ）４画素に対して、色信号（Ｃｒ，Ｃｂ）１ペアの４１１形式のデータ形式（データフォーマット１（＝ｆ１））で格納する。

また、広ダイナミックレンジ画像生成モードでは、図７（２）に示すように、輝度信号（Ｙ）９ｂｉｔ、色信号（Ｇ）１０ｂｉｔ、色信号（Ｒ）９ｂｉｔと（Ｂ）９ｂｉｔで、輝度信号４画素に対して色信号１ペアの分解能のいわゆる４１１形式のデータ形式（データフォーマット２（＝ｆ２））で格納する。

このようなメモリ格納フォーマットの使い分けにより、例えば、データ幅１６ｂｉｔ、アクセス速度１３３ＭＨｚ、メモリ容量６４ＭＢのメモリ一個の構成として、ＮＴＳＣ，ＰＡＬフォーマットに対応した通常画像と広ダイナミックレンジ画像の双方の画像を出力可能とした撮像装置が実現可能となる結果として、メモリ用量の削減、実装面積の削減、コスト削減が実現できる。

また、図１７を参照して説明したように、通常動作時と広ダイナミックレンジ動作時のメモリデータ形式が異なっていてもモード遷移時に、メモリ入力データのみを先行して切り替える制御を行うことで、データ形式が異なることによるエラー画像の出力が防止され、なめらかなモード遷移が実現できる。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例の構成によれば、画像合成による広ダイナミックレンジ画像と、画像合成を行わない通常画像を生成する撮像装置におけるメモリ利用構成の改善とスムーズなモード切り替えを実現することができる。本発明の一実施例に係る撮像装置は、撮像信号を格納するメモリと、メモリに格納された画像信号を入力して画像合成処理を実行して広ダイナミックレンジ画像を生成する画像合成部と、γ補正処理による信号変換処理を実行する画像補正部と、メモリに対する入出力経路の切り替えを伴う信号経路制御を実行する制御部を有し、制御部は、画像合成部における画像合成処理を実行しない通常画像生成時に、画像補正部による補正後の信号を前記メモリに対する書き込み読み出し信号として設定し、画像合成部における画像合成処理を実行する広ダイナミックレンジ画像生成時には、画像補正部による補正前の信号をメモリに対する書き込み読み出し信号として設定する信号経路制御を実行する。

これらの構成により、例えば、通常画像生成モードではＹＣｂＣｒ信号、広ダイナミックレンジ画像生成モードではＹＲＧＢ信号をメモリに格納する設定として、それぞれのフォーマットを定義して格納データを設定することで限られたメモリ容量を利用した効率的なメモリ利用構成が実現される。
また、通常画像生成モードと広ダイナミックレンジ画像生成モードとの切り替え時にロモリ入力データを先行して切り替えることで、出力画像を途切れさせることのないスムーズなモード遷移が実現される。

１０ 撮像装置
１１ レンズ
１２ 撮像素子
１３ アナログフロントエンド
１４ タイミングジェネレータ（ＴＧ）
１５ マイコン（制御部）
１６ 入力部
２０ 信号処理部
２１ ＹＲＧＢ生成部
２２ 第１信号処理部
２３ メモリ
２４ 画像合成部（ＷＤＲ合成）
２５ 画像補正部（γ補正）
２６ 第２信号処理部
１００ 撮像装置
１０１ レンズ
１０２ 撮像素子
１０３ アナログフロントエンド
１０４ タイミングジェネレータ（ＴＧ）
１０５ マイコン（制御部）
１０６ 入力部
１２０ 信号処理部
１２１ ＹＲＧＢ生成部
１２２ 第１信号処理部
１２３ 画像合成部（ＷＤＲ合成）
１２４ 画像補正部（γ補正）
１２５ 第２信号処理部
１２６ 第３信号処理部
１３０ メモリ
１５１ａ〜ｄ スイッチ

Claims (13)

1. 撮像信号を格納するメモリと、
   メモリに格納された画像信号を入力して画像合成処理を実行して広ダイナミックレンジ画像を生成する画像合成部と、
   γ補正処理による信号変換処理を実行する画像補正部と、
   メモリに対する入出力経路の切り替えを伴う信号経路制御を実行する制御部を有し、
   前記制御部は、
   前記画像合成部における画像合成処理を実行しない通常画像生成時には、前記画像補正部による補正後の信号を前記メモリに対する書き込み読み出し信号として設定する信号経路制御を実行し、
   前記画像合成部における画像合成処理を実行する広ダイナミックレンジ画像生成時には、前記画像補正部による補正前の信号を前記メモリに対する書き込み読み出し信号として設定する信号経路制御を実行する撮像装置。
2. 前記撮像装置は、
   撮像素子からの出力信号に対する信号処理を実行する第１信号処理部を有し、
   前記第１信号処理部は、
   輝度信号（Ｙ）９ビット、
   色信号（Ｒ，Ｇ，Ｂ）について、（Ｇ）１０ビット、（Ｒ），（Ｂ）各々９ビット、
   上記設定とした輝度（Ｙ）４に対して色信号（Ｒ，Ｇ，Ｂ）各１の比率を持つフォーマット（ｆ２）に従った信号を出力し、
   前記制御部は、
   前記画像合成部における画像合成処理を実行する広ダイナミックレンジ画像生成時に、前記フォーマット（ｆ２）に従った信号を前記メモリに対する書き込み読み出し信号として設定する信号経路制御を実行する請求項１に記載の撮像装置。
3. 前記撮像装置は、
   前記画像補正部の出力信号を入力して信号処理を実行する第２信号処理部を有し、
   前記第２信号処理部は、
   輝度信号（Ｙ）８ビット、
   色差信号（Ｃｂ，Ｃｒ）について、（Ｃｂ），（Ｃｒ）各々８ビット、
   上記設定とした輝度（Ｙ）４に対して色差信号（Ｃｂ，Ｃｒ）各２の比率、または、輝度（Ｙ）４に対して色差信号（Ｃｂ，Ｃｒ）各１の比率を持つフォーマット（ｆ１）に従った信号を出力し、
   前記制御部は、
   前記画像合成部における画像合成処理を実行しない通常画像生成時に、前記フォーマット（ｆ１）に従った信号を前記メモリに対する書き込み読み出し信号として設定する信号経路制御を実行する請求項１または２に記載の撮像装置。
4. 前記制御部は、
   前記画像合成部における画像合成処理を実行しない通常画像生成時には、
   撮像素子の出力信号を、前記第１信号処理部から前記画像補正部、さらに前記第２信号処理部と、前記メモリを経由して、撮像装置出力を生成する第３信号処理部へ入力する信号経路を設定する制御を行う請求項３に記載の撮像装置。
5. 前記制御部は、
   前記画像合成部における画像合成処理を実行する広ダイナミックレンジ画像生成時には、
   撮像素子の出力信号を、前記第１信号処理部から前記メモリ、さらに、メモリ読み出し信号を前記画像合成部に入力し、さらに、前記画像補正部と、前記第２信号処理部を経由して、撮像装置出力を生成する第３信号処理部へ入力する信号経路を設定する制御を行う請求項３または４に記載の撮像装置。
6. 前記制御部は、
   前記画像合成部における画像合成処理を実行しない通常画像生成時には、
   ２つのメモリアドレスを交互に利用して通常画像を順次メモリへ書き込み、書き込みアドレス以外のアドレスを利用して書き込みデータをメモリから読み出す処理を実行させる制御を行う請求項１〜５いずれかに記載の撮像装置。
7. 前記制御部は、
   前記画像合成部における画像合成処理を実行する広ダイナミックレンジ画像生成時には、
   ４つのメモリアドレスを順次利用して長時間露光画像（光感度画像）と短時間露光画像（低感度画像）を順次メモリへ書き込み、書き込みアドレス以外のアドレスを利用して、長時間露光画像（光感度画像）と短時間露光画像（低感度画像）をメモリから並列に読み出す処理を実行させる制御を行う請求項１〜６いずれかに記載の撮像装置。
8. 前記制御部は、
   通常画像生成処理モードと広ダイナミックレンジ画像生成処理モードとの切り替え処理時に、
   前記メモリに対する入力データを切り替え後のモードに対応するデータを入力し、
   前記メモリからの出力データを切り替え前のモードに対応するデータを出力する設定とした遷移期間を設けて、該遷移期間の経過後、前記メモリからの出力データを切り替え後のモードに対応するデータを出力する設定とする制御を行う請求項１〜７いずれかに記載の撮像装置。
9. 前記制御部は、
   切り替え後モードが広ダイナミックレンジ画像生成処理モードである場合、前記遷移期間を広ダイナミックレンジ画像の生成に必要な長時間露光画像（光感度画像）と短時間露光画像（低感度画像）の格納が終了するまでの期間とし、
   切り替え後モードが通常画像生成処理モードである場合、前記遷移期間を通常画像の生成に必要な画像の格納が終了するまでの期間とする制御を行う請求項８に記載の撮像装置。
10. 前記制御部は、
    メモリ格納データの垂直反転処理に対応したアドレス設定処理を実行する場合、
    通常画像生成処理モードと広ダイナミックレンジ画像生成処理モードとの切り替え処理時に、アドレスとデータとの対応関係を維持したアドレス設定制御を行う請求項８または９に記載の撮像装置。
11. 撮像信号を格納するメモリと、
    メモリに格納された画像信号を入力して画像合成処理を実行して広ダイナミックレンジ画像を生成する画像合成部と、
    γ補正処理による信号変換処理を実行する画像補正部と、
    メモリに対する入出力経路の切り替えを伴う信号経路制御を実行する制御部を有し、
    前記制御部は、
    前記画像合成部における画像合成処理を実行しない通常画像生成時には、前記画像補正部による補正後の信号を前記メモリに対する書き込み読み出し信号として設定する信号経路制御を実行し、
    前記画像合成部における画像合成処理を実行する広ダイナミックレンジ画像生成時には、前記画像補正部による補正前の信号を前記メモリに対する書き込み読み出し信号として設定する信号経路制御を実行する画像処理装置。
12. 画像処理装置において実行する信号処理方法であり、
    前記画像処理装置は、
    メモリに格納された画像信号を入力して画像合成処理を実行して広ダイナミックレンジ画像を生成する画像合成部と、
    γ補正処理による信号変換処理を実行する画像補正部と、
    メモリに対する入出力経路の切り替えを伴う信号経路制御を実行する制御部を有し、
    前記制御部は、
    前記画像合成部における画像合成処理を実行しない通常画像生成時には、前記画像補正部による補正後の信号を前記メモリに対する書き込み読み出し信号として設定する信号経路制御を実行し、
    前記画像合成部における画像合成処理を実行する広ダイナミックレンジ画像生成時には、前記画像補正部による補正前の信号を前記メモリに対する書き込み読み出し信号として設定する信号経路制御を実行する信号処理方法。
13. 画像処理装置において信号処理制御を実行させるプログラムであり、
    前記画像処理装置は、
    メモリに格納された画像信号を入力して画像合成処理を実行して広ダイナミックレンジ画像を生成する画像合成部と、
    γ補正処理による信号変換処理を実行する画像補正部と、
    メモリに対する入出力経路の切り替えを伴う信号経路制御を実行する制御部を有し、
    前記プログラムは、前記制御部に、
    前記画像合成部における画像合成処理を実行しない通常画像生成時には、前記画像補正部による補正後の信号を前記メモリに対する書き込み読み出し信号として設定する信号経路制御を実行させ、
    前記画像合成部における画像合成処理を実行する広ダイナミックレンジ画像生成時には、前記画像補正部による補正前の信号を前記メモリに対する書き込み読み出し信号として設定する信号経路制御を実行させるプログラム。

Images