JP2017130858A - 撮像装置及び故障検出方法、並びにプログラム及び記録媒体 - Google Patents

Abstract

【課題】通常の撮影状態を維持しながら、撮像装置の故障を検出することが可能である。
【解決手段】撮像部（１０）からの撮像画像を信号処理する信号処理部（２１）と、信号処理部（２１）から出力される画像に対して、撮像部（１０）における撮像の頻度よりも低い頻度で処理を行う低頻度処理部（２４、２８）とを備え、低頻度処理部（２４、２８）における処理で用いられる画像（Ｆ、Ｒｅ）が信号処理部（２１）で信号処理される期間又は撮像で得られる期間以外の期間を利用して故障検出処理を行う。低頻度処理部（２４、２８）は、例えば、画像合成部（２４）或いは画像認識部（２８）である。
【選択図】図１

Description

本発明は、撮像装置、及び撮像装置の故障を検出する故障検出方法に関する。本発明はさらに、故障検出方法における処理をコンピュータに実行させるためのプログラム、及び該プログラムをコンピュータに実行させるためのコンピュータ読み取り可能な記録媒体に関する。

周囲の状況を連続して撮影する撮像装置から出力された撮影画像データに基づいて、当該撮像装置の故障を検出する方法が知られている。例えば、特許文献１に開示された車両用カメラの露光制御装置では、車両が所定の運転状態にあるとき、例えば、車両のサイドブレーキがオン、ギヤの位置がニュートラルもしくはパーキング、或いは車速が所定値以下の場合に、通常の制御が中断され、カメラの診断が行われる。診断においては、撮像の露光量を増加又は減少させ、露光量の増加又は減少に応じて、画面の輝度が増加又は減少したか否かにより故障を判定する。

上記の装置では、通常の撮影が必要とされないときに診断を行うこととしており、診断中は通常の撮影は行われない。

特開２００５−７３２９６号公報（第１０頁、第１９図）

しかしながら、監視カメラ或いは車載カメラなどの、撮影を連続的に行う撮像装置では、撮影状態を維持し、撮影により得られた画像データに対して定められた処理を行う状態を維持することが望まれる。そのため、故障の判定、或いは故障の検知のために、通常の撮影を行わない時間帯を設けることは好ましくない。この理由で、特許文献１に示される故障判定方法を適用することが適切でない場合がある。

本発明の撮像装置は、
被写体からの光を受けて撮像フレーム期間毎に撮像を行う撮像部と、
前記撮像部における撮像フレーム期間毎の露光条件を制御する撮像制御部と、
前記撮像部で、それぞれの撮像フレーム期間における撮像で得られた撮像画像に対して、対応する信号処理フレーム期間に信号処理を行い、処理画像を生成する信号処理部と、
前記撮像部における撮像の頻度よりも低い頻度で前記処理画像を用いた処理を行う低頻度処理部と、
前記低頻度処理部における処理で用いられる処理画像に対応する撮像画像以外の撮像画像が前記撮像部での撮像により得られる少なくとも一つの撮像フレーム期間、又は当該撮像フレーム期間に対応する少なくとも一つの信号処理フレーム期間を利用して、前記撮像部及び前記信号処理部の少なくとも一方の故障検出処理を行う故障検出処理部とを有する
ことを特徴とする。

本発明によれば、通常の撮影状態を維持しながら、撮像装置の故障を検出することが可能である。

本発明の実施の形態１の撮像装置の構成を概略的に示す機能ブロック図である。 実施の形態１の撮像部の構成を概略的に示す機能ブロック図である。 実施の形態１の撮像装置で用いられるメモリ内の格納領域を示す図である。 低露光画像及び高露光画像の撮像の順序を概略的に示す図である。 実施の形態１における撮像部での撮像と、画像処理部内の各部における処理との関係を示す。 低露光画像の輝度ヒストグラムの一例を示す図である。 高露光画像の輝度ヒストグラムの一例を示す図である。 使用される露光条件の組合せパターンの例を示す図である。 輝度ヒストグラムから得られる特徴量と組合せパターン間の遷移との関係を規定するパターンテーブルの一例を示す図である。 一つの故障検出処理サイクル内で、既定画像利用検査のみを行う場合の、撮像部及び画像処理部の各部における動作を示す。 一つの故障検出処理サイクル内で、フレーム間相関検査のみを行う場合の、撮像部及び画像処理部における動作を示す。 一つの故障検出処理サイクル内で、既定画像利用検査及びフレーム間相関検査の双方を行う場合の、撮像部及び画像処理部における動作を示す。 本発明の実施の形態２の撮像装置の構成を概略的に示す機能ブロック図である。 実施の形態２の撮像装置で用いられるメモリ内の格納領域を示す図である。 実施の形態２における撮像部１０での撮像と、画像処理部内の各部における処理との関係を示す。 実施の形態２において、一つの故障検出処理サイクル内で、既定画像利用検査及びフレーム間相関検査の双方を行う場合の、撮像部及び画像処理部における動作を示す。 実施の形態１又は２の撮像装置の処理を実行するコンピュータの例を示すブロック図である。

実施の形態１．
図１は、本発明の実施の形態１の撮像装置１の構成を概略的に示す。この撮像装置１は、撮像部１０と、画像処理部２０と、メモリ３０とを有する。

撮像部１０は、被写体からの光を受けて、予め定められたフレーム期間毎に撮像を行って、連続するフレームの静止画像の時系列を動画として出力する。

図２は、撮像部１０の構成を概略的に示す。
図２に示されるように、撮像部１０は、撮像光学系１２、固体撮像素子１３、フロントエンド部１４及び駆動回路１５を有する。

固体撮像素子１３は、例えばベイヤ配列などの色フィルタ配列を有する単板式のイメージセンサで構成されている。

撮像光学系１２は、入射光１１を固体撮像素子１３の撮像面上に結像して光学像を形成する。

固体撮像素子１３は、撮像光学系１２により結像された光学像を光電変換してアナログ撮像信号Ｒａを生成し、フロントエンド部１４に供給する。

フロントエンド部１４は、撮像信号Ｒａに対して、相関二重サンプリング（ＣＤＳ：Ｃｏｒｒｅｌｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）処理、プログラマブル利得増幅（ＰＧＡ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｉｎ Ａｍｐｌｉｆｉｃａｔｉｏｎ）などを実行してアナログ信号を生成する。
ＣＤＳ処理は、固体撮像素子１３から出力されるアナログ撮像信号Ｒａからノイズなどの不要な成分を除去する処理である。

フロントエンド部１４は、上記のＣＤＳ処理を受けた画像信号をＡ／Ｄ変換してＲＡＷ形式のディジタル画像信号Ｆを生成する。

メモリ３０は、図３に示すように、フレームバッファ領域３０１と、露光条件テーブル格納領域３０２と、パターンテーブル格納領域３０３と、既定画像格納領域３０４と、信号処理条件格納領域３０５と、露光条件格納領域３０６と、検査データ格納領域３０７と、ヒストグラム格納領域３０９とを有する。フレームバッファ領域３０１は、低露光画像用フレームバッファ領域３０１ｓと、高露光画像用フレームバッファ領域３０１ｔとを含む。

図１に示されるように、画像処理部２０は、信号処理部２１、ヒストグラム生成部２２、撮像制御部２３、画像合成部２４、及び故障検出処理部２５を有する。
これらの構成要素２１〜２５は、バス（信号伝達路）２６を介して相互に接続されるとともに、メモリ３０とも接続されている。

信号処理部２１は、撮像部１０から出力されるディジタル画像信号Ｆに対して信号処理を行う。信号処理部２１で施される信号処理としては、色同時化処理、ノイズ低減処理、輪郭補正処理、白バランス調整処理、信号振幅調整処理、色補正処理、色空間変換などがある。信号処理部２１は、これらの処理のうちの一つ以上を行う。処理の結果、信号処理部２１からは、輝度成分と色差成分とから成るカラー画像信号Ｒｅが出力される。

ＲＡＷ形式のディジタル画像信号Ｆは、各画素について、複数の色成分のうちの一つの色成分しか持たない。色同時化処理は、すべての画素がすべての色成分を有するカラー画像信号を構成するためになされるものであり、各画素において不足している色成分を補間する処理である。例えば固体撮像素子１３の色フィルタ配列が原色系のベイヤ配列の場合には、ＲＡＷ形式のディジタル画像信号は、各画素について、赤、緑及び青のうちの一色の成分しか持たない。この場合、各画素について不足している２色の色成分が周辺画素の色成分から補間される。

信号処理部２１から出力されたカラー画像信号Ｒｅは、バス２６を介してメモリ３０のフレームバッファ領域３０１に転送される。フレームバッファ領域３０１は、バス２６により転送された、各フレームのカラー画像信号Ｒｅを記憶し、一時的に、即ち複数のフレーム期間にわたり保持（バッファリング）する。この結果フレームバッファ領域３０１には、複数のフレームのカラー画像信号が蓄えられた状態が維持される。

以下、画像信号Ｆ、Ｒｅで表される画像を同じ符号Ｆ、Ｒｅで表す。他の信号についても同様である。「画像信号」の代わりに「画像」と言う表現を用いて、信号処理部２１は、撮像部１０での撮像で得られた画像Ｆに対して信号処理を行って画像Ｒｅを生成するものであると言うことができる。他の構成要素についても同様である。
区別のため、信号処理部２１から出力される画像Ｒｅを「処理画像」と言い、撮像部１０から出力される画像Ｆを「撮像画像」と言うことがある。

ヒストグラム生成部２２は、信号処理部２１で生成され、フレームバッファ領域３０１に保持されている各フレームの処理画像Ｒｅを受け、当該処理画像Ｒｅの輝度成分の輝度ヒストグラムを生成する。
生成された輝度ヒストグラムは、メモリ３０のヒストグラム格納領域３０９に格納されるとともに、撮像制御部２３に供給される。

撮像制御部２３は、撮像部１０における撮像の際の露光条件をフレーム期間毎に制御する。
撮像制御部２３は、ヒストグラム生成部２２で生成された輝度ヒストグラムと、メモリ３０の露光条件テーブル格納領域３０２に予め格納されている露光条件テーブルＴｅｃとを用いて、撮像部１０の露光条件を制御する。
撮像制御部２３はまた、後述の故障検出処理中に、故障検出処理を終了させるべき条件が満たされたか否かの判定を行い、上記の条件が満たされたと判断したときは、故障検出処理を終了させる。

撮像制御部２３は、撮像光学系１２の絞りと、固体撮像素子１３の露光時間（電荷蓄積時間）と、フロントエンド部１４内の増幅器のゲイン（増幅率）とを個別に制御する。

撮像制御部２３は、撮像部１０の制御のため制御信号群ＥＣを撮像部１０に供給する。図２に示されるように、制御信号群ＥＣは、制御信号ＥＣａと、制御信号ＥＣｓと、制御信号ＥＣｇとを含む。

制御信号ＥＣａは、絞りの制御のためのものであり、撮像光学系１２に供給される。
制御信号ＥＣｓは、固体撮像素子１３の露光時間（電荷蓄積時間）の制御のためのものであり、駆動回路１５に供給され、駆動回路１５が、露光時間（電荷蓄積時間）の制御を行う。露光時間の制御のため、駆動回路１５は、制御信号ＥＣｓに応じて固体撮像素子１３を駆動する駆動信号を発生し、固体撮像素子１３に供給する。
制御信号ＥＣｇは、フロントエンド部１４内の増幅器のゲイン（増幅率）の制御のためのものであり、フロントエンド部１４に供給される。

撮像制御部２３は、撮像部１０に第１の露光量での撮像と第２の露光量での撮像とを交互に行わせる機能を有する。即ち、撮像制御部２３は、撮像部１０に、第１のフレーム期間において、第１の露光量で撮像を行わせ、当該第１の露光量での撮像で得られた撮像画像を出力させ、第２のフレーム期間において、第２の露光量で撮像を行わせ、当該第２の露光量での撮像で得られた撮像画像を出力させる。

第１の撮像モード、即ちＨＤＲ（ハイダイナミックレンジ）モードでは、撮像制御部２３は、第１の露光量と第２の露光量とが異なる値となるように露光条件を設定する。
第１の露光量よりも第２の露光量が大きい場合、第１の露光量での撮像を低露光撮像と言い、その撮像で得られた撮像画像を低露光画像と言い、第２の露光量での撮像を高露光撮像と言い、その撮像で得られた撮像画像を高露光画像と言う。
区別のため、低露光画像を符号「Ｆｓ」で表し、高露光画像を符号「Ｆｔ」で表す場合がある。さらにどのフレームの画像であるかを示すため、括弧付きの数字「（ｉ）」（ｉは整数）を付すこともある。低露光画像Ｆｓ及び高露光画像Ｆｔはいずれも撮像部１０から出力される画像（撮像画像）であり、両者を区別しないとき、或いは両者に共通の説明に際しては、符号「Ｆ」が用いられる。
低露光撮像と高露光撮像を交互に行う結果、低露光画像と高露光画像が交互に得られる。

図４は、ＨＤＲモードでの撮像により得られた、それぞれのフレームの低露光画像Ｆｓ（１），Ｆｓ（３），…と、それぞれのフレームの高露光画像Ｆｔ（２），Ｆｔ（４），…とを概略的に示す。

第２の撮像モード、即ち非ＨＤＲモードでは、撮像制御部２３は、第１の露光量と第２の露光量とが同じ値となるように、露光条件を設定する。

画像合成部２４は、撮像部１０により第１のフレーム期間における撮像で得られた撮像画像Ｆｓに対して、信号処理部２１で信号処理することで生成された第１の処理画像Ｒｅと、撮像部１０により第２のフレーム期間における撮像で得られた撮像画像Ｆｔに対して、信号処理部２１で信号処理することで生成された第２の処理画像Ｒｅとに基づいて合成画像Ｒｈを生成して出力する。

ＨＤＲモードにおいては、画像合成部２４は、第１の露光量での撮像で得られた撮像画像Ｆｓに対し信号処理部２１で信号処理した結果生成された処理画像Ｒｅと、第２の露光量での撮像で得られた撮像画像Ｆｔに対し信号処理部２１で信号処理した結果生成された処理画像ＲｅとをＨＤＲ合成することで、ダイナミックレンジが拡大された合成画像Ｒｈを生成して、出力する。

非ＨＤＲモードにおいては、画像合成部２４は、第１の露光量での撮像で得られた撮像画像Ｆｓに対し信号処理部２１で信号処理した結果生成された処理画像Ｒｅと、第２の露光量での撮像で得られた撮像画像Ｆｔに対し信号処理部２１で信号処理した結果生成された処理画像Ｒｅとのいずれか一方をそのまま合成画像Ｒｈとして出力する。

画像合成に用いるべき画像の特定を可能にするため、処理画像Ｒｅにフレーム番号を示すデータを付加しておくこととしても良い。この場合、画像合成部２４は、このフレーム番号を示すデータに基づいて、画像合成に用いるべき画像を特定することができる。
ここで言う「画像合成に用いるべき画像」には、ＨＤＲ合成されるべき１対の画像を指す場合もあり、選択されてそのまま合成画像Ｒｈとして用いられるべき画像を指す場合もある。

図５は、撮像装置がＨＤＲモードで動作しているときの、撮像部１０における撮像と、画像処理部２０内の各部における処理との関係を示す。図５には、８フレーム期間を１サイクルとして、各サイクル内のフレームの順番をフレーム番号として、図５の最も上の行に示している。各サイクル内のフレーム番号ｉのフレームを当該サイクル内の第ｉのフレームと言う。

図５において、撮像部１０、並びに画像処理部２０のそれぞれの処理部とで、同じ番号のフレーム期間はその開始及び終了の時刻が同じであるとは限らず、時間差があり得る。
即ち、撮像部１０で第ｉのフレーム期間における撮像で得られた撮像画像は、それより少し遅れて信号処理部２１で処理されるが、この処理が行われる期間が、撮像部１０における第ｉのフレーム期間に対応する期間であり、信号処理部２１での処理に関しての第ｉのフレーム期間であると見ることができる。
区別のため、撮像部１０での撮像に関してのフレーム期間を「撮像フレーム期間」と言い、信号処理部２１での信号処理に関してのフレーム期間を「信号処理フレーム期間」と言うことがある。

信号処理部２１で第ｉの信号処理フレーム期間における信号処理の結果生成された処理画像Ｒｅは、一旦メモリ３０に書き込まれた後読み出されてヒストグラム生成部２２に送られ、当該処理画像Ｒｅについての輝度ヒストグラムが生成されるが、この輝度ヒストグラムの生成が行われる期間が、第ｉの撮像フレーム期間及び第ｉの信号処理フレーム期間に対応する期間であり、ヒストグラム生成部２２での処理に関しての第ｉのフレーム期間であると見ることができる。
画像合成部２４では、信号処理部２１で第ｉの信号処理フレーム期間における処理の結果生成された処理画像と、それより一つ前の信号処理フレーム期間における処理の結果生成された処理画像とが合成される。この合成が行われる期間を、画像合成に関しての第ｉのフレーム期間と見ることができる。
撮像制御部２３の露光制御に関しての第ｉのフレーム期間は、第ｉの撮像フレーム期間における撮像のための露光制御が行われる期間を意味する。

図５に示されるように、奇数番目の撮像フレーム期間、即ち第１、第３、第５及び第７の撮像フレーム期間において、低露光撮像が行われて、低露光画像Ｆｓ（１）、Ｆｓ（３）、Ｆｓ（５）及びＦｓ（７）が得られ、偶数番目の撮像フレーム期間、即ち第２、第４、第６及び第８の撮像フレーム期間において、高露光撮像が行われて、高露光画像Ｆｔ（２）、Ｆｔ（４）、Ｆｔ（６）及びＦｔ（８）が得られる。そのことが図５の「撮像部１０」の行に示されている。

撮像部１０から出力された低露光画像Ｆｓと高露光画像Ｆｔとは信号処理部２１で信号処理を受けた後、メモリ３０のフレームバッファ領域３０１に一時的に保持される。
図５の「信号処理部２１」の行には、信号処理部２１で、低露光画像Ｆｓ（Ｆｓ（１）、Ｆｓ（３）、Ｆｓ（５）、Ｆｓ（７））に対する処理と、高露光画像Ｆｔ（Ｆｔ（２）、Ｆｔ（４）、Ｆｔ（６）、Ｆｔ（８））に対する処理とが交互に行われ、処理画像Ｒｅ（１）〜Ｒｅ（８）が出力されることが示されている。例えば、第１のフレーム期間の欄における「Ｆｓ（１）→Ｒｅ（１）」は、低露光画像Ｆｓ（１）に対する信号処理の結果、処理画像Ｒｅ（１）が生成されることを示す。他のフレーム期間についても同様である。

ヒストグラム生成部２２は、メモリ３０のフレームバッファ領域３０１から各フレームの処理画像Ｒｅを撮像順に読み出し、各フレームの処理画像の輝度ヒストグラムを生成し、生成された輝度ヒストグラムＨｓ、Ｈｔを表すデータ（ヒストグラムデータ）を撮像制御部２３に出力する。符号Ｈｓは、低露光画像の輝度ヒストグラムを表し、符号Ｈｔは、高露光画像の輝度ヒストグラムを表す。

図５には、ヒストグラム生成部２２で、奇数番目のフレーム期間に処理画像Ｒｅ（Ｒｅ（１）、Ｒｅ（３）、Ｒｅ（５）、Ｒｅ（７））の輝度ヒストグラムＨｓ（Ｈｓ（１）、Ｈｓ（３）、Ｈｓ（５）、Ｈｓ（７））の生成が行われ、偶数番目のフレーム期間に処理画像Ｒｅ（Ｒｅ（２）、Ｒｅ（４）、Ｒｅ（６）、Ｒｅ（８））の輝度ヒストグラムＨｔ（Ｈｔ（２）、Ｈｔ（４）、Ｈｔ（６）、Ｈｔ（８））の生成が行われることが示されている。

以下、各（或いは第ｉの）撮像フレーム期間における撮像で得られた撮像画像を「各（或いは第ｉの）フレームの撮像画像」と言い、各（或いは第ｉの）信号処理フレーム期間における信号処理で生成された処理画像を「各（或いは第ｉの）フレームの処理画像」と言い、「各（或いは第ｉの）フレームの処理画像」の輝度ヒストグラムを「各（或いは第ｉ）のフレームの輝度ヒストグラム」と言うことがある。さらに、符号「Ｆｔ」、「Ｆｓ」、「Ｒｅ」などを付すことで区別できる場合には、「各（或いは第ｉの）フレームの撮像画像」を単に「各（或いは第ｉの）フレームの画像Ｆｔ」、「各（或いは第ｉの）フレームの画像Ｆｓ」と言い、「各（或いは第ｉの）フレームの処理画像」を単に「各（或いは第ｉの）フレームの画像Ｒｅ」と言うこともある。

図６及び図７は、輝度値が８ビットで表される場合、即ち輝度値が０〜２５５の範囲の階調値で表される場合に生成される輝度ヒストグラムの例を示す。図６が低露光画像の輝度ヒストグラムＨｓの一例を示し、図７が高露光画像の輝度ヒストグラムＨｔの一例を示す。
図６及び図７において、横軸は階調値を示し、縦軸は各階調値を有する画素の出現度数を示している。

上記のように、図６及び図７に示される例では、輝度ヒストグラムとして、各階調値を有する画素の出現度数を表すものが生成される。しかし、本発明はこれに限定されない。例えば各々複数の階調値から成る複数の階級の各々について該階級内の階調値を有する画素の出現度数を表す輝度ヒストグラムが生成される場合にも本発明は適用可能である。各階調値を有する画素の出現度数を表す輝度ヒストグラムは、各階級に属する階調値の数が１である場合に相当する。

撮像制御部２３は、ヒストグラム生成部２２で生成された輝度ヒストグラムＨｓ、Ｈｔに基づいて、メモリ３０の露光条件テーブル格納領域３０２に格納されている露光条件テーブルＴｅｃを参照して、撮像部１０における撮像の際の露光条件をフレーム期間毎に決定する。
各フレームの低露光画像の撮像の際の露光条件は、直近に、即ち２フレーム期間前における撮像で得られた低露光画像から生成された輝度ヒストグラムＨｓに基づいて決定される。
一方、各フレームの高露光画像の撮像の際の露光条件は、直近に、即ち２フレーム期間前における撮像で得られた高露光画像から生成された輝度ヒストグラムＨｔに基づいて決定される。

露光条件の決定は、制御信号ＥＣａ、ＥＣｓ、ＥＣｇの値の決定を含む。
撮像制御部２３は、決定された値を有する制御信号ＥＣａ、ＥＣｓ、ＥＣｇを撮像部１０に供給して、撮像部１０を制御する。

図５の、撮像制御部２３の「露光制御」の行の、例えば第３のフレーム期間の欄における「Ｈｓ（１）→ＥＢ（３）」は、第１のフレームの輝度ヒストグラムＨｓ（１）に基づいて、第３のフレーム期間の露光条件ＥＢ（３）が決定されて、決定された露光条件を用いて露光制御が行われることを示す。同様に、第２のフレーム期間の欄における「Ｈｓ（８）→ＥＢ（２）」は、一つ前のサイクルの第８のフレームの輝度ヒストグラムＨｔ（８）に基づいて第２のフレーム期間の露光条件ＥＢ（２）が決定され、決定された露光条件を用いて露光制御が行われることを示す。他のフレーム期間についても同様である。

露光条件テーブルＴｅｃには、輝度ヒストグラムの特徴を表すデータと露光条件との対応関係が予め記憶されている。露光条件テーブルＴｅｃに記憶されている露光条件には、低露光撮像用の露光条件及び高露光撮像用の露光条件が含まれる。

露光条件の項目の一つとして、露光時間が定められる。
露光時間としては、例えば図８に示される、高露光撮像の露光時間と低露光撮像の露光時間の組合せとして、５つの組合せパターンＰ１〜Ｐ５が用意されており、それらの組合せパターンのうちのいずれかが選択される。

図８の例では、高露光撮像用の露光時間（長露光時間）は、組合せパターンＰ１〜Ｐ５の全てにおいて３２ミリ秒に固定されている。
一方、低露光撮像用の露光時間（短露光時間）は、図８に示されるように、組合せパターンによって異なり、組合せパターンＰ１で２ミリ秒、組合せパターンＰ２で４ミリ秒、組合せパターンＰ３で８ミリ秒、組合せパターンＰ４で１６ミリ秒、組合せパターンＰ５で３２ミリ秒である。

図９は、輝度ヒストグラムの特徴を表すデータ(パラメータ)と、選択されるべき組合せパターンとの関係を示すパターンテーブルＴｐｓの一例を示す。このパターンテーブルＴｐｓは、メモリ３０のパターンテーブル格納領域３０３に格納されている。

図９のパターンテーブルＴｐｓは、直近の低露光撮像時に選択された組合せパターンＰ１〜Ｐ５（遷移元パターン）と、当該撮像で得られた撮像画像（低露光画像）に対応する処理画像の輝度ヒストグラムの特徴を表す５つのパラメータＹｏ２００、Ｙｕ１００、Ｙｕ５０、Ｙｕ２５及びＹｕ１２の値とに基づいて、現在（即ち次に）選択されるべき組合せパターンＰ１〜Ｐ５（遷移先パターン）を決定するためのものである。

ここで、Ｙｏ２００は、２００以上の輝度値を有する画素の全有効画素数に対する割合（単位：パーセント）を示すパラメータである。また、Ｙｕ１００は、０〜１００の範囲内の輝度値を有する画素の全有効画素数に対する割合（単位：パーセント）を示すパラメータである。Ｙｕ５０は、０〜５０の範囲内の輝度値を有する画素の全有効画素数に対する割合（単位：パーセント）を示すパラメータである。Ｙｕ２５は、０〜２５の範囲内の輝度値を有する画素の全有効画素数に対する割合（単位：パーセント）を示すパラメータである。Ｙｕ１２は、０〜１２の範囲内の輝度値を有する画素の全有効画素数に対する割合（単位：パーセント）を示すパラメータである。

例えば、組合せパターンＰ１が選択されている状態において、パラメータＹｕ１００が９０％以上であれば、次に組合せパターンＰ２が選択される。また、組合せパターンＰ２が選択されている状態において、パラメータＹｏ２００が５０％以上であれば、次に組合せパターンＰ１が選択される。

撮像制御部２３は、直近に、即ち２フレーム期間前における撮像で得られた低露光画像の輝度ヒストグラムＨｓからパラメータＹｏ２００、Ｙｕ１００、Ｙｕ５０、Ｙｕ２５及びＹｕ１２を算出し、これらパラメータＹｏ２００、Ｙｕ１００、Ｙｕ５０、Ｙｕ２５及びＹｕ１２の値と、直近に選択された組合せパターンとに基づいて、組合せパターンＰ１〜Ｐ５の中から一つを選択する。

なお、図８及び図９の例では、高露光撮像時の露光時間は一定の３２ミリ秒に固定されているが、本発明はこれに限定されない。例えば、高露光撮像についても、低露光撮像と同様に、直近の高露光撮像時に選択された組合せパターンと、当該高露光撮像で得られた撮像画像（高露光画像）に対応する処理画像の輝度ヒストグラムの特徴を表すデータ（パラメータ）の値とから次に選択されるべき組合せパターンを既定するパターンテーブルを予め用意しておき、このパターンテーブルを用いて高露光撮像の露光条件を設定してもよい。

また、露光時間に限らず、撮像光学系１２の絞り、フロントエンド部１４内の増幅器のゲインなども露光条件として設定することが可能である。絞りが大きいほど露光量が小さくなり、露光時間が長いほど露光量が大きくなり、またゲインが大きいほど露光量が大きくなる。

上記のように、画像合成部２４は、各撮像フレーム期間の撮像で得られた高露光画像とその直前又は直後の撮像フレーム期間の撮像で得られた低露光画像とに基づいて合成画像を生成する。

図５には、第２のフレーム期間に、第２のフレームの処理画像Ｒｅ（２）と、その直前のフレーム、即ち第１のフレームの処理画像Ｒｅ（１）とが合成に用いられることが「Ｒｅ（１）＋Ｒｅ（２）→Ｒｈ（２）」により示され、他の偶数番目のフレーム期間についても同様のことが示されている。

画像合成部２４における画像合成は２フレーム期間に一度行われる。即ち、画像合成部２４における処理は、撮像部１０における撮像よりも低い頻度で行われる。従って、画像合成部２４は、撮像部１０における撮像よりも低い頻度で処理を行う低頻度処理部の一態様であるということができる。

組合せパターンＰ５が選択されているときには、高露光撮像の露光条件と、低露光撮像の露光条件とが同じになる。この状態になると、本実施の形態の撮像装置は、非ＨＤＲモードでの動作を行う。非ＨＤＲモードでは、画像合成部２４は、高露光画像及び低露光画像の一方をそのまま合成画像として出力する。

非ＨＤＲモードでの撮像においては、高露光画像と低露光画像とが同じ露光条件での撮像で得られたものとなるが、便宜上、ＨＤＲモードで用いられる「高露光画像」、「低露光画像」との表現を非ＨＤＲモードでの撮像で得られた撮像画像についても用いる。即ち、非ＨＤＲモードの撮像で得られた撮像画像のうち、ＨＤＲモードにおいて高露光撮像を行うのと同じタイミングでの（同じ撮像フレーム期間における）撮像で得られた撮像画像を、高露光画像と言い、非ＨＤＲモードの撮像で得られた撮像画像のうち、ＨＤＲモードにおいて低露光撮像を行うのと同じタイミングでの（同じ撮像フレーム期間における）撮像で得られた撮像画像を、低露光画像と言う。

このように撮像装置が非ＨＤＲモードで動作している間は、高露光画像及び低露光画像のうち、画像合成に用いられる処理画像Ｒｅに対応する撮像画像Ｆ以外の撮像画像Ｆが撮像により得られる撮像フレーム期間に対応する信号処理フレーム期間には、信号処理部２１は、画像合成で用いられる画像の生成のための処理とは別の処理を行い得ることになる。例えば、高露光画像のみから合成画像が生成される場合には、低露光画像が撮像により得られる撮像フレーム期間に対応する信号処理フレーム期間には、画像合成で用いられる画像の生成のための処理とは異なる処理を行い得ることになる。そこで本発明の一つの態様では、そのような信号処理フレーム期間のうちの１又は２以上の信号処理フレーム期間を利用して、故障検出を行うこととする。故障検出は故障検出処理部２５により行われる。
「低露光画像が撮像により得られる撮像フレーム期間に対応する信号処理フレーム期間」は、「撮像部１０から出力された低露光画像が、ＨＤＲモードであれば、信号処理部２１で処理される信号処理フレーム期間」を意味する。
「画像合成に用いられる処理画像Ｒｅに対応する撮像画像Ｆ以外の撮像画像Ｆが撮像により得られる撮像フレーム期間に対応する信号処理フレーム期間」は、「画像合成に用いられる処理画像Ｒｅが信号処理部２１で処理される信号処理フレーム期間以外の信号処理フレーム期間」と言い換えることができる。

また、撮像装置が非ＨＤＲモードで動作している間は、高露光画像及び低露光画像のうちの画像合成に用いられる処理画像Ｒｅに対応する撮像画像Ｆ以外の撮像画像Ｆの撮像のための撮像フレーム期間における露光条件は、画像合成に用いられる処理画像に対応する撮像画像の撮像のために用いられる露光条件とは別に自由に定め得ることになる。例えば、高露光画像のみから合成画像を生成する場合には、低露光画像の撮像が行われる撮像フレーム期間の露光条件は自由に定め得ることになる。そこで本発明の他の態様では、そのような撮像フレーム期間のうちの１又は２以上の撮像フレーム期間を利用して、故障検出を行うこととする。露光条件の制御は撮像制御部２３により行われ、故障検出は故障検出処理部２５により行われる。
「画像合成に用いられる処理画像Ｒｅに対応する撮像画像Ｆ以外の撮像画像Ｆの撮像のための撮像フレーム期間」は、「画像合成に用いられる処理画像Ｒｅに対応する撮像画像Ｆの撮像のための撮像フレーム期間以外の撮像フレーム期間」と言い換えることができる。

以上要するに、故障検出処理部２５は、画像合成部２４における画像合成で用いられる処理画像Ｒｅに対応する撮像画像Ｆ以外の撮像画像Ｆが撮像により得られる撮像フレーム期間のうちの１又は２以上の撮像フレーム期間、又はそのような撮像フレーム期間に対応する信号処理フレーム期間のうちの１又は２以上の信号処理フレーム期間に、撮像部１０及び信号処理部２１の少なくとも一方の故障検出処理を行う。
なお、「画像合成で用いられる処理画像Ｒｅに対応する撮像画像Ｆ」を、単に、「画像合成で用いられる撮像画像Ｆ」或いは「画像合成で用いられる画像Ｆ」と言うことがある。当該画像Ｆも、信号処理を受けたのちに画像合成で用いられるからである。

以下、故障検出処理についてより詳しく説明する。
撮像装置が非ＨＤＲモードで動作する状態になったら、撮像制御部２３は、故障検出処理部２５に対して、故障検出処理を実行するよう指示する。
図５には、撮像制御部２３の「故障検出処理開始」の行に、「Ｈｓ（１）」、「Ｈｓ（３）」、「Ｈｓ（５）」、「Ｈｓ（７）」と記入されており、これにより撮像制御部２３が、輝度ヒストグラムＨｓ（１）、Ｈｓ（３）、Ｈｓ（５）又はＨｓ（７）から得られたパラメータＹｏ２００、Ｙｕ１００、Ｙｕ５０、Ｙｕ１２に基づいて（より具体的には、組合せパターンＰ５が選択されたか否かに基づいて）故障検出処理を開始すべきか否かの判断を行うことが示されている。
故障検出処理としては、既定画像利用検査及びフレーム間相関検査の少なくとも一方が行われる。

既定画像利用検査においては、低露光画像が撮像により得られる撮像フレーム期間に対応する少なくとも一つの信号処理フレーム期間（即ち、ＨＤＲモードでは低露光撮像に対する信号処理が行われる少なくとも一つの信号処理フレーム期間）において、信号処理部２１で、低露光画像の代わりに故障検出用の（故障検出のために用意され或いは定められた）既定画像を故障検出用の処理条件で処理し、処理の結果として信号処理部２１から出力された処理画像が、期待通りのものであるか否か、即ち予め記憶されている期待画像と一致するか否かを、故障検出処理部２５で判定する。
既定画像としては、メモリ３０の既定画像格納領域３０４に記憶されているものが用いられる。故障検出用の処理条件としては、メモリ３０の信号処理条件格納領域３０５に記憶されているものが用いられる。

フレーム間相関検査においては、撮像制御部２３で低露光撮像が行われる少なくとも一つの撮像フレーム期間において、故障検出用の露光条件を用いて撮像を行い、この撮像で得られた画像と、他の撮像フレーム期間における撮像で得られた画像との間の変化が、上記の故障検出用の露光条件と、上記の他の撮像フレーム期間における露光条件との間の変化に対応するものか否か、即ち、露光条件の変化と画像の変化との間に相関があるか否かを、故障検出処理部２５で判定する。
上記の他の撮像フレーム期間は、高露光撮像が行われる撮像フレーム期間であっても良く、低露光撮像が行われる撮像フレーム期間であっても良い。

他の撮像フレーム期間が、高露光撮像が行われる撮像フレーム期間である場合には、その撮像フレーム期間における露光条件は、画像合成で用いられる画像を得るために定められるものであり、故障検出用の露光条件を、上記の他の撮像フレーム期間における露光条件を基準にして定める必要がある。上記のように、他の撮像フレーム期間における露光条件を基準にして露光条件を定める場合、例えば、上記の他の撮像フレーム期間における露光条件に対して既知の関係を有する（例えば露光量が既知の割合となる）ように、露光条件を定めれば良い。

他の撮像フレーム期間が、低露光撮像が行われる撮像フレーム期間である場合には、その撮像フレーム期間においても、上記の故障検出用の露光条件とは異なる、さらなる故障検出用の露光条件を用いることができ、従って、２つの撮像フレーム期間における故障検出用の露光条件を、両者間に、ある既知の変化が生じるように定めれば良い。

露光条件相互間の変化としては、露光条件で決まる露光量相互間の比を用いることができ、画像相互間の変化としては、画像の明るさ相互間の比を用いることができる。
相互間の変化、例えば比が求められる画像は、処理画像であっても良く、撮像画像を用いても良い。

故障検出処理を行っている間、撮像制御部２３は、ヒストグラム生成部２２で生成される輝度ヒストグラムの変化をチェックし、輝度ヒストグラムに予め定められた閾値以上の変化が生じたら、故障検出処理部２５に対して、故障検出処理の終了を指示する。

図１０は、一つの故障検出処理サイクル内で、既定画像利用検査のみを行う場合の、撮像部１０及び画像処理部２０の各部における動作を示す、図５と同様の図である。
図１０に示される例では、８フレーム期間を一つの故障検出処理サイクルとして、各故障検出処理サイクルに一度検査を行うこととしている。図１０の最も上の行の「フレーム番号」は各故障検出処理サイクル内における各フレームの順番を示す。

図１０に示される例では、図５の場合と同様に、偶数番目の撮像フレーム期間、即ち第２、第４、第６及び第８の撮像フレーム期間において、高露光撮像が行われ、奇数番目の撮像フレーム期間、即ち第１、第３、第５及び第７の撮像フレーム期間において、低露光撮像が行われる。但し、非ＨＤＲモードでは、低露光撮像の露光条件は、高露光撮像の露光条件と同じであり、低露光画像は画像合成には用いられない。

信号処理部２１は、撮像部１０から低露光画像が出力されても、それに対する信号処理を行わなくても良く、また行ったとして、その結果生成される処理画像は画像合成に用いられない。そこで、低露光画像が撮像により得られる撮像フレーム期間に対応する少なくとも一つの信号処理フレーム期間を選択し、選択した信号処理フレーム期間を利用して、既定画像利用検査が行われる。

この検査のため、撮像制御部２３は、既定画像利用検査を行うべきことを故障検出処理部２５に指示する。この指示には、既定画像利用検査を行うべきタイミングの指定、並びに検査で用いるべき既定画像の指定、及び当該既定画像に対する信号処理の条件の指定が含まれる。
上記のタイミングとしては、画像合成に用いられない、低露光画像が撮像により得られる撮像フレーム期間に対応する少なくとも一つの信号処理フレーム期間が指定される。以下では、上記のタイミングとして第３の信号処理フレーム期間が指定されたものとする。
また、上記の既定画像としては、メモリ３０の既定画像格納領域３０４に予め格納されている故障検出用の既定画像Ｆｋが指定されたものとする。
さらに、上記の信号処理の条件としては、メモリ３０の信号処理条件格納領域３０５に予め格納されている信号処理の条件が指定されたものとする。
このような指示に従って、故障検出処理部２５が既定画像利用検査を行う。

この検査において、故障検出処理部２５は、撮像制御部２３による指定に従って、メモリ３０の既定画像格納領域３０４から故障検出用の既定画像Ｆｋを読出し、第３の撮像フレーム期間における撮像で得られた撮像画像Ｆ（３）の代わりに、信号処理部２１に供給する。これとともに、故障検出処理部２５は、撮像制御部２３による指定に従って、メモリ３０の信号処理条件格納領域３０５から信号処理の条件を読出し、読み出した信号処理の条件を、信号処理部２１に設定する。

その結果、信号処理部２１は、既定画像Ｆｋに対して、設定された信号処理の条件で、信号処理を行い、処理の結果としての処理画像Ｒｅ（３）を出力する。このことが、図１０の「信号処理部２１」の行の、第３のフレーム期間の欄に「Ｆｋ→Ｒｅ（３）」で示されている。

信号処理部２１は、第３の信号処理フレーム期間以外の信号処理フレーム期間においては、図５の場合と同様に動作する。但し、第３のフレーム以外の、奇数番目のフレームの画像（低露光画像）についての信号処理の結果は、画像合成にも故障検出にも用いられない。従って、これらのフレームの画像に対する信号処理は省略しても良い。そのことを示すため、図１０の「信号処理部２１」の行の、第３のフレーム期間以外の、奇数番目のフレーム期間の欄には文字が記入されていない。
後述のヒストグラム生成部２２についても同様である。
以下では、第３のフレーム以外の奇数番目のフレームの画像については信号処理が行われず、処理画像が生成されないものとして説明する。偶数番目フレームの画像に対する信号処理は、図５の場合と同様に行われる。そのことが、図１０の「信号処理部２１」の行に、「Ｆｔ（２）→Ｒｅ（２）」などで示されている。

信号処理部２１は、信号処理の結果生成された処理画像Ｒｅ（２）、Ｒｅ（４）、Ｒｅ（６）及びＲｅ（８）、並びに処理画像Ｒｅ（３）をメモリ３０に記憶させる。このうち、処理画像Ｒｅ（２）、Ｒｅ（４）、Ｒｅ（６）及びＲｅ（８）は、フレームバッファ領域３０１に格納され、処理画像Ｒｅ（３）は検査データ格納領域３０７に格納される。

処理画像Ｒｅ（３）の検査データ格納領域３０７への書き込みが終わると、信号処理部２１は、故障検出処理部２５に対してそのこと、即ち処理完了を通知する。

ヒストグラム生成部２２は、処理画像Ｒｅ（２）、Ｒｅ（４）、Ｒｅ（６）及びＲｅ（８）をメモリ３０から読出して、順次輝度ヒストグラムＨｔ（２）、Ｈｔ（４）、Ｈｔ（６）及びＨｔ（８）を生成するほか、処理画像Ｒｅ（３）をもメモリ３０から読出し、その輝度ヒストグラムＨｋ（３）の生成を行う。
これらの輝度ヒストグラムの生成が、図１０の「ヒストグラム生成部２２」の行に「Ｒｅ（２）→Ｈｔ（２）」、「Ｒｅ（３）→Ｈｋ（３）」などで示されている。

ヒストグラム生成部２２で生成された輝度ヒストグラムはメモリ３０に蓄えられる。
このうち、輝度ヒストグラムＨｔ（２）、Ｈｔ（４）、Ｈｔ（６）及びＨｔ（８）はヒストグラム格納領域３０９に格納され、輝度ヒストグラムＨｋ（３）は検査データ格納領域３０７に格納される。
輝度ヒストグラムＨｋ（３）のメモリ３０への書き込みが完了すると、ヒストグラム生成部２２は、処理完了を故障検出処理部２５に通知する。

メモリ３０から読み出された既定画像Ｆｋの信号処理部２１への供給、信号処理部２１から出力された処理画像Ｒｅのメモリ３０への書き込み、メモリ３０から読み出された処理画像Ｒｅのヒストグラム生成部２２への供給、及びヒストグラム生成部２２で生成された輝度ヒストグラムのメモリ３０への書き込みは、バス２６を介して行われる。

故障検出処理部２５は、メモリ３０の検査データ格納領域３０７に格納されたデータ（即ち、信号処理部２１から出力された処理画像Ｒｅ（３）及びヒストグラム生成部２２で生成された輝度ヒストグラムＨｋ（３））を読出し、読み出されたデータがそれぞれ期待される通りのものであるか否かを判定する。期待される通りのものであるか否かの判定は、メモリ３０の期待値格納領域３０８に予め格納されている、それぞれの期待値との相関（類似度）をチェックすることで行われる。

画像についての相関があるか否かの判定は、例えば、処理画像Ｒｅ（３）（既定画像Ｆｋに対応する処理画像）に対して、予め定められた処理を施すことで得られる値と、予め記憶されている期待値との相関を、予め定められた閾値と比較することで行われる。
予め定められた処理を施すことで得られる値は、例えばチェックサム値である。この場合、チェックサム値の期待値がメモリ３０の期待値格納領域３０８に格納されている。なお、チェックサム値の生成規則も、メモリ３０に記憶されており、故障検出処理部２５は、メモリ３０に記憶されている生成規則に従って、処理画像Ｒｅ（３）から、チェックサム値を生成する。
チェックサム以外の、予め定められた処理を施すことで得られる値を用いる場合にも、当該予め定められた処理を表す情報がメモリ３０に記憶されている。

輝度ヒストグラムについての相関があるか否かの判定は、例えば各階調値の出現度数を比較し、比較結果をすべての階調値について総合することで行われる。

故障検出処理部２５が、第３のフレーム期間に、処理画像Ｒｅ（３）及び輝度ヒストグラムＨｋ（３）に基づいて故障検出を行うことが、図１０の故障検出処理部２５の「既定画像利用検査」の行の、第３のフレーム期間の欄に「Ｒｅ（３），Ｈｋ（３）」で示されている。

以上のようにして、メモリ３０の検査データ格納領域３０７に格納されたデータ（即ち、処理画像Ｒｅ（３）及び輝度ヒストグラムＨｋ（３））がそれぞれ期待される通りのものであると判定されたときは、撮像部１０、信号処理部２１、メモリ３０の低露光画像用フレームバッファ領域３０１ｓ、及びバス２６が正常に動作していると判断する。
期待される通りのものでないと判定されたときは、撮像部１０、信号処理部２１、メモリ３０の低露光画像用フレームバッファ領域３０１ｓ、及びバス２６のいずれかに故障があると判断する。

画像合成部２４における画像合成は高露光画像Ｆｔに対応する処理画像のみに基づいて行われる。図１０の「画像合成部２４」の行の、例えば第２のフレーム期間の欄における、「Ｒｅ（２）→Ｒｈ（２）」は、第２のフレームの処理画像Ｒｅ（２）のみから合成画像Ｒｈ（２）が生成されることを意味する。他の偶数番目のフレーム期間についても同様である。

上記のように、故障検出処理を行っている間、撮像制御部２３は、ヒストグラム生成部２２で生成される高露光画像の輝度ヒストグラムの変化をチェックする。高露光画像の輝度ヒストグラムの変化は、各フレームの高露光画像の輝度ヒストグラムをその直近の、即ち２フレーム前の高露光画像の輝度ヒストグラムと比較することで行われる。

図１０の撮像制御部２３の「故障検出処理終了」の行の例えば第２のフレーム期間の欄における「Ｈｔ（８），Ｈｔ（２）」は、第２のフレームの輝度ヒストグラムＨｔ（２）と、一つ前の故障検出処理サイクルの第８のフレームの輝度ヒストグラムＨｔ（８）とが判定に用いられることを意味する。他のフレーム期間についても同様である。

輝度ヒストグラムの変化としては、それぞれの階調値の出現度数の変化を総合的に判断することとしても良い。また、より単純な方法として、平均値、中央値、最小値と最大値の差（階調分布の幅）における変化を用いても良い。
変化としては、フレーム間の変化、即ち一つのフレームにおける値と別のフレームにおける値との差が用いられる。
「変化が生じた」とは、フレーム間での変化の量が閾値以上であることを意味する。

撮像制御部２３は、高露光画像の輝度ヒストグラムに変化が生じたら、故障検出処理部２５に対して、故障検出処理の終了を指示する。高露光画像の輝度ヒストグラムに変化が生じない場合、即ち変化の量が閾値未満である場合には、故障検出処理が続行される。

図１１は、一つの故障検出処理サイクル内で、フレーム間相関検査のみを行う場合の、撮像部１０及び画像処理部２０における動作を示す、図１０と同様の図である。

図１１に示される例では、図１０の場合と同様に、偶数番目の撮像フレーム期間、即ち第２、第４、第６及び第８の撮像フレーム期間において、高露光撮像が行われ、奇数番目の撮像フレーム期間、即ち第１、第３、第５及び第７の撮像フレーム期間において、低露光撮像が行われる。但し、非ＨＤＲモードでは、低露光撮像の露光条件は、高露光撮像の露光条件と同じであり、低露光画像は画像合成には用いられない。

そこで、低露光画像が撮像により得られる少なくとも一つの撮像フレーム期間を選択し、選択した撮像フレーム期間を利用して、フレーム間相関検査が行われる。この検査においては、選択した撮像フレーム期間における露光条件として、その直前又は直後の撮像フレーム期間（高露光撮像が行われる撮像フレーム期間）における露光条件に対して変更を加えたものを用い、上記の露光条件の変更に対応する画像が得られたか否かを、言い換えれば、露光条件の変化と、撮像により得られた画像の変化との間に相関があるか否かを、故障検出処理部２５が判定する。撮像により得られた画像は、撮像画像であっても良く、処理画像であっても良い。以下では、上記の「撮像により得られた画像」として、処理画像（撮像で得られた撮像画像に対応する処理画像）が用いられる場合について説明する。

この検査のため、撮像制御部２３は、フレーム間相関検査を行うべきことを故障検出処理部２５に指示する。この指示には、フレーム間相関検査を行うべきタイミングの指定、並びに検査のための撮像で用いるべき、故障検出用の露光条件を示す情報が含まれる。
上記のタイミングとしては、画像合成に用いられない、低露光画像が撮像により得られる少なくとも一つの撮像フレーム期間が指定される。以下では、上記のタイミングとして第７の撮像フレーム期間が指定されたものとする。
また、上記の故障検出用の露光条件として、撮像制御部２３において、第６の撮像フレーム期間における露光条件ＥＢ（６）に基づいて決定された露光条件ＥＢ（ａ）が指定されるものとする。具体的には第６の撮像フレーム期間における露光条件ＥＢ（６）に対して、予め定められた比を有する露光量を与える露光条件が指定されるものとする。撮像制御部２３は、上記のようにして故障検出用の露光条件ＥＢ（６）を決定し、決定された露光条件を故障検出処理部２５に通知する。
この指示に従って、故障検出処理部２５がフレーム間相関検査を行う。

撮像制御部２３は、第７の撮像フレーム期間以外の撮像フレーム期間における露光制御を図５の場合と同様に行うほか、上記のようにして決定された露光条件ＥＢ（ａ）で第７の撮像フレーム期間における露光制御を行う。そのために、撮像制御部２３は、決定した露光条件ＥＢ（ａ）に対応する制御信号群ＥＣを撮像部１０に供給する。

図１１には、撮像制御部２３の「露光制御」の行のうち、第７のフレーム期間の欄に「ＥＢ（ａ）」と記入されており、これにより、第７の撮像フレーム期間に露光条件ＥＢ（ａ）が用いられることが示されている。

第７の撮像フレーム期間の撮像での露光条件を上記のように定め、当該第７の撮像フレーム期間における撮像で得られた撮像画像Ｆ（ａ）と、第６の撮像フレーム期間における撮像で得られた高露光画像Ｆｔ（６）とを検査に用いる。具体的には、第６の撮像フレーム期間における露光条件ＥＢ（６）で決まる露光量と第７の撮像フレーム期間における露光条件ＥＢ（ａ）で決まる露光量との比と、第６の撮像フレーム期間の撮像で得られた撮像画像Ｆｔ（６）に対応する処理画像Ｒｅ（６）の明るさと第７の撮像フレーム期間の撮像で得られた撮像画像Ｆ(ａ）に対応する処理画像Ｒｅ（７）の明るさとの比との間に相関があるか否かを判定する。

このような判定のため、信号処理部２１は、撮像部１０から出力された撮像画像のうちの、第７のフレームの撮像画像Ｆ（ａ）以外の撮像画像に対して、通常動作時（フレーム間相関検査を行わないとき）と同様に信号処理をするほか、これらの撮像画像に対する信号処理と同様に、第７のフレームの撮像画像Ｆ（ａ）に対する信号処理を行う。
なお、信号処理部２１における信号処理の条件がフレーム毎に変わる場合には、第７のフレームの撮像画像Ｆ（ａ）に対する信号処理の条件を、第６のフレームの撮像画像Ｆｔ（６）に対する信号処理の条件と同じにする。

第７のフレーム以外の、奇数番目のフレームの画像（低露光画像）についての信号処理の結果は、画像合成にも故障検出にも用いられない。従って、これらのフレームの画像に対する信号処理は省略しても良い。そのことを示すため、図１１の「信号処理部２１」の行の、第７のフレーム期間以外の、奇数番目のフレーム期間の欄には文字が記入されていない。
後述のヒストグラム生成部２２についても同様である。
以下では、第７のフレーム以外の奇数番目のフレームの画像については信号処理が行われず、処理画像が生成されないものとして説明する。

信号処理部２１は、信号処理の結果生成された処理画像Ｒｅ（２）、Ｒｅ（４）、Ｒｅ（６）及びＲｅ（８）、並びにＲｅ（７）をメモリ３０に記憶させる。このうち、処理画像Ｒｅ（２）、Ｒｅ（４）、Ｒｅ（６）及びＲｅ（８）は、フレームバッファ領域３０１に格納され、処理画像Ｒｅ（７）は検査データ格納領域３０７に格納される。

処理画像Ｒｅ（６）及びＲｅ（７）のメモリ３０への書き込みが完了すると、信号処理部２１は、処理完了を故障検出処理部２５に通知する。

図１１には、第７の撮像フレーム期間における撮像で撮像画像Ｆ（ａ）が得られることが「Ｆ（ａ）」で示され、第７の信号処理フレーム期間に撮像画像Ｆ（ａ）に対する信号処理が行われて処理画像Ｒｅ（７）が生成されることが「Ｆ（ａ）→Ｒｅ（７）」で示されている。

ヒストグラム生成部２２は、処理画像Ｒｅ（２）、Ｒｅ（４）、Ｒｅ（６）及びＲｅ（８）をメモリ３０から読出して、順次輝度ヒストグラムＨｔ（２）、Ｈｔ（４）、Ｈｔ（６）及びＨｔ（８）を生成するほか、処理画像Ｒｅ（７）をもメモリ３０から読出し、その輝度ヒストグラムＨａ（７）の生成を行う。

これらの輝度ヒストグラムの生成が、図１１の「ヒストグラム生成部２２」の行に「Ｒｅ（２）→Ｈｔ（２）」、「Ｒｅ（７）→Ｈａ（７）」などで示されている。

ヒストグラム生成部２２で生成された輝度ヒストグラムはメモリ３０に蓄えられる。
このうち、輝度ヒストグラムＨｔ（２）、Ｈｔ（４）、Ｈｔ（６）及びＨｔ（８）はヒストグラム格納領域３０９に格納され、輝度ヒストグラムＨａ（７）は検査データ格納領域３０７に格納される。
輝度ヒストグラムＨｔ（６）及びＨａ（７）のメモリ３０への書き込みが完了すると、ヒストグラム生成部２２は、処理完了を故障検出処理部２５に通知する。

信号処理部２１から出力された処理画像Ｒｅのメモリ３０への書き込み、メモリ３０から読み出された処理画像Ｒｅのヒストグラム生成部２２への供給、及びヒストグラム生成部２２で生成された輝度ヒストグラムのメモリ３０への書き込みは、バス２６を介して行われる。

故障検出処理部２５は、メモリ３０に蓄えられたデータ（即ち、処理画像Ｒｅ（６）及びＲｅ（７）、並びに輝度ヒストグラムＨｔ（６）及びＨａ（７））を読み出し、読み出したデータと、処理画像Ｒｅ（６）及びＲｅ（７）に対応する撮像画像Ｆを得るための撮像に用いられた露光条件ＥＢ（６）、ＥＢ（ａ）を表すデータとを用いて故障の有無の判定を行う。この処理のため、撮像制御部２３で決定された露光条件ＥＢ（６）及びＥＢ（ａ）が、上記のように、故障検出処理部２５に通知される。

故障検出処理部２５は、処理画像Ｒｅ（６）と処理画像Ｒｅ（７）との間の変化が、撮像画像Ｆｔ（６）を得るための撮像の際の露光条件ＥＢ（６）と撮像画像Ｆ（ａ）を得るための撮像の際の露光条件ＥＢ（ａ）との間の変化に対して相関を有するか否かの判定を行う。

故障検出処理部２５はまた、輝度ヒストグラムＨｔ（６）と輝度ヒストグラムＨａ（７）との間の変化が、撮像画像Ｆｔ（６）を得るための撮像の際の露光条件ＥＢ（６）と撮像画像Ｆ（ａ）を得るための撮像の際の露光条件ＥＢ（ａ）との間の変化に対して相関を有するか否かの判定を行う。

例えば、露光条件の項目の一つとしての、露光時間を１／２に変更し、露光条件の他の項目（絞り、ゲイン）を同じに維持すれば、(被写体自体が変化していないと仮定すれば）画像の明るさも１／２程度になるはずである。

故障検出処理部２５は、このような既知の関係に基づいて、露光条件の変化と輝度ヒストグラムの変化との間に相関があるか否かの判定を行う。
例えば、故障検出処理部２５は、撮像によって得られた撮像画像に対応する処理画像Ｒｅ（６）及びＲｅ（７）の明るさ相互間の比が、それらの撮像で用いられた露光条件ＥＢ（６）及びＥＢ（ａ）で決まる露光量相互間の比に対し相関を有するか否かの判定を行う。
故障検出処理部２５はまた、撮像によって得られた撮像画像に対応する処理画像Ｒｅ（６）及びＲｅ（７）の輝度ヒストグラムＨｔ（６）及びＨａ（７）で示される画像の明るさ相互間の比が、それらの撮像で用いられた露光条件ＥＢ（６）及びＥＢ（ａ）で決まる露光量相互間の比に対し相関を有するか否かの判定を行う。

例えば、第７の撮像フレーム期間における露光時間を、第６の撮像フレーム期間における露光時間の１／２とし（露光条件の他の項目を同じにし）、第７のフレームの処理画像Ｒｅ（７）の明るさ又は輝度ヒストグラムＨａ（７）によって示される画像の明るさの、第６のフレームの処理画像Ｒｅ（６）の明るさ又は輝度ヒストグラムＨｔ（６）によって示される画像の明るさに対する比が、１／２又はそれに近い値である場合には、相関があるものと判断する。
明るさの比が１／２に近い値であるか否かは、算出された明るさの比と１／２との差が予め定められた閾値以下であるか否かで判断することができる。

故障検出処理部２５が、処理画像Ｒｅ（６）、Ｒｅ（７）、及び輝度ヒストグラムＨｔ（６）、Ｈａ（７）並びに露光条件ＥＢ（６）、ＥＢ（ａ）に基づいて故障検出を行うことが、図１１の故障検出処理部２５の「フレーム間相関検査」の行の、第７のフレーム期間の欄に「Ｒｅ（６）,Ｒｅ（７），Ｈｔ（６）,Ｈａ（７），ＥＢ（６）、ＥＢ（ａ）」で示されている。

以上のようにして、露光条件の変化と、撮像で得られた撮像画像に対応する処理画像における変化との間に相関があると判定されたときは、撮像部１０、信号処理部２１、メモリ３０の低露光画像用フレームバッファ領域３０１ｓ、及びバス２６が正常に動作していると判断する。
相関がないと判定されたときは、撮像部１０、信号処理部２１、メモリ３０の低露光画像用フレームバッファ領域３０１ｓ、及びバス２６のいずれかに故障があると判断する。

図１０の場合と同様に、画像合成部２４における画像合成は高露光画像Ｆｔに対応する処理画像のみに基づいて行われる。図１１の「画像合成部２４」の行の、例えば第２のフレーム期間の欄における、「Ｒｅ（２）→Ｒｈ（２）」は、第２のフレームの処理画像Ｒｅ（２）のみから合成画像Ｒｈ（２）が生成されることを意味する。他の偶数番目のフレーム期間についても同様である。

上記のように、故障検出処理を行っている間、撮像制御部２３は、ヒストグラム生成部２２で生成される高露光画像の輝度ヒストグラムの変化をチェックする。高露光画像の輝度ヒストグラムに変化が生じた場合には、撮像制御部２３は、故障検出処理部２５に故障検出処理の終了を指示する。

以上、図１０及び図１１を参照して、既定画像利用検査及びフレーム間相関検査を説明した。これらの２つの検査を相前後して行うこととしても良い。例えば、ある故障検出サイクルでは、既定画像利用検査を行い、次の故障検出処理サイクルではフレーム間相関検査を行うこととし、そのような動作を繰り返すこととしても良い。

また、既定画像利用検査及びフレーム間相関検査の一方を、複数の故障検出サイクルにわたり繰り返して行った後、他方の検査を、複数の故障検出処理サイクルにわたり繰り返し、或いは１回だけ（一つの故障検出処理サイクルでのみ）行うこととしても良い。

さらにまた、一つの故障検出処理サイクル内で、既定画像利用検査及びフレーム間相関検査の双方を行うこととしても良く、さらに、そのような動作を複数の故障検出処理サイクルにわたり繰り返すこととしても良い。

以下では、一つの故障検出処理サイクル内で、既定画像利用検査及びフレーム間相関検査の双方を行う場合についてより詳しく説明する。
撮像装置が非ＨＤＲモードで動作する状態になったら、撮像制御部２３は、既定画像利用検査及びフレーム間相関検査を行うべきことを故障検出処理部２５に指示する。

この指示には、既定画像利用検査を行うべきタイミングの指定、及びフレーム間相関検査を行うべきタイミングの指定が含まれる。既定画像利用検査を行うべきタイミングとしては、画像合成で用いられるフレームの画像以外の画像が撮像により得られる撮像フレーム期間に対応する少なくとも一つの信号処理フレーム期間が指定される。フレーム間相関検査を行うべきタイミングとしては、画像合成で用いられるフレームの画像以外の画像が撮像により得られる少なくとも一つの撮像フレーム期間が指定される。
以下では、第３の信号処理フレーム期間を利用して既定画像利用検査を行うべきこと、及び第６及び第７の撮像フレーム期間を利用してフレーム間相関検査を行うべきことが指示されたものとする。
この指示に従って、故障検出処理部２５が既定画像利用検査及びフレーム間相関検査を行う。

図１２は、一つの故障検出処理サイクル内で、既定画像利用検査及びフレーム間相関検査の双方を行う場合の、撮像部１０及び画像処理部２０における動作を示す、図１０及び図１１と同様の図である。
図１２に示される例では、８フレーム期間を一つの故障検出処理サイクルとして、各故障検出処理サイクルに一度ずつ、既定画像利用検査及びフレーム間相関検査既定画像故障検出が行われる。

図１２に示される例では、図１０及び図１１の場合と同様に、偶数番目の撮像フレーム期間、即ち第２、第４、第６及び第８の撮像フレーム期間において、高露光撮像が行われ、奇数番目の撮像フレーム期間、即ち第１、第３、第５及び第７の撮像フレーム期間において、低露光撮像が行われる。但し、非ＨＤＲモードでは、低露光撮像の露光条件は、高露光撮像の露光条件と同じであり、低露光画像は画像合成には用いられない。

図１２に示される例では、図１０の場合と同様に、第３の信号処理フレーム期間を利用して、既定画像利用検査が行われる。
また、図１１の場合と同様に、第７の撮像フレーム期間における露光条件として、故障検出用の露光条件を設定し、その撮像で得られた撮像画像Ｆ（ａ）に対応する処理画像Ｒｅ（７）と、その直前の撮像フレーム期間、即ち、第６の撮像フレーム期間の撮像で得られた高露光画像Ｆｔ（６）に対応する処理画像Ｒｅ（６）とを利用してフレーム間相関検査が行われる。

既定画像利用検査の詳細は、図１０を参照して説明したのと同様である。フレーム間相関検査の詳細は、図１１を参照して説明したのと同様である。

故障検出処理を行っているときに、ヒストグラム生成部２２により生成された高露光画像の輝度ヒストグラムに変化が生じた場合には、撮像制御部２３は、故障検出処理部２５に故障検出処理の終了を指示する。

既定画像利用検査及びフレーム間相関検査の双方を行い、これらの検出処理の結果を総合することで、故障のある部位を特定することが可能となる場合がある。例えば、フレーム間相関検査で、撮像部１０、信号処理部２１、ヒストグラム生成部２２、及びメモリ３０のいずれかに故障があると判断され、一方、既定画像利用検査の結果から、信号処理部２１、ヒストグラム生成部２２及びメモリ３０が正常であると判断された場合、これら２つの検査の結果を総合することで、撮像部１０に故障が発生していると判断することが可能となる。

本実施の形態では、露光条件の組合せパターンＰ５が選択され、画像合成に高露光画像のみが用いられる状態になったときに、低露光画像を撮像する少なくとも一つの撮像フレーム期間又は該撮像フレーム期間に対応する少なくとも一つの信号処理フレーム期間を利用して、故障検出処理を行うこととしたので、撮影状態を維持しながら、故障検出を行うことが可能である。

図１０、図１１及び図１２を参照して説明した例では、一定の長さを有する故障検出サイクルに１回、既定画像利用検査及びフレーム間相関検査の少なくとも一方を実施する。
しかしながら、本発明はこれに限定されない。例えば、各回の検査（既定画像利用検査又はフレーム間相関検査）が終了したら、故障検出処理部２５がその旨を撮像制御部２３に伝え、それに応じて直ちに或いはある時間の経過後に、撮像制御部２３が次の検査（既定画像利用検査又はフレーム間相関検査）の開始の指示を与えるようにしても良い。

この場合、上記した２つの検査（既定画像利用検査及びフレーム間相関検査）を相前後して行うには、撮像制御部２３が、２つの検査を行う順序を決め、故障検出処理部２５に対し各検査の開始の指示を与える。
以下では、既定画像利用検査を先に行う場合について具体的に説明する。

撮像制御部２３は、既定画像利用検査の開始を故障検出処理部２５に指示する。この指示には、既定画像利用検査を行うべきタイミングの指定が含まれる。故障検出処理部２５は、指示に従って既定画像利用検査を実行する。既定画像利用検査が終了すると、故障検出処理部２５は、その終了を撮像制御部２３に通知する。
この通知を受けて、撮像制御部２３は、故障検出処理部２５に、フレーム間相関検査の開始を指示する。この指示には、フレーム間相関判別を行うべきタイミングの指定が含まれる。故障検出処理部２５はこの指示に従って、フレーム間相関検査を実行する。フレーム間相関検査が終了すると、故障検出処理部２５は、その終了を撮像制御部２３に通知する。

また、上記のように、既定画像利用検査及びフレーム間相関検査を１回ずつ行う代わりに、２つの検査の少なくとも一方を複数回繰り返して行うこととしても良い。
例えば、既定画像利用検査及びフレーム間相関検査の一方を複数回繰り返して行った後、他方の検査を１回又は複数回行うこととしても良い。

故障検出処理、例えば既定画像利用検査及びフレーム間相関検査の各々を、撮像部１０、画像処理部２０、及びメモリ３０のそれぞれの故障発生率などに基づいて定められた適切な期間毎に行うこととしても良い。

例えば、既定画像利用検査及びフレーム間相関検査の少なくとも一方について、１回の検査が終了したら、故障検出処理部２５がその旨を撮像制御部２３に伝え、それに応じて予め定められた時間の経過後に、撮像制御部２３が次の検査の開始の指示を与えるようにしても良い。
また、既定画像利用検査及びフレーム間相関検査の双方を行う場合、既定画像利用検査とフレーム間相関検査とを異なる時間間隔で行うようにしても良い。

故障検出処理を適切な期間毎に行うこととすれば、過度な故障検出処理を行わずに済むので、撮像装置全体の処理量削減に繋がる。

上記の例では信号処理部２１において、故障検出用の既定画像Ｆｋに対する故障検出用の信号処理の条件は、予め定められたものとしたが、これは必ずしも、用いられる信号処理の条件が一通りであることを意味しない。
上記の信号処理の条件を変更することで、画像処理内部の特定部位の故障検出を行うこととしても良い。故障部位を特定することができれば、その後故障部位を回避するように制御を行うことが可能となる。

ここで、「特定部位」は、例えば、信号処理部２１内の諸機能のうちのいずれかと言う意味である。例えば、信号処理部２１は、上記のように、「色同時化処理、ノイズ低減処理、輪郭補正処理、白バランス調整処理、信号振幅調整処理、色補正処理及び色空間変換」を行うが、これらの処理のうちのいずれかを意味する。この場合、各処理について故障があるか否かを判定し、故障があると判定された処理を、通常動作時には実行させないこととする。

例えば、信号処理部２１の輪郭補正処理を実施した場合と、実施しなかった場合のそれぞれについて、結果として得られた処理画像を、それぞれの期待値と比較することで、輪郭補正処理における故障の有無を検出し、輪郭補正処理に故障があると検出されたら、通常動作時には、輪郭補正処理を実行させないこととする。

なおまた、信号処理部２１、ヒストグラム生成部２２、及びバス２６の各々を特定部位として、それらのうちのいずれで故障が起きたかを判定し、故障がおきたと判定された部位を通常動作時には動作させないこととしても良い。この場合、バックアップ用の信号処理部２１、ヒストグラム生成部２２及びバス２６を設けておき、故障が検出された部位についてはバックアップ用として用意されたものを用いることとしても良い。高信頼性が要求されるシステムでは、上記のようにバックアップ用の回路などを備えた構成とすることが望ましい。

上記の実施の形態では、既定画像利用検査で用いられる既定画像Ｆｋは、メモリ３０の所定の領域（既定画像格納領域３０４）に予め格納されていることとしたが、本発明はこれに限定されない。例えば、故障検出処理部２５内に、画像生成規則を予め記憶させておき、故障検出処理の開始時に故障検出処理部２５が、信号処理部２１に画像生成規則を伝え、信号処理部２１が故障検出処理部２５から伝えられた画像生成規則に従って既定画像を生成し、生成した既定画像を、メモリ３０の低露光画像用フレームバッファ領域３０１ｓに書込み、書き込んだデータを読み出すようにしても良い。画像生成規則に従って生成される既定画像の一例は、グラデーションパターン（階調値が次第に増加するパターン）である。
このような構成であれば、既定画像（Ｆｋ）を保持するための格別のメモリ領域（３０４）が不要になるとともに、通常の処理で使用されるメモリ３０の低露光画像用フレームバッファ領域３０１ｓの故障を検出することが可能となる。この場合、既定画像を指定する情報として、既定画像を生成する規則を示す情報、又は当該規則が記憶された部位例えばメモリ３０内のアドレスを示す情報を与えることとすれば良い。

上記の実施の形態では、既定画像利用検査において、既定画像を信号処理することで得られた処理画像Ｒｅと、期待値との相関の有無を判定するために、チェックサム値とその期待値とを比較している。
本発明は、これに限定されない。
例えば、画像を複数の領域に分割し、分割領域毎の輝度値の平均値或いは積算値を、予め求められた期待値と比較し、比較結果を総合的に判断することとしても良い。この場合には、上記の分割領域毎の輝度値の平均値或いは積算値が、画像に対して、「予め定められた処理を施すことで得られる値」に相当する。要するに、画像に対して、予め定められた処理を施すことで得られる値が期待値との相関をチェックすることとすれば良い。より一般的には、既定画像を処理した結果得られた処理画像と期待画像との相関の有無の判定を行うこととすれば良い。

上記の例では、非ＨＤＲモードにおいて画像合成に用いられる処理画像に対応する撮像画像が撮像により得られる一つの撮像フレーム期間（例えば第６の撮像フレーム期間）における露光条件と、非ＨＤＲモードにおいて画像合成に用いられない画像が撮像で得られる一つの撮像フレーム期間（例えば第７の撮像フレーム期間）における露光条件と、それらの撮像フレーム期間における撮像で得られた撮像画像（Ｆｔ（６）、Ｆ（ａ））とを（具体的にはそれらを信号処理することで得られた処理画像（Ｒｅ（６）、Ｒｅ（７））及びそれらの輝度ヒストグラム（Ｈｔ（６）、Ｈａ（７））とを用いてフレーム間相関検査を行っている。

代わりに、非ＨＤＲモードにおいて、画像合成に用いられない画像が撮像で得られる２つの撮像フレーム期間（例えば第５及び第７の撮像フレーム期間）における露光条件として、故障検出用に別途定められた露光条件ＥＢ（ｂ）、ＥＢ（ｃ）を用い、これらの露光条件ＥＢ（（ｂ）、ＥＢ（ｃ））と、これらの撮像フレーム期間における撮像で得られた撮像画像（Ｆ（ｂ）、Ｆ（ｃ））とを（具体的にはそれらを信号処理することで得られた処理画像（Ｒｅ（５）、Ｒｅ（７））及びそれらの輝度ヒストグラム（Ｈｃ（５）、Ｈａ（７））とを用いてフレーム間相関検査を行うこととしても良い。このような構成とすれば、撮像の際の露光条件（ＥＢ（ｂ）、ＥＢ（ｃ））を自由に定め得る（画像合成に用いられる処理画像に対応する撮像画像の撮像に対する制約を受けることなく定め得る）ので、露光条件（ＥＢ（ｂ）、ＥＢ（ｃ））を、故障検出のために最適となるように定めることができる。また、露光条件（ＥＢ（ｂ）、ＥＢ（ｃ））を予め定めて例えば、メモリ３０に記憶しておくことも可能である。この場合、露光条件を指定する情報として、露光条件の取得に必要な情報、例えば露光条件が記憶されている部位、例えばメモリ３０内のアドレスを示す情報を与えることとすれば良い。

上記の実施の形態では、高露光画像のみを用いて合成画像を生成し、低露光画像を撮像する少なくとも一つの撮像フレーム期間又は該撮像フレーム期間に対応する少なくとも一つの信号処理フレーム期間を利用して故障検出処理（フレーム間相関検査における撮像、或いは既定画像利用検査における信号処理）を行うこととしている。これは逆であっても良い。すなわち、低露光画像のみを用いて合成画像を生成し、高露光画像を撮像する少なくとも一つの撮像フレーム期間又は該撮像フレーム期間に対応する少なくとも一つの信号処理フレーム期間を利用して故障検出処理（フレーム間相関検査における撮像、或いは既定画像利用検査における信号処理）を行うこととしても良い。

また、上記の２通りの処理を交互に行うこととしても良い。そのようにすれば、例えば、信号処理部２１、ヒストグラム生成部２２、バス２６、及びメモリ３０が、高露光画像の処理或いは格納に関わる部分と、低露光画像の処理或いは格納に関わる部分とに分離可能であれば、そのいずれの部分が故障しているかの判定を行うことができる。

実施の形態２．
図１３は、本発明の実施の形態２の撮像装置１ａの構成を概略的に示す。この撮像装置１ａは、図１の撮像装置１と概して同じであるが、画像処理部２０の代わりに画像処理部２０ａを備えている。画像処理部２０ａは、画像処理部２０と概して同じであるが、ヒストグラム生成部２２の代わりに平均輝度値算出部２７が設けられ、画像合成部２４の代わりに画像認識部２８が設けられている点で異なる。

実施の形態１の撮像装置１は、ＨＤＲモードと非ＨＤＲモードのいずれかで動作するものであり、ＨＤＲモードでは露光条件がフレーム毎に切り替えられるが、本実施の形態２の撮像装置１ａではそのような切り替えは行われない。

図１３において、図１と同じ符号は同様の構成要素を示す。但し、図１３のメモリ３０は、図１４に示すように、フレームバッファ領域３０１と、露光条件テーブル格納領域３０２と、既定画像格納領域３０４と、信号処理条件格納領域３０５と、露光条件格納領域３０６と、検査データ格納領域３０７と、期待値格納領域３０８と、平均輝度値格納領域３１０とを有する。

平均輝度値算出部２７は、メモリ３０のフレームバッファ領域３０１から読み出された各フレームの処理画像Ｒｅの平均輝度値Ｙａを算出する。処理画像Ｒｅはカラー画像であり、その平均輝度値Ｙａは、処理画像Ｒｅの輝度成分の画面全体にわたる平均値である。算出された平均輝度値Ｙａは、メモリ３０の平均輝度値格納領域３１０に格納される。

撮像制御部２３は、平均輝度値算出部２７で算出された平均輝度値Ｙａとメモリ３０の露光条件テーブル格納領域３０２に予め格納されている露光条件テーブルＴｅｃとを用いて、露光条件を決定する。露光条件の決定は制御信号ＥＣａ、ＥＣｓ、ＥＣｇの値の決定を含む。撮像制御部２３は、決定された値を有する制御信号ＥＣａ、ＥＣｓ、ＥＣｇを撮像部１０に供給して撮像部１０の露光条件を制御する。

本実施の形態の撮像装置１ａの撮像制御部２３は、平均輝度値Ｙａの変動が小さくなるように撮像部１０の動作を制御して、撮像を行わせる。

信号処理部２１は、実施の形態１と同様に、撮像部１０から出力されたそれぞれのフレームの撮像画像Ｆに対して信号処理を行い、処理の結果として、それぞれのフレームの処理画像Ｒｅを生成する。処理画像Ｒｅは、メモリ３０のフレームバッファ領域３０１に蓄えられる。

画像認識部２８は、複数のフレームの処理画像Ｒｅのうちの一部のフレームの処理画像Ｒｅに対し画像認識を行う。具体的には、フレームバッファ領域３０１に蓄えられている複数のフレームの処理画像のうちの、撮像部１０において一定の時間間隔での撮像で得られたフレームの撮像画像に対応する処理画像を抽出して、画像認識を行う。
例えば、予め定められたフレーム数毎の画像を抽出する。以下では、８フレームのうちの１フレームの画像を抽出し、抽出した画像について、画像認識を行う場合について説明する。

図１５は、撮像部１０における撮像と、画像処理部２０ａ内の各部における処理との関係を示す、図５と同様の図である。

撮像部１０から出力された撮像画像Ｆは信号処理部２１で信号処理を受け、この信号処理によって生成された処理画像Ｒｅがメモリ３０のフレームバッファ領域３０１に一時的に保持される。
図１５には、信号処理部２１で、撮像画像Ｆ（Ｆ（１）〜Ｆ（８））に対する処理がそれぞれの信号処理フレーム期間に行われ、処理画像Ｒｅ（Ｒｅ（１）〜Ｒｅ（８））が出力されることが示されている。例えば、第１のフレーム期間の欄における「Ｆ（１）→Ｒｅ（１）」は、撮像画像Ｆ（１）に対する処理が行われてその結果、処理画像Ｒｅ（１）が生成されることを示す。他のフレーム期間についても同様である。

平均輝度値算出部２７は、メモリ３０のフレームバッファ領域３０１から各フレームの処理画像Ｒｅを撮像順に読み出し、各フレームの処理画像Ｒｅの平均輝度値Ｙａを算出し、算出した平均輝度値Ｙａを表すデータを撮像制御部２３に出力する。
図１５には、平均輝度値算出部２７で、それぞれのフレーム期間に、処理画像Ｒｅ（１）〜Ｒｅ（８）の平均輝度値Ｙａ（１）〜Ｙａ（８）の算出が行われることが示されている。

撮像制御部２３は、平均輝度値算出部２７で算出された平均輝度値Ｙａに基づいて、メモリ３０に格納されている露光条件テーブルＴｅｃを参照して、撮像部１０における撮像の際の露光条件を決定する。
各撮像フレーム期間における撮像の際の露光条件ＥＢ（ｉ）は、直近の、即ち一つ前のフレーム期間における撮像で得られた撮像画像Ｆを信号処理することで得られた処理画像Ｒｅの平均輝度値Ｙａ（ｉ−１）に基づいて決定される。逆に言えば、各撮像フレーム期間における撮像で得られた撮像画像Ｆを信号処理することで得られた処理画像Ｒｅの平均輝度値Ｙａ（ｉ）に基づいて次の撮像フレーム期間で用いられる露光条件ＥＢ（ｉ＋１）が決定される。
図１５の、撮像制御部２３の「露光制御」の行の第２のフレーム期間の欄における「Ｙａ（１）→ＥＢ（２）」は、第１のフレームの平均輝度値Ｙａ（１）に基づいて、第２の撮像フレーム期間の露光条件ＥＢ（２）が決定されて、決定された露光条件を用いて、第２の撮像フレーム期間における露光制御が行われることを示す。他のフレーム期間についても同様である。

画像認識部２８には、メモリ３０に格納されている処理画像Ｒｅのうちの、予め定められたフレーム数毎のフレームの処理画像Ｒｅが入力され、画像認識部２８は入力された処理画像Ｒｅに対して画像認識を行い、画像認識の結果Ｒｒを出力する。
画像認識に用いるべき処理画像Ｒｅの特定を可能にするため、処理画像Ｒｅにフレーム番号を示すデータを付加しておくこととしても良い。この場合、画像認識部２８は、このフレーム番号を示すデータに基づいて、画像認識に用いるべき処理画像Ｒｅを特定することができる。
図１５には、第３の撮像フレーム期間における撮像で得られた撮像画像Ｆ（３）に対応する処理画像Ｒｅ（３）について画像認識が行われ、認識結果Ｒｒ（３）が出力されることが「画像認識部２８」の行の、第３のフレーム期間の欄における「Ｒｅ（３）→Ｒｒ（３）」で示されている。

ここで言う画像認識には、例えば画像中の被写体の種類の判別、例えば人が含まれるか、車両が含まれるかの判定、含まれると判定された被写体の大きさの判定が含まれる。

以上のように、画像認識部２８における画像認識は、撮像部１０から出力される複数のフレームの撮像画像Ｆに対応する処理画像Ｒｅのうちの一部のフレームの処理画像Ｒｅに対して行われる。
例えば、図示の例では、撮像部１０から出力される画像のフレームレートに対し、画像認識で用いられる画像のフレームレートは１／８である。
従って、画像認識部２８は、撮像部１０における撮像よりも低い頻度で処理を行う低頻度処理部の一態様であるということができる。

なお、画像認識は定期的に行われるとは限らず、不定期的に、例えば、何らの条件が満たされたときにのみ画像認識が行われることとしても良い。
例えば、画像の明るさが大幅に変化したとき、或いはシーンチェンジが検出されたときに画像認識を行うこととしても良く、外部から指示が与えられたときにのみ画像認識が行われることとしても良い。
このような場合、画像認識に用いるべき画像の特定を可能にするため、また、画像の明るさが大幅に変化したこと、或いはシーンチェンジが検出されたことを示す情報を付加しておくこととしても良い。この場合、画像認識部２８が、この付加情報に基づいて、画像認識に用いるべき画像を特定することができる。

本実施の形態では、画像認識部２８における画像認識に用いられるフレームの処理画像Ｒｅに対応する撮像画像Ｆ以外の撮像画像Ｆが撮像で得られる少なくとも一つの撮像フレーム期間、又はこれに対応する少なくとも一つの信号処理フレーム期間を利用して故障検出を行う。

具体的には、画像認識に用いられるフレームの処理画像に対応する撮像画像以外の撮像画像が撮像により得られる撮像フレーム期間に対応する信号処理フレーム期間には、信号処理部２１は、画像認識で用いられる画像の生成のための処理とは別の処理を行い得ることになる。そこで、本発明の一つの態様では、そのような信号処理フレーム期間のうちの１又は２以上の信号処理フレーム期間を利用して、故障検出を行うこととする。故障検出は故障検出処理部２５により行われる。
「画像認識に用いられるフレームの処理画像に対応する撮像画像以外の撮像画像が撮像により得られる撮像フレーム期間に対応する信号処理フレーム期間」は、「画像認識で用いられないフレームの撮像画像が撮像部１０から出力されて、通常動作状態（故障検出を行わない状態）であれば、信号処理部２１により処理される信号処理フレーム期間」を意味し、「画像認識に用いられるフレームの処理画像が信号処理部２１で処理される信号処理フレーム期間以外の信号処理フレーム期間」と言い換えることができる。

また、画像認識に用いられる処理画像に対応する撮像画像以外の撮像画像が撮像により得られる撮像フレーム期間においては、露光条件を、画像認識で用いられる処理画像に対応する撮像画像の撮像に用いられる露光条件とは別に自由に定め得ることになる。そこで本発明の他の態様では、そのような撮像フレーム期間のうちの１又は２以上の撮像フレーム期間を利用して、故障検出用の露光条件を用いた撮像を行い、この撮像で得られる画像を利用して故障検出を行うこととする。露光条件の制御は撮像制御部２３により行われ、故障検出は故障検出処理部２５により行われる。
「画像認識に用いられる処理画像に対応する撮像画像以外の撮像画像が撮像により得られる撮像フレーム期間」は、「画像認識に用いられる処理画像に対応する撮像画像が撮像により得られる撮像フレーム期間以外の撮像フレーム期間」と言い換えることができる。

故障検出処理としては、実施の形態１と同様に、既定画像利用検査及びフレーム間相関検査の少なくとも一方が行われる。
以下では、実施の形態１に関し、図１２を参照して説明したのと同様に、８フレーム期間を一つの故障検出処理サイクルとし、各故障検出処理サイクル内で、既定画像利用検査及びフレーム間相関検査の双方を行う場合について説明する。
図１６は、そのように故障検出処理を行う場合の、撮像部１０及び画像処理部２０ａにおける動作を示す、図１５と同様の図である。
図１６の最も上の行の「フレーム番号」は各故障検出処理サイクル内における各フレームの順番を示す。

図１６に示される例では、図１５の場合と同様に、第３のフレームの処理画像Ｒｅ（３）に対して、画像認識が行われる。それ以外のフレームの処理画像Ｒｅは、画像認識には用いられない。

図１６に示される例では、第５の信号処理フレーム期間を利用して既定画像利用検査が行われる。また、第６及び第７の撮像フレーム期間を利用してフレーム間相関検査が行われる。

撮像制御部２３は、既定画像利用検査及びフレーム間相関検査を行うべきことを故障検出処理部２５に指示する。
この指示には、既定画像利用検査を行うべきタイミングの指定、検査で用いるべき既定画像の指定、及び当該既定画像に対する信号処理の条件の指定、並びにフレーム間相関検査を行うべきタイミングの指定、及び検査のための撮像で用いるべき、故障検出用の露光条件を示す情報が含まれる。
既定画像利用検査を行うべきタイミングとしては、画像認識で用いられるフレームの画像以外の画像が撮像により得られる撮像フレーム期間に対応する少なくとも一つの信号処理フレーム期間が指定される。
フレーム間相関検査を行うべきタイミングとしては、画像認識で用いられるフレームの画像以外の画像が撮像により得られる少なくとも一つの撮像フレーム期間が指定される。
以下では、第５の信号処理フレーム期間を利用して既定画像利用検査を行うべきこと、及び第６及び第７の撮像フレーム期間を利用してフレーム間相関検査を行うべきことが指示されたものとする。
この指示に従って、故障検出処理部２５が既定画像利用検査及びフレーム間相関検査を行う。

既定画像利用検査のため、故障検出処理部２５は、撮像制御部２３からの指定に従いメモリ３０の既定画像格納領域３０４に予め格納されている故障検出用の既定画像Ｆｋを読出し、第５の撮像フレーム期間における撮像で得られた撮像画像Ｆ（５）の代わりに、信号処理部２１に供給する。これとともに、故障検出処理部２５は、撮像制御部２３からの指定に従いメモリ３０の信号処理条件格納領域３０５に記憶されている、予め定められた信号処理の条件を読出し、読み出した信号処理の条件を、信号処理部２１に設定する。

その結果、信号処理部２１は、既定画像Ｆｋに対して、設定された信号処理の条件で、信号処理を行い、処理の結果としての処理画像Ｒｅ（５）を出力する。
信号処理部２１が、第５の信号処理フレーム期間に、既定画像Ｆｋに対する処理を行って、処理画像Ｒｅ（５）を出力することが、図１６の「信号処理部２１」の行の、第５のフレーム期間の欄に「Ｆｋ→Ｒｅ（５）」で示されている。

フレーム間相関検査のため、撮像制御部２３において、故障検出のための露光条件ＥＢ（ｃ）、ＥＢ（ｄ）として、予め定められ、メモリ３０の露光条件格納領域３０６に記憶されているものを用いることが指定されたものとする。
撮像制御部２３は、メモリ３０の露光条件格納領域３０６に記憶されている露光条件ＥＢ（ｄ）、ＥＢ（ｅ）を読出して、読み出した露光条件ＥＢ（ｄ）、ＥＢ（ｅ）で第６及び第７の撮像フレーム期間における撮像を行わせる。そのために、撮像制御部２３は、露光条件ＥＢ（ｄ）、ＥＢ（ｅ）に対応する制御信号群ＥＣを生成して、撮像部１０に供給する。
撮像制御部２３は、さらに、露光条件ＥＢ（ｄ）、ＥＢ（ｅ）が検査に使用されることを故障検出処理部２５に通知する。

図１６には、撮像制御部２３の「露光制御」の行のうち、第６及び第７のフレーム期間の欄に「ＥＢ（ｄ）」、「ＥＢ（ｅ）」と記入されており、これにより、第６及び第７の撮像のフレーム期間に露光条件ＥＢ（ｄ）、ＥＢ（ｅ）が用いられることが示されている。

露光条件ＥＢ（ｄ）及びＥＢ（ｅ）は互いに異なるものである。例えば露光条件ＥＢ（ｄ）に対して露光条件ＥＢ（ｅ）は露光時間が１／２であり、露光条件の他の項目（絞り、ゲイン）が同じである。

露光条件ＥＢ（ｄ）及びＥＢ（ｅ）を用いた撮像で得られた撮像画像Ｆ（ｄ）、Ｆ（ｅ）も、信号処理部２１で信号処理を受け、処理画像Ｒｅ（６）、Ｒｅ（７）が出力される。
信号処理部２１における撮像画像Ｆ（ｄ）に対する信号処理の条件と撮像画像Ｆ（ｅ）に対する信号処理の条件は互いに同じである。

図１６には、第６及び第７の撮像フレーム期間における撮像で撮像画像Ｆ（ｄ）、Ｆ（ｅ）が得られることが、「撮像部１０」の行の第６及び第７のフレーム期間の欄に「Ｆ（ｄ）」、「Ｆ（ｅ）」で示されている。
図１６にはまた、第６及び第７の信号処理フレーム期間に、撮像画像Ｆ（ｄ）、Ｆ（ｅ）に対する信号処理が行われて処理画像Ｒｅ（６）、Ｒｅ（７）が生成されることが、「信号処理部２１」の行の、第６及び第７のフレーム期間の欄に「Ｆ（ｄ）→Ｒｅ（６）」、「Ｆ（ｅ）→Ｒｅ（７）」で示されている。

第６及び第７の撮像フレーム期間以外の撮像フレーム期間においては、図１５の場合と同様に撮像が行われる。
第５〜第７の信号処理フレーム期間以外の信号処理フレーム期間においては、図１５の場合と同様に信号処理が行われる。

信号処理部２１から出力された処理画像Ｒｅ（１）〜Ｒｅ（８）は、メモリに蓄えられる。そのうち、処理画像Ｒｅ（５）〜Ｒｅ（７）は検査データ格納領域３０７に格納され、処理画像Ｒｅ（１）〜Ｒｅ（４）、及びＲｅ（８）は、フレームバッファ領域３０１に格納される。

平均輝度値算出部２７は、メモリ３０から処理画像Ｒｅ（１）〜Ｒｅ（８）を読出し、読出した処理画像Ｒｅ（１）〜Ｒｅ（８）に対して、その平均輝度値Ｙａ（１）〜Ｙａ（８）の算出を行う。
そのことが図１６の「平均輝度値算出部２７」の行に「Ｒｅ（１）→Ｙａ（１）」などで示されている。

平均輝度値算出部２７は、算出した平均輝度値Ｙａ（１）〜Ｙａ（８）のうち、平均輝度値Ｙａ（１）〜Ｙａ（４）及びＹａ（８）を表すデータを撮像制御部２３に供給し、平均輝度値Ｙａ（５）、Ｙａ（６）、Ｙａ（７）を表すデータを、メモリ３０の検査データ格納領域３０７に格納する。

メモリ３０から読み出された既定画像Ｆｋの信号処理部２１への供給、信号処理部２１から出力された処理画像Ｒｅ（１）〜Ｒｅ（８）のメモリ３０への書き込み、メモリ３０から読み出された処理画像Ｒｅ（１）〜Ｒｅ（８）の平均輝度値算出部２７への供給、及び平均輝度値算出部２７で算出された輝度平均値のメモリ３０への書き込みは、バス２６を介して行われる。

既定画像利用検査における判定のため、故障検出処理部２５は、メモリ３０の検査データ格納領域３０７に格納された処理画像Ｒｅ（５）（信号処理部２１での信号処理の結果得られた処理画像Ｒｅ（５））、及び平均輝度値算出部２７で算出された平均輝度値Ｙａ（５）がそれぞれ期待される通りのものであるか否かを判定する。期待される通りのものであるか否かの判定は、メモリ３０の期待値格納領域３０８に予め格納されている、それぞれの期待値との相関（類似度）をチェックすることで行われる。そして、相関が閾値以上であれば、信号処理部２１、平均輝度値算出部２７、及びバス２６が正常に動作していると判定する。相関が閾値未満であれば、信号処理部２１、平均輝度値算出部２７、及びバス２６のいずれかに故障があると判定する。

画像についての相関があるか否かの判定は、例えば、処理画像Ｒｅ（５）（既定画像Ｆｋに対応する処理画像）に対して、予め定められた処理を施すことで得られる値と、予め記憶されている期待値との相関を、予め定められた閾値と比較することで行われる。
予め定められた処理を施すことで得られる値は、例えばチェックサム値である。この場合、チェックサム値の期待値がメモリ３０の期待値格納領域３０８に格納されている。なお、チェックサム値の生成規則も、メモリ３０に記憶されており、故障検出処理部２５は、メモリ３０に記憶されている生成規則に従って、処理画像Ｒｅ（５）から、チェックサム値を生成する。
チェックサム以外の、予め定められた処理を施すことで得られる値を用いる場合にも、当該予め定められた処理を表す情報がメモリ３０に記憶されている。

平均輝度値についての相関があるか否かの判定は、例えば、平均輝度値と期待値との差が閾値以下であるか否かに基づいて行われる。

故障検出処理部２５が、第５のフレーム期間に、処理画像Ｒｅ（５）及び平均輝度値Ｙａ（５）に基づいて既定画像利用検査を行うことが、図１６の故障検出処理部２５の「既定画像利用検査」の行の、第５のフレーム期間の欄に「Ｒｅ（５），Ｙａ（５）」で示されている。

フレーム間相関検査における判定のため、故障検出処理部２５は、メモリ３０に蓄えられた平均輝度値Ｙａ（６）、Ｙａ（７）を表すデータを読み出し、読み出したデータと、撮像制御部２３からの通知された露光条件ＥＢ（ｄ）、ＥＢ（ｅ）とに基づいて故障の有無の判定を行う。

故障検出処理部２５が、平均輝度値Ｙａ（６）、Ｙａ（７）及び露光条件ＥＢ（ｄ）、ＥＢ（ｅ）に基づいてフレーム間相関検査を行うことが、図１６の故障検出処理部２５の「フレーム間相関検査」の行の、第７のフレーム期間の欄に「Ｙａ（６）,Ｙａ（７）,ＥＢ（ｄ）、ＥＢ（ｅ）」で示されている。

故障検出処理部２５は、露光条件ＥＢ（ｄ）、ＥＢ（ｅ）相互間の変化と、平均輝度値Ｙａ（６）、Ｙａ（７）相互間の変化との間に相関があるか否かの判定を行う。

例えば、露光条件ＥＢ（ｄ）の露光条件に対して露光条件ＥＢ（ｅ）の露光時間が１／２で、露光条件ＥＢ（ｄ）及びＥＢ（ｅ）の他の項目（絞り、ゲイン）が同じであれば、平均輝度値Ｙａ（７）は、平均輝度値Ｙａ（６）に対して１／２程度となるはずである。

故障検出処理部２５は、このような既知の関係に基づいて、露光条件相互間の変化と平均輝度値相互間の変化との間に相関があるか否かの判定を行う。
例えば、故障検出処理部２５は、露光条件ＥＢ（ｄ）、ＥＢ（ｅ）で決まる露光量相互間の比と、平均輝度値Ｙａ（６）、Ｙａ（７）相互間の比との間に相関があるか否かの判定を行う。
平均輝度値Ｙａ（６）、Ｙａ（７）はそれぞれ画像Ｒｅ（６）、Ｒｅ（７）の明るさを表すものであり、従って、上記の判定は、露光条件ＥＢ（ｄ）、ＥＢ（ｅ）で決まる露光量相互間の比と、平均輝度値Ｙａ（６）、Ｙａ（７）で表される画像Ｒｅ（６）、Ｒｅ（７）の明るさ相互間の比との間に相関があるか否かの判定と言い換えることができる。

以上のようにして、露光条件の変化と、撮像で得られた撮像画像に対応する処理画像の平均輝度値における変化との間に相関があると判定されたときは、撮像部１０、信号処理部２１、メモリ３０のフレームバッファ領域３０１、及びバス２６が正常に動作していると判断する。
逆に、相関がないと判断されたときは、撮像部１０、信号処理部２１、メモリ３０のフレームバッファ領域３０１、及びバス２６のいずれかに故障があると判断する。

上記のように第６及び第７の撮像フレーム期間での撮像を故障検出用に別途定められた露光条件で行う場合には、その直後の撮像フレーム期間、即ち、第８の撮像フレーム期間では、直前の撮像フレーム期間（第７の撮像フレーム期間）での撮像で得られた撮像画像に対応する処理画像の平均輝度値Ｙａに基づいて露光条件を定めることが適切でない。そこで、本実施の形態では、第６の撮像フレーム期間の前の撮像フレーム期間、即ち第５の撮像フレーム期間で用いたのと同じ露光条件ＥＢ（５）を、第８の撮像フレーム期間でも用いる。図１６には、そのことが「ＥＢ（５）→ＥＢ（８）」により示されている。

上記の例では、２つの撮像フレーム期間、例えば、第６及び第７の撮像フレーム期間における露光条件として、故障検出用に別途用意された露光条件を用いて、相関判別を行うこととしている。代わりに、２つの撮像フレーム期間のうちの一方では、通常の撮像と同様に、被写体の明るさに基づいて定められた露光条件で撮像を行い、２つの撮像フレーム期間のうちの他方では、当該露光条件を基準として定められた露光条件を用いて撮像を行い、これら２つの撮像フレーム期間相互間での露光条件で決まる露光量相互間の比と、これら２つの撮像フレーム期間での撮像で得られた撮像画像に対応する処理画像の明るさ、例えばその平均輝度値相互間の比との間に相関があるか否かの判定をすることとしても良い。被写体の明るさに基づいて定められた露光条件を基準として定められた露光条件としては、例えば被写体の明るさに基づいて定められた露光条件に対して既知の関係を有する（例えば露光量が既知の割合である）露光条件を用いることができる。

故障検出処理部２５が上記のように故障検出処理を行っている間、撮像制御部２３は、故障検出処理を終了させるべき条件が成立したか否かを監視する。具体的には、各故障検出処理サイクルの第１〜第４のフレーム期間における撮像で得られた撮像画像（第１〜第４のフレームの画像）に対応する処理画像の平均輝度値Ｙａ（１）〜Ｙａ（４）に基づいて平均輝度値に変化が生じたか否かの判定を行う。

例えば、第１及び第２のフレームの処理画像の平均輝度値Ｙａ（１）及びＹａ（２）の平均値と、第３及び第４のフレームの処理画像の平均輝度値Ｙａ（３）及びＹａ（４）の平均値と差が閾値以上であれば、変化が生じたと判定する。

平均輝度値に変化が生じたと判定されたときは、撮像制御部２３は、故障検出処理部２５に対して、故障検出処理の終了を指示し、故障検出処理部２５はこれに従って、故障検出処理を終了する。

故障検出処理を終了すべき条件が成立したか否かの判定は、既定画像利用検査で用いられる処理画像（上記の例では、第５のフレームの処理画像Ｒｅ（５））、及び故障検出のための露光条件での撮像で得られた撮像画像に対応する処理画像（上記の例では、第６及び第７のフレームの処理画像Ｒｅ（６）及びＲｅ（７））以外の画像（上記の例では、処理画像Ｒｅ（１）、Ｒｅ（２）、Ｒｅ（３）、Ｒｅ（４）及びＲｅ（８）のいずれか）の平均輝度値を用いる必要がある。

図１６を参照して、一つの故障検出処理サイクル内で、既定画像利用検査及びフレーム間相関検査の双方を行う場合の、撮像部及び画像処理部における動作を説明したが、実施の形態１に関して説明したように、既定画像利用検査及びフレーム間相関検査の一方のみを行うこととしても良く、一つの故障検出サイクルで既定画像利用検査を行い、別の故障検出サイクルでフレーム間相関検査を行うようにしても良く、既定画像利用検査及びフレーム間相関検査の一方を複数回繰り返した後、他方を複数回繰り返すこととしても良い。

また実施の形態２でも、実施の形態１と同様にヒストグラム生成部を設け、既定画像利用検査及びフレーム間相関検査で、輝度ヒストグラムを利用することとしても良い。
実施の形態１に関して説明した、上記以外の変形例も、実施の形態２にも適用し得る。

実施の形態２では、画像認識で用いられないフレームの処理画像に対応する撮像画像が撮像により得られる撮像フレーム期間、或いはそのような撮像フレーム期間に対応する信号処理フレーム期間に、故障検出処理を行うこととしたので、画像認識を継続しながら、撮像装置の故障検出を行うことが可能となる。

以上実施の形態１では、撮像部１０における第１の露光量での撮像で得られた撮像画像Ｆに対して、信号処理部２１で信号処理することで生成された処理画像Ｒｅと、撮像部１０における第２の露光量での撮像で得られた撮像画像Ｆに対して、信号処理部２１で信号処理することで生成された処理画像Ｒｅとを、画像合成部２４で合成して合成画像Ｒｈを生成する構成について説明し、実施の形態２では、撮像部１０による撮像で得られた複数のフレームの撮像画像Ｆを信号処理部２１で信号処理することで得られる複数のフレームの処理画像Ｒｅのうちの一部のフレームの処理画像Ｒｅに対し、画像認識部２８で画像認識を行う構成について説明した。
画像合成部２４及び画像認識部２８は、いずれも、撮像部１０における撮像の頻度よりも低い頻度で、処理画像Ｒｅを用いた処理を行う点で共通であり、各々低頻度処理部の一態様であると見ることができる。
しかしながら、本発明は、上記の構成に限定されず、画像合成部２４及び画像認識部２８以外の、撮像部１０における撮像の頻度よりも低い頻度で、処理画像Ｒｅを用いた処理を行う、低頻度処理部が用いられる構成において適用可能である。

以上本発明を撮像装置として説明したが、上記の撮像装置で実施される画像処理方法、特にその故障検出方法もまた本発明の一部を成す。

以上実施の形態１及び２において、画像処理部２０、２０ａ各部分（機能ブロックとして図示した部分）は、処理回路により実現される。処理回路は、専用のハードウェアであっても、メモリに格納されるプログラムを実行するＣＰＵであっても良い。
例えば、図１又は図１３の各部分の機能をそれぞれ別個の処理回路で実現してもよいし、複数の部分の機能をまとめて一つの処理回路で実現しても良い。

処理回路がＣＰＵの場合、画像処理部の各部分の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア或いはファームウェアはプログラムとして記述され、メモリに格納される。処理回路は、メモリに記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、画像処理部は、処理回路により実行されるときに、図１又は図１３に示される各部分の機能が、結果的に実行されることになるプログラムを格納するためのメモリを備える。また、これらのプログラムは、画像処理部で実施される画像処理方法、特にその故障検出方法における処理、或いはその手順をコンピュータに実行させるものであるともいえる。

なおまた、画像処理部の各部分の機能のうち、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしても良い。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。

図１７に上記の処理回路がＣＰＵであって、単一のＣＰＵを含むコンピュータ（符号５０で示す）で画像処理部及びメモリのすべての機能を実現する場合の構成の一例を、撮像部１０とともに示す。コンピュータ５０と撮像部１０とで撮像装置が構成されている。
図１７に示されるコンピュータ５０は、ＣＰＵ５１と、メモリ５２と、第１のインターフェース５３と、第２のインターフェース５４とを備え、これらはバス５５で接続されている。
第１のインターフェース５３には、撮像部１０からの撮像画像Ｆを表す信号が入力される。また、第１のインターフェース５３を介して制御信号群ＥＣが撮像部１０に供給される。

ＣＰＵ５１は、メモリ５２に記憶されたプログラムに従って動作し、第１のインターフェース５３を介して入力された映像信号に対して、実施の形態１又は２の画像処理部の各部の処理を行って、処理の結果得られた出力信号を第２のインターフェース５４から出力する。

ＣＰＵ５１による処理の内容は、実施の形態１又は２で説明したのと同様である。メモリ５２は、メモリ３０の役割を果たす。

本発明の撮像装置の画像処理部で実施される画像処理方法、特にその故障検出方法、画像処理部の各部分の処理、或いは画像処理方法、特にその故障検出方法における各処理をコンピュータに実行させるプログラム及び該プログラムを記録したコンピュータで読取り可能な記録媒体についても、画像処理部について述べたのと同様の効果が得られる。従って、これらのプログラム及び記録媒体も本発明の一部を成す。

１、１ａ 撮像装置、 １０ 撮像部、 １２ 撮像光学系、 １３ 固体撮像素子、 １４ フロントエンド部、 ２０、２０ａ 画像処理部、 ２１ 信号処理部、 ２２ ヒストグラム生成部、 ２３ 撮像制御部、 ２４ 画像合成部、 ２５ 故障検出処理部、 ２６ バス、 ２７ 平均輝度値算出部、 ２８ 画像認識部、 ３０ メモリ。

Claims (16)

1. 被写体からの光を受けて撮像フレーム期間毎に撮像を行う撮像部と、
   前記撮像部における撮像フレーム期間毎の露光条件を制御する撮像制御部と、
   前記撮像部で、それぞれの撮像フレーム期間における撮像で得られた撮像画像に対して、対応する信号処理フレーム期間に信号処理を行い、処理画像を生成する信号処理部と、
   前記撮像部における撮像の頻度よりも低い頻度で前記処理画像を用いた処理を行う低頻度処理部と、
   前記低頻度処理部における処理で用いられる処理画像に対応する撮像画像以外の撮像画像が前記撮像部での撮像により得られる少なくとも一つの撮像フレーム期間、又は当該撮像フレーム期間に対応する少なくとも一つの信号処理フレーム期間を利用して、前記撮像部及び前記信号処理部の少なくとも一方の故障検出処理を行う故障検出処理部とを有する
   撮像装置。
2. 前記信号処理部は、前記低頻度処理部における処理で用いられる処理画像に対応する撮像画像以外の撮像画像が前記撮像部での撮像で得られる撮像フレーム期間に対応する少なくとも一つの信号処理フレーム期間に、前記撮像部での撮像で得られた撮像画像の代わりに、故障検出用の画像の供給を受け、供給された画像に対し、故障検出用の処理条件で信号処理を行い、
   前記故障検出処理部は、前記故障検出用の画像に対して信号処理を行った結果生成された処理画像が、期待される通りのものであるか否かの判定を行う
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記故障検出用の画像を記憶するメモリをさらに有し、
   前記故障検出処理部は、前記メモリから前記故障検出用の画像を読み出して前記故障検出用の画像として前記信号処理部に供給する
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記信号処理部が、故障検出用の画像を生成する規則に従って、前記故障検出用の画像を生成する
   ことを特徴とする請求項２に記載の撮像装置。
5. 前記故障検出処理部は、前記故障検出用の画像に対して、信号処理を行った結果生成された処理画像に対して、予め定められた処理を施すことで得られる値と、予め記憶されている期待値との相関が、予め定められた閾値以上であるか否かにより故障の有無を判定することを特徴とする請求項３又は４に記載の撮像装置。
6. 前記撮像制御部は、前記低頻度処理部における処理で用いられる処理画像に対応する撮像画像以外の撮像画像が前記撮像部での撮像により得られる撮像フレーム期間に、前記撮像部に、故障検出用の露光条件で撮像を行わせ、
   前記故障検出処理部は、前記故障検出用の露光条件での撮像で得られた画像と、他の撮像フレーム期間における撮像で得られた画像との間の変化が、前記故障検出用の露光条件と、前記他の撮像フレーム期間における露光条件との間の変化に対応するものであるか否かの判定を行う
   ことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 前記撮像制御部は、前記判定として、前記故障検出用の露光条件での撮像で得られた画像の明るさと、他の撮像フレーム期間における撮像で得られた画像の明るさとの比と、前記故障検出用の露光条件で決まる露光量と、前記他の撮像フレーム期間における露光条件で決まる露光量との比との間に相関があるか否かの判定を行う
   ことを特徴とする請求項６に記載の撮像装置。
8. 前記他の撮像フレーム期間が、前記低頻度処理部における処理で用いられる処理画像に対応する撮像画像が撮像により得られる撮像フレーム期間であり、
   前記撮像制御部は、
   前記故障検出用の露光条件を、前記他の撮像フレーム期間における露光条件を基準として定める
   ことを特徴とする請求項６又は７に記載の撮像装置。
9. 前記他の撮像フレーム期間が、前記低頻度処理部における処理で用いられる処理画像に対応する撮像画像以外の撮像画像が撮像により得られる撮像フレーム期間であり、
   前記撮像制御部は、前記他の撮像フレーム期間における露光条件として、前記故障検出用の露光条件とは異なる、さらなる故障検出用の露光条件を用いる
   ことを特徴とする請求項６又は７に記載の撮像装置。
10. 前記画像の明るさが、前記画像の輝度ヒストグラムで示される画像の明るさであることを特徴とする請求項７に記載の撮像装置。
11. 前記画像の明るさが、前記画像の平均輝度値で表される明るさであることを特徴とする請求項７に記載の撮像装置。
12. 前記低頻度処理部が、
    第１の撮像フレーム期間に前記撮像部での撮像により得られた撮像画像に対して、前記信号処理部で信号処理することで生成された第１の処理画像と、第２の撮像フレーム期間に前記撮像部での撮像により得られた撮像画像に対して、前記信号処理部で信号処理することで生成された第２の処理画像とに基づいて合成画像を生成して出力する画像合成部であり、
    第１の撮像モードでは、
    前記撮像制御部は、前記撮像部に、前記第１の撮像フレーム期間における露光量と前記第２の撮像フレーム期間における露光量とが互いに異なる値となるように露光条件を設定して撮像を行わせ、
    前記画像合成部は、前記第１の処理画像と前記第２の処理画像とを合成して、前記合成画像としてダイナミックレンジが拡大された画像を出力し、
    第２の撮像モードでは、
    前記画像合成部は、前記第１の処理画像をそのまま前記合成画像として出力し、
    前記故障検出処理部は、前記第２の撮像フレーム期間、又は前記第２の撮像フレーム期間に対応する信号処理フレーム期間を利用して、前記故障検出処理を行う
    ことを特徴とする請求項１から１１のいずれか１項に記載の撮像装置。
13. 前記低頻度処理部が、
    前記撮像部による撮像で得られた複数のフレームの撮像画像をそれぞれ前記信号処理部で信号処理することで得られる複数のフレームの処理画像のうちの一部のフレームの処理画像に対し画像認識を行う画像認識部であり、
    前記故障検出処理部は、前記複数のフレームの処理画像のうち、前記画像認識で用いられるフレームの処理画像に対応する撮像画像以外の撮像画像が前記撮像部での撮像により得られる少なくとも一つの撮像フレーム期間、又は当該撮像フレーム期間に対応する少なくとも一つの信号処理フレーム期間を利用して、前記故障検出処理を行う
    ことを特徴とする請求項１から１１のいずれか１項に記載の撮像装置。
14. 被写体からの光を受けて撮像フレーム期間毎に撮像を行う撮像部と、
    前記撮像部における撮像フレーム期間毎の露光条件を制御する撮像制御部と、
    前記撮像部で、それぞれの撮像フレーム期間における撮像で得られた撮像画像に対して、対応する信号処理フレーム期間に信号処理を行い、処理画像を生成する信号処理部と、
    前記撮像部における撮像の頻度よりも低い頻度で前記処理画像を用いた処理を行う低頻度処理部とを有する撮像装置において、
    前記低頻度処理部における処理で用いられる処理画像に対応する撮像画像以外の撮像画像が前記撮像部での撮像により得られる少なくとも一つの撮像フレーム期間、又は当該撮像フレーム期間に対応する少なくとも一つの信号処理フレーム期間を利用して、前記撮像部及び前記信号処理部の少なくとも一方の故障検出処理を行う
    ことを特徴とする故障検出方法。
15. 請求項１４に記載の故障検出方法の処理をコンピュータに実行させるためのプログラム。
16. 請求項１５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images