JP2004048455A - 撮像システム - Google Patents

Abstract

【課題】画像の濃度状態に応じて自動露光制御と二重露光制御とを切り換え、夜間、対向車のヘッドランプなど強い光源があってもブルーミングを抑制し、鮮明な画像出力を可能としながら、強い光源が無い場合もちらつきの無い鮮明な画像出力を可能とする。
【解決手段】前方に赤外光を照射するためのＩＲランプと、前方を撮像して電気信号に変換するＣＣＤカメラ５と、ＣＣＤカメラ５の信号蓄積時間が一定周期の画像を連続して周期的に出力する自動露光制御とＣＣＤカメラ５の信号蓄積時間を所定の周期で変化させて露光量の異なる画像を連続して周期的に出力する二重露光制御とに切換可能な画像処理ユニット７とを備え、画像処理ユニット７は、画像の濃度状態に応じて自動露光制御と二重露光制御とを切り換えることを特徴とする。
【選択図】　　　図２

Description

【０００１】
【発明の属する技術分野】
本発明は、ＣＣＤカメラ等を用いた撮像システムに関する。
【０００２】
【従来の技術】
従来の撮像システムとしては、例えば図１３に示すようなものがある。この図１３では、撮像手段としてＣＣＤカメラ１０１を備え、画像処理部としてＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｅｒ）１０３及びＣＰＵ１０５を備えている。
【０００３】
前記ＣＰＵ１０５とＤＳＰ１０３とはマルチプレクス回路１０７を介して接続され、ＣＰＵ１０５にはシャッタースピード設定スイッチ１０９からの信号が入力されるようになっている。シャッタースピード設定スイッチ１０９は、ＯＤＤ（奇数番目）フィールド用のシャッタースピードとＥＶＥＮ（偶数番目）フィールド用のシャッタースピードとをそれぞれ設定できるようになっている。
【０００４】
すなわちシャッタースピード設定スイッチ１０９の設定状態をＣＰＵ１０５で読み取り、各フィールドのシャッタースピード設定値をエンコード出力する。ＤＳＰ１０３からは図１４で示すフィールドパルス信号が出力され、出力信号がハイの場合はＥＶＥＮ側のシャッタースピード設定値出力が、ローの場合はＯＤＤ側のシャッタースピード設定値出力が、マルチプレクス回路１０７によってＤＳＰ１０３のシャッタースピード設定入力端子に入力される。従って、図１３のような撮像システムによってフィールド毎に異なるシャッタースピードを設定することができる。
【０００５】
【発明が解決しようとする課題】
一般に、ＣＣＤカメラで撮影する場合、ＯＤＤフィールド、ＥＶＥＮフィールド共にシャッタースピードが同じである自動シャッタースピードのとき、図１５のように周囲が暗い状態の中に強く明るい光源が入るとその光源周辺がブルーミング（ハレーション）によって見えなくなる。この図１５は、自動車の夜間走行中に赤外光照射手段であるＩＲランプで前方に赤外光を照射し、車載のＣＣＤカメラで走行前方を撮像した画像である。対向車のヘッドランプやガソリンスタンドの照明等の明るい光源の周辺がブルーミングによって見えなくなっている。これは自動シャッタスピードでは、画面全体の暗さを平均して出力するようにコントロールされるためである。シャッタースピードを高速にしてブルーミング（ハレーション）を抑えるようにすることもできるが、この場合は図１６のように、背景が全く見えなくなってしまう。
【０００６】
これに対し、前記の各フィールド毎にシャッタースピードを変える前記図１３の制御は、いわゆる二重露光制御と言われているもので、フィールド毎に異なるシャッタースピードを設定している。これにより、明るい映像と暗い映像とを交互に出力し、明るい映像（この場合はＯＤＤフィールド）では暗くて見えなくなった部分を映し出し、暗い映像（この場合はＥＶＥＮフィールド）ではブルーミング（ハレーション）で見えなかった部分を映し出すことが可能となる。
【０００７】
そして、各フィールド画像を交互に出力し、図１７のように鮮明な映像としてモニタに表示させることができる。
【０００８】
しかし、前記単純な二重露光制御では、各フィールドの一方は明るい映像、他方は暗い映像となり、これらを交互に表示することになり、モニタ上でちらつきを招くという問題がある。
【０００９】
一方、図１８のように強く明るい光源が無く全体的に同じような明るさの画面の場合には、自動露光制御が的確に働き、ちらつきの無い鮮明な映像をモニタに表示させることができる。
【００１０】
従って、常に二重露光制御を行わせる撮像システムでは、自動露光制御が的確に働き鮮明な映像をモニタに表示させることができる状況にありながら二重露光制御が行われてしまい、却って画面のちらつきを招くという問題があった。
【００１１】
本発明は、画像の濃度状態に応じて自動露光制御と二重露光制御とを切り換えることのできる撮像システムの提供を課題とする。
【００１２】
【課題を解決するための手段】
請求項１の発明は、赤外光を照射するための赤外光照射手段と、前記赤外光照射手段により照射された場所を撮像して電気信号に変換する撮像手段と、前記撮像手段の信号蓄積時間が所定周期の露光量が同じ画像を連続して周期的に出力する自動露光制御と前記撮像手段の信号蓄積時間を所定の周期で変化させて露光量の異なる画像を連続して周期的に出力する二重露光制御とに切換可能な画像処理部とを備え、前記画像処理部は、前記画像の濃度状態に応じて前記自動露光制御と前記二重露光制御とを切り換えることを特徴とする。
【００１３】
請求項２の発明は、請求項１記載の撮像システムであって、前記画像処理部は、前記画像の明るいエリアが明るい基準となる濃度閾値を上回り且つその面積が切り換えの基準となる面積閾値を上回るとき前記自動露光制御から二重露光制御へ切り換えることを特徴とする。
【００１４】
請求項３の発明は、請求項１又は２記載の撮像システムであって、前記画像処理部は、前記二重露光制御のとき前記露光量の異なる画像を縦方向に伸長させると共に伸長後の両画像の信号レベルを平均化することで合成した画像形成を行わせることを特徴とする。
【００１５】
請求項４の発明は、請求項３記載の撮像システムであって、前記画像処理部は、縦方向に隣接する画素の信号レベルの平均値を間に挿入して前記伸長を行うことを特徴とする。
【００１６】
請求項５の発明は、請求項１〜４の何れかに記載の撮像システムであって、前記赤外光照射手段、撮像手段、及び画像処理部は、自動車に備えられ、前記赤外光照射手段は、前記自動車の外方に赤外光を照射し、前記撮像手段は、前記自動車の外方を撮像することを特徴とする。
【００１７】
【発明の効果】
請求項１の発明では、赤外光照射手段によって赤外光照射することができる。撮像手段は赤外光照射手段により照射された場所を撮像して、電気信号に変換することができる。画像処理部では画像の濃度状態に応じて自動露光制御と二重露光制御とを切り換えることができる。前記自動露光制御では、前記撮像手段の信号蓄積時間が所定周期の露光量が同じ画像を連続して周期的に出力することができる。前記二重露光制御では、前記撮像手段の信号蓄積時間を所定の周期で変化させて露光量の異なる画像を連続して周期的に出力することができる。
【００１８】
従って、強く明るい光源がなく全体的に同じような明るさの画面の場合には、自動露光制御を的確に働かせ、ちらつきの無い鮮明な画像出力を行わせることができる。周囲が暗い状態の中に強く明るい光源が入る状況では、二重露光制御によって、明るい映像では暗くて見えない部分、暗い映像ではブルーミング（ハレーション）で見えない部分をともに映し出すことができ、鮮明な画像出力を行わせることができる。
【００１９】
請求項２の発明では、請求項１の発明の効果に加え、前記画像処理部は、前記画像の明るいエリアが明るい基準となる濃度閾値を上回り且つその面積が切り換えの基準となる面積閾値を上回るとき前記自動露光制御から二重露光制御へ切り換えることができる。従って、濃度閾値及び面積閾値を用いることにより、自動露光制御と二重露光制御とを的確に切り換えることができる。
【００２０】
請求項３の発明では、請求項１又は２の発明の効果に加え、前記画像処理部は、前記二重露光制御のとき前記露光量の異なる画像を縦方向に伸長させると共に伸長後の両画像の信号レベルを平均化することで合成した画像形成を行わせることができる。
【００２１】
従って、二重露光制御によって、明るい映像の暗くて見えなかった部分、暗い映像のブルーミング（ハレーション）で見えなかった部分をともに映し出すことができながら、出力画像上に露光量の違いによる境目やちらつきができるのが抑制され、より鮮明な画像出力を行うことができる。
【００２２】
請求項４の発明は、請求項３の発明の効果に加え、前記画像処理部は、縦方向に隣接する画素の信号レベルの平均値を間に挿入して前記伸長を行うため、画像の伸長を無理なく行わせることができ、より鮮明な画像出力を行わせることができる。
【００２３】
請求項５の発明では、請求項１〜４の何れかの発明の効果に加え、前記赤外光照射手段、撮像手段及び画像処理部は自動車に備えられ、前記赤外光照射手段は前記自動車の外方に赤外光照射し、前記撮像手段は前記自動車の外方を撮像することができる。従って、自動露光制御では対向車のヘッドランプの照明等がない状況で、鮮明な画像出力によって自動車の外方を確認することができる。二重露光制御では対向車のヘッドランプの照明等によるブルーミング（ハレーション）を抑制しながら、暗い部分を明るく鮮明に映し出し、鮮明な画像出力によって自動車の外方を確認することができる。
【００２４】
【発明の実施の形態】
図１〜図１２は本発明の一実施形態を示している。図１は本発明の一実施形態を適用した自動車の概念図、図２は一実施形態に係る撮像手段及び画像処理部のブロック図、図３は一実施形態に係るフローチャート、図４はシャッタースピード切換のフローチャートである。図５（ａ）は明るい光源のない映像図、（ｂ）は（ａ）の映像を設定された濃度閾値で２値化処理した画像図、図６（ａ）は明るい光源のある映像図、（ｂ）は（ａ）の映像を設定された濃度閾値で２値化処理した画像図である。図７は面積検索を示し、（ａ）は配列初期化の概念図、（ｂ）は起点検出時の概念図、（ｃ）は輪郭抽出時の概念図、（ｄ）は内部塗りつぶし時の概念図、（ｅ）は検索終了時の概念図、（ｆ）は検索順序を示す概念図である。図８は単純な二重露光制御による出力画像図、図９はフィールド分割画像であり、（ａ）はＯＤＤフィールドの分割画像図、（ｂ）はＥＶＥＮフィールドの分割画像図、図１０はフィールド伸長画像を示し、（ａ）はＯＤＤフィールドの伸長画像図、（ｂ）はＥＶＥＮフィールドの伸長画像図である。図１１はフィールド画質調整画像であり、（ａ）はＯＤＤフィールドの画質調整画像図、（ｂ）はＥＶＥＮフィールドの画質調整画像図、図１２は平均合成画像図である。
【００２５】
まず図１のように、本発明の一実施形態に係る撮像システムは、自動車に適用されたもので、自動車１には赤外光照射手段としてＩＲランプ３と、撮像手段としてＣＣＤカメラ５と、画像処理部として画像処理ユニット７とが備えられる他、ヘッドアップディスプレイ９が備えられている。
【００２６】
前記ＩＲランプ３は、夜間等、暗所における撮像を可能にするため自動車１の走行方向の前方に赤外光を照射するためのものである。前記ＣＣＤカメラ５は、前記赤外光が照射された前記自動車１の走行方向の前方を撮像し、電気信号に変換するものである。この場合の電気信号は、前記ＣＣＤカメラ５における感光部のフォトダイオードによって変換されたものである。
【００２７】
前記画像処理ユニット７は、前記ＣＣＤカメラ５の信号蓄積時間が所定周期の露光量が同じ画像を連続して周期的に出力する自動露光制御と前記ＣＣＤカメラ５の信号蓄積時間を所定の周期で変化させて露光量の異なる画像を連続して周期的に出力する二重露光制御とに切換可能となっている。また、前記画像処理ユニット７は、前記画像の濃度状態に応じて前記自動露光制御と前記二重露光制御とを切り換える構成となっている。
【００２８】
前記信号蓄積時間は、各画素毎の信号蓄積時間である。前記信号蓄積時間が所定周期の露光量が同じとは、各画素に蓄積された信号電荷の読み出しのタイミング速度をＯＤＤフィールド、ＥＶＥＮフィールド共に同一とすることをいい、いわゆる電子シャッター動作のシャッタースピードはＯＤＤフィールド、ＥＶＥＮフィールド共に同一となる。自動露光制御では、前記シャッタースピードを輝度レベルに応じて制御する。また、露光量が同じ画像を連続して周期的に出力するとは、それぞれ同一のシャッタースピードで読み出された各フィールドの画像を１／６０秒毎に連続して交互に出力することを言う。
【００２９】
前記信号蓄積時間を所定の周期で変化させるとは、各画素に蓄積された不要電荷を吐き出すパルスの回数を変化させることにより結果的に蓄積される時間を変化させることであり、電子シャッター動作を言う。また露光量の異なる画像を連続して周期的に出力するとは、電子シャッター動作によってＯＤＤフィールド、ＥＶＥＮフィールド毎にシャッタースピードを設定し、それぞれのシャッタースピードで読み出された各フィールドの画像を１／６０秒毎に連続して交互に出力することを言う。
【００３０】
そして、シャッタースピードを速くした高速シャッターでは、暗い部分は映りにくいが明るい部分は鮮明に映り、シャッタースピードを遅くした低速シャッターでは、明るい部分は飽和して飛んでしまい暗い部分が鮮明に映ることになる。
【００３１】
前記画像処理ユニット７は、本実施形態において二重露光制御の時、前記露光量の異なる画像を縦方向に伸長させると共に、伸長後の両画像の信号レベルを平均化することで合成した画像形成を行わせる。
【００３２】
前記露光量の異なる画像を縦方向に伸長させるとは、本実施形態においてシャッタースピードを変えることによって露光量の異なる画像として得られたＯＤＤフィールドの分割画像と、ＥＶＥＮフィールドの分割画像とをそれぞれ縦方向に２倍に伸長させることを言う。また伸長後の両画像の信号レベルを平均化することで合成した画像形成を行わせるとは、伸長した各フィールドの分割画像において、対応する画素の信号レベルを平均化し、１つの画像出力を行うことを言う。
【００３３】
図２のように、前記画像処理ユニット７は、ＤＳＰ１１、ＣＰＵ１３のほか、画像メモリ１５、演算用メモリ１７、映像出力用メモリ１９、Ｄ／Ａ変換器２１などを備えている。また、前記画像処理ユニット７は、シャッタースピードを変更するために、マルチプレクス回路２３、シャッタースピード設定スイッチ２５を備えている。シャッタースピード設定スイッチ２５は、ＯＤＤ側スイッチ２７及びＥＶＥＮ側スイッチ２９を備えている。
【００３４】
前記ＤＳＰ１１は、ＣＣＤカメラ５からの信号をデジタル信号に変換して処理するものである。
【００３５】
前記ＣＰＵ１３は、各種演算を行うと共に、二重露光制御ではＯＤＤフィールド、ＥＶＥＮフィールド毎のシャッタースピードをコントロールできるようになっている。すなわちシャッタースピード設定スイッチ２５のＯＤＤ側スイッチ２７及びＥＶＥＮ側スイッチ２９の設定状態をＣＰＵ１３で読み取り、各フィールドのシャッタースピード設定値をエンコード出力する。前記ＤＳＰ１１からは図１４のフィールドパルス信号が出力され、出力信号がハイの場合はＥＶＥＮ側のシャッタースピード設定値出力が、ローの場合はＯＤＤ側のシャッタースピード設定値出力が、マルチプレクス回路２３によってＤＳＰ１１のシャッタースピード設定入力端子に入力される。従って、フィールド毎に異なるシャッタースピードを設定することができる。
【００３６】
前記ＣＰＵ１３は、前記画像メモリ１５に取り込まれたフレーム画像データの濃度状態に応じて前記自動露光制御と前記二重露光制御とを切り換える。すなわち、前記画像データ上で明るいエリアが明るい基準となる濃度閾値を上回り且つその面積が切り換えの基準となる面積閾値を上回るとき前記自動露光制御から二重露光制御へ切り換える。
【００３７】
前記画像メモリ１５は、前記ＤＳＰ１１から出力される１フレーム分の画像データを取り込むものである。
【００３８】
前記自動露光制御では、前記画像メモリ１５に取り込まれたフレーム画像データがそのまま映像出力用メモリ１９に転送され、Ｄ／Ａ変換器２１でＤ／Ａ変換され、例えばＮＴＳＣ信号として出力される。
【００３９】
前記二重露光制御では、前記画像メモリ１５に取り込まれたフレーム画像データをＯＤＤフィールド、ＥＶＥＮフィールド毎に分割し、演算用メモリ１７に書き込む。またＣＰＵ１３は前記演算用メモリ１７に書き込まれた各フィールド画像を縦方向に２倍に伸長し、各伸長画面に対しガンマ補正やコントラスト調整などの画質調整を施す。これら２つの画像データの平均がとられ、平均して合成された画像データは映像出力用メモリ１９に転送され、Ｄ／Ａ変換器２１でＤ／Ａ変換され、例えばＮＴＳＣ信号として出力される。
【００４０】
図３は、一実施形態のフローチャートを示している。この図３のフローチャートにより、まずステップＳ１で「シャッタースピード初期設定」の処理が実行される。このステップＳ１では、二重露光制御用のシャッタースピードを設定する。本実施形態では、例えばＯＤＤフィールド側を前記のように低速シャッタースピードに設定し、ＥＶＥＮフィールド側を高速シャッタースピードに設定する。
【００４１】
本実施形態では、ＯＤＤフィールド側のシャッタースピードを１／６０秒とし、ＥＶＥＮフィールド側のシャッタースピードを１／１０００秒として設定し、ステップＳ２へ移行する。なお各シャッタースピードは他のスピードを選択することも可能である。ＯＤＤフィールド側を高速シャッタースピード、ＥＶＥＮフィールド側を低速シャッタースピードに設定することもできる。
【００４２】
ステップＳ２では、「ＣＣＤ撮像」の処理が実行される。このステップＳ２では、ＣＰＵ１３から前記ステップＳ１で設定されたＯＤＤフィールド側のシャッタースピードコントロール信号及びＥＶＥＮフィールド側のシャッタースピードコントロール信号がＤＳＰ１１へ出力される。
【００４３】
そして、駆動信号によってＣＣＤカメラ５による撮像が行われ、ＣＣＤカメラ５の感光部のフォトダイオードの全画素で信号電荷が行われる。ＯＤＤフィールド側では感光部のフォトダイオード全画素のうち垂直方向に１つおき奇数番目の画素の信号電荷が１／６０秒で読み出される。ＥＶＥＮフィールド側では偶数番目の画素の信号電荷が蓄積時間１／１０００秒で読み出され、ステップＳ３へ移行する。
【００４４】
ステップＳ３では、「ＤＳＰ処理」が実行される。このステップＳ３では、前記ＣＣＤカメラ５で読み出された信号電荷が取り込まれ、Ａ／Ｄ変換器によってデジタル信号に変換され、信号処理が行われて該信号が出力され、ステップＳ４へ移行する。
【００４５】
ステップＳ４では、「メモリ格納」の処理が実行され、前記ＤＳＰ１１で出力された処理信号が画像メモリ１５に格納され、ステップＳ５へ移行する。
【００４６】
ステップＳ５では、「１フレーム取込終了か否か」の処理が実行され、前記ＤＳＰ１１から出力された処理信号が画像メモリ１５に１フレーム分取り込まれたか否かが判断される。画像メモリ１５に１フレーム分取り込まれていない間は、ステップＳ２へ戻り、以下ステップＳ３、ステップＳ４、ステップＳ５の処理が繰り返される。ステップＳ５において１フレーム分の処理信号の取込が終了したと判断されたときに、ステップＳ６へ移行する。
【００４７】
ステップＳ６では、「フィールド分割演算メモリ書き込み」の処理が実行される。このステップＳ６では、ＣＰＵ１３により画像メモリ１５に取り込まれた前記フレーム画像データをＯＤＤフィールド、ＥＶＥＮフィールド毎に分割し、演算用メモリ１７に書き込み、ステップＳ７へ移行する。前記演算用メモリ１７に書き込まれたＯＤＤフィールド、ＥＶＥＮフィールド毎の画像データは、それぞれ縦方向に１つおきのデータであるため、それぞれ縦方向に２分の１に圧縮された画像データとなっている。
【００４８】
前記ステップＳ７では、「２倍伸長」の処理が実行され、前記演算用メモリ１７に書き込まれたＯＤＤフィールド、ＥＶＥＮフィールドの画像データを垂直方向に２倍に伸長する。この場合の伸長方法としては、各フィールド毎の１画素を垂直方向に２画素に引き延ばす方法、あるいは上下２画素の信号レベルの平均値をとって上下２画素の間に挿入する方法がある。
【００４９】
ステップＳ８では、「ガンマ補正、コントラスト調整」の処理が実行され、ステップＳ７での各伸長画面に対しガンマ補正やコントラスト調整などの画質調整が施され、ステップＳ９へ移行する。
【００５０】
ステップＳ９では、「２画面平均」の処理が実行され、前記ＯＤＤフィールド、ＥＶＥＮフィールドの垂直方向に２倍に伸長された画像データの平均をとる。ここではＯＤＤフィールド、ＥＶＥＮフィールドの対応する各画素の信号レベルが単純平均により平均化され、該平均化された各信号レベルによって新たな１フレーム分の画像データを形成する。これによって前記２倍に伸長された各フィールド毎の画像データを合成した画像形成を行わせ、ステップＳ１０へ移行する。
【００５１】
ステップＳ１０では、「シャッタースピード切替」の処理が実行され、前記画像メモリ１５に取り込まれたフレーム画像データの濃度状態に応じて前記自動露光制御と前記二重露光制御とが切り換えられ、ステップＳ１１へ移行する。
【００５２】
ステップＳ１１では、「映像出力用メモリ転送」の処理が実行され、自動露光制御の時は前記画像メモリ１５に取り込まれたフレーム画像データがそのまま映像出力用メモリ１９へ転送されステップＳ１２へ移行する。二重露光制御の時は前記合成された画像データが映像出力用メモリ１９へ転送されステップＳ１２へ移行する。以上の処理は、全て時分割で行われるわけではなく、例えば画像メモリへの取り込み中にも常に出力用メモリから出力は行われている。また、画像メモリに取り込まれたデータを画像処理しているときにも次のフレームの画像信号の取り込みは継続している。
【００５３】
ステップＳ１２では、「Ｄ／Ａ変換、ＮＴＳＣ出力」の処理が実行され、前記画像データのデジタル信号がＤ／Ａ変換器２１でアナログ信号に変換され、例えばＮＴＳＣ信号として出力されることになる。
【００５４】
前記ステップＳ１０の「シャッタースピード切替」は、図４のフローチャートによって実行される。図４のフローチャートが実行されると、まずステップＳ１０１で「濃度閾値以上の画素による輪郭抽出」の処理が実行される。このステップＳ１０１では、前記画像メモリ１５に格納された１フレーム分の画像データに対し明るい基準となる濃度閾値を上回る画素を検出し、この画素を基準に濃度閾値を上回るエリアの輪郭が抽出され、ステップＳ１０２へ移行する。
【００５５】
ステップＳ１０２では、「内部面積計算」の処理が実行され、前記抽出された輪郭の内部の画素数をカウントしその面積が計算され、ステップＳ１０３へ移行する。ここでは、面積を画素数で代用している。
【００５６】
ステップＳ１０３では、「内部面積＞面積閾値」の処理が実行され、前記計算された内部面積が切り替えの基準となる面積閾値を上回るか否かが判断される。内部面積が面積閾値を上回れば（ＹＥＳ）ステップＳ１０４へ移行し、上回らなければ（ＮＯ）ステップＳ１０５へ移行する。
【００５７】
ステップＳ１０４では、「二重露光シャッタースピード設定」の処理が実行され、一定以上に強く明るい光源が存在するとして二重露光制御に切り替えられる。すなわち、前記のようにステップＳ１で初期設定されたシャッタースピード設定値出力がマルチプレクス回路２３によってＤＳＰ１１のシャッタースピード設定入力端子に入力される。このステップＳ１０４では、前記初期設定に対しシャッタスピードを新たに設定することもできる。例えば、各フィールドのシャッタースピードを複数備え、画像メモリ１５の画像データの濃度値に応じて各シャッタースピードを調整することもできる。
【００５８】
ステップＳ１０５では、「自動露光シャッタースピード設定」の処理が実行され、一定以上に強く明るい光源が存在せず、全体的に同じような暗い状態であるとして自動露光制御に切り替えられる。すなわち、自動露光シャッタースピード設定値（ＯＤＤ＝ＡＵＴＯ，ＥＶＥＮ＝ＡＵＴＯ）がＤＳＰ１１へ出力される。この場合、明るい光源が存在しない状況であるから、シャッタースピードをＯＤＤフィールド、ＥＶＥＮフィールド共に同じ低速シャッタースピードの１／６０秒等とし、全体に暗い状況を鮮明に映し出すようにする。このシャッタースピードは、前記したように輝度レベル、例えば画像メモリ１５の画像データの濃度値に応じて代えるように制御している。
【００５９】
なお、二重露光制御時は、シャッタースピードが遅く明るいフィールド、本実施形態ではＯＤＤフィールドの画像データに対し前記ステップＳ１０１〜Ｓ１０３の処理が実行されることになる。
【００６０】
前記ステップＳ１０１、ステップＳ１０３の濃度閾値及び面積閾値は、実験評価した上で最適なパラメータが決定される。
【００６１】
図５（ａ）の一定以上に強く明るい光源のない映像に対し、例えば、濃度閾値２００で２値化処理した画像が図５（ｂ）のようになる。また、図６（ａ）のように、一定以上に強く明るい光源のある映像に対し、濃度閾値２００で２値化処理した画像が図６（ｂ）のようになる。
【００６２】
図５（ｂ）と図６（ｂ）とを比較すると明らかなように、明るい部分（白）の面積が明らかに異なっている。この２つの面積値（画素数）の間に面積閾値を設定することにより、図４のフローチャートを実行することが可能となる。
【００６３】
前記ステップＳ１０１の輪郭抽出は、例えば、図７（ａ），（ｂ），（ｃ）のように行われ、前記ステップＳ１０２の内部面積計算は図７（ｄ），（ｅ）のように行われる。図７（ａ）では、理解を容易にするために、濃度閾値を上回る場合は白抜き、下回る場合を右上がりの斜線部として分けてある。
（輪郭抽出）
まず、図７（ａ）のように、明るいエリアを抽出するために明るいエリアを包含する大きさのエリアの画素の配列を読み込み、初期は各配列に０ｘＦＦを代入する。
【００６４】
次に、図７（ｂ）のように、エリア内左上から横に濃度閾値を上回る濃度を持った画素を検索する。濃度閾値を下回る濃度の画素はその配列に０を代入する。図７（ｂ）では配列３１，３３に０を代入しているが、濃度閾値を上回る濃度を持った画素を検出した場合には対応する位置の配列にラベルを付ける。図７（ｂ）では配列３５にラベル２を付けている。この配列３５を基点とし、図７（ｆ）で後述するように左の画素から時計回りに濃度閾値を上回る画素の検索を行い、濃度閾値を上回る画素の配列にラベル２を付け、図７（ｃ）のように一周して輪郭を抽出する。このとき、同時にラベル２の数をカウントする。
（内部塗りつぶし）
次に、図７（ｃ）のように輪郭が抽出されたエリアの内部にラベルを付けて、次のエリアの抽出時には除外するようにする。ここでは、抽出エリアの横方向１ライン毎に両端のラベル２を検出し、その間の濃度閾値を上回る画素に対し図７（ｄ）のように１つ小さなラベル１を付ける。このとき同時にラベル１の数をカウントする。
【００６５】
このように輪郭と内部とを区別するのは、明るいエリアの縁取りをし易くするためであり、区別の必要がなければどちらも同じ値にすることもできる。
【００６６】
前記明るいエリア内部でも濃度閾値を下回る画素の場合は、その配列に終了画素を意味する０を代入する。また、同様に輪郭の外側で検索の必要がなかった配列にも、図７（ｅ）のように０を代入し検索領域から除外する。
（面積計算）
次に、前記輪郭のラベル２と内部のラベル１との数を加算した値を、明るいエリアの面積、すなわち、明るいエリアの画素数とする。
【００６７】
前記濃度閾値以上の濃度を持った画素の検索は図７（ｆ）の番号順に行われる。すなわち、検索は、エリア内左上から横に順次行われるもので、例えば、図７（ｂ）において配列３１，３３は共に濃度閾値を下回る画素であるため、検索の中心を移動しながらその配列に順次０が代入される。
【００６８】
次に、検索の中心が配列３３に移ったとき、配列３３が図７（ｆ）の中央に位置しているとして、その周りの配列が１番〜８番まで時計回りに検索される。この場合、図７（ｆ）の２，３，４番には、図７（ｂ）上で配列が存在しないため、実際は５番から検索が行われる。配列３３の検索において、５番に相当する配列３５は濃度閾値を上回る画素として検出され、図７（ｂ）のように配列３５にラベル２が代入される。
【００６９】
次に、検索の中心が配列３５に移り、この配列３５が図７（ｆ）の中央に位置しているとして同様に１番〜８番まで検索が行われる。この場合も、２，３，４番には配列が存在しないため、５番から検索が行われる。この場合、５番として検出され配列３５に隣接する配列３７が濃度閾値を上回る画素であるため、図７（ｃ）のようにラベル２が代入される。
【００７０】
次に、検索の中心が配列３７へ移り、配列３７が図７（ｆ）の中央に位置するとして同様に１番〜８番まで検索が行われる。同様に２〜４番まではキャンセルされて５番から検索され、６番に濃度閾値を上回る画素が検出され、図７（ｂ）で示す配列３９に図７（ｃ）のようにラベル２を代入する。
【００７１】
次に、配列３７の右隣の配列の画素は、濃度閾値を下回っているため、輪郭抽出にそれ以上横の検索は不要であるとして検索の中心は直ちに配列３９へ移る。
【００７２】
こうして順次同様の検索が行われ、前記図７（ｃ）のように、ラベル２が代入された輪郭を抽出することができる。
【００７３】
上記のような処理により前記画像処理ユニット７から出力された信号は、図１で示すヘッドアップディスプレイ９に出力される。ヘッドアップディスプレイ９では、フロントウィンドウガラスに画像を表示し、自動車１の運転者は前記画像を確認することによって夜間等、暗所においても車両前方の状況を的確に把握することができる。
【００７４】
従って、一定以上に強く明るい光源がなく全体的に同じような明るさの画面の場合には、自動露光制御を的確に働かせ、図１８のような鮮明な画像出力を行わせることができる。このため、自動露光制御が的確に働き鮮明な映像をモニタに表示させることができる状況にありながら二重露光制御が行われると言った制御を防止することができ、露光量の違いによる画面のちらつきを的確に抑制することができる。
【００７５】
周囲が暗い状態の中に一定以上に強く明るい光源が入る状況では、二重露光制御に切り換えられ、明るい映像では暗くて見えない部分、暗い映像ではブルーミング（ハレーション）で見えない部分をともに映し出すことができ、より鮮明な画像出力を行わせることができる。
【００７６】
前記二重露光制御に切り換えられたときは、前記図３のフローチャートによる処理によって、図８〜図１１のような画像データの処理が行われ、図１２のような画像をヘッドアップディスプレイ９によって表示することができる。
【００７７】
図８の画像は、前記ステップＳ１〜ステップＳ５までの処理による二重露光制御により前記画像メモリ１５に取り込まれた１フレーム分の画像データである。この図８の画像データが、前記ステップＳ６のフィールド分割によって図９（ａ）のＯＤＤフィールドの画像データと、図９（ｂ）のＥＶＥＮフィールドの画像データとに分割される。シャッタースピードを遅くしたＯＤＤフィールドでは、明るい部分は飽和して飛んでしまい暗い部分が鮮明に映り、シャッタースピードを速くしたＥＶＥＮフィールドでは、暗い部分は映りにくいが明るい部分は鮮明に映る。
【００７８】
分割された図９の画像データは、前記ステップＳ７のように２倍に伸長され、図１０（ａ）のＯＤＤフィールド伸長画像と、図１０（ｂ）のＥＶＥＮフィールド伸長画像とが得られる。この各伸長画像に対し、前記ステップＳ８のガンマ補正、コントラスト調整を行い、図１１（ａ）のＯＤＤフィールドの画質調整データ、図１１（ｂ）のＥＶＥＮフィールドの画質調整データが得られる。
【００７９】
そして、前記ステップＳ９の２画面平均により、前記のように伸長後の両画像の信号レベルを平均することで、合成した画像形成を行わせ、図１２のような画像出力を行う。
【００８０】
この図１２の出力画像は、図８の単純な二重露光制御による出力画像と比較して明らかなように、はるかに鮮明な画像となり、対向車のヘッドライトなど強い光によるブルーミング（ハレーション）を的確に抑えることで、光源周辺の情報が見えるだけでなく、暗い部分も全体的により鮮明に見えている。
【００８１】
すなわち前記したように、図８の単純な二重露光制御だけでは露光量の異なる画像を連続して周期的に出力するだけであるため、出力画像としては図８のようにちらつきを招いてしまう。これに対し、本発明一実施形態では、ＯＤＤフィールド、ＥＶＥＮフィールド毎に分割し、伸長した両画像の信号レベルを平均化することで合成した画像形成を行わせているため、図１２のようなより鮮明な画像を出力することができた。
【００８２】
また図１２の出力画像では、信号レベルを平均化することで合成した画像形成を行わせるため、露光量の異なった画像を部分的に合成する場合に比べて、画像に境目がなく、ちらつきのないより鮮明な画像を出力することができた。
【００８３】
このように、自動露光制御では対向車のヘッドランプの照明等がない状況で、鮮明な画像出力によって自動車の前方を確認することができる。二重露光制御では対向車のヘッドランプの照明等によるブルーミング（ハレーション）を抑制しながら、暗い部分を明るく鮮明に映し出し、鮮明な画像出力によって自動車の前方を確認することができる。
【００８４】
なお、前記ＯＤＤフィールド、ＥＶＥＮフィールドにおいて、各画素毎の電荷を処理するＤＳＰ１１によっては、電荷読み出しを単一画素の読み出しに限らず、いくつかの画素のかたまりとして読み出し扱うこともできる。
【００８５】
上記実施形態では、出力画像をヘッドアップディスプレイ９で表示するようにしたが、車室内等に備えられたディスプレイ等に表示するように構成することもできる。また、ＩＲランプ３で自動車の走行方向前方を照射するようにしたが、後方或いは側方等を照射するようにしても良い。
【００８６】
前記切り換えて行われる二重露光制御としては、上記二重露光制御の他、単純な二重露光制御、その他の形式の二重露光制御を適用することもできる。
【００８７】
前記撮像システムは、自動車に限らず二輪車、船舶等、他の乗り物、あるいは乗り物から独立した撮像システムとして構成することもできる。
【図面の簡単な説明】
【図１】本発明の一実施形態を適用した自動車の概念図である。
【図２】一実施形態に係り、撮像手段及び画像処理部のブロック図である。
【図３】一実施形態に係るフローチャートである。
【図４】一実施形態に係り、シャッタースピード切換のフローチャートである。
【図５】一実施形態に係り、（ａ）は明るい光源のない映像図、（ｂ）は（ａ）の映像を設定された濃度閾値で２値化処理した画像図である。
【図６】一実施形態に係り、（ａ）は明るい光源のある映像図、（ｂ）は（ａ）の映像を設定された濃度閾値で２値化処理した画像図である。
【図７】一実施形態に係る面積検索を示し、（ａ）は配列初期化の概念図、（ｂ）は起点検出時の概念図、（ｃ）は輪郭抽出時の概念図、（ｄ）は内部塗りつぶし時の概念図、（ｅ）は検索終了時の概念図、（ｆ）は検索順序を示す概念図である。
【図８】一実施形態に係り、単純な二重露光制御の出力画像図である。
【図９】一実施形態に係り、（ａ）はＯＤＤフィールドの分割画像図、（ｂ）はＥＶＥＮフィールドの分割画像図である。
【図１０】一実施形態に係り、（ａ）はＯＤＤフィールドの伸長画像図、（ｂ）はＥＶＥＮフィールドの伸長画像図である。
【図１１】一実施形態に係り、（ａ）はＯＤＤフィールドの画質調整図、（ｂ）はＥＶＥＮフィールドの画質調整図である。
【図１２】一実施形態に係り、合成された平均合成画像図である。
【図１３】従来例に係るブロック図である。
【図１４】従来例に係り、フィールドパルスの出力図である。
【図１５】従来例に係り、通常のシャッタースピードによる出力画像図である。
【図１６】従来例に係り、高速シャッタースピードによる出力画像図である。
【図１７】ブルーミング（ハレーション）現象を示す出力画像図である。
【図１８】従来例に係り、強く明るい光源がない出力画像図である。
【符号の説明】
１　自動車
３　ＩＲランプ（赤外光照射手段）
５　ＣＣＤカメラ（撮像手段）
７　画像処理ユニット（画像処理部）

Claims (5)

1. 赤外光を照射するための赤外光照射手段と、
   前記赤外光照射手段により照射された場所を撮像して電気信号に変換する撮像手段と、
   前記撮像手段の信号蓄積時間が所定周期の露光量が同じ画像を連続して周期的に出力する自動露光制御と前記撮像手段の信号蓄積時間を所定の周期で変化させて露光量の異なる画像を連続して周期的に出力する二重露光制御とに切換可能な画像処理部とを備え、
   前記画像処理部は、前記画像の濃度状態に応じて前記自動露光制御と前記二重露光制御とを切り換えることを特徴とする撮像システム。
2. 請求項１記載の撮像システムであって、
   前記画像処理部は、前記画像の明るいエリアが明るい基準となる濃度閾値を上回り且つその面積が切り換えの基準となる面積閾値を上回るとき前記自動露光制御から二重露光制御へ切り換えることを特徴とする撮像システム。
3. 請求項１又は２記載の撮像システムであって、
   前記画像処理部は、前記二重露光制御のとき前記露光量の異なる画像を縦方向に伸長させると共に伸長後の両画像の信号レベルを平均化することで合成した画像形成を行わせることを特徴とする撮像システム。
4. 請求項３記載の撮像システムであって、
   前記画像処理部は、縦方向に隣接する画素の信号レベルの平均値を間に挿入して前記伸長を行うことを特徴とする撮像システム。
5. 請求項１〜４の何れかに記載の撮像システムであって、
   前記赤外光照射手段、撮像手段、及び画像処理部は、自動車に備えられ、
   前記赤外光照射手段は、前記自動車の外方に赤外光を照射し、
   前記撮像手段は、前記自動車の外方を撮像することを特徴とする撮像システム。

Images