JP2004048345A - 撮像システム - Google Patents

Abstract

【課題】夜間、対向車のヘッドランプなど強い光源があってもブルーミングを抑制し、より鮮明な画像出力を可能とする。
【解決手段】前方に赤外光を照射するためのＩＲランプと、前方を撮像して電気信号に変換するＣＣＤカメラ５と、ＣＣＤカメラ５の信号蓄積時間を所定の周期で変化させ露光量の異なる画像を連続して周期的に出力する画像処理ユニット７とを備え、前記画像処理ユニット７は、露光量の異なる画像を縦方向に伸長させると共に伸長後の両画像の信号レベルを平均化することで合成した画像形成を行わせることを特徴とする。
【選択図】　　　図２

Description

【０００１】
【発明の属する技術分野】
本発明は、ＣＣＤカメラ等を用いた撮像システムに関する。
【０００２】
【従来の技術】
従来の撮像システムとしては、例えば図１６に示すようなものがある。この図１６では、撮像手段としてＣＣＤカメラ１０１を備え、画像処理部としてＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｅｒ）１０３及びＣＰＵ１０５を備えている。
【０００３】
前記ＣＰＵ１０５とＤＳＰ１０３とはマルチプレクス回路１０７を介して接続され、ＣＰＵ１０５にはシャッタースピード設定スイッチ１０９からの信号が入力されるようになっている。シャッタースピード設定スイッチ１０９は、ＯＤＤ（奇数番目）フィールド用のシャッタースピードとＥＶＥＮ（偶数番目）フィールド用のシャッタースピードとをそれぞれ設定できるようになっている。
【０００４】
すなわちシャッタースピード設定スイッチ１０９の設定状態をＣＰＵ１０５で読み取り、各フィールドのシャッタースピード設定値をエンコード出力する。ＤＳＰ１０３からは図１７で示すフィールドパルス信号が出力され、出力信号がハイの場合はＥＶＥＮ側のシャッタースピード設定値出力が、ローの場合はＯＤＤ側のシャッタースピード設定値出力が、マルチプレクス回路１０７によってＤＳＰ１０３のシャッタースピード設定入力端子に入力される。従って、図１６のような撮像システムによってフィールド毎に異なるシャッタースピードを設定することができる。
【０００５】
一般に、ＣＣＤカメラで撮影する場合、ＯＤＤフィールド、ＥＶＥＮフィールド共にシャッタースピードが同じである自動シャッタースピードのとき、図１８のように周囲が暗い状態の中に明るい光源が入るとその光源周辺がブルーミング（ハレーション）によって見えなくなる。この図１８は、自動車の夜間走行中に前方を赤外光照射手段であるＩＲランプで前方に赤外光を照射し、車載のＣＣＤカメラで走行前方を撮像した画像である。対向車のヘッドランプやガソリンスタンドの照明等の明るい光源の周辺がブルーミングによって見えなくなっている。これは自動シャッタスピードでは、画面全体の暗さを平均して出力するようにコントロールされるためである。シャッタースピードを高速にしてブルーミング（ハレーション）を抑えるようにすることもできるが、この場合は図１９のように、背景が全く見えなくなってしまう。
【０００６】
これに対し、前記の各フィールド毎にシャッタースピードを変える図１６の制御は、いわゆる二重露光制御と言われているもので、フィールド毎に異なるシャッタースピードを設定している。これにより、明るい映像と暗い映像とを交互に出力し、明るい映像（この場合はＯＤＤフィールド）では暗くて見えなくなった部分を映し出し、暗い映像（この場合はＥＶＥＮフィールド）ではブルーミング（ハレーション）で見えなかった部分を映し出すことが可能となる。
【０００７】
そして、各フィールド画像を交互に出力し、図２０のように鮮明な映像としてモニタに表示させることができる。
【０００８】
【発明が解決しようとする課題】
しかし、前記単純な二重露光制御では、各フィールドの一方は明るい映像、他方は暗い映像となり、これらを交互に表示することになり、モニタ上でちらつきを招くという問題がある。
【０００９】
これに対し、特公平７−９７８４１号公報に記載された図２１に示すような撮像装置がある。この撮像装置は、撮像素子１１１を備えたカメラ部１１３と、処理部１１５とを備えている。
【００１０】
図２２は、前記図２１の撮像装置による画像処理の概念図を示すもので、図中スルー画とは、前記カメラ部１１３の撮像素子１１１の直接出力をいい、メモリ画は画像メモリ１１７に一旦記憶された直前フィールドの信号を言う。
【００１１】
前記スルー画では、シャッタースピードの速く設定されたＯＤＤフィールド毎に発光時の主被写体が黒潰れになり、同遅く設定されたＥＶＥＮフィールド毎に背景が白飛びになっている。またメモリ画では、１フィールド期間遅延した信号からなるので、白飛び、黒潰れはスルー画とは異なるフィールドで生じている。従って、これらスルー画とメモリ画とを適切に組み合わせることによって図２２最下段の出力画像を得ることができる。
【００１２】
しかしながら、このスルー画とメモリ画との合成は、スルー画及びメモリ画から部分的に選択した画像を重ね合わせて合成するものであるため、露光量の異なる画像を繋ぎ合わせる状態となる。従って、前記単純な二重露光制御のように画面全体のちらつきはなくなるが、スルー画及びメモリ画の両画像の境界が不自然なものになるという問題がある。
【００１３】
本発明は、より鮮明な画像出力を可能とする撮像システムの提供を課題とする。
【００１４】
【課題を解決するための手段】
請求項１の発明は、赤外光を照射するための赤外光照射手段と、前記赤外光照射手段により照射された場所を撮像して電気信号に変換する撮像手段と、前記撮像手段の信号蓄積時間を所定の周期で変化させ露光量の異なる画像を連続して周期的に出力する画像処理部とを備え、前記画像処理部は、前記露光量の異なる画像を縦方向に伸長させると共に伸長後の両画像の信号レベルを平均化することで合成した画像形成を行わせることを特徴とする。
【００１５】
請求項２の発明は、請求項１記載の撮像システムであって、前記画像処理部は、縦方向に隣接する画素の信号レベルの平均値を間に挿入して前記伸長を行うことを特徴とする。
【００１６】
請求項３の発明は、請求項１又は２記載の撮像システムであって、前記画像処理部は、前記露光量の目標値を予め設定し、該目標値に応じて前記信号蓄積時間を制御することを特徴とする。
【００１７】
請求項４の発明は、請求項３記載の撮像システムであって、前記画像処理部は、前記撮像手段の電気信号を積算し、該積算した電気信号と前記目標値に応じて予め設定した基準値との比較により前記信号蓄積時間を制御することを特徴とする。
【００１８】
請求項５の発明は、請求項３記載の撮像システムであって、前記画像処理部は、前記撮像手段の電気信号が基準値を上回る画素の数と前記目標値に応じて予め設定した基準画素数との比較により前記信号蓄積時間を制御することを特徴とする。
【００１９】
請求項６の発明は、請求項１〜５の何れかに記載の撮像システムであって、前記赤外光照射手段、撮像手段、及び画像処理部は、自動車に備えられ、前記赤外光照射手段は、前記自動車の外方に赤外光を照射し、前記撮像手段は、前記自動車の外方を撮像することを特徴とする。
【００２０】
【発明の効果】
請求項１の発明では、赤外光照射手段によって赤外光を照射することができる。撮像手段は赤外光照射手段により照射された場所を撮像して、電気信号に変換することができる。画像処理部では撮像手段の信号蓄積時間を所定の周期で変化させ、露光量の異なる画像を連続して周期的に出力することができる。
【００２１】
そして画像処理部は、前記露光量の異なる画像を縦方向に伸長させると共に、伸長後の両画像の信号レベルを平均化することで合成した画像形成を行わせることができる。
【００２２】
従って、二重露光制御によって、明るい映像では暗くて見えない部分、暗い映像ではブルーミング（ハレーション）で見えない部分をともに映し出すことができながら、出力画像上に露光量の違いによる境目やちらつきができるのが抑制され、より鮮明な画像出力を行うことができる。
【００２３】
請求項２の発明は、請求項１の発明の効果に加え、前記画像処理部は、縦方向に隣接する画素の信号レベルの平均値を間に挿入して前記伸長を行うため、画像の伸長を無理なく行わせることができ、より鮮明な画像出力を行わせることができる。
【００２４】
請求項３の発明では、請求項１又は２の発明の効果に加え、前記画像処理部は前記露光量の目標値を予め設定し、該目標値に応じて前記信号蓄積時間を制御することができる。従って、暗い領域をより明るく映したり、強い入射光を抑えてブルーミング（ハレーション）をより抑制することができ、より鮮明な画像出力を行わせることができる。
【００２５】
請求項４の発明では、請求項３の発明の効果に加え、前記画像処理部は前記撮像手段の電気信号を積算し、該積算した電気信号と前記目標値に応じて予め設定した基準値との比較により前記信号蓄積時間を制御することができる。従って、信号蓄積時間をより的確に制御することができ、より鮮明な画像出力を行わせることができる。
【００２６】
請求項５の発明では、請求項３の発明の効果に加え、前記画像処理部は前記撮像手段の電気信号が基準値を上回る画素の数と前記目標値に応じて予め設定した基準画素数との比較により、前記信号蓄積時間を制御することができる。従って、信号蓄積時間をより的確に制御することができ、より鮮明な画像出力を行わせることができる。
【００２７】
請求項６の発明では、請求項１〜５の何れかの発明の効果に加え、前記赤外光照射手段、撮像手段及び画像処理部は自動車に備えられ、前記赤外光照射手段は前記自動車の外方に赤外光照射し、前記撮像手段は前記自動車の外方を撮像することができる。従って、対向車のヘッドランプの照明等によるブルーミング（ハレーション）を抑制しながら、暗い部分を明るく鮮明に映し出し、鮮明な画像出力によって自動車の外方を確認することができる。
【００２８】
【発明の実施の形態】
（第１実施形態）
図１〜図８は本発明の第１実施形態を示している。図１は本発明の第１実施形態を適用した自動車の概念図、図２は第１実施形態に係る撮像システムのブロック図、図３は第１実施形態に係るフローチャートである。図４は第１実施形態に係り、単純な二重露光制御による出力画像図、図５はフィールド分割画像であり、（ａ）はＯＤＤフィールドの分割画像図、（ｂ）はＥＶＥＮフィールドの分割画像図、図６はフィールド伸長画像を示し、（ａ）はＯＤＤフィールドの伸長画像図、（ｂ）はＥＶＥＮフィールドの伸長画像図である。図７はフィールド画質調整画像であり、（ａ）はＯＤＤフィールドの画質調整画像図、（ｂ）はＥＶＥＮフィールドの画質調整画像図、図８は平均合成画像図である。
【００２９】
まず図１のように、本発明の第１実施形態に係る撮像システムは、自動車に適用されたもので、自動車１には赤外光照射手段としてＩＲランプ３と、撮像手段としてＣＣＤカメラ５と、画像処理部として画像処理ユニット７とが備えられる他、ヘッドアップディスプレイ９が備えられている。
【００３０】
前記ＩＲランプ３は、夜間等、暗所における撮像を可能にするため自動車１の走行方向の前方に赤外光を照射するためのものである。前記ＣＣＤカメラ５は、前記赤外光が照射された前記自動車１の走行方向の前方を撮像し、電気信号に変換するものである。この場合の電気信号は、前記ＣＣＤカメラ５における感光部のフォトダイオードによって変換されたものである。前記画像処理ユニット７は、前記ＣＣＤカメラ５の信号蓄積時間を所定の周期で変化させ、露光量の異なる画像を連続して周期的に出力する。
【００３１】
前記信号蓄積時間は、各画素毎の信号蓄積時間であり、信号蓄積時間を所定の周期で変化させるとは、各画素に蓄積された不要電荷を吐き出すパルスの回数を変化させることにより結果的に蓄積される時間を変化させることであり、いわゆる電子シャッター動作を言う。また露光量の異なる画像を連続して周期的に出力するとは、電子シャッター動作によってＯＤＤフィールド、ＥＶＥＮフィールド毎にシャッタースピードを設定し、それぞれのシャッタースピードで読み出された各フィールドの画像を１／６０秒毎に連続して交互に出力することを言う。
【００３２】
そして、シャッタースピードを速くした高速シャッターでは、暗い部分は映りにくいが明るい部分は鮮明に映り、シャッタースピードを遅くした低速シャッターでは、明るい部分は飽和して飛んでしまい暗い部分が鮮明に映ることになる。
【００３３】
前記画像処理ユニット７は、前記露光量の異なる画像を縦方向に伸長させると共に、伸長後の両画像の信号レベルを平均化することで合成した画像形成を行わせる。
【００３４】
前記露光量の異なる画像を縦方向に伸長させるとは、本実施形態においてシャッタースピードを変えることによって露光量の異なる画像として得られたＯＤＤフィールドの分割画像と、ＥＶＥＮフィールドの分割画像とをそれぞれ縦方向に２倍に伸長させることを言う。また伸長後の両画像の信号レベルを平均化することで合成した画像形成を行わせるとは、伸長した各フィールドの分割画像において、対応する画素の信号レベルを平均化し、１つの画像出力を行うことを言う。
【００３５】
図２のように、前記画像処理ユニット７は、ＣＰＵ１１、ＤＳＰ１３のほか、画像メモリ１５、演算用メモリ１７、映像出力用メモリ１９、Ｄ／Ａ変換器２１などを備えている。
【００３６】
前記ＣＰＵ１１は、各種演算を行うと共に、図１６で説明したと同様な構成によってＯＤＤフィールド、ＥＶＥＮフィールド毎のシャッタースピードをコントロールできるようになっている。すなわちＣＰＵ１１からＤＳＰ１３へシャッタースピードコントロール信号が入力されるようになっている。
【００３７】
前記ＤＳＰ１３は、ＣＣＤカメラ５からの信号をデジタル信号に変換して処理するものである。前記画像メモリ１５は、前記ＤＳＰ１３から出力される１フレーム分の画像データを取り込むものである。
【００３８】
前記ＣＰＵ１１は、前記画像メモリ１５に取り込まれたフレーム画像データをＯＤＤフィールド、ＥＶＥＮフィールド毎に分割し、演算用メモリ１７に書き込む。またＣＰＵ１１は前記演算用メモリ１７に書き込まれた各フィールド画像を縦方向に２倍に伸長し、各伸長画面に対しガンマ補正やコントラスト調整などの画質調整を施す。これら２つの画像データの平均がとられ、平均して合成された画像データは映像出力用メモリ１９に転送され、Ｄ／Ａ変換器２１でＤ／Ａ変換され、例えばＮＴＳＣ信号として出力される。
【００３９】
図３は、第１実施形態のフローチャートを示している。第１実施形態に係る撮像システムも基本的には二重露光制御であり、図３のフローチャートにより、まずステップＳ１で「シャッタースピード初期設定」の処理が実行される。このステップＳ１では、例えばＯＤＤフィールド側を前記のように低速シャッタースピードに設定し、ＥＶＥＮフィールド側を高速シャッタースピードに設定する。
【００４０】
本実施形態では、ＯＤＤフィールド側のシャッタースピードを１／６０秒とし、ＥＶＥＮフィールド側を１／１０００秒に設定し、ステップＳ２へ移行する。なお各シャッタースピードは他のスピードを選択することも可能である。ＯＤＤフィールド側を高速シャッタースピード、ＥＶＥＮフィールド側を低速シャッタースピードに設定することもできる。
【００４１】
ステップＳ２では、「ＣＣＤ撮像」の処理が実行される。このステップＳ２では、ＣＰＵ１１から前記ステップＳ１で設定されたＯＤＤフィールド側のシャッタースピードコントロール信号及びＥＶＥＮフィールド側のシャッタースピードコントロール信号がＤＳＰ１３へ出力される。
【００４２】
そして、駆動信号によってＣＣＤカメラ５による撮像が行われ、ＣＣＤカメラ５の感光部のフォトダイオードの全画素で信号電荷が行われる。ＯＤＤフィールド側では感光部のフォトダイオード全画素のうち垂直方向に１つおき奇数番目の画素の信号電荷が１／６０秒で読み出される。ＥＶＥＮフィールド側では偶数番目の画素の信号電荷が蓄積時間１／１０００秒で読み出され、ステップＳ３へ移行する。
【００４３】
ステップＳ３では、「ＤＳＰ処理」が実行される。このステップＳ３では、前記ＣＣＤカメラ５で読み出された信号電荷が取り込まれ、Ａ／Ｄ変換器によってデジタル信号に変換され、信号処理が行われて該信号が出力され、ステップＳ４へ移行する。
【００４４】
ステップＳ４では、「メモリ格納」の処理が実行され、前記ＤＳＰ１３で出力された処理信号が画像メモリ１５に格納され、ステップＳ５へ移行する。
【００４５】
ステップＳ５では、「１フレーム取込終了か否か」の処理が実行され、前記ＤＳＰ１３から出力された処理信号が画像メモリ１５に１フレーム分取り込まれたか否かが判断される。画像メモリ１５に１フレーム分取り込まれていない間は、ステップＳ２へ戻り、以下ステップＳ３、ステップＳ４、ステップＳ５の処理が繰り返される。ステップＳ５において１フレーム分の処理信号の取込が終了したと判断されたときに、ステップＳ６へ移行する。
【００４６】
ステップＳ６では、「フィールド分割演算メモリ書き込み」の処理が実行される。このステップＳ６では、ＣＰＵ１１により画像メモリ１５に取り込まれた前記フレーム画像データをＯＤＤフィールド、ＥＶＥＮフィールド毎に分割し、演算用メモリ１７に書き込み、ステップＳ７へ移行する。前記演算用メモリ１７に書き込まれたＯＤＤフィールド、ＥＶＥＮフィールド毎の画像データは、それぞれ縦方向に１つおきのデータであるため、それぞれ縦方向に２分の１に圧縮された画像データとなっている。
【００４７】
前記ステップＳ７では、「２倍伸長」の処理が実行され、前記演算用メモリ１７に書き込まれたＯＤＤフィールド、ＥＶＥＮフィールドの画像データを垂直方向に２倍に伸長する。この場合の伸長方法としては、各フィールド毎の１画素を垂直方向に２画素に引き延ばす方法、あるいは上下２画素の信号レベルの平均値をとって上下２画素の間に挿入する方法がある。
【００４８】
ステップＳ８では、「ガンマ補正、コントラスト調整」の処理が実行され、ステップＳ７での各伸長画面に対しガンマ補正やコントラスト調整などの画質調整が施され、ステップＳ９へ移行する。
【００４９】
ステップＳ９では、「２画面平均」の処理が実行され、前記ＯＤＤフィールド、ＥＶＥＮフィールドの垂直方向に２倍に伸長された画像データの平均をとる。ここではＯＤＤフィールド、ＥＶＥＮフィールドの対応する各画素の信号レベルが単純平均により平均化され、該平均化された各信号レベルによって新たな１フレーム分の画像データを形成する。これによって前記２倍に伸長された各フィールド毎の画像データを合成した画像形成を行わせ、ステップＳ１０へ移行する。
【００５０】
ステップＳ１０では、「映像出力用メモリ転送」の処理が実行され、前記合成された画像データが映像出力用メモリ１９へ転送され、ステップＳ１１へ移行する。以上の処理は、全て時分割で行われるわけではなく、例えば画像メモリへの取り込み中にも常に出力用メモリから出力は行われている。また、画像メモリに取り込まれたデータを画像処理しているときにも次のフレームの画像信号の取り込みは継続している。
【００５１】
ステップＳ１１では、「Ｄ／Ａ変換、ＮＴＳＣ出力」の処理が実行され、前記画像データのデジタル信号がＤ／Ａ変換器２１でアナログ信号に変換されて、例えばＮＴＳＣ信号として出力される。
【００５２】
こうして前記画像処理ユニット７から出力された信号は、図１で示すヘッドアップディスプレイ９に出力される。ヘッドアップディスプレイ９では、フロントウィンドウガラスに画像を表示し、自動車１の運転者は前記画像を確認することによって夜間等、暗所においても車両前方の状況を的確に把握することができる。
【００５３】
すなわち、前記図３のフローチャートによる処理によって、図４〜図７のような画像データの処理が行われ、図８のような画像をヘッドアップディスプレイ９によって表示することができる。
【００５４】
図４の画像は、前記ステップＳ１〜ステップＳ５までの処理による二重露光制御により前記画像メモリ１５に取り込まれた１フレーム分の画像データである。この図４の画像データが、前記ステップＳ６のフィールド分割によって図５（ａ）のＯＤＤフィールドの画像データと、図５（ｂ）のＥＶＥＮフィールドの画像データとに分割される。シャッタースピードを遅くしたＯＤＤフィールドでは、明るい部分は飽和して飛んでしまい暗い部分が鮮明に映り、シャッタースピードを速くしたＥＶＥＮフィールドでは、暗い部分は映りにくいが明るい部分は鮮明に映る。
【００５５】
分割された図５の画像データは、前記ステップＳ７のように２倍に伸長され、図６（ａ）のＯＤＤフィールド伸長画像と、図６（ｂ）のＥＶＥＮフィールド伸長画像とが得られる。この各伸長画像に対し、前記ステップＳ８のガンマ補正、コントラスト調整を行い、図７（ａ）のＯＤＤフィールドの画質調整データ、図７（ｂ）のＥＶＥＮフィールドの画質調整データが行われる。
【００５６】
そして、前記ステップＳ９の２画面平均により、前記のように伸長後の両画像の信号レベルを平均することで、合成した画像形成を行わせ、図８のような画像出力を行う。
【００５７】
この図８の出力画像は、図４の単純な二重露光制御による出力画像と比較して明らかなように、はるかに鮮明な画像となり、対向車のヘッドライトなど強い光によるブルーミング（ハレーション）を的確に抑えることで、光源周辺の情報が見えるだけでなく、暗い部分も全体的により鮮明に見えている。
【００５８】
すなわち前記したように、図４の単純な二重露光制御だけでは露光量の異なる画像を連続して周期的に出力するだけであるため、出力画像としては図４のようにちらつきを招いてしまう。これに対し、本発明第１実施形態では、ＯＤＤフィールド、ＥＶＥＮフィールド毎に分割し、伸長した両画像の信号レベルを平均化することで合成した画像形成を行わせているため、図８のようなより鮮明な画像を出力することができた。
【００５９】
また図８の出力画像では、信号レベルを平均化することで合成した画像形成を行わせるため、露光量の異なった画像を部分的に合成する場合に比べて、画像に境目がなく、ちらつきのないより鮮明な画像を出力することができた。
（第２実施形態）
図９〜図１５は本発明の第２実施形態を示している。図９は第２実施形態に係る撮像システムのブロック図、図１０はＣＰＵの処理タイミングを示すタイムチャート、図１１はシャッタースピードを計算する各フィールドの画像データの大きさを示す概念図である。図１２は第２実施形態のフローチャート、図１３は積分平均値検出法を用いたシャッタースピード計算のフローチャート、図１４はピーク値検出法を用いたシャッタースピード計算のフローチャートである。図１５は分割画像を示し、（ａ）はＯＤＤフィールドの分割画像図、（ｂ）はＥＶＥＮフィールドの分割画像図である。なお、第１実施形態と対応する構成部分には同符号を付して説明する。
【００６０】
図９のように本実施形態の撮像システムでは、ＣＣＤカメラ５、ＤＳＰ１３、ＣＰＵ１１の他に、アナログフロントエンドＩＣ（ＣＤＳ／ＡＧＣ／ＡＤＣ）２３が示されている。このアナログフロントエンドＩＣ２３は、ＣＣＤカメラ５の信号電荷を取り込み、信号上のノイズ除去、オートゲインコントロールをした上で、Ａ／Ｄ変換するものである。アナログフロントエンドＩＣ２３は、前記第１実施形態の図２のブロック図には示していないが、一般的に設けられている回路である。
【００６１】
本実施形態において、画像処理ユニット７Ａは、ＣＣＤカメラ５の信号蓄積時間を所定の周期で変化させ、露光量の異なる画像を連続して周期的に出力する場合に、前記露光量の目標値を予め設定し、該目標値に応じて前記信号蓄積時間すなわちシャッタースピードを制御する構成としたものである。
【００６２】
前記アナログフロントエンドＩＣ２３からＤＳＰ１３がＣＣＤカメラ５の全画素のデータを受け取り、ＣＰＵ１１により露光量の目標値に応じてシャッタースピードのコントロールを行い、ＤＳＰ１３、アナログフロントエンドＩＣ２３にフィードバックする。このＣＰＵ１１での動作をＯＤＤフィールド、ＥＶＥＮフィールド毎に行う。
【００６３】
前記ＣＰＵ１１によるＯＤＤフィールド、ＥＶＥＮフィールドのシャッタースピードは、前記第１実施形態と同様に、まず初期設定が行われ、このシャッタースピードにより第１実施形態と同様な信号電荷の読み出しが行われる。この信号電荷の読み出しにより露光量の目標値に応じてＯＤＤフィールド、ＥＶＥＮフィールドのシャッタースピードがさらに切替制御される。このシャッタースピードの切替制御は、例えば図１０のような処理タイミングで行われる。なお、図１０の「ＡＥ」は、ＣＣＤカメラの露光制御のことであり、レンズの絞り、ＣＣＤカメラの電子シャッター速度、アナログあるいはデジタルゲインの制御等を総称したものである。この図１０ではＣＣＤカメラの電子シャッター速度に絞って考えている。
【００６４】
図１０において、ＥＶＥＮフィールド、ＯＤＤフィールドの処理タイミングはずれているが、両フィールドは共に同じ動作を行う。すなわち、Ｖ−ｓｙｎｃ（垂直同期信号）の切替によってフィールドパルスがＯＤＤフィールド、ＥＶＥＮフィールドとに切り替わる。通常、ＣＣＤカメラ５からアナログフロントエンドＩＣ２３を経由してＤＳＰ１３が電荷信号を読み取る時、ＣＣＤカメラ５の決められたエリア毎（例えばＣＣＤ面を６分割したエリア）に電荷量を積分して平均化するという作業を繰り返し行っている。或いはまた、設定された電荷量を超える値を持った画素の数をカウントするという作業を繰り返し行っている。この作業は、ＯＤＤ／ＥＶＥＮ各フィールドが終わるまで続けられ、それが終わるタイミングでＣＰＵ１１がＤＳＰ１３からエリア毎の積分平均値、或いはピークカウント値を読み出し（図１０の▲１▼及び▲４▼）、それを基にシャッタースピードの計算を行い（▲２▼及び▲５▼）、次のタイミングの当該フィールドの前にそのフィールドでのシャッタースピードをＤＳＰ１３に出力する（▲３▼）。
【００６５】
以下、ＯＤＤフィールド、ＥＶＥＮフィールドの切替毎に同じ動作が繰り返される。この結果、ＣＣＤカメラ５の電荷蓄積量と露光量の目標値である目標輝度レベルとを比較し、ＣＣＤカメラでの電荷蓄積量が目標輝度レベルに収束するようにシャッタースピードが決定される。目標輝度レベルに対しては、調整項目として実験評価した上で最適なパラメータが決定される。この場合、目標輝度レベルとしては、シャッタースピードが遅いフィールドの場合には対向車の前照灯のような強いスポット光が映像として入ってきても無視されて白飽和され、暗い部分が鮮明に見える程度のものであり、シャッタースピードが速い暗い映像の場合には、スポット光を絞り込み、その周辺の映像が見やすくなる程度のものである。
【００６６】
前記シャッタースピードの決定方法としては、ＥＶＥＮフィールド、ＯＤＤフィールド共に積分平均値検出法を用いる方法、ＥＶＥＮフィールド、ＯＤＤフィールド共にピーク値検出法を用いる方法、ＥＶＥＮフィールドに積分平均値検出法、ＯＤＤフィールドにピーク値検出法を用いる方法、或いは、ＥＶＥＮフィールドにピーク値検出法、ＯＤＤフィールドに積分平均値検出法を用いる方法がある。積分平均値検出法は、画像データを走査して各画素毎の輝度値の全積算値を基準値と比較することによりシャッタースピードを切替えるものである。ピーク値検出法は、画像データを走査して各画素の輝度値がピーク電荷基準値と同等かそれ以上の場合にその画素をカウントし、該画素の数を基準画素数と比較することによりシャッタースピードを切替えるものである。
【００６７】
ここで、本実施形態ではシャッタースピードを決定するために走査する画像の大きさは、各フィールドが縦方向に１つおきのデータであるから前記図５で示した分割画像データに応じて図１１のように５１２画素×２５６ラインを例としている。
【００６８】
図１２は、第２実施形態のフローチャートを示している。シャッタースピード計算の流れを分かりやすくするため、このフローチャートでは、通常はＤＳＰ１３内部で行われている電荷積算平均値算出、及びピークカウント値算出と、それらの情報をＤＳＰ１３から読み出して次のフィールドでのシャッタースピードを計算するためのマイコンでの計算作業とを混在して説明している。図１２のフローチャートは、第１実施形態の図３のフローチャートと基本的には同一であり、対応するステップに同ステップ番号を付している。
【００６９】
そして、図１２の本実施形態のフローチャートでは、ステップＳ９、ステップＳ１０の間にステップＳ１２を加え、ステップＳ１のシャッタースピード初期設定に対し、ステップＳ１２でシャッタースピードの切替を行っている。
【００７０】
前記シャッタースピードの切替を積分平均値検出法で行う場合は、図１２のステップＳ９からステップＳ１２へ移行すると、図１３のフローチャートが実行されるように構成される。図１３のステップＳ２１ではリセット処理が行われ、電荷積算値（ＣＨＡＲＧＥ）＝０、横方向における画素の座標値Ｘ＝０、縦方向における画素の座標値Ｙ＝０にリセットされ、ステップＳ２２へ移行する。
【００７１】
ステップＳ２２では、電荷積算値（ＣＨＡＲＧＥ）の計算が行われる。
【００７２】
ステップＳ２３では、Ｙ値が１ステップずつカウントされる（Ｙ＝Ｙ＋１）。
【００７３】
ステップＳ２４では、Ｙ値が２５６ラインに至ったか否かの判断が行われ、Ｙ＝２５６となるまでステップＳ２２、ステップＳ２３、ステップＳ２４の処理が繰り返される。こうしてＸ＝０において、Ｙ＝０からＹ＝２５５まで電荷積算が行われると、ステップＳ２５においてＹ値が０とされ、ステップＳ２６においてＸ値が１ステップカウントされる（Ｘ＝Ｘ＋１）。
【００７４】
ステップＳ２７では、Ｘ値が５１１画素終了したか否かの判断が行われ、Ｘ値が５１２画素まで至っていない場合には、ステップＳ２２、ステップＳ２３、ステップＳ２４、ステップＳ２５、ステップＳ２６、ステップＳ２７が繰り返され、電荷積算が行われる。
【００７５】
このステップＳ２２〜ステップＳ２７の処理によって、５１２画素×２５６ラインの全ての画素の電荷積算が行われると、ステップＳ２８へ移行する。
【００７６】
ステップＳ２８では、電荷積算値が基準値１（ＣＨＡＲＧＥ１（ＲＥＦ））を上回る場合には（ＹＥＳ）、ステップＳ２９へ移行し、シャッタースピード（ＳＨＵＴＴＥＲ）が１ステップ速く設定される（ＳＨＵＴＴＥＲ−１）。
【００７７】
前記ステップＳ２８において、電荷積算値が基準値１を下回る場合には、ステップＳ３０へ移行し、電荷積算値が基準値２（ＣＨＡＲＧＥ２（ＲＥＦ））を下回るか否かが判断される。電荷積算値が基準値２（ＣＨＡＲＧＥ２（ＲＥＦ））を下回る場合（ＹＥＳ）には、ステップＳ３１へ移行し、そうでない場合（ＮＯ）には前記ステップＳ１０へ移行する。
【００７８】
ここで基準値１，２では、予め実験評価した上で、各フィールドの目標輝度レベルを維持するように最適なパラメータが決定されている。
【００７９】
ステップＳ３１では、シャッタースピード（ＳＨＵＴＴＥＲ）が１ステップ遅く設定される（ＳＨＵＴＴＥＲ＋１）。
【００８０】
ここで、シャッタースピードの範囲を１／６０〜１／１００００秒に設定した場合、例えば１／６０秒、１／１００秒、１／２５０秒、１／５００秒をＯＤＤフィールドとし、１／１０００秒、１／２０００秒、１／４０００秒、１／１００００秒をＥＶＥＮフィールドというようにシャッタースピードを設定する。例えば、１／６０秒よりも１ステップ速くとは、シャッタースピードが１／１００秒となることである。シャッタースピードが１／４０００秒よりも１ステップ遅くとは、シャッタースピードが１／２０００秒となることである。
【００８１】
なお、上記シャッタースピードは、あくまでも例示であって、夫々のフィールドのシャッタースピードの範囲をもっと広く設定したり、夫々のシャッタースピードの間隔を小さく設定したりすることは自由である。
【００８２】
こうして、電荷積算値が基準値１を上回る場合には、対向車の前照灯など強い光が一定以上に存在し、全体の輝度レベルが高いものとなっているため、シャッタースピードを速くして輝度レベルを下げようとするものである。また電荷積算値が基準値２を下回る場合には、全体の輝度レベルが暗いため、シャッタースピードを遅くして輝度レベルを上げようとするものである。この場合、基準値１は基準値２よりも高い輝度レベルとして設定されている。そして電荷積算値が基準値１〜２内の場合には、シャッタースピードはそのまま維持されることになる。
【００８３】
なお図１３では、特にＥＶＥＮフィールド、ＯＤＤフィールドを区別はしていないが、ステップＳ１のシャッタースピード初期設定によって、ＥＶＥＮフィールド、ＯＤＤフィールドのそれぞれのシャッタースピードを変えているため、これに応じて各フィールドの基準値１，２は初期設定に応じて異なったものとなっており、図１３のフローチャートによりそれぞれのシャッタースピードの切替が行われるものである。
【００８４】
前記シャッタースピードの切替をピーク値検出法で行う場合は、図１２のステップＳ９からステップＳ１２へ移行すると、図１４のフローチャートが実行されるように構成されている。
【００８５】
図１４のステップＳ４１ではリセット処理が行われ、「ｉ＝０」の処理が実行される。このステップＳ４１では、ピークカウンタ（ｉ）が０にリセットされる。ピークカウンタは、前記のように画像データを走査して各画素の輝度値がピーク電荷基準値と同等かそれ以上の場合にその画素をカウントするものである。
【００８６】
ステップＳ４２では、横方向における画素の座標値Ｘ＝０、縦方向における画素の座標値Ｙ＝０にリセットし、ステップＳ４３へ移行する。
【００８７】
ステップＳ４３では、座標（Ｘ，Ｙ）の画素の電荷積算値（ＣＨＡＲＧＥ）が予め設定されたピーク電荷基準値（ＰＥＡＫ（ＲＥＦ））と同等かそれ以上か否かが判断される。ステップＳ４３で、座標（Ｘ，Ｙ）の画素の電荷積算値がピーク電荷基準値と同等かそれ以上と判断されたときはステップＳ４４へ移行し、そうでなければステップＳ４５へ移行する。
【００８８】
ステップＳ４４では、ピークカウンタが１つカウントされる（ｉ＝ｉ＋１）。
【００８９】
ステップＳ４５では、Ｙ値が１ステップずつカウントされる（Ｙ＝Ｙ＋１）。
【００９０】
ステップＳ４６では、Ｙ値が２５６ラインに至ったか否かの判断が行われ、Ｙ＝２５６となるまでステップＳ４３、ステップＳ４４、ステップＳ４５、ステップＳ４６の処理が繰り返される。こうしてＸ＝０において、Ｙ＝０からＹ＝２５５まで走査されると、ステップＳ４７においてＹ値が０とされ、ステップＳ４８においてＸ値が１ステップカウントされる（Ｘ＝Ｘ＋１）。
【００９１】
ステップＳ４９では、Ｘ値が５１１画素終了したか否かの判断が行われ、Ｘ値が５１２画素まで至っていない場合には、ステップＳ４３、ステップＳ４４、ステップＳ４５、ステップＳ４６、ステップＳ４７、ステップＳ４８、ステップＳ４９が繰り返され、ピーク電荷基準値と同等かそれ以上の画素がカウントされる。
【００９２】
このステップＳ４３〜ステップＳ４９の処理によって、５１２画素×２５６ラインの全ての画素の走査が行われると、ステップＳ５０へ移行する。
【００９３】
ステップＳ５０では、ピーク電荷画素数がピーク電荷基準画素数１（ＣＯＵＮＴＥＲ１（ＲＥＦ））を上回る場合（ＹＥＳ）にステップＳ５１へ移行し、シャッタースピード（ＳＨＵＴＴＥＲ）が１ステップ速く設定される（ＳＨＵＴＴＥＲ−１）。
【００９４】
前記ステップＳ５０において、ピーク電荷画素数がピーク電荷基準画素数１を下回る場合には、ステップＳ５２へ移行し、ピーク電荷画素数がピーク電荷基準画素数２（ＣＯＵＮＴＥＲ２（ＲＥＦ））を下回るか否かが判断される。ピーク電荷画素数がピーク電荷基準画素数２（ＣＯＵＮＴＥＲ２（ＲＥＦ））を下回る場合（ＹＥＳ）には、ステップＳ５３へ移行し、そうでない場合（ＮＯ）には前記ステップＳ１０へ移行する。
【００９５】
ここでピーク電荷基準画素数１，２では、前記したように予め実験評価した上で、各フィールドの目標輝度レベルを維持するように最適なパラメータが決定されている。
【００９６】
ステップＳ５３では、シャッタースピード（ＳＨＵＴＴＥＲ）が１ステップ遅く設定される（ＳＨＵＴＴＥＲ＋１）。
【００９７】
こうしてピーク電荷画素数がピーク電荷基準画素数１を上回る場合には、対向車の前照灯など強い光が一定以上に存在し、全体の輝度レベルが高いものとなっているため、シャッタースピードを速くして輝度レベルを下げようとするものである。またピーク電荷画素数がピーク電荷基準画素数２を下回る場合には、全体の輝度レベルが暗いため、シャッタースピードを遅くして輝度レベルを上げようとするものである。この場合、ピーク電荷基準画素数１はピーク電荷基準画素数２よりも多い輝度レベルとして設定されている。そしてピーク電荷画素数がピーク電荷基準画素数１〜２内の場合には、シャッタースピードはそのまま維持されることになる。
【００９８】
なお図１４においても、特にＥＶＥＮフィールド、ＯＤＤフィールドを区別はしていないが、ステップＳ１のシャッタースピード初期設定によって、ＥＶＥＮフィールド、ＯＤＤフィールドのそれぞれのシャッタースピードを変えているため、これに応じて各フィールドのピーク電荷基準画素数１，２は初期設定に応じて異なったものとなっており、図１４のフローチャートによりそれぞれのシャッタースピードの切替が行われるものである。
【００９９】
従って、本実施形態では、ステップＳ１で初期設定したシャッタースピードに対し、ステップＳ１２でシャッタースピードを適宜切り替えることによって、図１５に示すような各フィールドの分割画像データを得ることができる。
【０１００】
図１５は、図５に対応したもので、（ａ）は例えばＯＤＤフィールド、（ｂ）はＥＶＥＮフィールドである。図５と比較しても明らかなように、明るく設定されたＯＤＤフィールドでは、自動車の前照灯のような強い光源のスポット光が映像として入ってきてもそれは無視され、白飽和するような映像となり、暗い部分がより鮮明な映像となっている。また（ｂ）のＥＶＥＮフィールドでは、スポット光をより絞り込み、その周辺の映像がより見やすくなっている。よって、全体的によりメリハリのある鮮明な画像を得ることができる。
【０１０１】
このような図１５の画像を用い、第１実施形態の図６，図７，図８のような処理を施すことによってより鮮明な出力画像を得ることができる。
【０１０２】
本実施形態では、前記ＯＤＤフィールド、ＥＶＥＮフィールドのそれぞれに共に積分平均値検出法あるいはピーク値検出法を用いたが、ＥＶＥＮフィールドに積分平均値検出法、ＯＤＤフィールドにピーク値検出法を用い、或いはＥＶＥＮフィールドにピーク値検出法、ＯＤＤフィールドに積分平均値検出法を用いることも可能である。これによって、より最適なシャッタースピードを得ることができる。この場合、積分平均値検出法では、画面全体の明るさが５０％グレーとなるように基準値を設定する。ピーク値検出法では、画面内の最高光量部を１００％白となるように基準画素数を設定する。こうすることで、明るく設定されたＯＤＤフィールドでは、暗い部分がより鮮明な映像となり、暗く設定されたＥＶＥＮフィールドでは、スポット光をより絞り込み、その周辺の映像がより見やすくなる。
【０１０３】
前記ＯＤＤフィールド、ＥＶＥＮフィールドにおいて、各画素毎の電荷を処理するＤＳＰ１３によっては、電荷読み出しを単一画素の読み出しに限らず、いくつかの画素のかたまりとして読み出し扱うこともできる。
【０１０４】
上記実施形態では、出力画像をヘッドアップディスプレイ９で表示するようにしたが、車室内等に備えられたディスプレイに表示するように構成することもできる。また、ＩＲランプ３で自動車の走行方向前方を照射するようにしたが、後方或いは側方等を照射するようにしても良い。
【０１０５】
前記撮像システムは、自動車に限らず二輪車、船舶等、他の乗り物、あるいは乗り物から独立した撮像システムとして構成することもできる。
【図面の簡単な説明】
【図１】本発明の第１実施形態を適用した自動車の概念図である。
【図２】第１実施形態に係り、撮像手段及び画像処理部のブロック図である。
【図３】第１実施形態のフローチャートである。
【図４】第１実施形態に係り、単純な二重露光制御の出力画像図である。
【図５】第１実施形態に係り、（ａ）はＯＤＤフィールドの分割画像図、（ｂ）はＥＶＥＮフィールドの分割画像図である。
【図６】第１実施形態に係り、（ａ）はＯＤＤフィールドの伸長画像図、（ｂ）はＥＶＥＮフィールドの伸長画像図である。
【図７】第１実施形態に係り、（ａ）はＯＤＤフィールドの画質調整図、（ｂ）はＥＶＥＮフィールドの画質調整図である。
【図８】第１実施形態に係り、合成された平均合成画像図である。
【図９】本発明の第２実施形態に係る撮像手段及び画像処理部のブロック図である。
【図１０】第２実施形態に係り、処理のタイミングチャートである。
【図１１】第２実施形態に係り、ＣＣＤエリアの一例を示す説明図である。
【図１２】第２実施形態に係るフローチャートである。
【図１３】第２実施形態に係り、積分平均値検出法のシャッタースピード切替を示すフローチャートである。
【図１４】第２実施形態に係り、ピーク値検出法のシャッタースピード切替を示すフローチャートである。
【図１５】第２実施形態に係り、（ａ）はＯＤＤフィールドの分割画像図、（ｂ）はＥＶＥＮフィールドの分割画像図である。
【図１６】従来例に係るブロック図である。
【図１７】従来例に係り、フィールドパルスの出力図である。
【図１８】従来例に係り、通常のシャッタースピードによる出力画像図である。
【図１９】従来例に係り、高速シャッタースピードによる出力画像図である。
【図２０】ブルーミング（ハレーション）現象を示す出力画像図である。
【図２１】他の従来例に係るブロック図である。
【図２２】他の従来例に係り、画像形成図である。
【符号の説明】
１　自動車
３　ＩＲランプ（赤外光照射手段）
５　ＣＣＤカメラ（撮像手段）
７，７Ａ　画像処理ユニット（画像処理部）

Claims (6)

1. 赤外光を照射するための赤外光照射手段と、
   前記赤外光照射手段により照射された場所を撮像して電気信号に変換する撮像手段と、
   前記撮像手段の信号蓄積時間を所定の周期で変化させ露光量の異なる画像を連続して周期的に出力する画像処理部とを備え、
   前記画像処理部は、前記露光量の異なる画像を縦方向に伸長させると共に伸長後の両画像の信号レベルを平均化することで合成した画像形成を行わせることを特徴とする撮像システム。
2. 請求項１記載の撮像システムであって、
   前記画像処理部は、縦方向に隣接する画素の信号レベルの平均値を間に挿入して前記伸長を行うことを特徴とする撮像システム。
3. 請求項１又は２記載の撮像システムであって、
   前記画像処理部は、前記露光量の目標値を予め設定し、該目標値に応じて前記信号蓄積時間を制御することを特徴とする撮像システム。
4. 請求項３記載の撮像システムであって、
   前記画像処理部は、前記撮像手段の電気信号を積算し、該積算した電気信号と前記目標値に応じて予め設定した基準値との比較により前記信号蓄積時間を制御することを特徴とする撮像システム。
5. 請求項３記載の撮像システムであって、
   前記画像処理部は、前記撮像手段の電気信号が基準値を上回る画素の数と前記目標値に応じて予め設定した基準画素数との比較により前記信号蓄積時間を制御することを特徴とする撮像システム。
6. 請求項１〜５の何れかに記載の撮像システムであって、
   前記赤外光照射手段、撮像手段、及び画像処理部は、自動車に備えられ、
   前記赤外光照射手段は、前記自動車の外方に赤外光を照射し、
   前記撮像手段は、前記自動車の外方を撮像することを特徴とする撮像システム。

Images