JP2008160305A - 車載用暗視装置 - Google Patents

Abstract

【課題】 暗中で撮像した画像をドライバが見易いようにするとともに、画像中の歩行者等の物体を精度よく検知することができる車載用暗視装置を提供する。
【解決手段】 近赤外線カメラ２では、ナイトビューＥＣＵ１に映像信号を出力する際、映像信号に識別信号として歩行者検知用の撮像条件で撮像された画像に物体検知信号を付与し、表示画像用の撮像条件で撮像された画像に映像表示信号を付与する。ナイトビューＥＣＵ１における画像分配処理部２２では、近赤外線カメラ２から出力された映像信号に付与されている映像識別信号に基づいて、画像を振り分ける。出力された映像信号に付与されている映像識別信号が映像表示信号である場合には、出力された画像を映像遅延処理部２３に振り分け、物体検知信号である場合には歩行者検知用処理部２４に振り分ける。
【選択図】 図１

Description

本発明は、暗中における車両の周囲を撮像する車載用暗視装置に関するものである。

従来、車両の夜間走行の際、車両の安全走行などのため、暗中における車両の前方を含む周囲を撮像して表示する暗視装置が知られている。暗視装置では、車両の周囲を撮像した画像から対向車両、歩行者、走行道路周囲の看板等の物体を検知し、撮像した画像と、検知した物体とを表示装置に表示するものである。

このような撮像装置として、特開２００４−３６４１１２号公報（特許文献１）に開示された車両用周辺表示装置がある。この車両用周辺表示装置は、赤外線カメラからの映像を表示装置に表示するとともに、映像中における歩行者などを検知している。ここで検知した歩行者等を表示装置に強調表示するというものである。
特開２００４−３６４１１２号公報

ところで、上記特許文献１に開示された車両等周辺表示装置においては、撮像した画像から歩行者などの物体を検知し、撮像した画像とともに表示するようにしている。ところが、ドライバ等が見易いような画像からは、物体等の検知が困難である一方、物体等の検知が比較的容易である画像は、ドライバ等が見易いとはいえない画像となっている。このため、撮像装置で撮像された画像をドライバ等が見易い画像とすると、歩行者等の物体を検知するのが困難となり、歩行者等の物体を正確に表示するのが難しくなるという問題があった。

そこで、本発明の課題は、暗中で撮像した画像をドライバが見易いようにするとともに、画像中の歩行者等の物体を精度よく検知することができる車載用暗視装置を提供することにある。

上記課題を解決した本発明に係る車載用暗視装置は、暗中における車両の周囲を撮像する撮像手段と、撮像手段で撮像された撮像画像から、車両の周囲の物体を検知する車両周囲物体検知手段と、撮像手段で撮像された撮像画像に基づく表示画像を生成する表示画像生成手段と、表示画像生成手段で生成された表示画像を表示する画像表示手段と、撮像手段の撮像条件を物体検知用と表示画像用とに調整する撮像条件調整手段と、撮像手段で撮像された撮像画像を、車両周囲物体検知用画像と表示用画像とに分配する画像分配手段と、を備えるものである。

本発明に係る車載用暗視装置においては、撮像手段による撮像条件を車両周囲物体検知用と表示画像用とに調整するとともに、これらの撮像条件で撮像した画像を画像分配手段によって分配している。このため、車両周囲物体検知用画像と表示用画像とを撮像する際にそれぞれの目的に適した条件を設定することができるので、暗中で撮像した画像をドライバが見易いようにするとともに、画像中の歩行者等の物体を精度よく検知することができる。

ここで、撮像条件に応じた撮像画像に識別信号を付与する識別信号付与手段をさらに備え、画像分配手段は、撮像画像に付与された識別信号に応じて、撮像画像を物体検知用画像と表示用画像とに分配する態様とすることができる。

このように、撮像条件に応じた撮像画像に識別信号を付与することにより、画像分配手段による物体検知用画像と表示画像との分類を容易なものとすることができる。

また、車両の周囲を照射する照射手段と、照射手段の照射条件を物体検知用と表示画像用とに調整する照射条件調整手段と、をさらに備える態様とすることができる。

このように、照射手段による照射条件をも調整することにより、さらに好適な車両周囲物体検知用画像と表示用画像とを撮像することができる。

本発明に係る車載用撮像装置によれば、暗中で撮像した画像をドライバが見易いようにするとともに、画像中の歩行者等の物体を精度よく検知することができる。

以下、添付図面を参照して本発明の実施形態について説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図示の便宜上、図面の寸法比率は説明のものと必ずしも一致しない。

図１は、本発明の実施形態に係る車載用暗視装置となるナイトビューシステムの構成を示すブロック構成図である。図１に示すように、本実施形態に係るナイトビューシステムは、ナイトビューＥＣＵ１を備えている。ナイトビューＥＣＵ１は、電子制御する自動車デバイスのコンピュータであり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、メインタイマ、および入出力インターフェイスなどを備えて構成されている。ナイトビューＥＣＵ１は、歩行者検知部１１および表示画像生成手段である描画部１２を備えている。

また、歩行者検知部１１は、Ａ／Ｄ変換部２１、画像分配手段である映像分配処理部２２、表示画像生成手段である映像遅延処理部２３、車両周囲物体検知手段である歩行者検知処理部２４、および制御部２５を備えており、描画部１２は、歩行者検知枠・作動インジケータ描画部３１を備えている。ここで、制御部２５は、撮像条件調整手段および照射条件調整手段を構成する。さらに、ナイトビューＥＣＵ１には、撮像手段である近赤外線カメラ２および照射手段である近赤外線投射装置３が接続されているとともに、画像表示手段であるモニタ４が接続されている。

近赤外線カメラ２は、たとえば車両のインナーバックミラーの内部に設けられ、車両の前方を撮像する。近赤外線カメラ２は、撮像した画像を映像信号としてナイトビューＥＣＵ１におけるＡ／Ｄ変換部２１に出力する。近赤外線投射装置３は、車両のフロントバンパの左右位置に設けられており、車両の前方における近赤外線カメラ２による撮像範囲を照射している。近赤外線カメラ２では、近赤外線投射装置３から照射した近赤外線光が物体に反射した反射光を受光することによって、車両の周囲の物体を撮像する。

また、近赤外線カメラ２および近赤外線投射装置３には、それぞれカメラコントローラおよび投射器コントローラが設けられており、制御部２５から出力される指示信号に基づいて撮像条件および動作条件（照射条件）が調整される。近赤外線カメラ２における撮像条件および近赤外線投射装置３における動作条件としては、車両の周囲の物体を検知するために好適な条件と、撮像した画像を表示するために好適な条件とがそれぞれ設定されている。たとえば、近赤外線カメラ２による撮像条件としては、内部パラメータの調整やシャッタの複数回切りの回数などを挙げることができる。また近赤外線投射装置３における動作条件としては、特定波長成分を通すまたは遮断する特定波長成分カットフィルタへの切替、投射角度、近赤外光の投射の有無などを挙げることができる。

モニタ４は、車室内における運転者が視認可能な位置に設けられており、ナイトビューＥＣＵ１における描画部１２から出力される画像を表示する。夜間に車両を運転する運転者は、モニタ４に表示される暗中における車両の周囲の状況を視認することにより、車両の周囲の安全を確認することができる。

ナイトビューＥＣＵ１における歩行者検知部１１に設けられたＡ／Ｄ変換部２１は、近赤外線カメラ２から出力される映像信号から得られるアナログ画像をＡ／Ｄ変換によってデジタル画像に変換する。Ａ／Ｄ変換部２１は、変換して得られたデジタル画像を映像分配処理部２２に出力する。映像分配処理部２２では、Ａ／Ｄ変換部２１から出力されたデジタル画像に付与されている映像識別信号を判断し、付与されている映像識別信号に基づいて、出力されたデジタル画像を表示用画像である映像表示用画像と物体検知用画像である歩行者検知用画像とに分類する。出力された画像に付与されている映像識別信号が映像表示信号である場合には、出力された画像を映像表示用画像に分類し、物体検知信号である場合には歩行者検知用画像に分類する。映像分配処理部２２は、分類した画像のうち、映像表示用画像を映像遅延処理部２３に出力し、歩行者検知用画像を歩行者検知処理部２４に出力する。

映像遅延処理部２３では、映像分配処理部２２から出力された映像表示用画像を所定の単位時間ｔ１だけ遅延させる処理を行う。ここでの単位時間ｔ１としては、歩行者検知用画像から歩行者を検知するまでの時間と同等の時間が設定されている。映像遅延処理部２３は、遅延処理した表示画像を描画部１２における歩行者検知枠・作動インジケータ描画部３１に出力する。

歩行者検知処理部２４は、映像分配処理部２２から出力された歩行者検知用画像から歩行者を検知する。歩行者検知処理部２４は、映像分配処理部２２から出力された歩行者検知用画像から歩行者を検知する。歩行者検知処理部２４は、歩行者を検知した際、歩行者検知用画像中における歩行者の位置を描画部１２における歩行者検知枠・作動インジケータ描画部３１に出力する。

制御部２５では、近赤外線カメラ２の撮像条件および近赤外線投射装置３の動作条件に対するモードとして、画像認識側モードおよび映像表示側モードとが設定されており、現在のモードに応じた近赤外線カメラ２におけるカメラパラメータや近赤外線投射装置３の動作条件に対する指示のための指示信号を近赤外線カメラ２および近赤外線投射装置３に出力している。近赤外線カメラ２のカメラコントローラでは、歩行者検知部１１に出力する映像信号に対して、同期信号を付与する。近赤外線カメラ２（カメラコントローラ）は、識別信号付与手段を構成する。さらに、カメラコントローラは、同期信号の直後におけるヘッダ部に、現在のモードに応じた映像識別信号を付与する。映像信号における同期信号が付与される間隔は、単位時間ｔ１よりも短く、単位時間ｔ１あたりに数回の同期信号が付与される。

描画部１２における歩行者検知枠・作動インジケータ描画部３１では、映像遅延処理部２３から出力される映像表示用画像中に、歩行者検知処理部２４から出力された歩行者に位置を表示した表示画像を生成する。歩行者検知枠・作動インジケータ描画部３１は、生成した表示画像をモニタ４に出力する。

また、ナイトビューＥＣＵ１には、車両のヘッドライトをＯＮ−ＯＦＦする図示しないヘッドライトスイッチが接続されている。このヘッドライトスイッチがＯＮされてヘッドライライトが照射されることにより、ナイトビューＥＣＵ１が起動する。

次に、本実施形態に係るナイトビューシステムの処理手順について説明する。図２および図３は、ナイトビューシステムにおける歩行者検知部１１の処理手順を示すフローチャートである。

図２に示すように、歩行者検知部１１では、まずナイトビューＥＣＵ１が起動してナイトビューシステムが作動しているか否かを判断する（Ｓ１）。その結果、ナイトビューシステムが作動していないと判断した場合には、制御部２５によるカメラ制御を停止するとともに、ナイトビューＥＣＵ１のメインタイマを停止させ（Ｓ２）、ステップＳ１に戻って以後、その工程を繰り返す。

また、ナイトビューシステムが作動していると判断した場合には、制御部２５による近赤外線カメラ２の制御動作中であるか否かを判断する（Ｓ３）。その結果、近赤外線カメラ２の制御動作中でないと判断した場合には、制御部２５による近赤外線カメラの制御を開始して（Ｓ４）、ステップＳ３に戻る。

さらに、近赤外線カメラ２の制御動作中であると判断した場合には、ナイトビューＥＣＵ１のメインタイマが動作中であるか否かを判断する（Ｓ５）。その結果、ナイトビューＥＣＵ１のメインタイマが動作中でないと判断した場合には、ナイトビューＥＣＵ１のメインタイマをスタートさせて（Ｓ６）、ステップＳ５に戻る。

また、ナイトビューＥＣＵ１のメインタイマが動作中であると判断した場合には、近赤外線投射装置３の動作条件が成立しているか否かを判断する（Ｓ７）。その結果、近赤外線投射装置３の動作条件が成立していると判断した場合には、近赤外線投射装置３が点灯しているか否かを判断する（Ｓ８）。その結果、近赤外線投射装置３が点灯していないと判断した場合には、近赤外線投射装置３をＯＮにし（Ｓ９）、点灯している場合にはそのままステップＳ１２に進む。一方、近赤外線投射装置３の動作条件が成立していないと判断した場合には、近赤外線投射装置３が点灯しているか否かを判断する（Ｓ１０）。その結果、近赤外線投射装置３が点灯していると判断した場合には、近赤外線投射装置３をＯＦＦにし（Ｓ１１）、点灯している場合にはそのままステップＳ１２に進む。

続いて、図３に進み、ナイトビューＥＣＵ１のメインタイマが単位時間ｔ１の整数ｎ倍の数値となっているか否かを判断する（Ｓ１２）。その結果、ナイトビューＥＣＵ１のメインタイマが単位時間ｔ１の整数ｎ倍の数値となっていると判断した場合には、制御部２５におけるモードを画像認識側に設定するとともに、映像取り込み中状態に設定する（Ｓ１３）。映像取り込み中状態の際には、映像分配部２２から歩行者検知処理部２４に対する画像の取り込みを可能な常態とする。また、ナイトビューＥＣＵ１のメインタイマが単位時間ｔ１の整数ｎ倍の数値となっていないと判断した場合には、そのままステップＳ１４に進む。

その後、歩行者検知部１１への映像の取り込みが完了しているか否かを判断する（Ｓ１４）。その結果、映像の取り込みが完了していると判断した場合には、制御部２５におけるモードを映像表示側に設定するとともに、近赤外線カメラ２からの映像取り込み中状態を解放する（Ｓ１５）。また、映像の取り込みが完了していないと判断した場合には、映像取り込みが終了するまで、そのままステップＳ１６に進む。

それから、制御部２５における現在のモード（現モード）が、前回のルーチンにおけるモード（前回モード）と一致しているか否かを判断する（Ｓ１６）。その結果、現モードが前回モードと一致していないと判断した場合には、制御部２５において、現モードに合わせて、近赤外線カメラ２における撮像条件および近赤外線投射装置３における動作条件の設定変更指示として、現在のモードに応じた指示信号を近赤外線カメラ２および近赤外線投射装置３に出力する（Ｓ１７）。具体的には、近赤外線カメラ２に対して、カメラパラメータの設定変更指示などを行うとともに、近赤外線投射装置３に対して、動作設定指示などを行う。

また、近赤外線カメラ２は、撮像した画像を映像信号として歩行者検知部１１に出力している。ここで、近赤外線カメラ２におけるカメラコントローラでは、撮像した画像に基づく映像信号を生成しており、この映像信号には、図４に示すように、同期信号ＳＳに続くヘッダ部に映像識別信号ＡＳが含まれている。このヘッダ部に続いて、映像データＶＤが含まれている。また、映像識別信号ＡＳとしては、車両の周囲の物体を検知するために好適な条件で撮像が行われた際には、物体検知信号が記録され、撮像した画像を表示するために好適な条件で撮像が行われた際には、映像表示信号が記録される。

それから、ステップＳ１７で指示信号を出力し、または現モードが前回モードと一致していると判断した場合には、前回モードを現モードとして記憶し（Ｓ１８）、歩行者検知部１１の処理を終了する。その後、近赤外線カメラ２から出力された映像信号をＡ／Ｄ変換部２１においてデジタル画像に変換した後、映像分配処理部２２において、変換したデジタル画像を映像表示用画像と歩行者検知用画像とに分類する（Ｓ１９）。映像分配処理部２２では、近赤外線カメラ２から出力された映像信号のヘッダ部に付与されている映像識別信号が映像表示信号であるか物体検知信号であるかを確認する。このときに付与されている映像識別信号が映像表示信号である場合には、出力された画像を映像遅延処理部２３に出力する。また、付与されている映像識別信号が物体検知信号である場合には、出力された画像を歩行者検知処理部２４に出力する。この点について図４に示す例で説明すると、たとえば、単位時間ｔ１あたりに４回の同期信号が付与される場合には、同期信号が４回付与される間に、映像識別信号として、３回の映像表示信号ＶＡＳおよび１回の物体検知信号ＯＡＳが付与される。

映像遅延処理部２３では、映像分配処理部２２から出力された画像に遅延処理を施した表示画像を、歩行者検知処理部２４における処理時間（単位時間と同等の時間）ｔ１が経過した後に、描画部１２における歩行者検知枠・作動インジケータ描画部３１に出力する（Ｓ２０）。また、歩行者検知処理部２４では、映像分配処理部２２から出力された画像を画像処理することにより、撮像されている歩行者等を検知する。歩行者等を検知することができた場合には、歩行者等の位置に検知枠を表示して強調表示するように、描画部１２における歩行者検知枠・作動インジケータ描画部３１に検知枠表示部を出力する（Ｓ２０）。こうして、歩行者検知部１１における処理が終了する。

歩行者検知部１１における処理が済んだら、描画部１２における歩行者検知枠・作動インジケータ描画部３１では、映像遅延処理部２３から出力された画像に対して、歩行者検知処理部２４から出力された位置に歩行者検知枠を加えた画像を生成し、生成した画像をモニタ４に表示させる。

以上の構成を有する本実施形態に係るナイトビューシステムにおいては、ナイトビューシステムが作動して暗中における車両の周囲を近赤外線カメラ２で撮像し、撮像した映像に基づく映像信号が近赤外線カメラ２からナイトビューＥＣＵ１における歩行者検知部１１に出力される。近赤外線カメラ２からナイトビューＥＣＵ１における歩行者検知部１１に出力される映像信号に映像識別信号が付与されている。この歩行者検知部１１では、映像分配処理部２２において、映像信号に付与された映像識別信号を確認することにより、出力された映像信号を映像遅延処理部２３と歩行者検知処理部２４とに振り分けている。

ここで、制御部２５では、近赤外線カメラ２の撮像条件を調整する指示信号を近赤外線カメラ２に出力している。近赤外線カメラ２では、制御部２５から出力された指示信号に基づいて撮像条件を調整している。また、近赤外線カメラ２から出力される映像信号として、車両の周囲の物体を検知するために好適な条件で撮像された映像に対する映像信号には物体検知用信号が付与されており、撮像した画像を表示するために好適な条件で撮像された映像に対する映像信号には映像表示信号が付与されている。このため、映像遅延処理部２３には、撮像した画像を表示するために好適な条件で撮像された映像表示用画像が供給され、歩行者検知処理部２４には、車両の周囲の物体を検知するために好適な条件で撮像された歩行者検知用画像が供給される。したがって、暗中で撮像した画像をドライバが見易いようにするとともに、画像中の歩行者等の物体を精度よく検知することができる。

また、映像分配処理部２２で画像を振り分けるにあたり、近赤外線カメラ２から出力される映像信号には識別信号が付与されており、この識別信号を確認するのみで、歩行者検知用画像と映像表示用画像とを振り分けることができる。したがって、これらの画像の振分けを容易に行うことができる。

さらに、制御部２５からは、近赤外線投射装置３に対して、動作条件を調整する指示信号を出力している。このため、近赤外線投射装置３の動作条件も車両の周囲の物体を検知するために好適な条件と撮像した画像を表示するために好適な条件とに設定することができる。したがって、さらに好適な車両周囲物体検知用画像と映像表示用画像とを撮像することができる。

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。たとえば、上記実施形態では、上記実施形態では、映像信号に映像識別信号を付与して、歩行者検知用画像と表示用画像とを分類するようにしているが、出力された映像信号を画像処理することなどによって歩行者検知用画像と表示用画像とを分類する態様とすることができる。また、上記実施形態では、車両の周囲の物体として歩行者を対象としているが、信号や道路の周囲の看板など他の物体を対象とすることもできる。

本発明の実施形態に係るナイトビューシステムの構成を示すブロック構成図である。 歩行者検知部における処理手順を示すフローチャートである。 図２に続く処理手順を示すフローチャートである。 映像信号の内容を示す図である。

符号の説明

１…ナイトビューＥＣＵ、２…近赤外線カメラ、３…近赤外線投射装置、４…モニタ、１１…歩行者検知部、１２…描画部、２１…Ａ／Ｄ変換部、２２…映像分配処理部、２３…映像遅延処理部、２４…歩行者検知処理部、２５…制御部、３１…歩行者検知枠・作動インジケータ描画部、ＡＳ…映像識別信号、ＯＡＳ…物体検知信号、ＶＡＳ…映像表示信号、ＳＳ…同期信号、ＶＤ…映像データ。

Claims (3)

1. 暗中における車両の周囲を撮像する撮像手段と、
   前記撮像手段で撮像された撮像画像から、前記車両の周囲の物体を検知する車両周囲物体検知手段と、
   前記撮像手段で撮像された撮像画像に基づく表示画像を生成する表示画像生成手段と、
   前記表示画像生成手段で生成された表示画像を表示する画像表示手段と、
   前記撮像手段の撮像条件を物体検知用と表示画像用とに調整する撮像条件調整手段と、
   前記撮像手段で撮像された撮像画像を、車両周囲物体検知用画像と表示用画像とに分配する画像分配手段と、
   を備えることを特徴とする車載用暗視装置。
2. 前記撮像条件に応じた撮像画像に識別信号を付与する識別信号付与手段をさらに備え、
   前記画像分配手段は、前記撮像画像に付与された前記識別信号に応じて、前記撮像画像を前記物体検知用画像と表示用画像とに分配する請求項１に記載の車載用暗視装置。
3. 前記車両の周囲を照射する照射手段と、
   前記照射手段の照射条件を物体検知用と表示画像用とに調整する照射条件調整手段と、
   をさらに備える請求項１または請求項２に記載の車載用暗視装置。

Images