JP2007174113A - 障害物検出システム及び障害物検出方法 - Google Patents

Abstract

【課題】撮像素子の出力値を左右の撮像装置で共通の絶対温度に対応した値へ補正するようオフセット補正値を算出することにより、より障害物を検出することができる障害物検出システム及び障害物検出方法を提供する。
【解決手段】車両の前方を撮像する複数の遠赤外撮像装置で撮像した複数の視差画像を取得して、画像中の障害物の存在を検出する検出装置とを備えた障害物検出システムにおいて、一の遠赤外撮像装置は、他の遠赤外撮像装置と同一の基準温度を記憶手段に記憶しておき、マトリックス状に配列された複数の撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値を算出し、表面の温度分布が略均一であり、撮像素子へ入光させる開口を開閉するシャッターの表面温度を計測し、計測した表面温度と基準温度との差に基づいて撮像素子ごとのオフセット補正値を補正する。
【選択図】図７

Description

本発明は、夜間に外部を撮像する遠赤外撮像装置の出力輝度値を補正することにより、視差画像間の輝度値を調整して障害物の検出精度を高く維持する障害物検出システム及び障害物検出方法に関する。

自動車等の車両の夜間走行の安全を確保すべく、ナイトビジョン等の遠赤外撮像装置により歩行者、自転車等の障害物の存在を検出する障害物検出システムが多々開発されている。通常、車両前方の所定の位置に、左右２基の遠赤外撮像装置を設置し、ステレオ視により検出した障害物までの距離を算出している。

例えば左右の遠赤外撮像装置で撮像した画像から、所定の基準パターンとパターンマッチングすることにより障害物、例えば人間が存在すると考えられる領域を検出し、ステレオ視により該領域までの距離を算出し、所定の距離内である場合に運転者へ通知することにより、車両走行の安全を確保している。

遠赤外撮像装置は、複数の撮像素子で構成されており、撮像素子で出力された輝度値をＡ／Ｄ変換して、デジタル信号として出力する。左右別個に配置された遠赤外装置で撮像する場合、対象物が同一であっても検出する熱量が相違し、出力値が相違する。したがって、ステレオ視により検出した障害物までの距離を正確に算出するためには、同一の対象物であることを確実に検出することができるよう、同一の対象物の撮像データの輝度値が同一となるよう遠赤外撮像装置の出力値を補正する必要がある。

例えば非特許文献１では、撮像素子ごとに相違している感度の非均一性を補正する方法の代表例であるＮＵＣ（Non-Uniformity Correction）について開示されており、撮像素子の応答特性が線形であることを前提として、撮像素子ごとの所定の温度に対する出力値を補正するオフセット補正値、及び撮像素子ごとの所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出して、遠赤外撮像装置からの出力値を補正している。
「ＩＲ−ＣＣＤ撮像データのリアルタイム２点補正(Real-time implementation of two-point non-uniformity correction for IR-CCD imagery)」、SPIE Proc. 、 Vol.2598、ｐ．４４−５０、１９９５年

しかし、上述した撮像装置の出力値の補正方法では、絶対温度に対応してオフセット補正値を算出していないことから、同一の物体を撮像した場合であっても、周囲の環境に応じて出力値が異なり、障害物を示す領域である場合もあれば、障害物を示す領域ではない場合もある。したがって、車両の左右に配置されている撮像装置で同一の障害物を撮像した場合であっても、同一の物体で有ると判断されないおそれがあり、障害物の検出漏れ、又は誤検出のおそれがあるという問題点があった。

また、車両の左右に配置されている撮像装置で同一の障害物を撮像した場合であって、いずれも障害物を示す領域で有ると判断された場合であっても、一方で検出された領域と他方で検出された領域との大小関係が、現実の位置関係に基づく大小関係と相違している可能性が高く、ステレオ視に基づいて障害物までの距離を算出する場合に、距離算出精度を高く維持することが困難であるという問題点があった。

また、遠赤外撮像装置の状態は、時間が経過するとともに変化する。特にレンズの経年変化等によって撮像素子で受光する光量は時間とともに減少する傾向にあり、例えば出荷時に所定の温度で所定の輝度値を出力するよう調整していた場合であっても、実際の出力値が絶対温度に対応している保証は無い。一方、所定の温度差に対する出力値は、所定の温度に対する出力値に比べて大きく変動することがない。

本発明は、斯かる事情に鑑みてなされたものであり、撮像素子の出力値を左右の撮像装置で共通の絶対温度に対応した値へ補正するようオフセット補正値を算出することにより、より障害物を検出することができる障害物検出システム及び障害物検出方法を提供することを目的とする。

上記目的を達成するために第１発明に係る障害物検出システムは、車両の周辺を撮像する複数の遠赤外撮像装置と、該複数の遠赤外撮像装置で撮像した複数の視差画像を取得して、画像中の障害物の存在を検出する検出装置とを備えた障害物検出システムにおいて、一の遠赤外撮像装置は、他の遠赤外撮像装置と同一の基準温度を記憶する手段と、マトリックス状に配列された複数の撮像素子と、該撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値を算出するオフセット補正値算出手段と、表面の温度分布が略均一であり、撮像素子へ入光させる開口を開閉するシャッターと、該シャッターの表面温度を計測する温度計測手段と、計測した前記シャッターの表面温度と前記基準温度との差を算出する手段と、算出した差に基づいて撮像素子ごとのオフセット補正値を補正する手段とを備えることを特徴とする。

また、第２発明に係る障害物検出システムは、第１発明において、前記遠赤外撮像装置は、前記撮像素子ごとに所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出する手段と、計測した前記シャッターの表面温度と前記基準温度との差を、算出した撮像素子ごとのゲイン補正値で除算する手段と、該手段で除算した値を撮像素子ごとのオフセット補正値に加算する手段とを備えることを特徴とする。

また、第３発明に係る障害物検出システムは、第１又は第２発明において、前記検出装置は、前記遠赤外撮像装置へ記憶させる前記基準温度を設定する手段を備えることを特徴とする。

また、第４発明に係る障害物検出方法は、車両の周辺を撮像する複数の遠赤外撮像装置と、該遠赤外撮像装置で撮像した画像データを取得して、画像中の障害物の存在を検出する検出装置とを用いる障害物検出方法において、一の遠赤外撮像装置は、他の遠赤外撮像装置と同一の基準温度を記憶しておき、マトリックス状に配列された複数の撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値を算出し、表面の温度分布が略均一であり、撮像素子へ入光させる開口を開閉するシャッターの表面温度を計測し、計測した前記シャッターの表面温度と前記基準温度との差を算出し、算出した差に基づいて撮像素子ごとのオフセット補正値を補正することを特徴とする。

第１発明、及び第４発明では、車両の周辺を撮像する複数の遠赤外撮像装置は、それぞれ他の遠赤外撮像装置と同一の基準温度を記憶しておき、マトリックス状に配列された複数の撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値を算出する。表面の温度分布が略均一であり、撮像素子へ入光させる開口を開閉するシャッターが閉じられた場合、該シャッターの表面温度を計測し、計測したシャッターの表面温度と記憶してある基準温度との差を算出し、算出した差に基づいて撮像素子ごとのオフセット補正値を補正する。これにより、左右の撮像装置で共通した絶対温度に対応したオフセット補正値へと補正することができ、同一の撮像対象物の同一温度を有する部分については同一の輝度値を出力させることができることから、検出された障害物までの距離を精度良く算出することができる。また、経年変化による受光量の変動のみをオフセット補正値により補正することができ、長期に渡り撮像による障害物検出精度を高く維持することが可能となる。

第２発明では、撮像素子ごとに所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出し、計測したシャッターの表面温度と基準温度との差を、算出した撮像素子ごとのゲイン補正値で除算し、除算した値を撮像素子ごとのオフセット補正値に加算する。これにより、計測したシャッターの表面温度と基準温度との差に基づくオフセット補正値を正確に算出することができ、同一の撮像対象物の同一温度を有する部分については同一の輝度値を出力させることが可能となる。

第３発明では、検出装置は、遠赤外撮像装置へ記憶させる基準温度を設定する手段を備えている。これにより、複数の遠赤外装置に記憶させる基準温度を容易に共通化することができ、同一の撮像対象物の同一温度を有する部分については同一の輝度値を出力させることが可能となる。

第１発明、及び第４発明によれば、左右の撮像装置で共通した絶対温度に対応したオフセット補正値へと補正することができ、同一の撮像対象物の同一温度を有する部分については同一の輝度値を出力させることができることから、検出された障害物までの距離を精度良く算出することができる。また、経年変化による受光量の変動のみをオフセット補正値により補正することができ、長期に渡り撮像による障害物検出精度を高く維持することが可能となる。

第２発明によれば、計測したシャッターの表面温度と基準温度との差に基づくオフセット補正値を正確に算出することができ、同一の撮像対象物の同一温度を有する部分については同一の輝度値を出力させることが可能となる。

第３発明によれば、複数の遠赤外装置に記憶させる基準温度を容易に共通化することができ、同一の撮像対象物の同一温度を有する部分については同一の輝度値を出力させることが可能となる。

図１は、本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。本実施の形態では、夜間走行中に遠赤外撮像装置で撮像された画像に基づいて車両の前方の障害物、例えば歩行者、自転車等の存在を検出する場合を例として説明する。なお、遠赤外撮像装置は、波長が７〜１４マイクロメートルの赤外光を用いた撮像装置である。

図１において、１、２は、夜間の歩行者、自転車に乗った人間等を撮像する遠赤外撮像装置である。遠赤外撮像装置１、２は、車両のフロントグリル内に、適長の間隔を隔てて略水平方向に並置してある。撮像した画像データは、ＩＥＥＥ１３９４に準拠した車載ＬＡＮケーブル６を介して接続してある検出装置３に送信される。

検出装置３は、遠赤外撮像装置１、２の他、操作部を備えた表示装置４、音声、効果音等により聴覚的な警告を発する警報装置５等の出力装置とも、車載ＬＡＮケーブル６を介して接続されている。

図２は、本発明の実施の形態に係る障害物検出システムの遠赤外撮像装置１（２）の構成を示すブロック図である。なお、本実施の形態に係る遠赤外撮像装置１は、波長が７〜１４マイクロメートルの赤外光を用いた撮像装置である。

図２において、画像撮像部１１は、光学信号を電気信号に変換する撮像素子をマトリックス状に備えている。遠赤外用の撮像素子としては、マイクロマシニング（ｍｉｃｒｏｍａｃｈｉｎｉｎｇ）技術を用いた酸化バナジウムのボロメータ型、ＢＳＴＯ（Ｂａｒｉｕｍ−Ｔｉｔａｎｉｕｍ Ｏｘｉｄｅ）の焦電型等の赤外線センサを用いる。

画像撮像部１１は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を、ＬＳＩ基板である信号処理部１２へ送信する。図３は、本発明の実施の形態に係る遠赤外撮像装置１の信号処理部１２の構成を示すブロック図である。信号処理部１２は、ＬＳＩ１６が動作を制御するＡ／Ｄ変換部１２１、ＮＵＣ（Non-Uniformity Correction）処理部１２２、ＢＰＲ（Bad-Pixel Replacement）処理部１２３、Ｄ／Ａ変換部１２４、及びフラッシュメモリ等の不揮発性メモリであるＲＡＭ１２５で構成されている。

信号処理部１２は、画像撮像部１１から受信した輝度信号をＡ／Ｄ変換部１２１でデジタル信号に変換し、ＮＵＣ（Non-Uniformity Correction）処理部１２２で撮像素子ごとに出力された輝度信号を補正する。

ＮＵＣ処理部１２２では、キャリブレーションによる補正係数として、撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値、及び撮像素子ごとに所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出して、輝度信号を補正する。例えばｉ行ｊ列のマトリックス状に配列された撮像素子ごとの出力輝度値をＶ_ijとした場合、ＮＵＣ処理部では（数１）に示す演算を行うことにより撮像素子ごとの輝度値をＶ’_ijへ補正する。

（数１）において、Ｇ_ijはゲイン補正値を、Ｏ_ijはオフセット補正値を示しており、例えば黒体炉、シャッター等の温度分布が均一である物体を撮像した場合の撮像素子ごとの出力輝度値に基づいて算出した値である。

本実施の形態では、表面の温度分布が略均一である板状のシャッター７２を対物レンズ７１と画像撮像部１１との間に開閉することが可能に設けてあり、シャッター７２が閉じられた状態で撮像した場合の撮像素子ごとの出力輝度値に基づいて、オフセット補正値を随時補正する。なお、図２では、機械式のプレーンシャッターを例に挙げているが、表面の温度分布が均一であれば、どのような構成のシャッターであっても良い。

オフセット補正値により、左右に搭載された２つの遠赤外撮像装置１、２にて、撮像対象物の温度が同一である場合には同一の輝度値を出力するよう補正するためには、２つの遠赤外撮像装置１、２それぞれのシャッター７２、７２の表面の絶対温度に基づいて算出したオフセット補正値を、同一の対象物に対して同一の出力値を出力するよう補正する必要がある。信号処理部１２のＬＳＩ１６は、互いにデータ通信を行い、２つの遠赤外撮像装置１、２で算出したオフセット補正値を補正する基準となる基準温度を遠赤外装置１、２それぞれのＲＡＭ１２５、１２５に記憶しておく。そして、ＬＳＩ１６は、キャリブレーション実行時にシャッター７２の絶対温度をそれぞれ計測し、基準温度と絶対温度との差に基づいて、補正後の出力輝度値が同一の対象物については同一の出力値となるようにオフセット補正値を補正する。

シャッター７２、７２の表面温度を検出する手段として、本実施の形態では、熱電対７３をシャッター７２の画像撮像部１１側の表面に取り付けてある。図４は、本発明の実施の形態に係る遠赤外撮像装置１、２の熱電対７３、７３の構成を示す模式図である。

熱電対７３は、熱電対素線７３１にテフロン（登録商標）（ＦＥＰ）被覆７３２を被せたものを対撚りし、先端部のテフロン被覆７３２を剥がして、＋／−の熱電対素線７３１、７３１を溶接部７３３で溶接した後、溶接部７３３を含む先端部を、テフロン（ＦＥＴＰ）製のモールド７３４でモールド加工してある。これにより、軽量かつシャッター７２の動作に追従性の高い温度計測手段として機能させることが可能となる。熱電対７３で検出した温度に応じた電流値は、温度信号として信号処理部１２へと送信される。なお、表面温度を検出する手段は、上述の熱電対７３に限定されるものではなく、例えばサーモパイル、ダイオード型温度センサ等の他のセンサを用いても良い。

信号処理部１２のＬＳＩ１６は、シャッター７２が閉じられた状態での表面温度及び出力輝度値を取得し、取得した表面温度及び撮像素子ごとの出力輝度値に基づいてオフセット補正値及びゲイン補正値を算出する。算出したオフセット補正値及びゲイン補正値は、ＲＡＭ１２５に記憶しておき、ＮＵＣ処理部１２２は、記憶してあるオフセット補正値及びゲイン補正値に基づいて撮像素子ごとに出力された輝度信号を補正する。

なお、撮像素子には所定の割合で欠陥が生じている撮像素子が含まれる。したがって、ＬＳＩ１６は、ＢＰＲ（Bad-Pixel Replacement）処理部１２３にて、欠陥が生じている撮像素子の出力値を、周囲の撮像素子の出力値を代表する値、例えば欠陥が生じている撮像素子の出力値を除外した周囲の撮像素子の出力値の平均値へ補正する。撮像素子ごとに補正された出力値は、Ｄ／Ａ変換部１２４を経てＹＵＶ（Ｙ：輝度、Ｕ、Ｖ：色差）信号等に変換される。

通信インタフェース部１４は、ＬＳＩ基板であり、車載ＬＡＮケーブル６を介して判定装置３とデータの送受信を行う。通信インタフェース部１４は、判定装置３から送出される指令に従って、変換された画像データの判定装置３への送出、撮像した画像の解像度による転送レートの変換、画像データを送出するためのパケットデータの生成等を行う。

図５は、本発明の実施の形態に係る障害物検出システムの検出装置３の構成を示すブロック図である。通信インタフェース部３１は、遠赤外撮像装置１、２に対する指令の送信、遠赤外撮像装置１、２からの画像データの受信を行う。通信インタフェース部３１は、遠赤外撮像装置１、２から受信した画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。また、通信インタフェース部３１は、車載ＬＡＮケーブル６を介して液晶ディスプレイ等の表示装置４に対して画像データを送出し、ブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。

画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ等であり、通信インタフェース部３１を介して遠赤外撮像装置１、２から受信した画像データを記憶する。

画像処理を行う基板であるＬＳＩ３３は、画像メモリ３２に記憶された画像データに基づいて障害物の存在を検出し、ＬＳＩ３３が、障害物の存在を検出した場合、ＬＳＩ３３は、通信インタフェース部３１を介して表示装置４又は警報装置５へ、警告情報を出力する。なお、ＲＡＭ３３１は、演算処理の途上で生成したデータ及び所定の領域に対応付けられている過去の複数時点の相関値を記憶する。

以下、信号処理部１２のＬＳＩ１６でのキャリブレーション処理について説明する。図６は、本発明の実施の形態に係る遠赤外撮像装置１、２の信号処理部１２のＬＳＩ１６のキャリブレーション処理の手順を示すフローチャートである。

遠赤外撮像装置１、２の画像撮像部１１は、温度分布が均一であるシャッター７２を撮像し、撮像素子ごとの出力値は信号処理部１２へ送信される。信号処理部１２のＬＳＩ１６は、画像撮像部１１から送信された撮像素子ごとの輝度信号を受信し（ステップＳ６０１）、デジタル信号Ｖ_ijへ変換する（ステップＳ６０２）。また、熱電対７３からシャッター７２の表面温度を取得する（ステップＳ６０３）。

ＬＳＩ１６は、所定の撮像素子、例えば熱電対７３の取り付け位置近傍の撮像素子のデジタル化された輝度値Ｖ_ijを基準輝度値として、全ての輝度値が基準輝度値となるようゲイン補正値及びオフセット補正値を撮像素子ごとに算出し（ステップＳ６０４）、シャッター７２の表面温度と対応付けてＲＡＭ１２５に記憶する（ステップＳ６０５）。すなわち、キャリブレーション実行時のシャッター７２の表面温度を示す出力値となるようゲイン補正値及びオフセット補正値を算出することになる。

実際の撮像時には、ＬＳＩ１６は、ＲＡＭ１２５に記憶されているゲイン補正値及びオフセット補正値を用いて、撮像された輝度信号を補正する。しかし、ＲＡＭ１２５に記憶されているのはキャブレーション実行時のシャッター７２の表面温度に基づいて算出されたゲイン補正値及びオフセット補正値である。撮像時のシャッター７２の表面温度は一般に相違することから、ＲＡＭ１２５に記憶されているゲイン補正値及びオフセット補正値をそのまま使用することはできない。

ここで、オフセット補正値は、絶対温度であるシャッター７２のキャリブレーション実行時の表面温度に対応して算出されており、撮像時のシャッター７２の表面温度との差に応じて補正することにより、絶対温度に対する出力輝度値を正しく出力するよう補正することができる。一方、温度変化率に対する出力値を補正するゲイン補正値は、シャッター７２の表面温度の変化に対して大きく変動することがないので、オフセット補正値のように随時キャリブレーションを実行して補正する必要性に乏しい。

そこで、本実施の形態に係る遠赤外撮像装置１、２の撮像時には、撮像開始前にシャッター７２を閉じてキャリブレーションを実行することにより、オフセット補正値を補正する。しかし、左右の遠赤外撮像装置１、２のシャッター７２、７２の表面温度は一般に相違している。したがって、両者を独立してオフセット補正値を補正した状態では、同一の対象物を撮像した場合であっても、出力値が相違するという問題点があった。

本実施の形態では、同一の対象物を撮像した場合には左右の遠赤外撮像装置１、２で出力値が一致するように、左右の遠赤外撮像装置１、２のシャッター７２、７２に共通な所定の基準温度を双方のＲＡＭ１２５に記憶しておき、キャブレーションを実行する都度、基準温度に基づいてオフセット補正値を補正する。図７は、本発明の実施の形態に係る遠赤外撮像装置１、２の信号処理部１２のＬＳＩ１６のオフセット補正値の補正処理の手順を示すフローチャートである。

遠赤外撮像装置１の画像撮像部１１は、撮像素子ごとの出力値を信号処理部１２へ送信する。信号処理部１２のＬＳＩ１６は、画像撮像部１１からの撮像素子ごとの輝度信号を受信し（ステップＳ７０１）、デジタル信号Ｖ_ijへ変換する（ステップＳ７０２）。

ＬＳＩ１６は、ＲＡＭ１２５に記憶してあるゲイン補正値及びオフセット補正値を撮像素子ごとに読み出す（ステップＳ７０３）。またＬＳＩ１６は、熱電対３３からシャッター７２の表面温度を取得し（ステップＳ７０４）、取得した表面温度に基づいて、読み出した撮像素子ごとのオフセット補正値を補正する（ステップＳ７０５）。

なお、取得した表面温度に対応したオフセット補正値は、所定の温度に対応したオフセット補正値を複数記憶しておき、取得した表面温度に応じて線形補間することにより推定する。オフセット補正値の算出方法は、特にこれに限定されるものではなく、例えば複数の温度に対するキャリブレーション結果に基づいて線形関数を事前に求めておき、取得した表面温度を変数として算出しても良い。

ＬＳＩ１６は、ＲＡＭ１２５に記憶してある遠赤外撮像装置１、２で共通の基準温度を読み出し（ステップＳ７０６）、基準温度に対して遠赤外撮像装置１、２が同一の輝度値を出力するようオフセット補正値を補正する（ステップＳ７０７）。具体的には、ＬＳＩ１６は、ＲＡＭ１２５に記憶してある撮像素子ごとのゲイン補正値を読み出し、計測したシャッター７２の表面温度と読み出した基準温度との差を、読み出したゲイン補正値で除算し、除算した商を撮像素子ごとのオフセット補正値に加算する。

これにより、基準温度に対する出力値を左右の遠赤外撮像装置１、２で略一致するようオフセット補正値を補正することができ、同一の対象物を撮像した場合、左右の遠赤外撮像装置１、２の出力値が略同一となるよう補正することが可能となる。なお、基準温度に基づく補正方法はこれに限定されるものではなく、同一の対象物を撮像した場合、左右の遠赤外撮像装置１、２の出力値が略同一となるよう補正することができればどのような方法であっても良い。

ＬＳＩ１６は、補正したゲイン補正値及びＲＡＭ１２５に記憶してあるオフセット補正値を用いて撮像素子ごとの輝度値Ｖ_ijを出力輝度値Ｖ’_ijへ補正する（ステップＳ７０８）。通信インタフェース部１４は、検出装置３から送出される指令に従って、画像メモリ１３に記憶された画像データを検出装置３へ送出するためのパケットデータを生成して、検出装置３へ送出する。

検出装置３のＬＳＩ３３は、画像メモリ１３に記憶された画像データに基づいて後続処理、例えば障害物検出処理を実行する。図８は、本発明の実施の形態に係る障害物検出システムの検出装置３のＬＳＩ３３の障害物検出処理の手順を示すフローチャートである。

ＬＳＩ３３は、画像メモリ３２に記憶してある画像データを読み出し（ステップＳ８０１）、撮像素子ごとの出力輝度値Ｖ’_ijに基づいて障害物領域を抽出する（ステップＳ８０２）。障害物領域の抽出時には、例えばラプラシアンフィルタを用いたエッジ抽出処理等を実行するが、左右の遠赤外撮像装置１、２で同一の対象物が同一輝度値で出力されていることにより、確実に障害物領域を抽出することができ、障害物領域の抽出漏れを防止することができる。

ＬＳＩ３３は、抽出した障害物領域について、例えばテンプレートマッチング処理等による相関値Ｒを算出し（ステップＳ８０３）、算出した相関値Ｒが所定値より大きいか否かを判断する（ステップＳ８０４）。

ＬＳＩ３３が、相関値Ｒが所定値より大きいと判断した場合（ステップＳ８０４：ＹＥＳ）、ＬＳＩ３３は、障害物領域に障害物が存在するものと判断し、後続の処理、例えば障害物までの距離算出処理、警告情報出力処理等へと移行する（ステップＳ８０５）。ＬＳＩ３３が、相関値Ｒが所定値以下であると判断した場合（ステップＳ８０４：ＮＯ）、ＬＳＩ３３は、障害物が存在しないものと判断し、ステップＳ８０１へ戻り、次のサンプリング時間での画像データを取得して、上述した処理を繰り返す。

障害物距離算出処理では、ＬＳＩ３３が、障害物が存在すると判断した場合、ＬＳＩ３３は、左右の遠赤外撮像装置１、２の出力輝度値を視差画像として、障害物領域までの距離を三角測量の原理を用いて算出する。本実施の形態では、同一の対象物については左右の遠赤外撮像装置１、２から同一の輝度値が出力されることが担保されていることから、障害物までの距離をより正確に算出することができるという格別の効果を有している。算出した距離に応じて、以下の警告情報出力処理を実行しても良いし、障害物の存在を検出した時点で警告情報出力処理を実行しても良い。

警告情報出力処理では、ＬＳＩ３３が障害物が存在すると判断した場合、ＬＳＩ３３は、通信インタフェース部３１を介して運転者に対して障害物の存在を報知する様々な手段を起動させる起動信号を、車載ＬＡＮケーブル６を介して送出する。運転者へ障害物の存在を報知することにより、運転者に対して衝突回避動作を促すことが可能となる。

運転者に対して障害物の存在を報知する手段は、例えば表示装置４に対する警告表示を指示する指示信号の送出であり、警報装置５に対する鳴動を指示する鳴動指示信号の送出である。

以上のように本実施の形態によれば、左右の遠赤外撮像装置１、２で同一の対象物を撮像した場合、同一温度を有する部分について同一の輝度値を出力させることができ、障害物の誤検出及び検出漏れを防止することができ、検出された障害物までの距離を精度良く算出することが可能となる。

なお、上述した実施の形態では、車両の左右の搭載されている遠赤外撮像装置１、２のＲＡＭ１２５、１２５に共通の基準温度が記憶されているが、該基準温度は、検出装置３のＬＳＩ３３を通じて設定することが可能となっていることが好ましい。遠赤外撮像装置１、２のＬＳＩ１６、１６間のデータ通信時には、検出装置３を必ず経由しているからである。この場合、検出装置３は、表示装置４と一体となった基準温度入力手段、別途基準温度を入力することができる入力手段等を備える必要がある。

また、上述した実施の形態では、遠赤外撮像装置１の信号処理部１２のＬＳＩ１６がオフセット補正値の補正処理を行っているが、検出装置３のＬＳＩ３３が実行しても良い。

さらに、上述した実施の形態では、遠赤外撮像装置１の信号処理部１２のＬＳＩ１６が上述した処理を行っているが、後続の処理、例えば障害物検出処理、衝突判定処理等を行う演算装置のＭＰＵ、ＣＰＵ等が実行しても良い。

また、本実施の形態では、遠赤外撮像装置１の撮像開始前にシャッター７２を閉じてキャリブレーションを実行しているが、キャリブレーションを実行するタイミングはこれに限定されるものではなく、例えば一定時間ごとにキャリブレーションを実行して、オフセット補正値を補正しても良い。

本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。 本発明の実施の形態に係る障害物検出システムの遠赤外撮像装置の構成を示すブロック図である。 本発明の実施の形態に係る遠赤外撮像装置の信号処理部の構成を示すブロック図である。 本発明の実施の形態に係る遠赤外撮像装置の熱電対の構成を示す模式図である。 本発明の実施の形態に係る障害物検出システムの検出装置の構成を示すブロック図である。 本発明の実施の形態に係る遠赤外撮像装置の信号処理部のＬＳＩのキャリブレーション処理の手順を示すフローチャートである。 本発明の実施の形態に係る遠赤外撮像装置の信号処理部のＬＳＩのオフセット補正値の補正処理の手順を示すフローチャートである。 本発明の実施の形態に係る障害物検出システムの検出装置のＬＳＩの障害物検出処理の手順を示すフローチャートである。

符号の説明

１、２ 遠赤外撮像装置
３ 検出装置
４ 表示装置
５ 警報装置
６ 車載ＬＡＮケーブル
１１ 画像撮像部
１２ 信号処理部
１３ 画像メモリ
１４ 通信インタフェース部
１５ 内部バス
１６ ＬＳＩ
１２１ Ａ／Ｄ変換部
１２２ ＮＵＣ処理部
１２３ ＢＰＲ処理部
１２４ Ｄ／Ａ変換部
１２５ ＲＡＭ

Claims (4)

1. 車両の周辺を撮像する複数の遠赤外撮像装置と、
   該複数の遠赤外撮像装置で撮像した複数の視差画像を取得して、画像中の障害物の存在を検出する検出装置とを備えた障害物検出システムにおいて、
   一の遠赤外撮像装置は、
   他の遠赤外撮像装置と同一の基準温度を記憶する手段と、
   マトリックス状に配列された複数の撮像素子と、
   該撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値を算出するオフセット補正値算出手段と、
   表面の温度分布が略均一であり、撮像素子へ入光させる開口を開閉するシャッターと、
   該シャッターの表面温度を計測する温度計測手段と、
   計測した前記シャッターの表面温度と前記基準温度との差を算出する手段と、
   算出した差に基づいて撮像素子ごとのオフセット補正値を補正する手段と
   を備えることを特徴とする障害物検出システム。
2. 前記遠赤外撮像装置は、
   前記撮像素子ごとに所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出する手段と、
   計測した前記シャッターの表面温度と前記基準温度との差を、算出した撮像素子ごとのゲイン補正値で除算する手段と、
   該手段で除算した値を撮像素子ごとのオフセット補正値に加算する手段と
   を備えることを特徴とする請求項１記載の障害物検出システム。
3. 前記検出装置は、
   前記遠赤外撮像装置へ記憶させる前記基準温度を設定する手段を備えることを特徴とする請求項１又は２記載の障害物検出システム。
4. 車両の周辺を撮像する複数の遠赤外撮像装置と、
   該遠赤外撮像装置で撮像した画像データを取得して、画像中の障害物の存在を検出する検出装置とを用いる障害物検出方法において、
   一の遠赤外撮像装置は、
   他の遠赤外撮像装置と同一の基準温度を記憶しておき、
   マトリックス状に配列された複数の撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値を算出し、
   表面の温度分布が略均一であり、撮像素子へ入光させる開口を開閉するシャッターの表面温度を計測し、
   計測した前記シャッターの表面温度と前記基準温度との差を算出し、
   算出した差に基づいて撮像素子ごとのオフセット補正値を補正することを特徴とする障害物検出方法。

Images