JP2000019259A

JP2000019259A - 環境認識装置

Info

Publication number: JP2000019259A
Application number: JP10184256A
Authority: JP
Inventors: Koichi Kojima; 浩一小嶋
Original assignee: Mazda Motor Corp
Current assignee: Mazda Motor Corp
Priority date: 1998-06-30
Filing date: 1998-06-30
Publication date: 2000-01-21
Anticipated expiration: 2018-06-30
Also published as: JP4103179B2

Abstract

(57)【要約】【課題】夜間や悪天候時に、周囲環境にある安全上問題
となる物体の存在をより明確に認識できるようにする。【解決手段】カメラヘッド２内に設けた赤外線カメラ１
３と可視光線カメラ１４とによって、自動車１の前方路
面状況が撮像される。赤外線カメラ１３で撮像された赤
外線映像から、可視光線カメラ１４で撮像された可視光
線映像を差し引いた画像が、ウィンドウ６に設けたヘッ
ドアップディスプレイ７（の表示部７ａ）に表示され
る。赤外線映像の濃度分布やエッッジ強度に基づいて、
コントラストの向上処理やエッジの強調処理を行うこと
ができる。可視光線カメラ１４で撮像された画像の処理
結果に基づいて、あるいはレーザレーダでの検出距離に
基づいて、さらには降雨センサ等の外界センサでの検出
結果に基づいて、特定物体を選択して、この特定物体を
表示部７ａに表示させることもできる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、赤外線カメラと可
視光線カメラとを用いて、周囲環境を明確に認識できる
ようにした環境認識装置に関するものである。

【０００２】例えば、船舶、列車、自動車等の乗り物に
あっては、安全確保のために、前方の状況つまり前方の
環境状態を明確に認識することが望まれ、このためカメ
ラによって撮像された前方環境状態を運転者に目視し易
い位置に表示することが行われている。カメラを、可視
光線を用いて撮像する可視光線カメラとした場合は、夜
間や、雨、霧、雪等の悪天候のときに、照明のない道路
や対向車のグレアによって、歩行者の存在認識や前方走
行路の状況変化等の認識が不十分となり易い。

【０００３】また、カメラとして、赤外線を用いて撮像
する赤外線カメラを用いることが特開平２−１５８９０
０号公報に開示されている。この赤外線カメラを用いた
場合は、夜間時や悪天候のときでも、前方物体を撮像す
ることが可能となり、可視光線カメラで撮像する場合よ
りも有利となる。

【０００４】

【発明が解決しようとする課題】赤外線カメラで撮像し
た場合、歩行者や対向車のように高い熱放射物体を検出
することは可能であっても、例えば路面に描かれた走行
区分線（白線）のような低い熱放射物体との区別が十分
つけにくいものとなり、赤外線カメラにより撮像した画
像のみでは周囲環境を十分認識することが難しいものと
なる。

【０００５】本発明は以上のような事情を勘案してなさ
れたもので、その目的は、夜間時や悪天候のときでも、
周囲環境にある特に安全上問題となる物体の存在をより
明確に認識できるようにした環境認識装置を提供するこ
とにある。

【０００６】

【課題を解決するための手段】前記目的を達成するた
め、本発明にあっては次のような解決手法を採択してあ
る。すなわち、特許請求の範囲における請求項１に記載
のように、周囲の環境状態を赤外線を用いて撮像する赤
外線カメラと、前記赤外線カメラとほぼ同一位置での環
境状態を可視光線を用いて撮像する可視光線カメラと、
前記赤外線カメラにより撮像された赤外線映像から前記
可視光線カメラにより撮像された可視光線映像を差引い
た画像を表示する画像表示手段と、を備えたものとして
ある。上記解決手法を前提とした好ましい態様は、特許
請求の範囲における請求項２以下に記載のとおりであ
る。

【０００７】

【発明の効果】請求項１によれば、夜間時や悪天候時で
あっても、赤外線カメラによって高い熱放射物体である
人間や車を撮像つまり明確に補足することができ、しか
も可視光線カメラによって得られた画像を差し引くこと
により、安全上特に問題となる人間や車をそれ以外のも
のと十分コントラストを付けて表示することができ、安
全上必要な物体を明確に表示つまり認識させる上で好ま
しいものとなる。

【０００８】請求項２によれば、自動車において、前方
の状況を明確に認識する上で好ましいものとなる。請求
項３によれば、高い熱放射体である特定物体を、より明
確に認識、表示させることができる。

【０００９】請求項４によれば、赤外線カメラにより得
られる画像に対して、赤外線カメラでは十分に補足でき
ないが可視光線カメラによっては明確に補足される画像
を足し合わせて、全体として両カメラの利点を生かした
画像を表示させることができる。請求項５、請求項６に
よれば、表示される画像をコントラストがより強調され
たものとして、表示された画像の認識度合いを高める上
で好ましいものとなる。

【００１０】請求項７によれば、可視光線カメラでは明
確に撮像つまり補足されるが、赤外線カメラでは十分撮
像つまり補足されにくい特定物体を明確に表示させる上
で好ましいものとなる。請求項８によれば、レーザレー
ダで測定される所定距離にある特定物体を、明確に表示
させる上で好ましいものとなる。請求項９によれば、外
部環境に応じて撮像された画像が変化され易い特定物体
を明確に表示させる上で好ましいものとなる。

【００１１】

【発明の実施の形態】図１において、自動車１の前端部
に、自動車前方の環境状況を撮像するためのカメラヘッ
ド２が装備されている。このカメラヘッド２は、後述す
るように、赤外線カメラと可視光線カメラとを有してい
る。カメラヘッド２は、その撮像方向（カメラ位置）が
カメラコントロ−ラ３により制御されて、各カメラによ
り撮像された画像が、合成／画像処理用のコントロ−ラ
４を得て、ＨＵＤ（ヘッドアップディスプレイ装置）７
に入力される。ＨＵＤ７は、運転席の直前方にあるウィ
ンドウ６に設けた画像表示部としての表示部７ａを制御
する。

【００１２】図２は、カメラヘッド２（カメラ）と表示
部７ａとの好ましい設定例を示す。この図２において、
車体の前後方向中心線が符合ＯＢＬで示され、このＯＢ
Ｌと平行でかつ運転者の中心（視線の上での中心）を通
る視線中心線が符合ＩＬで示される。カメラヘッド２と
表示部７ａとはそれぞれ視線中心線ＩＬ上にその中心が
位置するように設定されている。そして、カメラヘッド
２の視野角は視線中心線ＩＬを中心に左右同じ大きさに
設定されている。このような設定により、カメラヘッド
２により検出されて表示部７ａに表示される表示画像と
運転者が実際に前方物体を目視したときの方向感覚とを
一致させることができる。

【００１３】図３は、図２の変形例を示す。すなわち、
運転者の左右の視野は、通常運転席側方向視野角よりも
助手席側方向視野角の方が大きくなるので、この運転者
の左右の視野角の相違に対応して、カメラヘッド２の左
右の視野角の大きさが設定されている。このように設定
した場合、カメラヘッド２の視野角と運転者の視野角と
が一致されることになるが、表示部７ａの中心を視野線
ＩＬと一致させたままでは、左右の方向感覚が、表示部
７ａに表示された画像と運転者が実際に前方物体を目視
したときとで相違してしまうことになる。このような相
違を解消するため、表示部７ａの中心を視野角の大きい
助手席側へオフセットさせて、当該表示部７ａを配置し
てある。

【００１４】図４は、カメラヘッド２の具体例が示され
る。この図４において、１１はカメラハウジングであ
り、その内部には、可視光線は反射するが赤外線は通過
させるミラー１２と、赤外線を用いて撮像する赤外線カ
メラ１３と、可視光線を用いて撮像する可視光線カメラ
１４とが装備されている。前方からの光が、可視光線お
よび赤外線を共に透過する保護フィルタ１５を通過した
後、可視光線のみがミラー１２で略９０度偏向されて可
視光線カメラ１４へ入力される一方、ミラー１２を通過
した赤外線が赤外線カメラ１２に入力される。可視光線
カメラ１４は、３軸方向に位置調整可能な雲台１６に搭
載されていて、赤外線カメラ１３との光軸合わせの微調
整が可能とされている。

【００１５】図５は、図４の変形例を示すものである。
この図５の例では、ミラーとして、１２Ａ、１２Ｂの２
種類用いられている。前方に位置するミラー１２Ａは、
可視光線を反射するが赤外線を通過するものとなってお
り、ミラー１２Ａで略９０度反射された可視光線が可視
光線カメラ１４に入力される。また、後方に位置するミ
ラー１２Ｂは、赤外線を反射するもので、ミラー１２Ａ
を通過した赤外線がミラー１２Ａと同一方向へ略９０度
反射されて、赤外線カメラ１３に入力される。なお、可
視光線カメラ１４は３軸方向に位置調整可能な雲台１６
Ａに搭載され、赤外線カメラ１３は３軸方向に位置調整
可能な雲台１６Ｂに搭載され、この両方の雲台１６Ａ、
１６Ｂを調整することによって、両カメラ１３と１４と
の光軸合わせが行われる。

【００１６】図６は、ＨＵＤ７の好ましい設定例であ
り、特に前方車両等からの外乱光に邪魔されずに、ＨＵ
Ｄ７によって運転者の直前方のウィンドウ６に表示され
る画像を、運転者が明確に視認できるようにしてある。
すなわち、運転者の直前方のウィンドウ６内面には高反
射被膜からなる表示部７ａが設けられると共に、表示部
７ａの直前方位置において液晶、ＥＣなどの遮光素子１
７が挟み込まれている。この遮光素子１７に対する通電
を制御することにより、遮光素子１７による遮光のレベ
ルが調整可能とされている。遮光レベル調整のために、
表示部７ａ付近のウィンドウ６には外乱光の強さを検出
する光センサ１８が設けられ、光りセンサ１８での検出
信号が、遮光素子１７用のコントロ−ラ１９に入力され
る。コントロ−ラ１９は、光センサ１８で検出される外
乱光が強いほど、遮光素子１７の遮光レベルが強くなる
ように、遮光素子１７に対する通電を制御する。

【００１７】図７は、赤外線カメラ１３で撮像された画
像と可視光線カメラ１４で撮像された画像とを合成して
表示部７ａにより表示させる画像処理回路の一例を示す
ものであり、図１におけるコントロ−ラ４の内容に相当
する。この図７において、可視光線カメラ１４からの撮
像信号が、画像反転装置２１により反転された後、位置
合わせ装置２２によって赤外線カメラ１３で撮像された
画像との位置合わせの処理が行われて、この位置合わせ
処理後の画像が、映像合成装置２３へ入力される。この
映像合成装置２３には、赤外線カメラ１３により撮像さ
れた画像も入力されて、両カメラ１３と１４とで撮像さ
れた画像が当該合成装置２３によって後述するように合
成されることになる。

【００１８】合成装置２３からの合成映像と、位置合わ
せ装置２２からの信号と、赤外線カメラ１３からの撮像
画像とが、認識処理装置２４に入力される。認識処理装
置２４では、合成装置２３での合成映像が運転者が認識
し易いように後述するように処理されるが、この認識処
理装置２４から合成装置２３に対して合成レベル信号が
出力されて、合成装置２３は、入力される合成レベル信
号に応じたレベルでもって、両カメラ１３、１４での撮
像画像を合成する。合成装置２３からの合成映像と、認
識処理装置２４からの認識結果とが映像加工装置２５に
入力されて、この加工装置２５での加工後の映像（運転
者に目視可能な状態での映像に加工）が、ＨＵＤ７に出
力される（表示部７ａに表示される）。

【００１９】図８は、本発明の制御内容を図式的に示す
もので、図７における合成装置２３と認識処理装置２４
の機能内容に相当する。まず、可視光線カメラ１４によ
って撮像された画像がＧ１で示されるが、ヘッドライト
３１ａを点灯させた対向車３１（図８では、点灯状態に
あるヘッドライトのみ符合３１ａを付してある）と、対
向車３１の脇に居る歩行者３２と、走行路の区分線とな
る白線３３とが撮像される。ただし、夜間であって歩行
者３２の付近が暗いために、ヘッドライト３１ａと白線
３３とが明確に撮像されているが（実線で示す）、対向
車３１のボディ輪郭や、歩行者３２はほとんど識別でき
ないものとなっている（非常に暗い状態で、破線で示
す）。なお、歩行者３２よりも対向車３１のボディ輪郭
の方が多少明瞭となっている。

【００２０】赤外線カメラ１３によって撮像された画像
が、Ｇ２として示される。この画像Ｇ２では、高熱放射
体である歩行者３２と対向車３１のボディ輪郭とは明瞭
に撮像されるが、低熱放射体である白線３３は全く撮像
されていないものとなっている。画像Ｇ３は、歩行者３
２を特に強調して表示するもので、このため、画像Ｇ２
から画像Ｇ１を差し引いた画像に対して（減算処理装置
３５による差し引き処理）、特に歩行者３２を特定する
処理（認識処理装置２４）を行って、歩行者３２のみを
特定物体として表示されたものとなっている（このため
に、可視光線カメラ１４からの反射光に基づいて後述す
るように反射率を推定する反射率推定３４の処理が行わ
れる）。

【００２１】画像Ｇ４は、各画像Ｇ１とＧ２とＧ３とを
合成して得た画像となっている（加算処理装置３６によ
る加算処理）。より具体的には、画像Ｇ１から物体放射
量が所定量以上の領域のもの（歩行者３２と対向車３１
が対応）を差し引いた画像（白線３３が相当）を、画像
Ｇ２に加算する。そして、加算された画像に、画像Ｇ３
をさらに加算して、画像Ｇ４が得られる。これにより画
像Ｇ４は、歩行者３２が特に強調されて極めて明瞭に表
示され、対向車３１もヘッドライト３１ａが点灯された
状態でかなり明瞭に表示され、さらに白線３３も明瞭に
表示されたものとなる。

【００２２】ここで、画像Ｇ３をＨＵＤ７に表示させる
こともできる。また、画像Ｇ２から画像Ｇ１を差し引い
た画像をＨＵＤ７に表示させることもできる（高熱放射
体となる対向車３１と歩行者３２のみが強調された画像
の表示）。さらに、画像Ｇ２に対して、画像Ｇ１でのみ
明瞭に表示されている部分（領域で、白線３３が相当す
る）を加算した画像をＨＵＤ７に表示させることもでき
る（画像Ｇ４において、対向車３１のヘッドライト３１
ａが消灯状態に近い状態となるがそのボディ輪郭がより
明瞭になるー画像Ｇ２での対向車３１の画像と同じ状
態）。

【００２３】図９は、可視光線の物体からの反射率に基
づいて物体放射量（物体の有する固有の赤外線放射量
で、この物体放射量を知ることにより物体の識別が可
能）を推定して、物体放射量から特定の物体をＨＵＤ７
に表示させる手法を示す。すなわち、計測手段４１によ
り計測された可視光域の周辺光と、可視光線カメラ１４
により計測される反射光とに基づいて、可視光域での反
射率が算出手段４２により算出される。算出された可視
光域での反射率に基づいて、赤外線域での反射率が推定
手段４３により推定される。

【００２４】一方、計測手段４４により計測された赤外
線域の周辺光と、推定手段４３により推定された反射率
とに基づいて、赤外線域での反射量が推定手段４５によ
り推定される。赤外線カメラ１３により計測される放射
量と推定手段４５での推定放射量とに基づいて、物体放
射量が推定手段４６により推定される。そして、推定手
段４６により推定された物体放射量に基づいて、画像変
換手段４７により画像変換されて（物体放射量特有の特
定物体への画像変換）、この画像変換された画像がＨＵ
Ｄ７に表示される。

【００２５】図１０〜図１２、および以下の式１〜式１
８を参照しつつ、図９での物体放射量を得るための具体
的な推定手法の一例について説明する。まず、図１０
は、物体（被写体）からの可視光線の反射状況を示すも
のであり、周辺光が物体で反射されたときの反射光は、
物体の表面特性（反射率と反射角度）に依存する。一
方、図１１は、物体（被写体）からの赤外線の反射状況
を示すものであり、周辺光が物体で反射されたときの反
射量と、物体とのものからの放射量とが加算された値が
赤外線カメラ１３により検出されることになる。ただ
し、赤外線の場合でも、周辺光が物体で反射さされたと
きの反射量は物体の表面特性（反射率と反射角度）に依
存するということは、可視光線と同じである。

【００２６】図１２は、可視光線の反射率を算出すると
きの前提となる光学系を示すものであり、この図１２に
おいて、物体の反射率をＲ、面積をＡとし、物体を光束
Ｆ_Oで照明し、ＦナンバーＦ_N のレンズを距離ｌだけ離
して置いてある。像の倍率をｍとすれば、像はレンズか
らｍｌの位置に結像し、面積はｍ² Ａとなる。このと
き、撮像面に入射する光束Ｆ［ｌｍ］は、式１に示すよ
うになる。

【００２７】

【数１】

【００２８】物体から反射されて単位立体角に発散する
光束Ｆ_d は、式２に示すようになる。

【００２９】

【数２】

【００３０】レンズ絞り２ｒを通る光束は全て撮像面に
達するから、Ｆ_d に絞りの張る立体角を掛けて、レンズ
透過率を乗ずる（式３）。

【００３１】

【数３】

【００３２】レンズの焦点距離をｆとすると、前述した
レンズのＦナンバー、レンズ倍率に対して、式４の関係
が成立する。

【００３３】

【数４】

【００３４】さらに、下記の式５〜式８の関係が成立す
る。

【００３５】

【数５】

【００３６】

【数６】

【００３７】

【数７】

【００３８】

【数８】

【００３９】普通の撮像では、レンズから被写体までの
距離ｌは、撮像面までの距離よりも十分長いので、ｍよ
りもｌが十分大きいとして、式９が成立する。

【００４０】

【数９】

【００４１】計測可能な周辺光の照度をＥ_S とすると、
推定反射率Ｒ_S は、式１０に示すものとなる。

【００４２】

【数１０】

【００４３】式１０におけるＥに関しては、実際のカメ
ラ出力がＮＴＳＣであるので、カメラの状態量（ゲイ
ン、オフセット、ガンマ補正値）から算出することにな
る。

【００４４】上記推定反射率Ｒ_S に基づいて、赤外線域
での反射率を推定するが、その前提として、物体が選択
放射体でないものとする（ほとんどの物体は選択放射体
でなく、特に歩行者や自動車ボディ等の金属は選択放射
体ではない）。これにより、赤外線域での反射率Ｒ_l
は、可視光線域での反射率Ｒ_S の関数として式１１のよ
うに示される。

【００４５】

【数１１】

【００４６】計測可能な赤外線域の周辺放射量をＩ_S と
すると、赤外線カメラ１３に入射される物体からの反射
成分Ｉ_R は、式１２に示すようになる。

【００４７】

【数１２】

【００４８】赤外線カメラ１３の出力値ＩからＩ_R を減
算すれば、物体固有の放射量Ｉ_O が求められる（式１
３）。

【００４９】

【数１３】

【００５０】画像全体に以上の処理を行うと、物体固有
放射量Ｉ_O 画像が作成される。このＩ_O 画像を領域分割
することで、材質（表面）の違いによる物体の識別がで
きることになる。温度、放射率が既知の物体について
は、Ｉ_O 画像に対する形状認識を行わずに抽出すること
が可能である。物体からの放射量は、温度と波長のみに
依存し、プランクの式を利用することにより求められ
る。波長λ₁ からλ₂ に感度のある赤外線カメラ１３で
撮像した場合、プランクの式は、式１４に示すように示
される。

【００５１】

【数１４】

【００５２】２個の波長に対するＭの比はλとＴとの積
であることを利用すると、式１５が成立する。

【００５３】

【数１５】

【００５４】式１５中に示されている次式１６は、λＴ
の積のみの関数であり、数値表で与えられる。

【００５５】

【数１６】

【００５６】式１６での分母は、式１７に示されるステ
ファン・ボルツマンの式により求められる。

【００５７】

【数１７】

【００５８】ここで、赤外線域での反射率Ｒ_I は、最終
的に式１８で示されることになる（Ｒ_I という特性を持
った領域が抽出可能）。

【００５９】

【数１８】

【００６０】

【００６１】図１３、図１４は、温度環境にかかわらず
赤外線カメラ１３により適切に撮像できるようにした場
合を示す。すなわち、通常赤外線カメラ１３は、そのカ
メラセンサ部分は所定温度となるように温度管理される
が、レンズ部分は常温で設計されているので、このレン
ズ部分の温度変化に起因して撮像が良好に行われない場
合を生じることが考えられる。このような事態を防止す
るために、レンズ部分を保温器５１で覆う一方、レンズ
部分の温度を検出する温度センサ５２を設けて、温度制
御装置５３によって、温度センサ５２で検出される温度
が所定の一定温度となるように保温器５１を制御するよ
うにしてある。

【００６２】図１５以下は、赤外線カメラ１３により得
られる赤外線画像が、コントラストが低い、画像のエッ
ジがなだらか（境界が不鮮明）、ノイズが多いという欠
点を補うための種々の解決手法を示すものであり、例え
ば次の (1)〜 (5)の解決手法がある。

【００６３】(1)赤外線画像の濃度分布に基づいて提示
（表示）濃度を変化させること（シーンに影響されない
画像変換が可能になる）。 (2)赤外線エッジ強度に基づいてエッジ強調量を変化さ
せること（白線などの低コントラスト物体のみの輪郭強
調が可能になり、錯視の効果を狙って交通信号情報以上
のコントラスト向上が可能になる）。 (3)可視光線画像の処理結果に基づいて特定物体を選択
的に表示させること（白線などの低コントラスト物体を
安定して表示可能となり、信号、標識などの色情報が表
示可能となる）。

【００６４】(4)レーザレーダからの距離情報に基づい
て特定物体を選択的に表示させること（停止車両など低
コントラスト物体の安定したコントラスト向上が可能に
なる）。 (5)カメラ以外の外部環境を検出するセンサからの情報
に基づいて特定物体を選択的に表示させること（例え
ば、濡れた路面でも白線の濃度を明るくする処理が可能
になる）。

【００６５】まず、図１５〜図１７は、上記 (1)の解決
手法を示すもので、赤外線画像の濃度分布に基づいて、
表示部７ａへの提示画像を変化させるようにしたもので
ある。すなわち、図１５に示される原画像の濃度ヒスト
グラムを図１６に示すように平坦化した後、ガンマ変換
あるいは対数変換して図１７に示すように、運転者（人
間）の目の特性にあった画像を提示（表示）するように
してある。

【００６６】図１８〜図２２は、前記 (2)の解決手法を
示すものである。すなわち、図１８に示す赤外線画像の
原画像から、図１９に示すような２次微分画像を得る。
そして、図１８、図１９に示す画像同士を加算して、図
２０に示すような合成画像を得るようにしてある。２次
微分を行うフィルタの設定例が、図２１あるいは図２２
に示される。

【００６７】図２３〜図２５は、前記 (2)の解決手法を
示すもので、図１８〜図２０の変形例ともなるもので、
濃度の低い部分を２次微分する場合に、濃度が低いほど
より強調された２次微分画像を得るようにしてある（所
定以下の濃度をＮ倍してある−Ｎは１よりも大）。

【００６８】図２６〜図２９は、上記図２３〜図２５の
変形例となるもので、濃度が低いほど強調度合いをより
高めるようにしてある。すなわち、濃度が低いときはＮ
倍に強調し、濃度がより低いときはＭ倍に強調するよう
にしてある（Ｍ＞Ｎ）。この場合、図２９に示すよう
に、強調のための補正値（上記Ｍ、Ｎに相当）を、２次
微分値の大きさに基づいて連続可変式に変更することも
できる。

【００６９】図３０は、前記解決手法の (3)の例を示す
ものである。すなわち、赤外線画像Ｇ１１では、歩行者
が撮像されているが、白線と信号表示のコントラストが
はっきりしないものとなる。一方、可視光線画像Ｇ１２
では、上記白線と信号表示のコントラストがはっきりし
たものとなるが、歩行者が撮像されていないものとなっ
ている。この可視光線画像Ｇ１２を、ＲＧＢデコーダ６
１による処理を行った後、物体認識部６２でもってコン
トラストが明瞭な白線と信号表示という特定物体を選択
して、この選択された特定物体を合成処理部６３によっ
て赤外線画像Ｇ１１に合成させる。そして、合成された
画像を、目視できるように表示処理部６４で処理した画
像が、画像Ｇ１３として示される。

【００７０】図３１は、前記 (4)の解決手法の一例を示
すものである。すなわち、赤外線画像Ｇ２１のままで
は、前方車両が不鮮明であり、白線も不鮮明となる。図
３１では、レーザレーダ７１からの出力を受ける位置変
換部７２によって、前方物体としての前方車両までの距
離が検出される。一方、領域抽出部７３によって、赤外
線画像Ｇ２１のうち位置変換部７２によって検出される
距離内にある特定物体が抽出される。そして抽出された
特定物体（実施形態では前方車両と前方車両までにある
白線）が強調されて、表示処理部７４を経て処理画像Ｇ
２２として表示される。

【００７１】図３２、図３５は、前記 (5)の解決手法の
一例を示すものである。すなわち、図３２に示すよう
に、白線は、路面が乾燥しているときは画像Ｇ３２で示
すように背景が暗く、白線が明るく表示されるが、雨天
時では路面が濡れるために、背景が明るく、白線が暗く
なるように反転されて、白線が認識しずらいものとな
る。このため、外部環境検出手段としての外界センサ８
１（実施形態では降雨センサ）からの出力を受ける乾湿
判定部８２が、路面の濡れ具合を判定して、路面が濡れ
ていると判定されたときは、赤外線画像Ｇ３１が反転処
理部８３によって反転処理されて、赤外線画像Ｇ３１に
おける背景が暗く、赤外線画像Ｇ３１における白線が明
るくなるように反転処理される。反転処理された画像
は、表示処理部８４を経て、処理画像Ｇ３２として表示
される。路面が濡れていると判定されたときの赤外線画
像Ｇ２１の濃度と、処理画像Ｇ３２の表示濃度との関係
が図３３に示される。

【００７２】以上実施形態について説明したが、本発明
はこれに限らず、例えば次のような場合をも含むもので
ある。カメラにより撮像される環境としては、例えば自
動車の後方や側方、さらには自動車以外の船舶や列車等
の乗り物にカメラを搭載したものでもよく、さらにはカ
メラは所定の一定位置に設置されて、この一定位置の周
辺環境を撮像するものであってもよい。センサ等の各種
部材は、その機能の上位表現に手段の名称を付して表現
することができる。また、本発明の目的は、明記された
ものに限らず、実質的に好ましいあるいは利点として表
現されたものを提供することをも暗黙的に含むものであ
る。さらに、本発明は、環境認識方法として表現するこ
とも可能である。

【図面の簡単な説明】

【図１】自動車に本発明が適用された場合のカメラ、表
示部の配置例を示す図。

【図２】カメラと表示部と運転者位置との好ましい設定
例を示す図。

【図３】カメラと表示部と運転者位置との好ましい他の
設定例を示す図。

【図４】カメラヘッドの一例を示す簡略系統図。

【図５】カメラヘッドの他の例を示す簡略系統図。

【図６】ウィンドウに設けた表示部の好ましい設定例を
示す説明図。

【図７】赤外線画像可視光線画像とに基づいて、表示部
へ表示する表示画像を得るための全体制御系統図。

【図８】赤外線画像と可視光線画像とに基づいて画像処
理される内容を示す系統図。

【図９】物体放射量を推定するための系統図。

【図１０】可視光線の反射状況を示す説明図。

【図１１】赤外線の反射状況を示す説明図。

【図１２】可視光線カメラのレンズ系を示す図。

【図１３】赤外線カメラのレンズを所定温度に維持する
ための一例を示す簡略側面図。

【図１４】図１３のレンズを正面から見たときの図。

【図１５】赤外線画像の濃度に基づいて画像処理する一
例を示す図。

【図１６】赤外線画像の濃度に基づいて画像処理する一
例を示す図。

【図１７】赤外線画像の濃度に基づいて画像処理する一
例を示す図。

【図１８】赤外線画像を２次微分に基づいて画像処理す
る一例を示す図。

【図１９】赤外線画像を２次微分に基づいて画像処理す
る一例を示す図。

【図２０】赤外線画像を２次微分に基づいて画像処理す
る一例を示す図。

【図２１】２次微分フィルタの設定例を示す図。

【図２２】２次微分フィルタの他の設定例を示す図。

【図２３】赤外線画像を２次微分に基づいて画像処理す
る別の例を示す図。

【図２４】赤外線画像を２次微分に基づいて画像処理す
る別の例を示す図。

【図２５】赤外線画像を２次微分に基づいて画像処理す
る別の例を示す図。

【図２６】赤外線画像を２次微分に基づいて画像処理す
るさらに別の例を示す図。

【図２７】赤外線画像を２次微分に基づいて画像処理す
るさらに別の例を示す図。

【図２８】赤外線画像を２次微分に基づいて画像処理す
るさらに別の例を示す図。

【図２９】図２６〜図２８の例での２次微分の補正値の
設定例を示す図。

【図３０】赤外線画像を可視光線画像に基づいて補正す
る例を示す図。

【図３１】赤外線画像をレーザレーダを用いて補正する
例を示す図。

【図３２】赤外線画像を外界センサを用いて補正する例
を示す図。

【図３３】図３２の補正の内容を示す図。

【符号の説明】

１自動車２カメラヘッド４画像合成用コントロ−ラ７ＨＵＤ（ヘッドアップディスプレイ装置）７ａ表示部１３赤外線カメラ１４可視光線カメラ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 5/33 Ｈ０４Ｎ 7/18 Ｊ 7/18 Ｇ０６Ｆ 15/62 ３８０Ｆターム(参考） 2G066 AC13 AC16 BB02 BC21 CA08 5B057 AA16 AA19 BA02 BA08 CE03 CE11 DA04 DA06 DA16 DC22 DC32 5C024 AA01 AA06 CA24 CA26 EA03 EA04 FA01 FA08 FA13 HA17 HA18 HA27 5C054 AA01 CA04 CA05 HA30 5H180 AA01 AA25 AA27 CC02 CC03 CC04 CC14 CC24 EE12 LL01 LL08

Claims

【特許請求の範囲】

【請求項１】周囲の環境状態を赤外線を用いて撮像する
赤外線カメラと、前記赤外線カメラとほぼ同一位置での環境状態を可視光
線を用いて撮像する可視光線カメラと、前記赤外線カメラにより撮像された赤外線映像から前記
可視光線カメラにより撮像された可視光線映像を差引い
た画像を表示する画像表示手段と、を備えていることを
特徴とする環境認識装置。
【請求項２】請求項１において、前記赤外線カメラと可視光線カメラと画像表示手段とが
それぞれ車両に搭載されており、前記赤外線カメラと可視光線カメラとがそれぞれ車両前
方の環境状態を撮像するように設定され、前記画像表示手段が、運転者により目視可能な位置に設
けられている、ことを特徴とする環境認識装置。
【請求項３】請求項１において、可視光域の周辺光を計測する周辺光計測手段と、前記可視光線カメラからの反射光を計測する反射光計測
手段と、前記周辺光計測手段と反射光計測手段からの出力に基づ
いて、可視光域での反射率を算出する反射率算出手段
と、前記反射率算出手段により算出された反射率に基づい
て、赤外線域での反射率を推定する赤外線反射率推定手
段と、赤外線域の周辺光を計測する赤外線用周辺光計測手段
と、前記赤外線反射率推定手段により推定された赤外線反射
率と前記赤外線用周辺光計測手段により計測された赤外
線域の周辺光とに基づいて、赤外線域での反射量を推定
する赤外線反射量推定手段と、前記赤外線カメラにより計測された赤外線放射量と前記
赤外線反射量推定手段により推定された赤外線反射量と
に基づいて、物体の放射量を推定する物体放射量推定手
段と、前記物体放射量推定手段により推定された物体放射量を
画像に変換する画像変換手段と、を備えていることを特
徴とする環境認識装置。
【請求項４】請求項３において、可視光画像から物体放射量が所定量以上の領域を差引い
た画像を、前記物体放射量に基づく画像に足し合わせて
なる画像が前記画像表示手段に表示される、ことを特徴
とする環境認識装置。
【請求項５】請求項１において、赤外線映像の濃度分布に基づいて前記画像表示手段に表
示される画像の濃度を変化させてコントラストを向上さ
せるようにされている、ことを特徴とする環境認識装
置。
【請求項６】請求項１において、赤外線映像のエッジ強度に基づいて前記画像表示手段に
表示される画像のエッジを強調させるようにされてい
る、ことを特徴とする環境認識装置。
【請求項７】請求項１において、前記可視光線カメラで撮像された画像の処理結果に基づ
いて特定物体を選択して、該選択された特定物体が前記
画像表示手段に表示される、ことを特徴とする環境認識
装置。
【請求項８】請求項１において、レーザレーダからの距離表示に基づいて特定物体を選択
して、該選択された特定物体が前記画像表示手段に表示
される、ことを特徴とする環境認識装置。
【請求項９】請求項１において、前記各カメラ以外であって外部環境を検出する外部環境
検出手段からの情報に基づいて特定物体を選択して、該
選択された特定物体が前記画像表示手段に表示される、
ことを特徴とする環境認識装置。