JP2006516507A - 赤外画像と視覚画像を周辺部に依存して融合させることにより車両の周辺部を可視化するための方法及び装置 - Google Patents

Abstract

本発明は、特に暗い場合に車両の周辺部を可視化するための方法に関する。周知の方法を改善するために、融合画面を形成するために視覚画像と赤外画像からの同時同所の画面ペアの重み付けられた累積が提案される。更なる改善のために、重み付けを周辺部に依存して行うことが意図されている。つまり暗い場合にはより高い重み付けが意図され、従って融合画面内で赤外情報が視覚情報に比べて強調される。霧の場合には、視覚情報を赤外情報に比べて遥かに高く重み付けすることが意図されていて、それにより、霧の場合には往々にして余り役にたたない赤外情報が融合画面内で（ほとんど）考慮されずにいる。本方法を実施するためには、カラーで感知可能な視覚カメラ（１０１）と、赤外カメラ（１０２）と、同時同所の画面ペアを画素ごとに又は領域ごとに累積及び／又は平均値形成する融合装置つまり累積装置（１０６）とを有する装置が提案される。

Description

本発明は、該当する独立特許請求項の前提部（所謂おいて部）による、車両の周辺部（周辺状況）を可視化するための方法及び装置、並びにその装置を校正するための校正装置に関する。

特許文献１から車両用の暗視システムが知られている。このシステムは、赤外画像を生成する赤外カメラを有し、その赤外画像は、車両の周辺部の一部分において人物及び物体から出る熱放射を示す。またこの赤外画像は、ヘッドアップディスプレイを介し、ウインドシールドの下部に投影され、それにより運転者に対して可視とされる。

赤外画像内の人物及び物体を、運転者の前にある交通状況であって視覚的にウインドシールドを通じて認識することのできる交通状況に割り当てることは、運転者により成されなくてはならない。このことは、特にその周知のシステムが想定されている暗さのもとでは困難で多くの場合にはむしろ不可能であり、その理由は、赤外画像が、運転者には視覚的に認識され得ない人物及び物体を示すためである。従って、赤外画像内だけで認識可能な人物及び物体をより正確にポジション決定することは、通常は不可能であり、危険にも運転者の気をそらすことになる。

ＤＥ６９５０６１７４Ｔ２

本発明の課題は、主として、車両の周辺部を可視化するための改善された方法及び装置を提示することにあり、特に暗視システムを改善することである。

本発明の課題は、方法として並びに装置として、対応する独立特許請求項に記載された措置により解決される。本発明の有利な構成は、それらに割り当てられている従属特許請求項に記載されている。

本発明の本質的な第１観点は、車両の周辺部のほとんど同じ部分における視覚的（可視的な）な画像（以降では視覚画像（可視画像）と称す）と赤外的な画像（以降では赤外画像と称す）との組み合わせ（コンビネーション）つまり累積（オーバーラップ）を表示つまり可視化することにある。同一光景の異なるスペクトル領域の画像を累積又は融合することにより、従来技術の既述の短所がほとんど排除される。

本発明の本質的な第２観点は、両方のスペクトル部分（視覚部分と赤外部分）を各々の視覚画像と赤外画像の融合時に具体的な走行状況に依存して互いの割合で重み付けすることにある。重み付けの第１の極端な場合、融合により得られた画面はほとんど視覚情報だけを有し、通常の場合には視覚情報と赤外情報から成る累積を有し、重み付けの第２の極端な場合、融合により得られた画面はほとんど赤外情報だけを有する。

例えば幹線道路上で間隔測定システムにより先行車両が認識されると、これは例えば周知のレーダ支援式ＡＣＣシステム（オートマチック・クルーズ・コントロール）によってであるが、本発明の実施形態では、その車両を両方のスペクトル部分の融合時に走行周辺部に対して際立たせることが意図されていて、その結果、その車両は融合画面内で周辺部に対してより明確に現れる。このことは、例えば、両方のスペクトル部分の重み付けが走行周辺部に比べて重要な領域のために変更されることによって行われる；この例では、直接的に先行する車両を示す融合画面の画面部分である。昼間では例えば視覚情報が赤外情報に比べてより高く重み付けられ、それにより融合画面内ではより明確に有効とされ得て、それに対して暗い場合にはその反対に重み付けが成される。

良好に照明されている地域を車両が走行する場合、本発明の別の実施形態では選択的に又は追加的に、視覚部分つまり視覚情報を赤外部分つまり赤外情報に比べてより高く重み付けすることが意図されている。暗い幹線道路及び／又は高速道路において重み付けは選択的に又は追加的に前記のものとは反対に行われ、その結果、赤外情報つまり赤外部分が融合画面内で視覚部分に比べてより明確に現れる。

選択的に又は追加的に本発明の他の実施形態では、暗い幹線道路及び／又は高速道路において、より遠くに離れた対象の赤外情報を、その視覚情報に比べ、車両からさほど遠くに離れていない対象と区別し、融合時にそのより高い重み付けにより際立たせることが意図されている。場合により、運転者に対してディスプレイ上に提供された融合画面は、近距離領域では視覚情報がより多くの部分を占め、遠距離領域では赤外情報がより多くの部分を占め得る。

雨天、霧、又は湿った車道の場合、赤外経路の利用性つまり赤外情報の利用性は通常条件に比べて制限されている。そのような天候状況の際には恐らく制限されてのみ使用可能な赤外情報によって融合画面が悪化することに対抗するために、選択的に又は追加的に、視覚部分を赤外部分に比べて増加させる、即ち融合画面内の両方のスペクトル部分の重み付けを視覚情報の方向に適切に変更することが意図されている。

前記の天候条件を認識するために車両には特に雨センサ又は霧センサが設けられ得る。同様に、特にフォグランプのようにどの車両ランプがスイッチオンされているかが評価され得る。しかしこれらの情報は、車両内に設けられているダイナミック・ナビゲーションシステムによっても提供され得て、このシステム内には、車両の現在の滞在場所のために又は特に予期的にであるが計画された走行ルートのための動的な交通状況或いは天候状況が伝達され得る。この伝達は移動無線通信網又は車両・車両・通信により行われ得る。

選択的に又は追加的に本発明の実施形態では、運転者が融合画面内の両方のスペクトル部分の互いの重み付けを手動で調節し得て、それにより運転者の要求と特別な状況が最適に適合され得るということが意図されている。視覚情報から赤外情報への描写の連続的な移行、及び、赤外情報から視覚情報への描写の連続的な移行が、本発明の実施形態において意図されている。このことは、運転者に対し、スペクトル部分間の移動により、視覚情報と赤外情報との間の関連と、走行周辺部の融合画面に対する影響とを、より容易に且つ迅速に、交通状況のより迅速で且つ信頼性のある認識の意味で有益に使用することを可能にする。

他の実施形態では、運転者に対し、選択的に又は追加的に、この運転者に適していると思われる融合画面を選択するために多数の融合画面が提供され、この際、選択のために提供されている融合画面は、視覚情報から赤外情報への関与部分の割合において異なっている。特に視覚部分から赤外部分への異なる重み付けが融合時に行われている。

本発明に従う暗視システムの具体的な構成において、視覚カメラ又は第１センサつまりその光学系は第１光学軸線を有し、赤外カメラ又は第２光学センサつまりその光学系は第２光学軸線を有し、これらの軸線は空間的に互いにずれている。それによりこれらのカメラつまりセンサは、少なくとも部分的に車両の周辺部の異なる部分、即ち第１部分と第２部分を検知する。これらの部分は更に距離に依存する。自明であるが、本発明に従い、感度が異なる波長を網羅する２つよりも多くの赤外カメラつまり赤外センサが設けられ得て、それらによって提供された車両周辺部のデジタル画像が累積つまり融合され得る。

運転者に提示するためのほとんど歪みのない融合画面を得るために本発明の実施形態では、既に提供された第１部分と既に提供された第２部分が全体的に又は部分的に累積装置つまり融合装置により画素ごとに及び／又は領域ごとに累積つまり融合されることが意図されている。融合画面の提供のために、第１部分及び／又は第２部分及び／又は融合画面、つまり直接的な又は処理されたそれらのデジタルデータは、少なくとも１つの適合パラメータにより適合される。

距離に依存するこの又はこれらのパラメータは好ましくは本発明に従うカメラシステム又はセンサシステムつまり暗視システムの校正時にカメラつまりセンサと校正装置との間の少なくとも２つの距離範囲つまり間隔範囲のために検出される。本質的な目的は、その又はそれらの適合パラメータを、画面の累積つまり融合時に発生する対象の融合画面が、該当する距離範囲において、特に不明画面や２重画面から免れているようにほとんど歪みがないように調節することである。この又はこれらの適合パラメータは、本発明に従い、特には少なくとも１つの記録パラメータ又は変換パラメータである。類似するパラメータは、例えばデジタル画像システムの記録（レジストレーション）従って行われた２画面の累積から周知である。走行状況つまり距離に依存するこの又はこれらの適合パラメータは好ましくは校正時に車両内のデータメモリ内に記憶される。

本発明の有利な実施形態では第１距離範囲が市街地走行に典型的な走行状況に対応し、特にほぼ１５ｍから７５ｍまでの距離範囲である。

選択的に又は追加的に第２距離範囲は幹線道路走行に典型的な走行状況に対応し、特にほぼ３０ｍから１５０ｍまでの距離範囲である。

選択的に又は追加的に第３距離範囲は高速道路走行に典型的な走行状況に対応し、特にほぼ５０ｍから２５０ｍまでの距離範囲である。

距離に依存する又は距離範囲に依存する前記の適合パラメータに対して選択的に又は追加的に、走行状況に依存する別の適合パラメータも、特に前記の目的をもって検出され得る。この際、例えば、太陽が低く位置する時、霧の時、日暮れ時、又は暗い時などのような走行のために適切な適合パラメータに係るものである。

本発明の他の本質的な観点は、車両の現在の走行状況を自動的に検出し、現在の走行状況つまり周辺部状況に対応して特に校正により獲得されて車両内に記憶されている１つの又は複数の適合パラメータを、本発明に従う指向装置による使用又は累積装置つまり融合装置による使用のために提供することにある。累積装置つまり融合装置は、デジタルデータの形式で存在する視覚画像と赤外画像における画素ごとの及び／又は領域ごとの累積つまり融合を実施し、この際、距離に依存する１つの又は複数の適合パラメータは、赤外画像及び／又は視覚画像及び／又は融合画面に対し、好ましくはほとんど歪みのない及び／又は不明画面のない周辺部の融合画像が運転者に提供されるように影響を及ぼす。

前記の自動検出に対して選択的に又は追加的に本発明の実施形態では、運転車が、自分に適していると思われ、特に校正により獲得されて車両内に記憶されている適合パラメータを、本発明に従う指向装置による使用又は累積装置つまり融合装置による使用のために選択することが意図されている。つまり運転者には、例えば、市街地走行に典型的な走行状況、幹線道路走行に典型的な走行状況、高速道路走行に典型的な走行状況、及び／又は、場合により他の走行状況のための１つの又は複数の適合パラメータが選択のために提供され得て、これは例えば手動の選択可能性や音声入力の形式をもってである。それにより運転者は、車両内にある車両ナビゲーションシステムを用いなくても、ほとんど歪みのないつまり２重画面のない融合画面を自らもたらす状況にある。それにより更に運転者には、場合により自動選択を無視する可能性も開かれている。同様に運転者には、例えばこの運転者の車両から２０ｍに至るまでの距離のようなこの運転者の車両の更に近い周辺部を融合画面内で歪みなく描写させる１つの又は複数の適合パラメータを選択する可能性が提供され得る。この選択は、運転者により、例えば運転者が暗闇で自分のガレージに入ってゆき融合画面内の赤外情報を介して茂みの後方に妨害物が待ち伏せているか否かを知りたい場合に行われる。

本発明の有利な実施形態では車両の現在のポジションが、車両ナビゲーションシステム、特に衛星ナビゲーションシステムにより決定される。このポジションに基づき、車両内にあるナビゲーションシステムにより、デジタル地図データとの比較により、特に市街地道路や幹線道路や高速道路のような対応する道路分類つまり走行状況が自動的に検出される。このような車両ナビゲーションシステムは今日では既に多数の車両においてルートガイドなどの目的のために設けられていて、大きな手間を用いることなく、車両の周辺部による融合された画像の、走行状況及び周辺部に依存する自動的な前記の最適化のために利用される。

選択的に又は追加的に本発明の他の実施形態では走行状況が特に車両速度及び／又は減光ライト或いは上向きライトの稼動及び／又は車両加速度及び／又は明るさ（輝度）及び／又は霧のような少なくとも１つの走行動的値に基づいて検出される。これらの情報は、より大きな手間を必要とすることなく、今日の車両では既にそれらのボードネットワークにより全体的に又は部分的に使用可能とされている。

本発明の有利な実施形態ではカラーの視覚画像が赤外画像と融合つまり組み合わせ又は累積される。白黒の視覚画像と異なり、先行車両の赤色のブレーキランプや、赤信号や、カラーの交通標識などのような視覚画像の色情報を含んでいる融合された画面が発生する。融合された画面内の色情報は、対応的に装備されている車両の運転者に対し、融合された画面内に描写される交通状況の迅速なオリエンテーションと認識を容易にする。更に色情報はカラーの警告表示（赤信号など）を見逃してしまう危険性を減少させる。

まとめると、異なるスペクトル領域のための周辺部の画面つまり光景の画面が、各々、特に各々使用されている光学系の像欠陥に基づく赤外画像或いは視覚画像の歪みのような妨害影響から解放される。このことは好ましくはデジタル化された画面を準備するための周知の措置によりソフトウェア的に行われる。妨害影響がほとんど取り除かれた画面つまりそれらのデジタル画面データは好ましくはデジタル画面処理により互いに指向されつまり重ねられ、その結果、赤外画像と視覚画像から成るほとんど同時同所の画面ペアつまりそれらのデジタルデータが存在することになる。このことは、本発明に従い、歪みのない融合画面をもたらすための、距離に依存する及び／又は走行状況に依存する少なくとも１つの適合パラメータを使用して行われる。デジタル画面処理のために使用されるソフトウェアとハードウェアは、好ましくは、画面の互いに相対的な、移動（スライド）、回転（ローテーション）、拡大縮小（スケーリング）を可能とする。この準備により、異なるスペクトル領域からの画面の累積つまり融合のための後続のハードウェア手間が、同時同所の画面ペアの十分なリアルタイム処理にも拘らず、低コストで最適化され得る。

本発明の有利な実施形態に従い、各々同じ画面再生率を有する赤外画像と視覚画像は好ましくはこれらのスペクトル領域のための１つの又は２つのカメラ又はセンサにより生成される。それにより特に簡単に赤外画像と視覚画像から同時の画面ペアが生成され得て、このことは、ほとんどリアルタイムである両方の画像の本発明に従う後続の累積つまり融合のためのソフトウェア手間とハードウェア手間を多大に減少させる。画面ペアの処理速度が増加する；画像の中間記憶のための半導体メモリは最小化される。

本発明の有利な実施形態では赤外画像が人物及び物体から放出された赤外放射線つまり熱放射線を示し、これはほぼ８μｍから１４μｍまでの波長領域内に位置する。好ましくはＩＲカメラ又はＩＲセンサが使用され、これはほぼ８μｍから１０μｍまでの領域内で感知可能である。従って有利にも車両周辺部のための赤外放射器つまりその種の照明器（典型的にはほぼ８００ｎｍから２.５μｍまでの波長領域である）が省略され得る。周知のように各々赤外照明器を有している対向車両の交互の眩惑作用は発生しない。本発明に従う赤外画像は同様に赤外照明器の到達距離に制限されるものではない。

次に実施形態に基づき本発明を更に詳細に説明する。

図１にブロック・ダイヤグラムとして描かれている本発明に従う装置つまり暗視システム（夜間視認システム）１００は、視覚スペクトル領域（可視スペクトル領域）内で撮影する電子的なここでは所謂視覚カメラ（可視カメラ）１０１、例えばＣＣＤセンサと、ほぼ８μｍから１０μｍまでの赤外スペクトル領域内で感知可能な電子的な赤外カメラ１０２、例えばＩＲセンサと、第１標準化装置１０３と、第２標準化装置１０４と、指向装置１０５と、累積装置つまり融合装置１０６とを有する。視覚カメラ１０１はカラーの視覚画像（可視画像）を提供する。

カメラ１０１及び１０２の光学軸線は好ましくは互いに平行に指向されていて、それにより視差誤差が最小化され得て、またそれらの光学軸線は好ましくは近傍に並んで位置し、それにより位置ずれ誤差が最小化される。両方のカメラ又はセンサの画像平面は好ましくは互いに平行に且つ光学軸線に対して垂直に指向され、近傍に並んで位置している。両方のカメラつまりセンサの感光性センサ面は好ましくは互いに相対的に捩れてもなく傾いてもなく、互いにほとんど平行に配設されている。更に両方のカメラ又はセンサは好ましくは同じ開口角度を有する。これらの措置により、それらのカメラ又はセンサが異なるスペクトル領域の画像を提供することが達成され得て、これらの画像は、ほとんど周辺部の同部分を示し、相対的に互いに且つ実際の状況に対して捩られていないものである。それにより、両方の画像から融合される画面を準備するための画像処理に必要な手間、従ってハードウェア手間とソフトウェア手間が明らかに減少され得る。

カメラの光学表面は好ましくは疎水性コーティングされていて、ヘッドライト洗浄に関して既に通常であるように好ましくはその洗浄のために高圧ノズルなどが設けられている。両方のカメラは好ましくは共通のハウジング内に取り付けられている（組み立てやすさ、車両軸線に対する共通の指向付け、カメラ同士の光学パラメータにずれがない）。カメラのハウジングには好ましくは固定具が配設されていて、これらの固定具は車両又は車両内において振動の少ないカメラの稼動を保証する。カメラの稼動のために作動電圧用の接続部が設けられている。カメラの作動電圧は、例えば１２ボルト及び／又は４２ボルトのような各々の車内電源電圧に柔軟に適合可能であるべきである。カメラの電子装置とセンサを損傷から保護するために、作動電圧ブランチ内には好ましくは過負荷保護装置及び極性混合防止装置が組み込まれている。カメラ又はセンサにより発生されたビデオ信号の出力（スペクトル領域で別個に又は既に融合されて）は規格に対応されるべきである（例えば、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ、又は独自の規格）。デジタル／アナログ変換器として、現存する半導体要素が使用され得る。カメラ又はセンサは、走行周辺部の可視化のために、車両の前側、車両の後側、車両の横側に装着され得る。

次に、暗視システムつまり装置１００の校正について詳細に説明する。校正のためには本発明に従う校正装置（非図示）が使用される。この校正装置は複数の白熱電球を有し、これらの白熱電球は好ましくは碁盤目状に配設されている。これらの白熱電球は、熱放射線も視覚的に可視の放射線も放出することにより傑出する。好ましくは、複数の白熱電球を備えたプレートなどが両方のカメラつまりセンサ１０１及び１０２の前方の様々な間隔範囲に相前後して配設される。間隔範囲とは、周辺部に依存する又は走行状況に依存する典型的な間隔範囲のことであり、このことについては以降で詳細に説明する。

カメラ１０１及び１０２の前方にある校正装置は、好ましくは暗い周辺部に配設されていて熱源の近くには配設されてなく、視覚カメラ１０１では（所謂）視覚画像が生成され、この視覚画像は、人間の目が見るように、碁盤目状に配設されている白熱電球を示す。更に校正装置は赤外カメラ１０２内で熱画像を生成させ、この熱画像は同様に白熱電球の配置構成を示す。典型的には視覚画像も所謂赤外画像も、特に光学的な像欠陥などに基づき、各々の画像の縁に歪みを示す。周知の方式で視覚画像内の歪みつまり像欠陥は第１標準化装置１０３によりほとんど排除される。周知の方式で赤外画像内の歪みつまり像欠陥は第２標準化装置１０４によりほとんど排除される。標準化即ち欠陥排除は、好ましくは、視覚画像のための校正パラメータ１０７を使用し、赤外画像のための校正パラメータ１０８を使用し、画像のデジタルデータにおける周知のソフトウェア的な措置（デジタル画像処理）により行われる。

標準化されたつまりノイズなどをほとんど取り除いた画像、つまりそのデジタルデータは、デジタル画像処理において周知の記録過程（レジストレーション過程）により、記録パラメータ１０９を使用して指向装置１０５により互いに指向される。指向過程では好ましくは画像の１つが不変のままであり、他の画像のための基準として用いられる。第２画像は、大きさと位置に関し、第１画像に対して相対的にほとんど同対象の画像が発生するように変更される。

つまり、標準化された画像は、融合された画面内で同一の対象がほとんど同じ位置でほとんど同じ大きさで発生するように互いに相対的に指向される。この前処理ステップが実行されないと、異なるカメラ形状やカメラずれに基づき影画面又は２重画面が発生する。このことは、融合された画面内で１つの対象が２つの個所で異なった大きさで発生することを意味する。観察者は、そのような画面により、オリエンテーションが提供されるというよりもむしろ困惑されてしまう。

画素に正確な又は領域に正確な融合を周辺部つまり走行状況に依存して最適化するためには、先ず、市街地走行に典型的な走行状況のための第１記録過程が実施される。このために校正装置とカメラ１０１及び１０２との間の間隔は例えばほぼ１５ｍから７５ｍまでの範囲内で変更され、この間隔範囲のために適切な１つの又は複数の記録パラメータが検出されて記憶される。それに対応し、幹線道路に典型的な走行状況、即ち例えばほぼ３０ｍから１５０ｍまでの範囲のための第２記録過程が実施される。それに対応して最後に、高速道路に典型的な走行状況、即ち例えばほぼ５０ｍから２５０ｍまでの範囲内のための第３記録過程が実施される。

車両ナビゲーションシステム（非図示）により提供される現在のポジションデータを使用し、デジタル地図データに基づくシステムにより、特に市街地道路や幹線道路や高速道路のような、車両のポジションに対応する道路分類つまり走行状況が検出される。特に暗い場合、走行状況に対応し且つ車両内に校正過程時に記憶された記録パラメータつまり適合パラメータが累積装置つまり指向装置１０５により走行状況に適した画像の指向付けのために使用される。つまり、該当する走行状況のために融合された画面内において特に影画面や２重画面や不明画面はほとんど回避される。

選択的に又は追加的に車両の現在の走行状況が少なくとも１つの走行動的値に基づいて検出される。１つの又は複数の走行動的値に割り当てられ且つ車両内に記憶されている記録パラメータつまり適合パラメータは、本発明に従い、累積装置つまり指向装置１０５により走行状況に適した画像の指向付けのために使用される。この措置によっても、該当する走行状況のために融合された画面内において特に影画面や２重画面や不明画面がほとんど回避される。車両の走行動的値とは、特に、車両の速度や、減光ライト又は上向きライトのスイッチオンや、車両の正加速度又は負加速度などに係るものである。

標準化された画像の上記の指向付けは３つのステップに分割され得る：移動（スライド）、回転（ローテーション）、拡大縮小（スケーリング）である。実際には、回転、拡大縮小、移動の順番が質的に最善の結果を提供することが分かっている。これらのステップの順番は、通常、可換性つまり交換可能ではないので、これらのステップの順番が校正時及び本発明に従う暗視システムの後続する稼動時に同一であることが考慮されるべきである。場合により暗視システムの校正ソフトウェア及び／又は稼動ソフトウェアが対応的に構成されなくてはならない。

互いに指向された画像は、累積装置つまり融合装置１０６内でそれらのデジタルデータの処理によりソフトウェア的に累積つまり融合される。視覚画像と赤外画像から成る同時同所つまり同対象の各画面ペアから、融合された又は累積された画面が生成され、この画面は、車両の運転者に対し、好ましくは車両内のカラーモニタ上に描写される。

視覚画像と赤外画像から成る同時同所の画面ペアの融合は、好ましくは、両方の画面からの互いに対応する個々の画素ペアを基礎にし、又は、両方の画像からの複数の画素を使用して行われる。このことは、どの解像度が望まれているのか及び／又はデジタル画像処理のためにどの計算能力が使用可能であるのかに特に対応する。説明した前処理された画像はそれらの画面データのデジタル処理により累積されて表示される。結果から見て、この過程は、同一の光景又は走行周辺部のフィルム又はスライドを重ね合わせることとほぼ比較され得る。このことは、計算技術的に、つまりデジタル画面処理時には、特に、各々の画像内の画素の輝度（明るさ）を考慮し、視覚画像及び／又は赤外画像内に含まれている色情報を考慮し、画素情報の平均値形成により達成される。このことは必ずしも画素ごとに行われる必要はなく、両方の画像内の同時同所の画素領域のための平均値形成によっても行われ得る。

更に、平均値形成時に赤外画像内の画素情報を視覚画像内の同時同所の画素情報に対して異なって重み付けすることは有意義であり得る。この異なる重み付けは、例えば、昼光に依存し、及び／又は、天候に依存し、及び／又は、自動車のヘッドライト光に依存し、及び／又は、視覚画像内の色に依存して行われ得る；それにより例えば赤信号が融合画面内で特に明確に認識可能であるということが達成され得る。更に重み付けは、例えば前景と背景との間の差のように、融合画面の部分領域のために又は全融合画面のために車両の運転者により手動で変更可能であり得る。

この処理により個々の画面領域が特に際立たされ得る。それにより例えば運転者の確実な案内を達成するために車両の直接的な走行領域がより強く強調され得る。

暗さが増すと平均値形成時には赤外情報の重み付けが視覚情報に比べて増加され得る。減光ライトがスイッチオンされている場合、赤外情報の重み付けは、視覚情報に対し、スイッチオンされている上向きライトに比べて増加され得る。

同様に各々の画像内の１つの領域の情報量は重み付けを同時に決定し得る。視覚画像の同時同所の１つの領域内の情報量は、例えば赤外画像の同じ領域内の情報量よりも明らかに多く、それにより、このことを平均値形成時に視覚情報のより高い重み付けにより考慮することは有意義であり得る。

既に説明したように、カメラつまりセンサにより生成される画像は、歪みを除いた状態で対象に忠実に指向されるために前処理されなくてはならない。コストのかかるメモリを節約するために、ソフトウェア・アルゴリズムは好ましくは画素ごとにカメラ１０１及び１０２のセンサ情報にアクセスする。

図１に描かれているデジタル画面処理のための装置は、全体的に又は部分的に、ソフトウェア被制御式の１つの又は複数のデジタルプロセッサであり、これらのデジタルプロセッサは好ましくはリアルタイムのデジタル画面処理のために最適化されたものである。また同様にソフトウェア被制御式の１つの又は複数のＰＣプロセッサを低コストで使用することも想定可能であり、これは、それらの処理速度が視覚情報と赤外情報を伴う融合画像を提供するために画像の十分なリアルタイム処理を可能とする場合にである。

車両の周辺部の一部分を可視化するための本発明に従う装置のブロック・ダイヤグラム、或いは、暗視システムを示す図で、これに基づき可視化のための本発明に従う方法が説明される。

符号の説明

１００ 暗視システム
１０１ 視覚カメラ
１０２ 赤外カメラ
１０３ 第１標準化装置
１０４ 第２標準化装置
１０５ 指向装置
１０６ 融合装置
１０７ 校正パラメータ
１０８ 校正パラメータ
１０９ 記録パラメータ

Claims (39)

1. 特に暗い場合に車両の周辺部を可視化するための方法において、
   − 周辺部の視覚画像つまりそのデジタルデータ、好ましくはカラーの視覚画像を提供すること、この際、視覚画像が視覚的に可視の対象を示すこと、及び、
   − 周辺部の赤外画像つまりそのデジタルデータを提供すること、この際、赤外画像が、視覚的に可視の及び／又は他の対象から出る赤外放射線を示すこと、
   を特徴とする方法。
2. 視覚画像又は標準化された視覚画像が、赤外画像又は標準化された赤外画像に対し、又は、赤外画像又は標準化された赤外画像が、視覚画像又は標準化された視覚画像に対し、画像のデジタルデータの処理により指向され、それにより両方のスペクトル領域のほとんど同時同所の画面ペアが提供されることを特徴とする、請求項１に記載の方法。
3. 異なるスペクトル領域のほとんど同時同所の画像の同所の画素又は画素領域が、それらのデジタルデータの処理により互いに累積されるつまり平均値形成が行われ、融合された画面内で描写されることを特徴とする、請求項１又は２に記載の方法。
4. 画素又は画素領域の輝度値及び／又は色値が累積されるつまり平均値形成のために援用されることを特徴とする、請求項３に記載の方法。
5. 視覚画像及び赤外画像からの１つの又は複数のほとんど同所の画素のために、重み付けられた累積つまり平均値形成が行われることを特徴とする、請求項３又は４に記載の方法。
6. 重み付けが車両の周辺部の明るさ及び／又は視界条件を考慮して行われることを特徴とする、請求項３〜５のいずれか一項に記載の方法。
7. 赤外画素及び視覚画素又はそれらの画素領域が、互いに対応する画素又は画素領域の累積つまり融合時に異なって重み付けられることを特徴とする、請求項３〜６のいずれか一項に記載の方法。
8. 視覚画像及び／又は赤外画像において、情報の豊富な地域が、情報の乏しい地域に比べ、累積つまり平均値形成時により高く重み付けられることを特徴とする、請求項３〜７のいずれか一項に記載の方法。
9. スペクトル部分の重み付け及び／又は累積が、運転者により、融合された画像内で、周辺部つまり走行状況に依存して手動で調節されることを特徴とする、請求項３〜８のいずれか一項に記載の方法。
10. スペクトル部分の重み付け及び／又は累積が、累積装置つまり融合装置（１０６）により周辺部つまり走行状況に依存して調節され、この装置が、車両に配設されているセンサの、周辺部つまり走行状況に依存するパラメータつまり出力信号を考慮することを特徴とする、請求項３〜９のいずれか一項に記載の方法。
11. 周辺部又は走行状況に依存する調節が、融合された全体の画面のために又は融合された画面の部分領域のために行われることを特徴とする、請求項３〜１０のいずれか一項に記載の方法。
12. 周辺部つまり走行状況に依存する調節が、例えば霧及び/又は雨及び／又は湿ったつまり光を反射する車道のような天候状況や、先行車両に対する間隔や、市街地走行や、幹線道路走行や、高速道路走行のような現在の走行周辺状況に依存し、最後に述べた情報が、例えば車両内に設けられているナビゲーションシステムに基づき地図上のデータを処理して検出されることを特徴とする、請求項９〜１１のいずれか一項に記載の方法。
13. 周辺部つまり走行状況に依存する調節が車両の現在の周辺の明るさに依存することを特徴とする、請求項９〜１２のいずれか一項に記載の方法。
14. 走行状況に依存する調節が、特に車両の速度及び／又は車両の加速度及び／又は車両の操舵角度のような車両の現在の走行動的値に依存することを特徴とする、請求項９〜１３のいずれか一項に記載の方法。
15. 視覚画像つまりそのデジタルデータが、視覚スペクトル領域内で感知可能な視覚カメラ、好ましくは色感知可能な視覚カメラ、又はそのような第１センサにより提供され、赤外画像つまりそのデジタルデータが、赤外スペクトル領域内で感知可能な赤外カメラ、又はそのような第２センサにより提供されることを特徴とする、請求項１に記載の方法。
16. 視覚カメラ又は第１センサつまりその光学系が第１光学軸線を有し、赤外カメラ又は第２光学センサつまりその光学系が第２光学軸線を有し、これらの軸線が特に平行に互いにずらされていて、それによりカメラつまりセンサが少なくとも部分的に車両の周辺部の異なる部分、即ち第１部分と第２部分を提供することを特徴とする、請求項１５に記載の方法。
17. 提供された第１部分と提供された第２部分が全体的に又は部分的に累積装置つまり融合装置（１０６）により画素ごとに及び／又は領域ごとに累積つまり融合され、融合時には、特に少なくとも１つの記録パラメータ又は変換パラメータのような、距離に依存し且つ好ましくは異なる距離のための校正時に獲得された少なくとも１つの適合パラメータが考慮されていて、この又はこれらの適合パラメータが好ましくは校正時に車両内のデータメモリ内に記憶されることを特徴とする、請求項１６に記載の方法。
18. 距離に依存する少なくとも１つのパラメータが、第１距離又は第１距離範囲のための第１校正により、及び、少なくとも１つの他の距離又は他の距離範囲のための少なくとも１つの他の校正により獲得されることを特徴とする、請求項１７に記載の方法。
19. 第１距離或いは第１距離範囲が市街地走行に典型的な走行状況に対応し、特にほぼ１５ｍから７５ｍまでの距離範囲であることを特徴とする、請求項１８に記載の方法。
20. 第２距離或いは第２距離範囲が幹線道路走行に典型的な走行状況に対応し、特にほぼ３０ｍから１５０ｍまでの距離範囲であることを特徴とする、請求項１８又は１９に記載の方法。
21. 第３距離或いは第３距離範囲が高速道路走行に典型的な走行状況に対応し、特にほぼ５０ｍから２５０ｍまでの距離範囲であることを特徴とする、請求項１８〜２０のいずれか一項に記載の方法。
22. 車両の現在の走行状況が自動的に検出され、及び／又は、運転者が自分に適していると思われる適合パラメータを複数の適合パラメータから選択し、更に、現在の走行状況に対応する又は校正により獲得されて車両内に記憶されている選択された適合パラメータが、デジタル融合画面処理における視覚画像と赤外画像の画素ごとの及び／又は領域ごとの累積つまり融合時に考慮され、それにより、好ましくは、ほとんど歪みのない及び／又は不明画面のない周辺部の融合画像が得られることを特徴とする、請求項１〜２１のいずれか一項に記載の方法。
23. 車両の現在のポジションが、車両ナビゲーションシステム、特に衛星ナビゲーションシステムにより自動的に検出され、特に市街地道路や幹線道路や高速道路のような、そのポジションに対応する道路分類つまり走行状況が検出されることを特徴とする、請求項１〜２２のいずれか一項に記載の方法。
24. 走行状況が、特に車両速度及び／又は減光ライト或いは上向きライトの稼動及び／又は車両加速度のような、少なくとも１つの走行動的値に基づいて自動的に検出されることを特徴とする、請求項１〜２３のいずれか一項に記載の方法。
25. 視覚的に可視の対象及び／又は他の対象から出て検知される赤外放射線が、ほぼ７μｍから１４μｍまでの領域内、好ましくはほぼ７.５μｍから１０.５μｍまでの領域内の波長を有することを特徴とする、請求項１〜２４のいずれか一項に記載の方法。
26. 視覚的に可視の対象及び／又は他の対象から出て検知される赤外放射線がほぼ３μｍから５μｍまでの領域内の波長を有することを特徴とする、請求項１〜２５のいずれか一項に記載の方法。
27. 視覚的に可視の対象及び／又は他の対象から出て検知される赤外放射線がほぼ８００ｎｍから２.５μｍまでの領域内の波長を有することを特徴とする、請求項１〜２６のいずれか一項に記載の方法。
28. デジタルデータの形式で存在する車両の周辺部の視覚画像が校正装置を使用して標準化されることを特徴とする、請求項１〜２７のいずれか一項に記載の方法。
29. デジタルデータの形式で存在する車両の周辺部の一部分の赤外画像が校正装置を使用して標準化されることを特徴とする、請求項１〜２８のいずれか一項に記載の方法。
30. 校正装置から、視覚的に可視の放射線と赤外放射線とが送出されることを特徴とする、請求項１〜２９のいずれか一項に記載の方法。
31. 校正装置が少なくとも１つの白熱電球を有し、複数の白熱電球の場合にはそれらが好ましくは碁盤目状に配設されていることを特徴とする、請求項１〜３０のいずれか一項に記載の方法。
32. 視覚画像及び／又は赤外画像のデジタルデータが画面データメモリ内に一時的に記憶されることを特徴とする、請求項１〜３１のいずれか一項に記載の方法。
33. 視覚カメラ又は第１センサの画面再生率と赤外カメラ又は第２センサの画面再生率が少なくともほとんど同一であることを特徴とする、請求項１〜３２のいずれか一項に記載の方法。
34. 異なるスペクトル領域のほとんど同時同所の画像の同所の画素又は画素領域が、それらのデジタルデータの処理により互いに累積されるつまり平均値形成が行われることを特徴とする、請求項１〜３３のいずれか一項に記載の方法。
35. 画素又は画素領域の輝度値及び／又は色値が累積されるつまり平均値形成のために援用されることを特徴とする、請求項１〜３４のいずれか一項に記載の方法。
36. 視覚画像及び赤外画像からの１つの又は複数のほとんど同所の画素のために、重み付けられた累積つまり平均値形成が行われることを特徴とする、請求項１〜３５のいずれか一項に記載の方法。
37. 特に暗い間、車両の周辺部を可視化するための装置（１００）において、この装置が、請求項１〜３６のいずれか一項に記載の方法を実施するを特徴とする装置。
38. 視覚カメラ（１０１）、好ましくは色感知可能な視覚カメラと、赤外カメラ（１０２）と、視覚カメラ（１０１）により提供された、車両の周辺部の一部分の好ましくはカラーの視覚画像を標準化するための第１標準化装置（１０３）と、赤外カメラ（１０２）により提供された、車両の周辺部の一部分の赤外画像を標準化するための第２標準化装置（１０４）と、視覚画像及び赤外画像からのほとんど同時同所の画面ペアを生成するための指向装置（１０５）と、ほとんど同時同所の画面ペアを画素ごとに又は領域ごとに累積及び／又は平均値形成する融合装置つまり累積装置（１０６）とが設けられていることを特徴とする、請求項３７に記載の装置。
39. 校正装置において、この校正装置が、請求項３７又は３８に記載した装置を校正するために用いられ、少なくとも１つの放射線源を有し、この放射線源が、特に白熱電球のように、視覚的に可視の放射線も赤外放射線も放出することを特徴とする校正装置。

Images