JP2008056233A - 車両内のナイトビューシステムを動作させる方法および対応するナイトビューシステム - Google Patents

Abstract

【課題】車両内のナイトビューシステムを動作させる方法、および対応するナイトビューシステムを提供すること。
【解決手段】車両内のナイトビューシステムを動作させる方法であって、ナイトビューセンサ（１２）を用いることにより、該車両の周囲のビデオ画像を提供することと、該車両が移動する道路（５）のコースに関する情報をナビゲーションデバイス（１５）から取り出すことと、該ナビゲーションデバイス（１５）から取り出された該情報を考慮に入れて、該ビデオ画像を処理することにより、該道路（５）の該コースを検出し、該ビデオ画像と該道路（５）の該検出されたコースとをディスプレイデバイス（２０）上に表示することとを特徴とする、方法。
【選択図】図３

Description

本発明は、車両内のナイトビューシステムを動作させる方法、および対応するナイトビューシステムに関する。特に、本発明は、改良された表示品質を提示する方法およびデバイスに関する。

例えば、自動推進車両（ｍｏｔｏｒ ｖｅｈｉｃｌｅ）、例えば、自動車（ｃａｒ）の分野において、いわゆるナイトビューシステムを自動推進車両に提供し、夜間におけるドライバーの視界を向上させることは、公知である。この手段を用いることにより、乏しい視界状況に起因する多数のアクシデントを減らすことによって、安全性を増大させることが可能である。さらに、ナイトビューシステムは、夜間に運転するとき、ドライバーの快適性を増大させる。なぜならば、ナイトビューシステムは、ドライバーが、非常にリラックスした方法で、車両の周囲を監視することを可能にするからである。典型的に、ナイトビューシステムは、特定のナイトビューセンサ（例えば、赤外線カメラ）に基づいており、該ナイトビューセンサは、可視光が存在しないときでさえも、画像を提供することが可能である。

しかしながら、ナイトビューセンサを用いて提供された画像は、しばしば、視覚可能な電磁スペクトルの範囲内で動作する従来の光学的画像化デバイスを用いて提供された画像とは、異なったものになる。したがって、ナイトビュー画像におけるオリエンテーションは、困難になることがあり得る。さらに、なんらかの関連する構造、例えば、路面または道路の縁は、ナイトビュー画像においては、弱いコントラストしか引き起こさないので、ドライバーが関連する構造を認識することは、困難である。

上記を踏まえたとき、１つのアイディアは、ナイトビュー画像において、自動推進車両が移動する道路のコースをハイライトすることである。このことは、ナイトビュー画像において道路のコースを高い信頼性で検出することを要求し、それは、既存の技術を用いて達成することは、困難である。

したがって、当該分野においては、自動推進車両が移動する道路のコースを容易に検出し、なおかつナイトビュー画像と共に表示するように、ナイトビューシステムの動作を向上させる必要性が存在する。

本発明に従うと、上記のニーズは、ナイトビューシステムを動作させる方法によって、ならびに独立請求項において特定されるようなナイトビューシステムによって対処される。従属請求項は、本発明の好適または有利な実施形態を定義する。

本発明に従うと、車両内のナイトビューシステムを動作させる方法は、ナイトビューセンサを用いることにより、車両の周囲（特に車両の前部）のビデオ画像を提供すること（すなわち、ナイトビュー画像を提供すること）と、車両が移動する道路のコースに関する情報をナビゲーションデバイスから取り出すことと、ナビゲーションデバイスから取り出された情報を考慮に入れて、道路のコースを検出し、ビデオ画像と検出された道路のコースとをディスプレイデバイス上に表示することとを包含する。特に、検出された道路コースは、ビデオ画像上に重ね合わされ、これにより、ビデオ画像内で、道路のコースをハイライトし得る。

上述のアプローチは、車両の周囲の表示されたナイトビュー画像について、顕著な利点を提供する。特に、表示されたナイトビュー画像内でのドライバーのオリエンテーションは、容易になる。ナビゲーションデバイスによって提供された道路のコースに関する補助的な情報を用いることにより、道路のコースの検出の信頼性は、顕著に向上する。特に、道路のコースは、コントラスト情報のみに基づいたのでは検出が不可能なときにさえも、表示され得る。このことは、例えば、道路の幅が急に変動する場合、あるいは道路のコースが頂上部を通過する場合（これは、頂上の下にある道路のコースがナイトビュー画像において視覚できないことを意味する）の、道路のコースの交差部または接合部において、当てはまり得る。したがって、ナビゲーションデバイスから取り出された道路のコースに関する情報は、好適には、道路のコースにおける交差部または接合部の存在に関する情報、道路の幅に関する情報、および／または道路のコースの高さの情報を含む。

一実施形態に従うと、ナビゲーションシステムから取り出された情報はまた、道路のコースに対する車両の位置に関する情報を含む。そのような情報は、ナビゲーションデバイスの衛星ナビゲーションシステムによって（例えば、全地球測位システム（ＧＰＳ）に基づいて）提供され得る。この場合、車両の縦方向の位置（すなわち、道路のコースの方向に沿った位置）に関する情報を提供するのみならず、横方向の位置（すなわち、道路の縁に対する位置）に関する情報をも提供することが、好適である。そのような情報を用いると、ナイトビュー画像に関連する構造（例えば、道路の縁）が予想される領域を予測することが可能となり、このことは、検出の信頼性を向上させる。

一実施形態に従うと、ナイトビュー画像を処理することは、車両のオリエンテーションまたは車両の挙動に関する情報をも考慮に入れることにより、実行される。特に、そのような情報は、縦方向および／または横方向における、車両の勾配（典型的には、車両の加速、車両の減速、または車両の左または右のステアリング運動によって引き起こされる）を含み得る。これらの勾配、ならびに道路のコースに対する異なった車両のオリエンテーションは、ナイトビュー画像における道路のコースの外観に影響を与えるので、ナイトビュー画像を処理する間に、これらの勾配に関する情報を考慮に入れることは、有利である。

一実施形態に従うと、ビデオ画像の処理に対し、２段階の処理が用いられる。すなわち、最初に、コントラスト情報を評価することにより、ビデオ画像において、道路のコースが検出される。加えて、ナビゲーションデバイスから取り出された情報に基づいて、ナイトビュー画像において、道路の予想されるコースが計算される。その後、コントラスト情報に基づいて検出された道路のコースは、道路の予想されたコースとマッチングされる。このようにして、検出された道路のコースと実際の道路のコースとの間の余分なシフトまたはズレは、低減され得る。上述のマッチング処理は、好適には、適切な間隔で繰り返され、これにより、高レベルの精度を継続して維持することを可能にする。

一実施形態に従うと、本方法はまた、ナイトビュー画像を処理することにより、道路のコースの付近またはコース上にあるオブジェクトを自動的に検出し、道路のコースの付近またはコース上でオブジェクトが検出された場合に車両のユーザに警告を提供することを含む。警告は、音響信号によって、あるいはディスプレイデバイス上で、光学信号によって、（例えば、表示されたナイトビュー画像において検出されたオブジェクトをハイライトすることにより）提供され得る。このようにして、安全性のレベルは、さらに向上され得る。

一実施形態に従うと、本方法は、ナイトビュー画像および検出された道路のコースを表示することと、ナビゲーションデバイスの情報（例えば、ドライバー命令、交通に関する警告、等）を表示することとのために、同じディスプレイデバイスを用いることを含む。ナイトビューシステムとナビゲーションデバイスとに共通のディスプレイデバイスを用いるアプローチは、一方では、ハードウェアの費用および関連するコストに関して、有利である。すなわち、複数のデバイスを提供しなければならないことを回避することができ、要求されるコンポーネントの個数を低減することができる。他方で、ドライバーの快適性が向上される。すなわち、ドライバーは、複数のディスプレイデバイスに集中しなくてもよく、車両の運転と車両のナビゲートに関して関連のあるすべての情報を表示する単一のディスプレイに集中すれば良い。ディスプレイデバイスは、ヘッドアップディスプレイを備え得、上記ヘッドアップディスプレイは、画像と他の情報とを、車両のフロントガラス（ｗｉｎｄｓｃｒｅｅｎ）に表示することを可能にする。

一実施形態に従うと、本発明はまた、好適には上述の方法に従って動作するように構成された、ナイトビューシステムを提供する。特に、ナイトビューシステムは、車両の周辺のビデオ画像またはナイトビュー画像を提供するためのナイトビューセンサと、ナビゲーションデバイスから受信した道路のコースに関する情報を考慮に入れて、ビデオ画像を処理することにより、車両が移動する道路のコースを検出するように構成されたビデオ処理手段と、ビデオ画像と、検出された道路のコースとを表示するためのディスプレイデバイスとを備える。

ナイトビューシステムはまた、道路のコースに関する情報をナビゲーションデバイスから取り出すように構成されたデータ処理手段を備え得る。データ処理手段を用いると、ナビゲーションデバイスからのデータは、ビデオ処理のために調整され得る。このことは、ナビゲーションデバイスがナイトビューシステムに対する外部のコンポーネントの一部を構成し、データフォーマットの適合が必要な場合に、特に有利であり得る。勿論、ナビゲーションデバイスは、ナイトビューシステムと一体型のコンポーネントでもあり得る。好適には、ナビゲーションデバイスは、衛星ナビゲーション機能（例えば、ＧＰＳ機能）を備え、上記衛星ナビゲーション機能は、ナビゲーションデバイスに格納されたデジタルマップ表現上に、車両の正確な位置決めをすることを可能にする。ナビゲーションデバイスに格納されたデジタルマップデータは、好適には、ナイトビュー画像の処理に用いられる道路のコースに関する情報をも含む。

好適には、ナイトビューセンサは、電磁スペクトルの遠赤外範囲または近赤外範囲のうち、少なくとも一方で動作する。勿論、両方の範囲で動作するセンサを提供すること、あるいは異なる範囲の電磁スペクトルで動作する複数のナイトビューセンサを提供することもまた、考えられる。各範囲は、ナイトビュー画像におけるオブジェクトを認識することに関して、特有の利点を提示し得る。例えば、遠赤外範囲において、生きているオブジェクト（例えば、人間または動物）は、高いコントラストをなし、このことは、生きているオブジェクトを認識することを容易にする。他方で、近赤外範囲において、電磁スペクトルの可視範囲における画像により似たナイトビュー画像が提供され、このことは、ナイトビュー画像におけるオリエンテーションをさらに容易にする。特に、電磁スペクトルの近赤外範囲で動作するセンサを用いる場合、赤外放射源を追加的に提供することにより、画像化される車両の周囲を照射することが、有利である。

加えて、本発明はまた、上述のナイトビューシステムを備える自動推進車両にも関する。自動推進車両が、追加的にナビゲーションシステムを含む場合、ナイトビューシステムのために、ならびにナビゲーションシステムのために、共通のディスプレイデバイスを提供し、これにより、ハードウェアの費用と関連するコストとを低減し、ドライバーの快適性を向上させることが、有利である。

以下では、本発明の好適かつ有利な実施形態が、添付の図面に関連して記載される。

本発明は、さらに以下の手段を提供する。

（項目１）
車両内のナイトビューシステムを動作させる方法であって、
ナイトビューセンサ（１２）を用いることにより、該車両の周囲のビデオ画像を提供することと、
該車両が移動する道路（５）のコースに関する情報をナビゲーションデバイス（１５）から取り出すことと、
該ナビゲーションデバイス（１５）から取り出された該情報を考慮に入れて、該ビデオ画像を処理することにより、該道路（５）の該コースを検出し、該ビデオ画像と該道路（５）の該検出されたコースとをディスプレイデバイス（２０）上に表示することと
を特徴とする、方法。

（項目２）
上記ビデオ画像を処理することにより、上記道路（５）の上記コースの付近または該コース上にあるオブジェクト（６）を検出することと、
該道路（５）の該コースの付近または該コース上でオブジェクト（６）が検出された場合に、車両のユーザに警告することと
を含むことを特徴とする、項目１に記載の方法。

（項目３）
上記警告は、上記ディスプレイデバイス（２０）上で、光学信号によって提供されること
を特徴とする、項目２に記載の方法。

（項目４）
上記警告は、音響信号によって提供されること
を特徴とする、項目２または３に記載の方法。

（項目５）
上記ビデオ画像を処理することは、該ビデオ画像において上記道路（５）の縁を識別することを含む
ことを特徴とする、項目１〜４のいずれか一項に記載の方法。

（項目６）
上記ナビゲーションデバイス（１５）から取り出された上記情報は、上記道路（５）の上記コースに対する上記車両の位置に関する情報を含むこと
を特徴とする、項目１〜５のいずれか一項に記載の方法。

（項目７）
上記ナビゲーションデバイス（１５）から取り出された上記情報は、上記道路（５）の上記コースの高さの情報を含むこと
を特徴とする、項目１〜６のいずれか一項に記載の方法。

（項目８）
上記ナビゲーションデバイス（１５）から取り出された上記情報は、上記道路（５）の上記コースにおける交差部または接合部の存在に関する情報を含むこと
を特徴とする、項目１〜７のいずれか一項に記載の方法。

（項目９）
上記ナビゲーションデバイス（１５）から取り出された上記情報は、上記道路の幅に関する情報を含むこと
を特徴とする、項目１〜８のいずれか一項に記載の方法。

（項目１０）
上記ナビゲーションデバイス（１５）から取り出された上記情報は、ユーザが選択したナビゲーション経路に関する情報を含むこと
を特徴とする、項目１〜９のいずれか一項に記載の方法。

（項目１１）
上記ビデオ画像を処理することにより、コントラスト情報に基づいて、上記道路（５）の上記コースを検出することと、
該道路（５）の該検出されたコースと、上記ナビゲーションデバイス（１５）から受信された情報に基づいて計算された該道路の予想されるコースとをマッチングすることと
を含むことを特徴とする、項目１〜１０のいずれか一項に記載の方法。

（項目１２）
上記ビデオ画像を処理することは、該ビデオ画像の一部分を規定する評価ウィンドウを用いることを含むこと
を特徴とする、項目１〜１１のいずれか一項に記載の方法。

（項目１３）
上記ナビゲーションデバイス（１５）から取り出された上記情報に基づいて、上記評価ウィンドウを調整すること
を含むことを特徴とする、項目１２に記載の方法。

（項目１４）
上記調整することは、上記評価ウィンドウ（８）の個数、該評価ウィンドウ（８）のサイズ、該評価ウィンドウ（８）の位置を調整することを含むこと
を特徴とする、項目１３に記載の方法。

（項目１５）
上記ナビゲーションデバイス（１５）の情報を表示するために、同じディスプレイデバイス（２０）が用いられること
を特徴とする、項目１〜１４のいずれか一項に記載の方法。

（項目１６）
上記道路（５）の上記検出されたコースは、上記ビデオ画像上に重ね合わされること
を特徴とする、項目１〜１５のいずれか一項に記載の方法。

（項目１７）
車両の周囲のビデオ画像を提供するためのナイトビューセンサ（１２）と、
ビデオ処理手段（１４）であって、該ビデオ処理手段（１４）は、該ナイトビューセンサ（１２）に接続され、ナイトビュー画像を受信し、かつナビゲーションデバイス（１５）に接続され、該車両が移動する道路（５）のコースに関する情報を受信し、該ビデオ処理手段（１４）は、該ナビゲーションデバイス（１５）から受信した該情報を考慮に入れて、該ビデオ画像を処理することにより、該道路（５）の該コースを検出するように構成されている、ビデオ処理手段（１４）と、
該ビデオ画像と、該道路（５）の該検出されたコースとを表示するためのディスプレイデバイス（２０）と
を備える、ナイトビューシステム。

（項目１８）
上記データ処理手段（１３）は、上記道路（５）の上記コースに関する上記情報を上記ナビゲーションデバイス（１５）から取り出すように構成されていること
を特徴とする、項目１７に記載のナイトビューシステム。

（項目１９）
上記ナイトビューシステムは、上記ナビゲーションデバイス（１５）を備えること
を特徴とする、項目１７または１８に記載のナイトビューシステム。

（項目２０）
上記ナビゲーションデバイス（１５）は、衛星ナビゲーション機能を備えること
を特徴とする、項目１７〜１９のいずれか一項に記載のナイトビューシステム。

（項目２１）
上記ナビゲーションデバイス（１５）は、上記道路（５）の上記コースに関する上記情報を含むデジタルマップ表現を格納する格納デバイスを備えること
を特徴とする、項目１７〜２０のいずれか一項に記載のナイトビューシステム。

（項目２２）
上記ナイトビューセンサ（１２）は、電磁スペクトルの遠赤外範囲で動作すること
を特徴とする、項目１７〜２１のいずれか一項に記載のナイトビューシステム。

（項目２３）
上記ナイトビューセンサ（１２）は、電磁スペクトルの近赤外範囲で動作すること
を特徴とする、項目１７〜２２のいずれか一項に記載のナイトビューシステム。

（項目２４）
上記ディスプレイデバイス（２０）は、ヘッドアップディスプレイを備えること
を特徴とする、項目１７〜２３のいずれか一項に記載のナイトビューシステム。

（項目２５）
車両のユーザに警告を提供する音響性の出力デバイス（３０）を備えること
を特徴とする、項目１７〜２４のいずれか一項に記載のナイトビューシステム。

（項目２６）
上記ナイトビューシステムは、項目１〜１６のいずれか一項に記載の方法にしたがって動作するように構成されていること
を特徴とする、項目１７〜２５のいずれか一項に記載のナイトビューシステム。

（項目２７）
自動推進車両であって、
該自動推進車両は、項目１７〜２６のいずれか一項に記載のナイトビューシステムを備えること
を特徴とする、自動推進車両。

（項目２８）
上記自動推進車両は、ナビゲーションシステムをさらに備え、
上記ディスプレイデバイス（２０）は、該ナイトビューシステムと該ナビゲーションシステムとの共通のディスプレイデバイスであること
を特徴とする、項目２７に記載の自動推進車両。

（摘要）
ナイトビューシステムを動作させる方法、および対応するナイトビューシステム。ナイトビューシステムを動作させる方法および対応するナイトビューシステムが提供され、上記システムにおいて、ナイトビューセンサを用いることにより、車両の周囲のビデオ画像が提供される。ビデオ画像は、ナビゲーションデバイス（１５）から受信した道路（５）のコースに関する情報を考慮に入れて、処理されることにより、自動推進車両が移動する道路（５）のコースを検出する。ビデオ画像および検出された道路（５）のコースは、ディスプレイデバイス（２０）上に表示される。

以後、本発明の好適または有利な実施形態が、非制限的な例を用いて、添付の図面に関連して記載される。

図１は、ナイトビューシステムを装備した自動推進車両１のスキーム図であり、上記車両１は、道路５の上を移動する。図１はまた、ナイトビューシステムのナイトビューセンサの検出範囲２をも示し、上記検出範囲２は、点線によって描かれている。道路５の典型的な幅に対し、検出範囲２は、左の道路の縁５Ｌと、右の道路の縁５Ｒとの両方をカバーする。検出範囲２は、車両１から前方に延び、これにより、車両１の移動方向において、車両の周囲をカバーする。勿論、車両１の後方の領域をカバーするナイトビューセンサを提供することもまた、考えられる。

車両１において、ナイトビューセンサは、好適には、車両１の前方の領域を良好にカバーすることを可能にする位置（例えば、フロントガラスの上方の位置の付近、後部ミラーまたはサンバイザーの付近）に据え付けられる。これらの位置は、ドライバーの自然な視野と非常に類似した視野を可能にする。

図２Ａおよび図２Ｂは、車両１のナイトビューシステムによって提供される例示的なビデオ画像（すなわち、ナイトビュー画像）を示している。以下で説明されるように、ナイトビューシステムにおいて、実際には、画像のシーケンスが連続的に提供されるということに、留意されたい。すなわち、ビデオ画像は、実際には、画像のシーケンスを含み、上記画像のシーケンスは、リアルタイムで評価され、表示される。

図２Ａの例示的なナイトビュー画像は、左の道路の縁５Ｌと右の道路の縁５Ｒとによって境界が決められた道路５を示している。さらに、画像は、オブジェクト６を含んでおり、上記オブジェクトは、示された例においては、右の道路の縁５Ｒの近くに存在する。ナイトビューシステムのディスプレイデバイスに見ることができるように、ナイトビュー画像は、典型的には、グレイスケール表現等の形態を有しており、ナイトビュー画像において、図中で概略的に表現されているような構造は、グレイまたはその他の色の異なる影の間で、コントラストを呈する。ナイトビュー画像において、コントラストは、非常に弱く、可視範囲の電磁スペクトルにおいて検出される画像が存在する際のコントラストから変動し得る。このため、ナイトビューシステムにおける動作は、ナイトビュー画像において、道路５のコースを検出（すなわち、識別）すること、ならびに道路５の検出されたコースをナイトビュー画像に重ね合わせて表示することを含み、これにより、ナイトビュー画像のオリエンテーションを容易にする。

一般に、道路５のコースは、左の道路の縁５Ｌに由来するコントラストと、右の道路の縁５Ｒに由来するコントラストとを用いることにより、識別される。このことは、検出された道路５のコースに関しては、例えば、ナイトビュー画像のグレイスケール表現に対して十分なコントラストを提供する色を用いることにより、左の道路の縁５Ｌを表現するラインと右の道路の縁５Ｒを表現するラインとの形態で表示され得るか、あるいは左の道路の縁５Ｌと右の道路の縁５Ｒとの間の領域を表現する中実（ｓｏｌｉｄ）な表面の形態で、表示され得る。しかしながら、左の道路の縁５Ｌは、左の道路の縁５Ｌと右の道路の縁５Ｒとの間の領域に含まれる一切の画像情報（例えば、道路上の障害物に由来する画像情報）を「隠す」ことがないので、左の道路の縁のみを表示することが、有利であり得る。

加えて、ナイトビュー画像はまた、図２Ａ示されているオブジェクト６のような、追加的なオブジェクトを自動的に検出するために、評価される。道路５の付近または道路５の上でオブジェクトが検出されると、オブジェクトは、ハイライトされ、かつ／または警告が（例えば、音響信号によって）ドライバーに提供され得る。

いずれにせよ、ナイトビュー画像において、道路５のコースを検出し、検出された道路のコースをナイトビュー画像上に重ね合わせることによって道路のコースをハイライトすることは、ナイトビュー画像の関連のあるオブジェクトと背景との間をより良好に区別することを可能にする。さらに、ナイトビュー画像におけるオリエンテーションが容易になる。このことは、可視光の電磁スペクトルにおいて検出される画像に存在するコントラストとは顕著に異なるコントラストを提供する遠赤外センサを用いることにより、ナイトビュー画像が検出される場合に、特に有利である。

本明細書に記載されているように、上述のナイトビューシステムを動作させる方法において、道路５のコースを検出することは、コントラスト情報に基づいてナイトビュー画像を処理する第１段階に含まれる。このことは、好適には、複数の評価行（ｅｖａｌｕａｔｉｏｎ ｒｏｗ）８ａ、８ｂ、８ｃを有する評価ウィンドウ８を用いることにより、かつ画像データを（例えば、カルマンフィルタを用いて）適切にフィルタリングすることにより、達成される。このようにして、左の道路の縁５Ｌおよび右の道路の縁５Ｒに由来するコントラストは、向上され、道路５上での車両の移動に由来する効果が、考慮に入れられ得る。道路の縁が予想されるナイトビュー画像の領域に配置された評価ウィンドウ８を用いることにより、評価が簡易化され、評価のスピードが増大され得る。

図２Ａに示されているように、評価ウィンドウ８は、道路５のコースを検出することに関連するコントラストが予想されるナイトビュー画像の一部分を構成する。評価ウィンドウ８のサイズは、ナイトビューウィンドウの全体のサイズよりも小さいが、評価時間は、全体のナイトビュー画像の評価と比べたときに、低減され、かつ／または評価の分解能は、性能に悪い影響を与えることなく、増大され得る。一般に、評価ウィンドウ８の適切な位置は、ナイトビュー画像の左下部および右下部である。

示されているように、評価ウィンドウは、概して長方形の形状を有する。好適には、評価ウィンドウは、評価行８ａ、８ｂ、８ｃに細分され、それら評価行は、ナイトビュー画像において、水平方向に延びている。そのような水平に延びる評価行を用いることは、実質的に垂直な構造（例えば、道路の縁５Ｌ、５Ｒ）の検出に対し、特定の利点を提供する。

しかしながら、ナイトビュー画像においてコントラスト情報のみを用いることは、一部の場合では、コントラストが不十分であるような粗末な結果を提供したり、例えば、道路のコースが頂上を通過するときには、不可能であったりさえする。このことは、左の道路の縁５Ｌまたは右の道路の縁５Ｒが、頂上の下に位置し、評価のために利用できないことを意味する。コントラスト情報に基づいて左の道路の縁５Ｌおよび右の道路の縁５Ｒの検出に悪影響を与えるその他の状況は、道路５のコースの交差部または接合部が存在すること、あるいは道路５の幅の急な変動が存在することである。さらに、ダメージまたは異なる材料に由来する道路の表面の変化によって、妨害（ｄｉｓｔｕｒｂａｎｃｅ）が引き起こされ得る。上述の効果により、ナイトビュー画像においてコントラスト情報のみに基づいて検出された道路のコースは、表示されるとき、妨害された、ナーバスな外観を有し得る。したがって、本明細書で記載されている動作方法およびナイトビューシステムは、追加的に、ナイトビュー画像において、道路のコースを検出するときに、車両のナビゲーションデバイスまたはナビゲーションシステムによって提供される道路のコースに関する情報を用いることを、含み得る。例えば、追加的な情報は、評価ウィンドウ８のサイズおよび／または位置を調整するために、用いられ得る。

図２Ｂは、図２Ａに類似した、ナイトビュー画像のさらなる例を概略的に示している。しかしながら、図２Ａと比較すると、図２Ｂにおいては、道路５のコースは、接合部を有している。見て取れるように、ナイトビュー画像における構造の外観は、図２Ａにおける場合（ここでは、道路５のコースには一切の接合部が存在しない）よりも、より複雑である。特に、道路の縁の個数は、効果的に増大される。図２Ｂに示されているように、左の道路の縁の第１の部分５Ｌと、左の道路の縁の第２の部分５Ｌ’とが、存在する。同様に、右の道路の縁の第１の部分５Ｒと、右の道路の縁の第２の部分５Ｒ’とが、存在する。これらの位置の間で、接合部の位置において、中断が存在する。明らかに、道路５のコースを検出するためのナイトビュー画像の評価は、図２Ｂの場合では、より複雑になる。したがって、本明細書で提案されている方法は、ナビゲーションデバイスによって提供される道路５のコースに関する情報（特に、図２Ｂ示されるような接合部または交差部の存在に関する情報）を考慮に入れることを含む。そのような方法で、例えば、追加的な評価ウィンドウ８を含み、追加的な道路の縁を検出することにより、評価は、接合部の存在に適合化される。さらに、評価ウィンドウ８のサイズおよび／または位置は、ナビゲーションデバイスから受信した道路５のコースに関する情報にしたがって、調整され得る。

好適には、道路５のコースに関する高さの情報、および／または道路５の幅に関する情報もまた、ナイトビュー画像を評価するときに、考慮に入れられる。一般に、道路５のコースにおける高さまたは道路の幅の変動は、ナイトビュー画像における道路５の幅の外観に影響を与え得る。例えば、目立った歪みが存在したり、道路５のコースが、頂上の下では「見えなくなる（ｄｉｓａｐｐｅａｒ）」ことがあったりし得る。ナビゲーションデバイスによって提供される情報を用いると、このことは、ナイトビュー画像を評価する間に、考慮に入れられ得る。好適には、このことは、ナビゲーションデバイスから受信される情報を用いることにより、道路５の予想されるコースを計算し、なおかつ道路の予想されたコースとナイトビュー画像において検出された構造とを比較することによって、達成される。一方では、道路５の予想されたコースは、評価ウィンドウ８の位置付けのための基礎として、役立ち得る。他方、ナイトビュー画像において道路の縁が検出される場合、これらの検出された道路の縁と道路５の予想されるコースとをマッチングすることが、可能である。すなわち、予想された構造は、ナイトビュー画像において検出された特徴のアライメントに動員される。このことは、道路の予想されるコースが妨害を余り被らない際に、検出の精度を顕著に増大させる。表示される際、検出された道路５のコースのナーバスな外観は、回避されるので、これにより、ドライバーが、道路５のコースの付近またはコース上にあるオブジェクト（例えば、図２Ａに示されるオブジェクト６）を容易に認識することが可能になる。

さらに、典型的には、道路５の上を移動する車両１のオリエンテーションまたは挙動もまた、変化し得る。すなわち、縦方向または横方向における車両１の勾配が存在し得、道路のコースに対して車両１の異なるオリエンテーションが存在し得る。このことは、ナイトビュー画像の外観に影響を与える。したがって、好適には、車両のオリエンテーションおよび／または挙動に関する情報もまた、ナイトビュー画像を評価する間に考慮に入れられる。このことは、上述のように、道路の予想されるコースとナイトビュー画像の特徴とを比較し、マッチングすることにより、達成され得る。

好適には、評価は、ユーザが選択したナビゲーション経路もまた、考慮に入れる。この情報を評価に用いることにより、車両の将来のナビゲーション移動が、予期され得る。このことは、例えば、選択されたナビゲーション経路に沿って車両が移動することが予想されるナイトビュー画像内の領域に、高い優先度を割り当てることによって、為される。

図３は、上述の原理に従って動作するナイトビューシステム１０を概略的に表すブロック図を示している。示されているように、ナイトビューシステム１０は、ナイトビューセンサ１２（これは、好適には電磁スペクトルの遠赤外範囲および／または近赤外範囲で動作する）と、ビデオ処理デバイス１４と、ディスプレイデバイス２０とを備える。ナイトビューセンサ１２は、ビデオ処理デバイス１４に、ナイトビュー画像を表すビデオ信号を提供する。さらに、ナイトビュー画像を表すビデオ信号は、ディスプレイデバイス２０に提供される。ディスプレイデバイス２０は、車両のフロントガラスに画像を投射するいわゆるヘッドアップディスプレイであり得る。

さらに、ナイトビューシステム１０は、データ処理デバイス１３を備え、上記データ処理デバイスは、情報信号を受信することができるように、ナビゲーションデバイス１５に接続されている。ナビゲーションデバイス１５から受信された情報信号は、車両が移動する道路のコースに対する車両の位置に関する情報、すなわち、道路のコースの高さの情報、道路のコースにおける交差部および接合部の存在に関する情報、道路の幅に関する情報、車両の挙動に関する情報、およびナビゲーションデバイス１５に格納されているユーザが選択したナビゲーション経路に関する情報を含む。ナビゲーションデバイス１５は、ナイトビューシステム１０のコンポーネントであるか、外部のコンポーネントであり得る（例えば、車両のナビゲーションシステムの一部であるか、ポータブルなナビゲーションシステムであり得る）。

ナビゲーションデバイス１５は、好適には、衛星ナビゲーション機能（例えば、ＧＰＳ機能）を備え、上記機能は、デジタルマップ表現において車両の位置を正確に決定することを可能にする。デジタルマップ表現は、ナビゲーションデバイス１５の適切な格納デバイスに格納され、上記格納デバイスは、ハードディスクデバイス、ＣＤ−ＲＯＭデバイス、ＤＶＤデバイス、またはその他の適切なメモリデバイスである。デジタルマップ表現は、道路のコースに関する上述の情報、特に、交差部と接合部との存在、高さの情報、および道路の幅に関する情報を含む。ナビゲーションデバイス１５はまた、オリエンテーションおよび挙動のセンサ（例えば、ジャイロスコープデバイス）を備え、上記センサは、車両のオリエンテーションおよび挙動に関する情報を提供する。

情報信号は、データ処理デバイス１３によって受信され、処理されて、ナイトビューセンサ１２によって提供されるナイトビュー画像を処理する際に用いるために、適切に調整される。対応する調整された情報信号は、データ処理デバイス１３から、ビデオ処理デバイス１４に供給され、上記ビデオ処理デバイスはまた、ナイトビューセンサ１２からのビデオ信号を受信する。ビデオ処理デバイス１４は、ナイトビュー画像の主要な評価を実行し、この際に、ナビゲーションデバイス１５によって提供され、データ処理デバイス１３によって調整される情報を考慮に入れる。ビデオ処理デバイス１４は、出力として、検出された道路のコースを表す信号を提供し、上記出力は、ディスプレイデバイス２０に供給され、ナイトビュー画像と共に表示される。

ディスプレイデバイスにおいて、ナイトビューセンサ１２によって提供されたナイトビュー画像、およびビデオ処理デバイス１４によって提供された検出された道路のコースは、重ね合わされ、単一の画像表現を生成する。この単一の画像表現は、最低限（ｂａｒｅ）のナイトビュー画像に比べて、顕著に向上されたオリエンテーションを提示する。

本実施形態において、ディスプレイデバイス２０は、ナビゲーションデバイス１５とナイトビューデバイス１０とによって共通に用いられる多目的ディスプレイとして構成される。すなわち、ディスプレイデバイス２０はまた、ナビゲーションデバイス１５から直接的に受信した入力信号を受信し、ドライバー命令または交通情報のようなナビゲーション情報を表示する。共通のディスプレイデバイスを用いることにより、車両内に複数のディスプレイを提供する必要がなくなり、このことは、ハードウェア要求を低減し、ドライバーの快適性を増大させる。

好適には、ビデオ処理デバイス１４はまた、追加的な画像解析機能を実行する。特に、ナイトビュー画像は、検出された道路のコースの付近または上記コース上に位置するオブジェクトを識別することができるように、解析される。例えば、そのようなオブジェクトは、動物、人間、またはその他の車両であり得る。そのようなオブジェクトとの衝突のリスクを低減させるために、ビデオ処理デバイスは、そのようなオブジェクトが検出された場合に、警告を発する。本実施形態において、警告は、表示されたナイトビュー画像において検出されたオブジェクトをハイライトすること、および／または音響性の警告を提供することを含む。後者の目的のために、ナイトビューシステムは、音響性の警告を出力するスピーカデバイス３０に接続される。スピーカデバイス３０は、ナイトビューシステム１０のコンポーネントであるか、分離したコンポーネント（例えば、車両のエンターテイメントシステムの一部）であり得る。スピーカデバイス３０はまた、ナビゲーション情報の音響性の出力のためにも用いられる。

示されているように、ナイトビューシステム１０のコアなコンポーネントは、データ処理デバイス１３、ビデオ処理デバイス１４、ナイトビューセンサ１２、およびディスプレイデバイス２０である。しかしながら、これらのコンポーネントは、ナイトビューシステム１０の専用である必要はない。むしろ、これらは、その他の車両システム、例えば、ナビゲーションシステム、エンターテイメントシステム、セキュリティシステム、またはマルチメディアシステムによって、共通に用いられ得る。すなわち、ナイトビューシステム１０は、その他の車両システムと一体化され、これにより、ハードウェアの費用と関連するコストとを低減し得る。

さらに、データ処理デバイス１３およびビデオ処理デバイス１４は、実際には、単一のマイクロプロセッサを用いて実装され得る。単一のマイクロプロセッサはまた、ナビゲーションデバイス１５の処理タスクを実行するためにも用いられ得る。

図４は、上述の原理に従ってナイトビューシステムを動作させるための方法を概略的に表すフローチャートを示している。既に示唆されたように、一般に、本方法は、ナイトビュー画像を処理し、車両が移動する道路のコースを検出することを含み、上記処理は、ナビゲーションデバイス１５によって提供される道路のコースに関する情報を考慮に入れることにより、達成される。

ステップ１１０において、車両の周囲のビデオ画像（すなわち、ナイトビュー画像）が、提供される。画像は、好適には、車両が移動する方向について、車両の前方の領域をカバーする。なぜならば、この領域は、ドライバーに対しては特に関連がある領域だからである。勿論、車両の後方の領域の画像、または車両の左側または左側の領域の画像を提供することもまた、可能である。好適には、画像は、遠赤外範囲、近赤外範囲、またはそれらの組み合わせで記録される。実際には、ビデオ画像は、画像のシーケンスを含むことに留意されたい。上記画像のシーケンスは、リアルタイムで記録され、さらに処理される。

ステップ１２０において、車両が移動する道路のコースに関する情報が、ナビゲーションデバイスから取り出される。情報は、道路のコースに対する車両の位置に関する情報、道路のコースにおける接合部または交差部の存在に関する情報、道路の幅に関する情報、および道路のコースの高さの情報を含む。さらに、情報は、車両の挙動およびオリエンテーションに関するデータ、および／またはユーザが選択したナビゲーション経路に関する情報を含む。取り出された情報は、ビデオ画像の処理に用いるために、調整される。

ステップ１３０において、ビデオ画像の最初の処理が実行される。この処理は、主にコントラスト情報に基づく。この段階において、ナビゲーションデバイスから受信した情報は、図２Ａおよび図２Ｂに関連して記載された評価ウィンドウを適切に調整および位置付けすることにより、考慮に入れられる。

ステップ１４０において、道路の予想されるコースが、ナビゲーションデバイスから受信された情報に基づいて、計算される。計算は、幾何光学の一般原理と、ナイトビューセンサの視野とに基づく。道路の予想されるコースは、最初の段階において識別された構造とマッチングおよび比較される。特に、ステップ１３０で識別された道路の縁は、計算された予想される道路の縁とアラインメントされる。さらに、評価ウィンドウは、調整および／または再配置され、最初の処理の結果を検証し、補足するために、コントラスト情報に基づくビデオ画像に対し、精細な処理が実行される。検出された道路のコースは、最初の処理および精細な処理に基づいて、出力される。最初の処理および精細な処理において一切の構造が識別されない場合でさえも、道路の予想されるコースに基づいて、道路のコースを出力することが可能である。

ステップ１５０において、ビデオ画像および検出された道路のコースは、ドライバーに表示される。好適には、検出された道路のコースは、ビデオ画像に重ね合わされ、（例えば、ヘッドアップディスプレイを用いることにより）オリエンテーションを容易にする。

好適には、ステップ１２０〜１４０において、ビデオ画像はまた、道路のコースの付近または上記コース上のオブジェクトを識別することができるように、処理される。この場合、検出されたオブジェクトは、表示されたビデオ画像においてハイライトされ、かつ／または音響性の警告が提供される。

ステップ１５０の後、本方法は、連続的に評価し、ビデオ画像を表示し、道路のコースを検出するために、繰り返される。この繰り返しにおいて、以前の評価サイクルの結果を再帰的に用いることが、有利である。

上述の例は、本発明を例示することを意図されていることに留意されたい。しかしながら、本発明は、それらに限定されない。むしろ、様々な改変およびバリエーションが、本発明の範囲内で可能である。例えば、ナイトビューセンサのタイプおよび／またはナビゲーションデバイスのタイプは、特定の要求にしたがって選択され得る。さらに、様々な適切な画像処理技術が、記載された方法に用いることができるように、適合される。ナビゲーションデバイスは、ナイトビューシステムの一体型のコンポーネントであるか、分離したコンポーネント（例えば、従来のナビゲーションシステムまたはその一部）であり得る。ナビゲーションデバイスは、衛星ナビゲーション機能を含み得る。しかしながら、デジタルマップ表現に関して車両の位置を決定することを可能にするその他のナビゲーションシステムを用いることもまた、可能である。異なるタイプのナビゲーションデバイスが、車両のタイプおよびその他の設計に関する局面に依存して、用いられ得る。さらに、ナイトビューシステムおよびナビゲーションデバイスは、車両のマルチメディアシステムに一体化され得る。

要約すると、ナイトビューシステムの信頼性および精度を顕著に向上させる方法およびシステムが記載されてきた。これにより、夜間または暗闇、あるいは一般的な乏しい視界状況で運転するときの安全性およびドライバーの快適性が、顕著に向上される。

図１は、道路を移動する自動推進車両のスキーム図であり、上記自動推進車両に搭載されて提供されたナイトビューセンサの検出領域を含む。 図２Ａは、自動推進車両が移動する道路のコースを含むビデオ画像のスキーム図であり、上記ビデオ画像は、ナイトビューセンサによって提供される。 図２Ｂは、自動推進車両が移動する道路のコースを含むビデオ画像のスキーム図であり、上記ビデオ画像は、ナイトビューセンサによって提供される。 図３は、本発明の実施形態に従うナイトビューシステムを概略的に示すブロック図である。 図４は、本発明の実施形態に従うナイトビューシステムを動作させる方法を概略的に示すフローチャートである。

符号の説明

２ センサの検出範囲
５ 道路
５Ｌ 左の道路の縁
５Ｒ 右の道路の縁
６ オブジェクト
８ 評価ウィンドウ
８ａ、８ｂ、８ｃ 評価行
１２ ナイトビューセンサ
１３ データ処理デバイス
１４ ビデオ処理デバイス
１５ ナビゲーションデバイス
２０ ディスプレイデバイス
３０ 音響性の出力デバイス

Claims (28)

1. 車両内のナイトビューシステムを動作させる方法であって、
   ナイトビューセンサ（１２）を用いることにより、該車両の周囲のビデオ画像を提供することと、
   該車両が移動する道路（５）のコースに関する情報をナビゲーションデバイス（１５）から取り出すことと、
   該ナビゲーションデバイス（１５）から取り出された該情報を考慮に入れて、該ビデオ画像を処理することにより、該道路（５）の該コースを検出し、該ビデオ画像と該道路（５）の該検出されたコースとをディスプレイデバイス（２０）上に表示することと
   を特徴とする、方法。
2. 前記ビデオ画像を処理することにより、前記道路（５）の前記コースの付近または該コース上にあるオブジェクト（６）を検出することと、
   該道路（５）の該コースの付近または該コース上でオブジェクト（６）が検出された場合に、車両のユーザに警告することと
   を含むことを特徴とする、請求項１に記載の方法。
3. 前記警告は、前記ディスプレイデバイス（２０）上で、光学信号によって提供されること
   を特徴とする、請求項２に記載の方法。
4. 前記警告は、音響信号によって提供されること
   を特徴とする、請求項２または３に記載の方法。
5. 前記ビデオ画像を処理することは、該ビデオ画像において前記道路（５）の縁を識別することを含む
   ことを特徴とする、請求項１〜４のいずれか一項に記載の方法。
6. 前記ナビゲーションデバイス（１５）から取り出された前記情報は、前記道路（５）の前記コースに対する前記車両の位置に関する情報を含むこと
   を特徴とする、請求項１〜５のいずれか一項に記載の方法。
7. 前記ナビゲーションデバイス（１５）から取り出された前記情報は、前記道路（５）の前記コースの高さの情報を含むこと
   を特徴とする、請求項１〜６のいずれか一項に記載の方法。
8. 前記ナビゲーションデバイス（１５）から取り出された前記情報は、前記道路（５）の前記コースにおける交差部または接合部の存在に関する情報を含むこと
   を特徴とする、請求項１〜７のいずれか一項に記載の方法。
9. 前記ナビゲーションデバイス（１５）から取り出された前記情報は、前記道路の幅に関する情報を含むこと
   を特徴とする、請求項１〜８のいずれか一項に記載の方法。
10. 前記ナビゲーションデバイス（１５）から取り出された前記情報は、ユーザが選択したナビゲーション経路に関する情報を含むこと
    を特徴とする、請求項１〜９のいずれか一項に記載の方法。
11. 前記ビデオ画像を処理することにより、コントラスト情報に基づいて、前記道路（５）の前記コースを検出することと、
    該道路（５）の該検出されたコースと、前記ナビゲーションデバイス（１５）から受信された情報に基づいて計算された該道路の予想されるコースとをマッチングすることと
    を含むことを特徴とする、請求項１〜１０のいずれか一項に記載の方法。
12. 前記ビデオ画像を処理することは、該ビデオ画像の一部分を規定する評価ウィンドウを用いることを含むこと
    を特徴とする、請求項１〜１１のいずれか一項に記載の方法。
13. 前記ナビゲーションデバイス（１５）から取り出された前記情報に基づいて、前記評価ウィンドウを調整すること
    を含むことを特徴とする、請求項１２に記載の方法。
14. 前記調整することは、前記評価ウィンドウ（８）の個数、該評価ウィンドウ（８）のサイズ、該評価ウィンドウ（８）の位置を調整することを含むこと
    を特徴とする、請求項１３に記載の方法。
15. 前記ナビゲーションデバイス（１５）の情報を表示するために、同じディスプレイデバイス（２０）が用いられること
    を特徴とする、請求項１〜１４のいずれか一項に記載の方法。
16. 前記道路（５）の前記検出されたコースは、前記ビデオ画像上に重ね合わされること
    を特徴とする、請求項１〜１５のいずれか一項に記載の方法。
17. 車両の周囲のビデオ画像を提供するためのナイトビューセンサ（１２）と、
    ビデオ処理手段（１４）であって、該ビデオ処理手段（１４）は、該ナイトビューセンサ（１２）に接続され、ナイトビュー画像を受信し、かつナビゲーションデバイス（１５）に接続され、該車両が移動する道路（５）のコースに関する情報を受信し、該ビデオ処理手段（１４）は、該ナビゲーションデバイス（１５）から受信した該情報を考慮に入れて、該ビデオ画像を処理することにより、該道路（５）の該コースを検出するように構成されている、ビデオ処理手段（１４）と、
    該ビデオ画像と、該道路（５）の該検出されたコースとを表示するためのディスプレイデバイス（２０）と
    を備える、ナイトビューシステム。
18. 前記データ処理手段（１３）は、前記道路（５）の前記コースに関する前記情報を前記ナビゲーションデバイス（１５）から取り出すように構成されていること
    を特徴とする、請求項１７に記載のナイトビューシステム。
19. 前記ナイトビューシステムは、前記ナビゲーションデバイス（１５）を備えること
    を特徴とする、請求項１７または１８に記載のナイトビューシステム。
20. 前記ナビゲーションデバイス（１５）は、衛星ナビゲーション機能を備えること
    を特徴とする、請求項１７〜１９のいずれか一項に記載のナイトビューシステム。
21. 前記ナビゲーションデバイス（１５）は、前記道路（５）の前記コースに関する前記情報を含むデジタルマップ表現を格納する格納デバイスを備えること
    を特徴とする、請求項１７〜２０のいずれか一項に記載のナイトビューシステム。
22. 前記ナイトビューセンサ（１２）は、電磁スペクトルの遠赤外範囲で動作すること
    を特徴とする、請求項１７〜２１のいずれか一項に記載のナイトビューシステム。
23. 前記ナイトビューセンサ（１２）は、電磁スペクトルの近赤外範囲で動作すること
    を特徴とする、請求項１７〜２２のいずれか一項に記載のナイトビューシステム。
24. 前記ディスプレイデバイス（２０）は、ヘッドアップディスプレイを備えること
    を特徴とする、請求項１７〜２３のいずれか一項に記載のナイトビューシステム。
25. 車両のユーザに警告を提供する音響性の出力デバイス（３０）を備えること
    を特徴とする、請求項１７〜２４のいずれか一項に記載のナイトビューシステム。
26. 前記ナイトビューシステムは、請求項１〜１６のいずれか一項に記載の方法にしたがって動作するように構成されていること
    を特徴とする、請求項１７〜２５のいずれか一項に記載のナイトビューシステム。
27. 自動推進車両であって、
    該自動推進車両は、請求項１７〜２６のいずれか一項に記載のナイトビューシステムを備えること
    を特徴とする、自動推進車両。
28. 前記自動推進車両は、ナビゲーションシステムをさらに備え、
    前記ディスプレイデバイス（２０）は、該ナイトビューシステムと該ナビゲーションシステムとの共通のディスプレイデバイスであること
    を特徴とする、請求項２７に記載の自動推進車両。

Images