JP2008131648A - ビデオ画像を提示する方法およびシステム - Google Patents

Abstract

【課題】車両環境からのビデオ画像を提示する方法、ならびに車両環境からのビデオ画像を提示するためのシステムを提供すること。
【解決手段】車両環境からのビデオ画像を提示する方法であって、車両環境からのビデオ画像を撮影するステップと、車両環境または車両のセンサデータを検出するステップと、センサデータを処理するステップと、ビデオ画像内のオブジェクトを認識するステップと、表示されたビデオ画像内の認識されたオブジェクトの表現を変更することにより、表示されたビデオ画像内に処理されたセンサデータを視覚化するステップとを包含する、方法。
【選択図】図１

Description

本発明は、車両環境からのビデオ画像を提示する方法、ならびに車両環境からのビデオ画像を提示するためのシステムに関する。本発明は、特に、ドライバー補助システムに関し、上記ドライバー補助システムにおいて、車両内に提供された画像センサは、車両環境からの画像を連続的に撮影する。

（関連技術）
当該技術分野において、車両に搭載されたナビゲーションシステムが公知であり、上記ナビゲーションシステムは、現在の位置から所定の目的地まで車両のドライバーを案内する。上記ナビゲーションシステムは、運転の方向をディスプレイ上に指示することによって視覚的に、あるいは次の運転の操作を指示する音声出力によって音声的に、運転に関する指示を出力する。

加えて、ドライバー補助システムに関連して用いられるシステムが公知である。上記システムでは、速度制限または距離マーカーのような人工的な要素が、ビデオカメラによってキャプチャされたビデオ画像の中に導入される。これらの要素は、ビデオ画像上に浮いているように示される。導入された要素は、現実の状況に結び付けられていないか、または現実の状況に大雑把に結び付けられているに過ぎない。

これらの人工的に導入された要素（例えば、速度制限が適用されるエリアにおける速度制限）は、人工的な要素をビデオ画像の中に導入することによって、生成された抽象概念をドライバーが理解することができるときに、ナビゲーションの間に彼または彼女の役に立ち得る。ドライバーは、この抽象的なデータの視覚化を用いなければならない。しかしながら、これらの例において、表示された画像は、ドライバーが車両の前方に実際に見ているものとは異なったものである。

加えて、車両内には、多くの様々なセンサが提供されている。これらのセンサは、車両外部の車両環境に関する物理値、または車両速度のような車両に関するその他任意の物理値のうちのいずれかを検出する。

一部の状況において、ドライバーがより迅速かつ容易に状況を認識することができるような方法で、センサによって検出された物理値をビデオ画像内に視覚化することが、有用であり得る。

したがって、車両センサによって提供された情報をドライバーが迅速かつ容易に認識することを可能にする方法、ならびに車両センサによって提供された情報をドライバーが迅速かつ容易に認識することを可能にするためのシステムに対する必要性が存在する。

この必要性は、独立請求項の特徴によってみたされる。独立請求項においては、本発明の好適な実施形態が記載されている。

本発明の第１の局面にしたがうと、車両環境からのビデオ画像をドライバーに提示する方法が提供されている。上記方法は、ビデオ環境からのビデオ画像を撮影するステップを含んでいる。加えて、車両環境または車両そのものに関するセンサデータが検出され、これらのデータが、処理される。さらに、ビデオ画像を後処理することにより、ビデオ画像内のオブジェクトが認識される。その後、処理されたセンサデータは、表示されたビデオ画像内の認識されたオブジェクトの表現を変更することにより、表示されたビデオ画像内に視覚化され得る。ビデオ画像内に実際に存在しているオブジェクトの表現を変更することにより、センサデータの処理の結果が、直観的な方法で、ドライバーに表示され得る。本発明にしたがうと、人工的であるがオブジェクト（これに対する表現は変更される）に固有（ｎａｔｉｖｅ）である要素を用いて、実際の交通状況のビデオ画像を強化することが可能である。このことは、一方では、所与の状況において、表現が変更される方法が、実際に存在し得るということを意味し得る。このことは、他方では、受信されたセンサデータを考慮することにより、ビデオ画像内に示されているオブジェクトが、別の方法で表現されるということを意味し得る。

上記の目的を達成するために、オブジェクト（ビデオ画像内に存在しており、窓またはフロントガラスを通してドライバーが見ることも可能である）は、ビデオ画像を後処理することにより、検出および変換され、オブジェクトクラスに分類される。約２０〜１００フレーム／秒のフレームレートで撮影されたビデオ画像は、処理され、オブジェクト（例えば、その他の車両、人間、または車両環境に存在するその他任意の要素）を検出するために、パターン認識技術が、画像に適用される。後処理技術（例えば、エッジ検出）を用いることにより、ビデオ画像内にオブジェクトが検出されたとき、オブジェクトの形状が決定され、オブジェクトは、様々なオブジェクトクラスに分類され得る。例えば、車両、建物、オートバイ、歩行者、樹木、等の様々なクラスが存在し得る。画像内に検出された形状と所定の形状とを比較することにより、画像内のオブジェクトが認識され得る。

加えて、検出されたセンサデータが処理される。このセンサデータの処理の結果は、表示されたビデオ画像内のオブジェクトに要素を導入することによって、認識されたオブジェクトの表現を変更することにより、画像内に示され得る。上記要素は、画像センサによって検出されたものとして実際にはビデオ画像内に存在していないかもしれないが、別の交通状況ではビデオ画像内に存在し得るかもしれない。

走行補助システムにおいて、通常、ビデオ画像は、ドライバーがフロントガラスを通して見ているときに視覚可能なように、車両の前方の車両環境から撮影される。したがって、ビデオ画像は、車両の前方の車両環境を監視し得る。しかしながら、例えばビデオ画像が駐車補助システムと共に用いられる場合に、本発明が、車両の後方から撮影されたビデオ画像と共に用いられることもまた、可能である。

本発明の一実施形態において、ビデオ画像内のオブジェクトを認識するステップは、ビデオ画像内の車両を認識するステップを含んでいる。車両の検出に加え、ビデオ画像の後処理は、その他任意のオブジェクト（車両に対して危険であり得るオブジェクト、またはドライバーがより多くの注意を払う必要があるオブジェクト）を検出するという目的を有し得る。

本発明の一実施形態にしたがうと、センサは、そこから距離が決定される検出車両に対する、画像内に示されているオブジェクトの距離を決定する。相対的な距離を決定する代わりに、あるいは相対的な距離を決定することに加えて、検出車両の前方において移動している車両の速度が、決定され得る。検出車両の前方において移動している車両が、検出車両に対し、所定の閾値速度より低い速度を有していることが検出されると、検出車両が前方の車両に接近していることを意味しているので、前方の車両（ビデオ画像内にも示されている）は、前方の車両のブレーキライトが作動状態で示されるような方法で、ビデオ画像内に表示され得る。この状況において、ドライバーは、検出車両までの相対距離が急速に小さくなっている際に、前方の車両に対してより多くの注意が払われなければならないということを、容易に理解し得る。この例から理解できるように、前方において運転している車両は遥かに遅いという、センサデータによって提供された情報は、ビデオ画像内に実際に提供された固有の要素の表現を変更することにより、視覚化され得る。前方の車両が検出車両よりも単純に遅く運転しているとき、ブレーキライトが作動状態になる（作動状態のブレーキライトは、場面内に実際に存在しているかもしれないが、このとき、ブレーキライトは、作動されていないかもしれない）。この情報は、ユーザに対して表示され得る。

同様の状況は、車両が交通渋滞に接近しているときに起こり得る。この状況において、車両内に提供された距離センサは、車両までの相対距離がだんだん小さくなっていることを認識し得る。その後、本発明のシステムは、ビデオ画像内に示されている車両の警告灯が作動状態で表示され得るような方法で（実際には車両がその警告灯をオフにしている場合でさえも）反応し得る。この状況においてもまた、ドライバーは、非常に直観的な方法で、運転態度に関して必要であり得る反応および適応を理解し得る。

別の実施形態において、車両の外部の温度および湿度が検出される。温度が所定の閾値温度より低いことが検出されたとき、ならびに湿度レベルが所定の閾値湿度よりも大きいことが検出されたときに、道路が凍結している可能性が存在するということが、推測され得る。この例において、ビデオ画像内の道路の表現は、潜在的な危険性がドライバーによって認識されるような方法で、道路の表現を変更することにより、しかるべく変更され得る。例えば、氷上で発生するような反射が追加され、凍結した道路が存在しているということを指示し得る。

本発明の別の実施形態において、視界が所定の閾値視界より悪いとき、ならびに前方にある車両までの距離が所定の距離よりも大きいときに、戸外の視界を検出するセンサデータが処理され、検出車両の前方の車両の表現が、変更され得る。霧の深い状況においては、レーダまたは赤外線センサのような距離センサが、遠くにあるオブジェクトを検出し得、ドライバーが前方の車両を明確に認識し得ない状況においては、レーダまたは赤外線センサのような距離センサが、前方の車両を検出し得る。車両内で追加的な距離センサを用いることにより、ビデオ画像は、実際の位置における車両の画像によって、強化され得る。このようにして、車両は、実際よりも、より見やすくなっている。

別の状況においては、車両に提供されたマップデータ上で、車両の実際の位置を決定するために、位置決定ユニットからのセンサデータが、用いられ得る。マップデータ内での位置がわかっていとき、画像内の視覚可能な任意のオブジェクト（マップデータ内にも含まれている）が、強調される。例えば、速度センサは、車両が高速で運転していることを指示し得る。位置決定ユニットは、車両が踏み切りまたは横断歩道に近付いているということを、決定し得る。両方の状況において、実際の車両速度は、近付いているオブジェクト（例えば、横断歩道または踏み切り）に適合し得ない。これらの例において、横断歩道そのものの表現、または歩行者横断標識（Ｂｅｌｉｓｈａ Ｂｅａｃｏｎ）の表現が、変更され得る。同様な方法で、踏み切りに対し、フラッシュしている光が（実際には光がフラッシュしていなくても）追加され得る。

本発明はさらに、車両環境からのビデオ画像を表示するためのシステムに関する。上記システムは、車両環境からのビデオ画像を撮影する画像センサを含んでいる。加えて、少なくとも１つのセンサが提供され、車両環境または車両そのもののデータを検出する。センサ処理ユニットは、センサデータを処理し、ビデオ画像処理ユニットは、ビデオ画像を後処理し、ビデオ画像内のオブジェクトを認識する。グラフィックスユニットが提供され、上記グラフィックユニットは、表示されたビデオ画像内の認識されたオブジェクトの表現を変更することにより、表示されたビデオ画像内に処理されたセンサデータを視覚化する。

センサからの情報は、ドライバーに対して表示される。情報は、車両の前方のその他のオブジェクトまでの距離を検出する距離センサ、検出車両の前方において運転している車両の速度を検出する速度センサ、検出車両そのものの速度を検出する別の速度センサ、戸外の温度を測定する温度センサ、湿度レベル検出センサ、または位置検出センサから来たものであり得る。位置検出センサは、デジタルマップデータを備えたナビゲーションシステムの一部分であり得、ナビゲーションユニットは、所望の方向にドライバーを案内することが可能である。現在の車両位置がわかっているとき、その位置とマップ上の環境とを比較し、ナビゲーションユニットからの情報に基づいて、ビデオ画像内のオブジェクトの表現を変更することにより、潜在的に危険なオブジェクトが検出され得る。

上記システムは、好適には、上述のように動作する。

本発明は、さらに以下の手段を提供する。

（項目１）
車両環境からのビデオ画像を提示する方法であって、
該車両環境のビデオ画像を撮影するステップと、
該車両環境または該車両のセンサデータを検出するステップと、
該センサデータを処理するステップと、
該ビデオ画像内のオブジェクトを認識するステップと、
表示されたビデオ画像内の認識されたオブジェクトの表現を変更することにより、該表示されたビデオ画像内に該処理されたセンサデータを視覚化するステップと
を包含する、方法。

（項目２）
上記ビデオ画像内に存在し、フロントガラスを通してドライバーにも見ることが可能であるオブジェクトは、該ビデオ画像を後処理することにより、検出および変換され、オブジェクトクラスに分類されること
を特徴とする、項目１に記載の方法。

（項目３）
上記認識されたオブジェクトの上記表現は、上記表示されたビデオ画像内のオブジェクトに要素を導入することによって変更され、該要素は、該ビデオ画像内には実際に存在していないが、該ビデオ画像内に存在し得ること
を特徴とする、項目１または項目２に記載の方法。

（項目４）
上記ビデオ画像は、上記車両の前方の上記車両環境から撮影される、項目１〜項目３のいずれか一項に記載の方法。

（項目５）
オブジェクトを認識する上記ステップは、上記ビデオ画像内の車両を認識するステップを含んでいる、項目１〜項目４のいずれか一項に記載の方法。

（項目６）
センサデータを検出する上記ステップは、そこから距離が決定される検出車両に対して、上記画像内に示されているオブジェクトの距離を決定するステップを含んでいる、項目１〜項目５のいずれか一項に記載の方法。

（項目７）
センサデータを検出する上記ステップは、上記検出車両の前方にある車両の速度を決定するステップを含んでいる、項目１〜項目６のいずれか一項に記載の方法。

（項目８）
上記検出車両の前方において移動している上記車両の速度が、該検出車両に対して、所定の閾値速度より遅い速度を有していることが検出されたときに、前方の車両のブレーキライトが強調される、項目６または項目７に記載の方法。

（項目９）
センサデータを検出する上記ステップは、戸外の温度および戸外の湿度レベルを検出するステップを含んでおり、該戸外の温度が所定の閾値温度より低いとき、および該戸外の湿度が所定の閾値湿度より高いときに、上記ビデオ画像内の道路の表現は、変更される、項目１〜項目８のいずれか一項に記載の方法。

（項目１０）
上記道路の表現は、氷上におけるような反射を追加することによって変更されること
を特徴とする、項目９に記載の方法。

（項目１１）
センサデータを検出する上記ステップは、戸外の視界を決定するステップを含んでおり、該視界が所定の閾値視界より悪いとき、および前方にある車両までの距離が所定の距離よりも大きいときに、上記検出車両の前方の車両の表現は、変更される、項目１〜項目１０のいずれか一項に記載の方法。

（項目１２）
上記検出車両の前方の車両の上記表現は、該前方の車両の絶対速度が所定の閾値速度より遅い場合に、該前方の車両にフラッシュしている警告灯を追加することによって変更される、項目７〜項目１１のいずれか一項に記載の方法。

（項目１３）
上記車両のセンサデータを検出する上記ステップは、上記マップデータからの情報に依存して、該車両の位置を決定し、デジタルマップ内における該車両の位置を特定し、該ビデオ画像内のオブジェクトを強調するステップを含んでいる、項目１〜項目１２のいずれか一項に記載の方法。

（項目１４）
オブジェクト情報は、上記マップデータから取り出され、受信されたセンサデータに依存して、上記ビデオ画像内のオブジェクトを強調する、項目１３に記載の方法。

（項目１５）
車両環境からのビデオ画像を表示するためのシステムであって、
該車両環境からのビデオ画像を撮影する画像センサ（１１）と、
該車両環境または該車両のデータを検出する少なくとも１つのセンサ（１５）と、
該センサデータを処理するセンサ処理ユニット（１６）と、
該ビデオ画像を後処理し、該ビデオ画像内のオブジェクトを認識する画像処理ユニット（１３）と、
表示されたビデオ画像内の認識されたオブジェクトの表現を変更することにより、該表示されたビデオ画像内に該処理されたセンサデータを視覚化するグラフィックス処理ユニット（１７）と
を備えている、システム。

（項目１６）
上記車両環境のデータを検出する上記センサ（１５）は、以下のセンサ：
距離センサ、該車両の前方を走行している車両の速度を検出するセンサ、温度センサ、湿度レベル検出センサ、位置検出センサ
のうちの少なくとも１つを含んでいる、項目１５に記載のシステム。

（項目１７）
上記画像処理ユニット（１３）は、上記ビデオ画像にエッジ検出フィルタを適用し、検出されたオブジェクトとデータベース（１４）に格納されているオブジェクトのタイプとを比較することにより、該ビデオ画像内のオブジェクトを認識する、項目１５または項目１６に記載のシステム。

（項目１８）
上記システムは、項目１〜項目１４のいずれか一項に記載の方法にしたがって動作している、項目１５〜項目１７のいずれか一項に記載のシステム。

（項目１９）
車両環境からのビデオ画像を提示する方法であって、
該車両環境のビデオ画像を撮影するステップと、
該ビデオ画像内の車両を認識するステップと、
検出車両の前方の車両の速度を決定するステップと、
該決定された速度を処理するステップと、
表示されたビデオ画像内の認識された車両の表現を変更することにより、該表示されたビデオ画像内に該処理された速度を視覚化するステップと
を包含し、
該検出車両の前方を移動している該車両の速度が、該検出車両に対して、所定の閾値速度より低い速度を有していることが検出されたときに、該ビデオ画像内に示されているような該前方の車両のブレーキライトは、作動状態で表示される、方法。

（項目２０）
車両環境からのビデオ画像を提示する方法であって、
該車両環境のビデオ画像を撮影するステップと、
該ビデオ画像内の車両を認識するステップと、
検出車両の前方の車両の絶対速度を決定するステップと、
該決定された絶対速度を処理するステップと、
表示されたビデオ画像内の認識された車両の表現を変更することにより、該表示されたビデオ画像内に該処理された絶対速度を視覚化するステップと
を包含し、
該ビデオ画像内において、該検出車両の前方の車両の表現は、該前方の車両の絶対速度が所定の閾値速度より低い場合に、該前方の車両にフラッシュしている警告灯を追加することによって変更される、方法。

（項目２１）
車両環境からのビデオ画像を表示するためのシステムであって、
該車両の周囲からのビデオ画像を撮影する画像センサと、
該車両の周囲における他の車両の速度を検出する少なくとも１つの速度センサと、
該他の車両の該速度を処理する速度センサ処理ユニットと、
該ビデオ画像を後処理し、該ビデオ画像内の車両を認識する画像処理ユニットと、
表示されたビデオ画像内に処理されたセンサデータを視覚化するグラフィックス処理ユニットと
を備えており、
該速度センサが、該検出車両の前方において移動している該車両の速度が、該検出車両に対し、所定の閾値速度より低い速度を有していることを検出したときに、グラフィックスプロセッサは、前方の車両のブレーキライトを作動状態で表示する、システム。

（項目２２）
車両環境からのビデオ画像を表示するためのシステムであって、
該車両の周囲からのビデオ画像を撮影する画像センサと、
該車両の周囲における他の車両の速度を検出する少なくとも１つの速度センサと、
該他の車両の該速度を処理する速度センサ処理ユニットと、
該ビデオ画像を後処理し、該ビデオ画像内の車両を認識する画像処理ユニットと、
表示されたビデオ画像内に処理されたセンサデータを視覚化するグラフィックス処理ユニットと
を備えており、
該速度センサが、該検出車両の前方において移動している該車両の絶対速度が、所定の閾値速度より低いことを検出したときに、該グラフィックスプロセッサは、該表示されたビデオ画像において、前方の車両にフラッシュしている警告灯を追加する、システム。

（摘要）
本発明は、車両環境からのビデオ画像を提示する方法に関し、上記方法は、車両環境のビデオ画像を撮影するステップと、車両環境または車両のセンサデータを検出するステップと、センサデータを処理するステップと、ビデオ画像内のオブジェクトを認識するステップと、表示された画像内の認識されたオブジェクトの表現を変更することにより、表示されたビデオ画像内に処理されたセンサデータを視覚化するステップとを包含している。

本発明は、添付の図面に関連して、以下でより詳細に記載される。

（好適な実施形態に関する詳細な説明）
図１において、ドライバーに提示されるビデオ画像内にセンサ情報を視覚化するために用いられ得るシステムが示されている。図１に示されているシステムは、カメラ１１を備えており、上記カメラは、車両の環境からの画像を撮影する。カメラは、走行補助システムの一部であり得、上記走行補助システムにおいて、カメラからの画像は、ドライバーに対し、ディスプレイ１２上に表示される。カメラは、車両（図示されず）内に取り付けられている。１つの場合では、カメラは、フロントガラスの後ろに配置され、車両の前方に位置している部分を監視する。さらに、カメラを車両の前方部分（例えば、ラジエータグリルの隣）に取り付けることも可能である。カメラは、ＣＣＤカメラまたはＣＭＯＳカメラであり得、上記カメラは、２５〜１００フレームの間のフレームレート（１秒あたりの画像）で画像を撮影する。車両が高速で運転しているときに、場面を十分に素早く捕らえるためには、これらのフレームレートが必要である。カメラは、車両の前方の車両環境に関する２次元表現を提供する。車両が後ろ方向に向けて運転しているときに、車両の後方にある部分が監視されるような方法で、カメラを配置することもまた可能であり得ることに留意されたい。さらに、２つのカメラが提供され得る。一方のカメラが、前方にある部分を監視し、別のカメラが、車両の後方を監視し得る。カメラに接続されている画像処理ユニット１３が提供され、上記画像処理ユニットは、カメラからビデオ画像を受信する。画像処理ユニットは、（例えば、受信した画像データにフィルタを適用することによって）ビデオ画像内のオブジェクトの位置を特定するために、受信した画像を後処理する。例えば、オブジェクトの検出は、エッジ検出フィルタを用いることにより、実行され得る。これらのエッジ検出フィルタは、画像の隣り合うピクセルの輝度の差を検出する。オブジェクトの輪郭が見出されると、この輪郭は、オブジェクトデータベース１４に格納されている様々な所定の輪郭と比較され得る。例えば、車両がカメラを備えており（これは、以下では検出車両（ｄｅｔｅｃｔｉｏｎ ｖｅｈｉｃｌｅ）と呼称される）、別の車両の後方で運転しているとき、検出車両の前方のこの別の車両は、画像処理ユニットによって検出され得る。その後、検出された輪郭は、オブジェクトデータベースと比較され、その比較により、輪郭は車両の輪郭であるとして識別され得る。以下で詳細に説明されるように、ビデオ画像内のオブジェクトに関するこの識別は、センサデータの視覚化のために必要である。

本発明のシステムは、さらにセンサを備えており、上記センサは、車両の外部から（すなわち、車両環境から）センサデータを検出するか、そうでなければ、車両自身からのセンサデータを検出する。車両内にいくつかのセンサ１５が提供され得るが、明確化のために、図１に示されている実施形態においては、唯１つのセンサのみが指示されている。このセンサは、検出車両の実際の速度に関する情報を提供し得る。加えて、距離センサが提供され得、上記距離センサは、検出車両の運転方向を考慮に入れて、検出車両の前方にある車両またはその他のオブジェクトまでの距離を測定する。センサデータは、センサ処理ユニットに送信され、上記センサ処理ユニットは、センサデータを処理する。処理されたセンサデータ（例えば、検出車両の実際の車両速度、検出車両の前方で運転している車両の距離、あるいは前方の車両の速度）は、その後、処理ユニット１７に送信される。上記処理ユニット１７はまた、グラフィックスを処理し、ディスプレイ１２上に表示される画像データを準備する役目をも担っている。したがって、図１に示されている実施形態において、処理ユニットは、グラフィックスプロセッサとしての資格を付与されている。システムはさらに、ナビゲーションユニット１８を含み得、上記ナビゲーションユニットは、ユーザに所定の目的地に到達するための方法を知らせることが可能である。ナビゲーションユニットは、ナビゲーションシステムに提供されたマップデータ１９に基づいて、現在の位置から所定の目的地までの最速または最短のルートを計算する。加えて、アンテナ２０が提供され得、上記アンテナは、衛星システムからの信号を受信する。ナビゲーションユニットは、アンテナ２０から受信した信号に基づいて、現在の車両の位置を決定することができる。

センサ１５の情報は、様々な方法で、ドライバーに提示され得る。センサが、検出車両の前方にあるオブジェクトまでの距離を測定する距離測定センサである場合、この距離は、単に距離の値を表示することにより、ドライバーに対して指示され得る。しかしながら、この抽象的な数字は、ドライバーが、提示された数字に対して反応する方法を知り得ない場合には、ドライバーに対して有用ではあり得ない。本発明にしたがうと、表示されているビデオ画像内に、センサデータから受信した情報を視覚化することが、可能である。このことは、場面に既に提示されているオブジェクトに対し、追加的な要素（これは、実際には場面に存在しないかもしれないし、場面に存在しているかもしれない）を導入することによって、行われ得る。処理されたセンサデータの視覚化に関する様々な例が、図３〜図６に関連して、与えられる。

次に、ビデオ画像内にセンサデータを視覚化するために必要な様々なステップが、図２に関連して概説されている。方法は、ステップ２１において開始し、ステップ２２において、ビデオ画像が記録される。記録されたビデオ画像は、ビデオ画像内に示されているオブジェクトを認識するために、さらに処理される。これらのオブジェクトは、その他の車両、歩行者、建物、樹木、標識、等であり得る。その後、画像処理ユニットは、センサ情報を視覚化するためにはどのオブジェクトに対する表現が変更されなければならないかを後ほどになって知るために、様々なオブジェクトを認識しなければならない（ステップ２３）。

ステップ２４において、センサデータが検出され、ステップ２５において、ドライバーに指示されるべき情報を取り出すために、検出されたセンサデータが処理される。次のステップ２６において、ビデオ画像内で検出されたオブジェクトの表現を変更することにより、センサデータから受信された情報が、ビデオ画像内に視覚化され、これにより、ドライバーは、センサによって提供された情報を、非常に自然な方法で知らされる。この目的を達成するために、センサ情報は、画像に変換されなければならない。画像内のどのオブジェクトに対する表現が変更されなければならないかが、決定されなければならない。さらに、どのような方法で表現が変更されるかが、決定されなければならない。方法は、ステップ２７において、終了する。

図３に関連して、本発明の第１の実施形態が、より詳細に説明されている。図３は、検出車両が、各方向に対して２本の車線を有しているハイウェイ３１上を走行しているときの、検出車両のカメラの１つの画像を示している。一例として、検出車両は、左車線３２上を走行し得、１台の車両３３は、右車線上を走行しており、別の車両３４は、左車線上を走行している。これらの２台の車両はまた、カメラ１１によって撮影された画像内にも見ることができる。画像内の任意のオブジェクトを検出するために、ビデオ画像が処理されると、車両３３および３４の輪郭は、処理ユニット１３によって検出され得る。検出された形状と、データベース１４に格納されている異なる基準形状とを比較することにより、画像処理ユニットは、２つの検出されたオブジェクトを、車両として分類し得る。加えて、センサ１５は、前方を走行している２台の車両までの距離を測定する距離センサであり得る。距離に関する情報はまた、ビデオ画像を処理することによっても取り出され得ることに、留意されたい。ビデオ画像内で２つのオブジェクト３４および３３が非常に速く大きくなっているということが検出されるとき、これら２台の車両までの距離が小さくなっているということが、理解され得る。さらに、カメラ１１およびセンサ１５は、１つの３Ｄ撮像システムに組み込まれ得、３Ｄ撮像システムは、追加的に、奥行きの情報を、画像に提供し得る。ここで、センサが、車両３４が遥かに遅く、この車両までの距離がだんだん小さくなっているということを検出するとき、グラフィックスプロセッサは、新しい要素を画像内に導入するような方法で、センサ１５から受信した情報に作用し得る。例えば、車両のグラフィカル表現は、表示された画像に対し、人工的なブレーキライト３５を追加することにより、変更され得る。画像処理ユニットが、オブジェクト３４を車両として分類したとき、システムは、実際にはビデオ画像内に光が検出されていない場合でさえも、車両の幾何学的形状の所定の位置にブレーキライトが追加されるような方法で、構成され得る。ブレーキライトが作動された状態で示されているとき、車両のドライバーは、車両３５がブレーキを作動させているという印象を有し得る。したがって、ドライバーは、減少している距離が、距離センサ１５によって検出されているときに、減少している距離に対し、より多くの注意を払い得る。上述の例は、要素（これは、ビデオ画像内に存在しないかもしれないし、ビデオ画像内に存在しているかもしれない）を、場面の中に導入することにより、ドライバーが、抽象概念を必要とすることなしに、センサ情報を知らされ得ることを、示している。ドライバーは、センサによって提供された情報を容易に理解し得る。

図３に関連して、本発明の別の実施形態が説明され得る。この別の実施形態において、２つの車両３３および３４が、交通渋滞の最後の２台の車両３３および３４であり、車両３３および３４が非常にゆっくり動いているということ、あるいは全く動いていないということが、起こり得る。ここで、前方を走行している２台の車両の距離または速度を検出するセンサ１５は、これら２台の車両が実際には今はもう動いていないということ、および検出車両が比較的高速で動いているということを、検出する。ドライバーに危険な状況が生じ得るということを示すために、ビデオ画像内での２台の車両３３および３４の表現は、これら２台の車両が、交通渋滞の最後尾の一部分であるということを信号伝達するために、２つの警告灯３５がフラッシュしている状態で示され得るような方法で、変更され得る。２つの車両のドライバーが、彼らの車両の警告灯を作動していない場合でさえも、検出車両のドライバーは、理解することが容易な方法で知らされ得る。したがって、ドライバーは、実際にブレーキを作動させることにより、２台の車両３３および３４との衝突を回避するために必要な方法で反応することができる。距離センサ１５から受信した情報に加え、交通渋滞の情報はまた、ナビゲーションシステムからも受信され得る。当該技術分野において、例えば、ＴＭＣメッセージ（交通メッセージチャンネル）が公知であり、上記ＴＭＣメッセージは、無線局の無線信号にエンコードされ、受信される。この交通ニュースは、ハイウェイの一部分で交通が渋滞しているという情報を含んでいる。ナビゲーションユニットにおいて決定された実際の車両の位置を交通ニュースと比較することにより、交通渋滞に近付いている可能性があるということが推測され得る。このナビゲーションに基づいた情報は、距離センサまたは速度測定センサの代わりに、あるいは距離センサまたは速度測定センサとの組み合わせで、用いられ得る。警告灯を作動させるかどうかの決定はまた、車両がハイウェイ上を走行しているかどうかにも、依存し得る。

都市のアグロメレーション（ａｇｇｌｏｍｅｒａｔｉｏｎ）において、検出車両と同じ車線上の動いていない車両の検出は、通常のことであると考えられ得る（例えば、車両が交通信号で待機しているときなど）。しかしながら、ハイウェイ上では、車線上の動いていない車両の検出は、危険であると考えられ得る。したがって、車両がハイウェイ上を走行していることをナビゲーションシステムが指示しているときにのみ、動いていない車両に対して、フラッシュしている光が追加され得る。

この場合、画像内の認識されたオブジェクトの表現は、２つの異なるセンサ（位置決定センサ、ならびに速度または距離センサ）から受信された信号に依存して、変更される。

図４に関連して、別の実施形態が開示されている。図４においては、カメラ１１によって記録された別のビデオ画像４１が示されている。この例において、検出車両は、道路の上を走行しており、横断歩道４２に接近している。ここで、システムは、検出車両の実際の車両速度を決定し、示されている横断歩道４２に車両が接近しているという情報が、ナビゲーションユニット１８から受信され得る。ここで、車両が、横断歩道に車両が接近しようとする状況に対して、速すぎる速度で運転していることが、検出されたとき、横断歩道に通常存在している警告灯、例えば、歩行者横断標識が作動されるような方法で、ビデオ画像が変更され得る。フラッシュしている光４３を作動させることにより、ドライバーは、車両が横断歩道に接近しているときに、車両の速度を落とした方が賢明であり得るということを、知らされ得る。さらに、例えば、表示されている横断歩道の色を変更することにより、横断歩道そのものの表現を変更することが可能である。この実施形態においては、オブジェクト自身の表現が変更されている。

図５に関連して、別の実施形態が説明されている。図５においては、カメラ１１によって撮影された別のビデオ画像５１が示されている。図５に示されている例は、戸外の天候の状況が、例えば道路が凍結しているというリスクが存在している状況であるということを、ドライバーが認識することに役立ち得る。例えば、温度センサは、戸外の温度を測定し得る。戸外の温度が、０℃近くまたは０℃未満である場合、追加的なセンサが、湿度レベルを測定し得、センサ処理ユニット１６が、センサデータを処理し、湿度レベルが所定の湿度の閾値よりも高いかどうかを決定する。温度が所定の閾値温度よりも低い場合、道路が滑りやすいかもしれないということを、ドライバーに指示することは、有利であり得る。ドライバーに天候の状況を知らせるために、示されているビデオ画像は、画像内において、道路５２が氷上のような反射５３を有していることを指示されるような方法で、変更され得る。氷上のような反射５３が道路上に示されているとき、これらの反射は、道路が凍結している危険が存在し得ることを、ドライバーに指示し得る。

図６において、本発明の別の実施形態が開示されている。図６もまた、カメラ１１によって撮影された画像６１を示している。図６の実施形態において、車両は、道路６２に沿って運転しており、上記道路６２は、線路６３と交差している。ここで、システムは、検出車両の車両速度を検出し、ナビゲーションユニットのマップデータは、前方に線路の踏み切りが近付いているということを指示し得る。ここで、車両速度が速すぎることが検出され、列車が近付いているときに踏み切りが閉じられている可能性が存在し得る場合、線路の踏み切りを指示している標識６５に、フラッシュしている光６４を導入することにより、この潜在的な危険性と、速度が出すぎていることとを知らされ得る。フラッシュしている光６４により、ドライバーは、実際の車両速度が、踏み切りを考慮したときに適切ではないかもしれないということを、知らされ得る。

上述の例は、ドライバーがセンサによって提供された情報を容易に理解することができる方法で、センサ情報がどのように視覚化され得るかについての一部の実施形態を示している。本発明にしたがうと、この視覚化は、表示されているビデオ画像内に要素（これは、実際にビデオ画像内に存在しているかもしれないし、別の状況ではビデオ画像内に存在していないかもしれない）を導入することによって、達成される。場面を強化するために、これらの固有の要素を用いることにより、不必要な抽象概念からドライバーを解放することができ、ドライバーは、状況を遥かに迅速に認識することができる。

図１は、ビデオ画像を表示するためのシステムの概略図を示しており、上記システムにおいては、表示されたビデオ画像内のオブジェクトの表現を変更することにより、センサ情報が視覚化される。 図２は、センサ情報を用いてビデオ画像を表示する方法を実行するための主要なステップを含んだフローチャートである。 図３は、ビデオ画像の一例を示しており、この例においては、ビデオ画像内に距離情報または速度情報が表示される。 図４は、ビデオ画像内のセンサデータの表現に関する別の例を示している。 図５は、ビデオ画像の別の例を示しており、上記ビデオ画像においては、温度センサの情報が表示される。 図６は、ビデオ画像内でのナビゲーションユニットの情報の視覚化に関する別の例を示している。

符号の説明

１１ カメラ
１２ ディスプレイ
１３ 画像処理ユニット
１４ オブジェクトデータベース
１５ センサ
１６ センサ処理ユニット
１７ グラフィックス処理ユニット
１８ ナビゲーションユニット
１９ マップデータ
２０ アンテナ

Claims (22)

1. 車両環境からのビデオ画像を提示する方法であって、
   該車両環境のビデオ画像を撮影するステップと、
   該車両環境または該車両のセンサデータを検出するステップと、
   該センサデータを処理するステップと、
   該ビデオ画像内のオブジェクトを認識するステップと、
   表示されたビデオ画像内の認識されたオブジェクトの表現を変更することにより、該表示されたビデオ画像内に該処理されたセンサデータを視覚化するステップと
   を包含する、方法。
2. 前記ビデオ画像内に存在し、フロントガラスを通してドライバーにも見ることが可能であるオブジェクトは、該ビデオ画像を後処理することにより、検出および変換され、オブジェクトクラスに分類されること
   を特徴とする、請求項１に記載の方法。
3. 前記認識されたオブジェクトの前記表現は、前記表示されたビデオ画像内のオブジェクトに要素を導入することによって変更され、該要素は、該ビデオ画像内には実際に存在していないが、該ビデオ画像内に存在し得ること
   を特徴とする、請求項１または請求項２に記載の方法。
4. 前記ビデオ画像は、前記車両の前方の前記車両環境から撮影される、請求項１〜請求項３のいずれか一項に記載の方法。
5. オブジェクトを認識する前記ステップは、前記ビデオ画像内の車両を認識するステップを含んでいる、請求項１〜請求項４のいずれか一項に記載の方法。
6. センサデータを検出する前記ステップは、そこから距離が決定される検出車両に対して、前記画像内に示されているオブジェクトの距離を決定するステップを含んでいる、請求項１〜請求項５のいずれか一項に記載の方法。
7. センサデータを検出する前記ステップは、前記検出車両の前方にある車両の速度を決定するステップを含んでいる、請求項１〜請求項６のいずれか一項に記載の方法。
8. 前記検出車両の前方において移動している前記車両の速度が、該検出車両に対して、所定の閾値速度より遅い速度を有していることが検出されたときに、前方の車両のブレーキライトが強調される、請求項６または請求項７に記載の方法。
9. センサデータを検出する前記ステップは、戸外の温度および戸外の湿度レベルを検出するステップを含んでおり、該戸外の温度が所定の閾値温度より低いとき、および該戸外の湿度が所定の閾値湿度より高いときに、前記ビデオ画像内の道路の表現は、変更される、請求項１〜請求項８のいずれか一項に記載の方法。
10. 前記道路の表現は、氷上におけるような反射を追加することによって変更されること
    を特徴とする、請求項９に記載の方法。
11. センサデータを検出する前記ステップは、戸外の視界を決定するステップを含んでおり、該視界が所定の閾値視界より悪いとき、および前方にある車両までの距離が所定の距離よりも大きいときに、前記検出車両の前方の車両の表現は、変更される、請求項１〜請求項１０のいずれか一項に記載の方法。
12. 前記検出車両の前方の車両の前記表現は、該前方の車両の絶対速度が所定の閾値速度より遅い場合に、該前方の車両にフラッシュしている警告灯を追加することによって変更される、請求項７〜請求項１１のいずれか一項に記載の方法。
13. 前記車両のセンサデータを検出する前記ステップは、前記マップデータからの情報に依存して、該車両の位置を決定し、デジタルマップ内における該車両の位置を特定し、該ビデオ画像内のオブジェクトを強調するステップを含んでいる、請求項１〜請求項１２のいずれか一項に記載の方法。
14. オブジェクト情報は、前記マップデータから取り出され、受信されたセンサデータに依存して、前記ビデオ画像内のオブジェクトを強調する、請求項１３に記載の方法。
15. 車両環境からのビデオ画像を表示するためのシステムであって、
    該車両環境からのビデオ画像を撮影する画像センサ（１１）と、
    該車両環境または該車両のデータを検出する少なくとも１つのセンサ（１５）と、
    該センサデータを処理するセンサ処理ユニット（１６）と、
    該ビデオ画像を後処理し、該ビデオ画像内のオブジェクトを認識する画像処理ユニット（１３）と、
    表示されたビデオ画像内の認識されたオブジェクトの表現を変更することにより、該表示されたビデオ画像内に該処理されたセンサデータを視覚化するグラフィックス処理ユニット（１７）と
    を備えている、システム。
16. 前記車両環境のデータを検出する前記センサ（１５）は、以下のセンサ：
    距離センサ、該車両の前方を走行している車両の速度を検出するセンサ、温度センサ、湿度レベル検出センサ、位置検出センサ
    のうちの少なくとも１つを含んでいる、請求項１５に記載のシステム。
17. 前記画像処理ユニット（１３）は、前記ビデオ画像にエッジ検出フィルタを適用し、検出されたオブジェクトとデータベース（１４）に格納されているオブジェクトのタイプとを比較することにより、該ビデオ画像内のオブジェクトを認識する、請求項１５または請求項１６に記載のシステム。
18. 前記システムは、請求項１〜請求項１４のいずれか一項に記載の方法にしたがって動作している、請求項１５〜請求項１７のいずれか一項に記載のシステム。
19. 車両環境からのビデオ画像を提示する方法であって、
    該車両環境のビデオ画像を撮影するステップと、
    該ビデオ画像内の車両を認識するステップと、
    検出車両の前方の車両の速度を決定するステップと、
    該決定された速度を処理するステップと、
    表示されたビデオ画像内の認識された車両の表現を変更することにより、該表示されたビデオ画像内に該処理された速度を視覚化するステップと
    を包含し、
    該検出車両の前方を移動している該車両の速度が、該検出車両に対して、所定の閾値速度より低い速度を有していることが検出されたときに、該ビデオ画像内に示されているような該前方の車両のブレーキライトは、作動状態で表示される、方法。
20. 車両環境からのビデオ画像を提示する方法であって、
    該車両環境のビデオ画像を撮影するステップと、
    該ビデオ画像内の車両を認識するステップと、
    検出車両の前方の車両の絶対速度を決定するステップと、
    該決定された絶対速度を処理するステップと、
    表示されたビデオ画像内の認識された車両の表現を変更することにより、該表示されたビデオ画像内に該処理された絶対速度を視覚化するステップと
    を包含し、
    該ビデオ画像内において、該検出車両の前方の車両の表現は、該前方の車両の絶対速度が所定の閾値速度より低い場合に、該前方の車両にフラッシュしている警告灯を追加することによって変更される、方法。
21. 車両環境からのビデオ画像を表示するためのシステムであって、
    該車両の周囲からのビデオ画像を撮影する画像センサと、
    該車両の周囲における他の車両の速度を検出する少なくとも１つの速度センサと、
    該他の車両の該速度を処理する速度センサ処理ユニットと、
    該ビデオ画像を後処理し、該ビデオ画像内の車両を認識する画像処理ユニットと、
    表示されたビデオ画像内に処理されたセンサデータを視覚化するグラフィックス処理ユニットと
    を備えており、
    該速度センサが、該検出車両の前方において移動している該車両の速度が、該検出車両に対し、所定の閾値速度より低い速度を有していることを検出したときに、グラフィックスプロセッサは、前方の車両のブレーキライトを作動状態で表示する、システム。
22. 車両環境からのビデオ画像を表示するためのシステムであって、
    該車両の周囲からのビデオ画像を撮影する画像センサと、
    該車両の周囲における他の車両の速度を検出する少なくとも１つの速度センサと、
    該他の車両の該速度を処理する速度センサ処理ユニットと、
    該ビデオ画像を後処理し、該ビデオ画像内の車両を認識する画像処理ユニットと、
    表示されたビデオ画像内に処理されたセンサデータを視覚化するグラフィックス処理ユニットと
    を備えており、
    該速度センサが、該検出車両の前方において移動している該車両の絶対速度が、所定の閾値速度より低いことを検出したときに、該グラフィックスプロセッサは、該表示されたビデオ画像において、前方の車両にフラッシュしている警告灯を追加する、システム。

Images