JP2010535367A - 交通にとって重要な情報を認識するための方法及び装置 - Google Patents

Abstract

走行する車両において交通にとって重要な情報（Ｉ）を認識するための方法において、センサ（３）のセンサデータ（Ｂ）とナビゲーションシステム（４）のカードデータ（Ｋ）が認識のために解釈され、センサデータ（Ｂ）が、第１の光景解釈部（１０）において、含まれている交通にとって重要な情報（Ｉ）を探索されて、重要なセンサデータ（Ｂ_ｒ）に圧縮され、カードデータ（Ｋ）が、第２の光景解釈部（２０）において、含まれている交通にとって重要な情報（Ｉ）を探索されて、関係するカードデータ（Ｋ_ｒ）に圧縮され、重要なセンサデータ（Ｂ_ｒ）及び重要なカードデータ（Ｋ_ｒ）が、センサデータ及びカードデータを解釈する制御機構（４０）へ送られ、制御機構（４０）がセンサデータ（Ｂ_ｒ）及びカードデータ（Ｋ_ｒ）を評価し、それにより評価に一致する出力信号を出力する。
【選択図】図２

Description

本発明は、走行する車両において交通にとって重要な情報を認識するための方法、装置及びシステム、このようなシステムを持つ車両、プログラム要素、及び独立請求項の上位概念に記載のコンピュータで読取り可能な媒体に関する。

交通にとって重要な情報は、例えば許容最高速度を示す特に交流標識である。しかし本発明は、明白な交流標識のほかに、基本的に、光学的に又は例えば無線によるように別のやり方で検出可能であり、守るべき速度のような特定の走行挙動を規定するすべての情報に関する。視覚センサ特に走行方向に向く光学カメラの画像データ、及びナビゲーションシステムのカードデータが、認識のためそれぞれ前もって評価され、この前もっての評価の結果がまとめられて解釈されるようになっている。

最近の自動車における多くの開発は、走行中に交通にとって重要な情報に運転者が気をつけて、運転を全体として安全に行うために役立っている。これには、特に現在有効な最高速度の表示が属し、運転者に対する単なる付加的情報のほかに、制動又は加速により車両の速度への直接介入にも使用可能である。

以前からナビゲーションシステムが公知であり、道路の推移及び道路の形式のほかに、そのつど有効な速度限界も一緒に入力される。しかし道路カードに固定的に入力されるこの速度限界の質は、ディジタル化されるカードの完全性及び現実性に著しく関係している。速度限界の変化後、経験によれば、この新しい速度情報がディジタルカードへ入力されるまでに、かなりの時間がかかる。もっと大きい問題は、ディジタル道路カードが頻繁にナビゲーションシステムに記憶されており、経験によれば、利用者により比較的まれにしか現実化されないことである。なぜならば、これがかなりの費用に結び付いているからである。

例えば交通の流れに合わせた情報及び速度限界を持つ高速道路又は建築現場の交通標識橋により前もって与えられる一時的な情報を検出することは、更に困難である。これらの変化する情報は特に安全性に関係している。なぜならば、自動車の運転者にこうして前もって与えられる速度限界またはその他の基準は、現在の交通の流れ又は現在の危険な状況に合わされているからである。しかしこれらの状況は、所定のナビゲーションシステムによっては検出不可能である。

これに対してドイツ連邦共和国特許出願公開第１９９３８２６１号明細書は、一時的な場所条件または個人的な運転者の印象を一緒に考慮することを提案しており、そのため自動的にまたは手動で入力可能な一次的場所条件例えば一時的な速度限界または渋滞警告などが、可変な電子区間マーカとしてセット可能であり、区間の反復される走行の際これらのマーカが表示され、かつ／又は自動的に制御される自動車の作動に制御するように介入する。しかしこの場合、これらの情報が一般に区間の再度の走行の際初めて利用可能であり、運転者が未知の区間を初めて走行する時には、読出し不可能である。

ドイツ連邦共和国特許出願公開第１９９３８２６７号明細書は、ビデオカメラを介して検出され、続いて解釈されかつ車両内に表示される交通標識の電子認識システムを提案している。認識される交通標識は、測定可能な電子区間カードに場所に関して記憶されて、ディジタルカードの質を改善し、交通標識と測定される区間データとの一層良好な相関関係を可能にするようにしている。これに補足してドイツ連邦共和国特許出願公開第１９９３８２６６号明細書により、１つの交通標識または複数の交通標識の１つの疑いない認識の際、自動的に論理的考慮を行って、継続する交通流れパラメータ及び／または交通標識が解釈のため一緒に利用され、それから最小の可能な速度限界が求められるようにすることが提案されている。これらのデータの記憶は場所に関係して行われ、運転者に修正の可能性が与えられる。

ドイツ連邦共和国特許出願公開第１０３５４９１０号明細書は、自動制御するナビゲーションシステムを備えて道路の縁に設けられた交通標識に注意する自律車両を開示している。そのためカメラは、車道に沿って設置された交通標識を記録する。画像プロセッサがこれらの画像を分析して、交通標識に含まれる符号内容を求める。同時にナビゲーションデータバンクにおいて、車道についてのカード情報が記憶される。人工知能を持つ電子制御装置が、走行する自動車の現在の位置及び道路状態を、ナビゲーションデータバンクに記憶されているカード情報及び画像プロセッサにより読取られる符号内容に基いて検出する。それから検出の結果に基いて、プロセッサがかじ取り操作、速度の減少／増大操作、及び自動制御ナビゲーション作動に関連する動作を制御する。しかしこのシステムは、まず車道に限られている。なぜならば、そこでは使用される符号が限られ、符号の解釈及び認識が、多くの他の道路特にしばしば見通し不可能な標識を持つ市街におけるより著しく簡単だからである。

欧州特許第１１１４３７２号明細書は、交通標識を認識しかつ通行するための方法及び装置を記載している。交通標識を認識すると、交通標識認識データが作成され、車両の位置を確認するためのナビゲーションデータが供給され、その際交通標識認識データとナビゲーションデータが互いに合わされ、場合によっては更新される。このためこれらのデータが共通な評価装置へ供給され、この評価装置が現在有効な速度限界を求め、場合によっては制御信号を発生する。

しかし前述したすべてのシステムは、画像データ認識に基いて得られるデータが非常に広範囲であり、少なくともすべての画像データが適当に評価される時、前述したデータ処理がしばしば実時間では行われない、という問題と格闘せねばならない。

この理由から欧州特許第１１４５１８６号明細書は、カードに基く少なくとも１つのナビゲーションシステムとカメラにより記録される交通標識の内容を表示するシステムとを持つシステムを提案しており、カードに基く情報に基いて、交通標識の認識に関して問題がある範囲を車両が通過することがわかると、交通標識を認識するシステムが、高められた能力で動作し始める。そのため自動車全体において、空いているデータ容量を利用するため多重プロセッサが使用される。しかしこの場合基礎となっているカードに基くシステムに、画像検出のため場合によっては評価困難な状況が生じる可能性のあることについての情報が既に存在する時にのみ、高められた計算容量が利用可能である。

これに対し本発明の課題は、例えば視覚センサのセンサデータ及びナビゲーションシステムのカードデータに基いて交通にとって重要な情報を認識する可能性を提案し、それにより認識されたセンサデータ及び認識されたカードデータに共通な分析を受けさせ、簡単に適合可能であり、速やかに信頼できる情報を供給することができるようにすることである。例えば提案されるシステムが、現在許容される最高速度についての情報を出力するようにする。

本発明によれば、この課題は独立請求項の特徴によって解決される。

そのため最初に述べた種類の交通にとって重要な情報の認識方法では、特にセンサデータが、第１の光景解釈部において、含まれている交通にとって重要な情報を探索されて、関係するセンサデータに圧縮されている。

注意すべきことは、センサがカメラのような光学センサであってもよいことである。しかしセンサはレーダセンサ又はライダセンサとして、又は例えば能動的に送信する交通標識の無線信号を受信するＲＦＩＤ技術の無線受信機として構成可能である。区間部分用ＴＭＣのように許容最高速度を伝送するシステムも考えられるので、各交通標識が必ずしもセンサを持つ必要はなく、中央送信機から交通標識に関する情報の伝送が可能である。

センサ生データは、前にある処理部７において、例えば縁検出、円検出、トラッキング、訓練される分類器による分類のような画像処理から成る方法により処理される。その結果は、検出されてクラスに対応せしめられる交通標識である。これらの交通標識は、下位ブロックとしての光景解釈センサデータ１０（従って例えば光景解釈画像データ１０）において、融合モジュール２により重要な情報に圧縮され、それぞれの″光景″の解釈が行われる。交通にとって重要な情報は、走行挙動及び特に許容又は適切な最高速度に影響を及ぼす特定の交通標識特に速度を限定する交通標識、車道標識、障害物等であってもよい。

更にカード情報が、第２の光景解釈部において、含まれている交通にとって重要な情報を探索され、同様に重要なカード情報に圧縮される。カードデータの交通にとって重要な情報は、例えばカード材料において入力される速度限界、追越し禁止に対する情報、又は事故、障害物、建築現場等のようなテレマティックシステムのその他の現在の情報であってもよい。例えば出口、環状交差路の範囲のような場所的状態についての情報、及び道路階級、車線の数、道路の経過、右側交通又は左側交通、国のような現在走行している道路区間についての情報も含まれる。

光景解釈部において（例えば画像データのような）交通に関連する情報又は利用可能なそれぞれ他のデータによるカードデータの認識の際第１の不明確さを除去し、有効なデータ圧縮を行うことができるようにするため、場合によっては第１及び第２の光景解釈部が、特定の情報を交換することもできる。圧縮される（画像）情報は、例えば規定されたデータ書式におけるベクトルとして出力することができる。

続いて、重要と認識されて圧縮されるセンサデータ及びカードデータは、制御機構とセンサデータ及びカードデータを解釈する状態オートマトンへ供給され、制御機構がセンサデータ及びカードデータを評価し、実行すべき動作を状態オートマトンへ転送する。状態オートマトンは、制御機構により規定されて状態オートマトンが行うべき動作に基いて、前もって規定された状態間の移行を行い、移行又は移行によって得られる（新しい）状態に対応する情報を出力する。

本発明によれば、状態オートマトンに、走行する自動車の特性及び場合によっては周辺を特徴づける状態が規定されている。このような情報は、例えば車両の速度、ヨーレイト、加速度データ又は減速度データ、道路の種類及び状態についての表示、視覚センサの状態表示及び／又はカード材料特にその老化等のような安全にとって重要なセンサの応動を含んでいる。本発明によれば、ＥＰＳシステムのセンサクラスタからデータにアクセスされる。本発明によるシステムにより考慮される車両及び周辺の特徴の組合わせは、状態又は状態空間として予め規定され、特に交通にとって重要な情報の認識により状態の規則に一致する解釈により解かれて、走行する自動車がちょうどその周辺にある状態を特徴づける。

時間的展開において、走行する車両の状態は変化することがある。これは、例えば車両が速度制限なしの範囲から特に交通標識例えば道路の特定の構造状態（中央ガイドレールを取付けられた２車線道路）又はその他の状態により規定される速度限定範囲へ入るときに、起こる。視覚センサのセンサデータ及び／又はナビゲーションシステムのカードデータがこのような交通にとって重要な情報の存在を検出すると、圧縮された情報が制御機構において評価され、この評価の結果が実行すべき動作として状態オートマトンへ送られる。状態オートマトンは、制御機構の実行すべき動作を、その状態空間における移行と評価し、この状態空間において初期状態から始まって新しいか又は場合によっては再び同じ最終状態への変化が行われる。この移行又は新たに得られる状態は、移行の仕方に応じて、状態に対応する特定の情報出力を伴い、例えば運転者が速度制限のない道路区間から速度制限区間へ８０ｋｍ／ｈの速度で入ったことを、運転者に指摘する。

本発明によるシステムの実行に応じて、状態オートマトンにより出力されるこの情報が、運転者の情報のほかに、例えば制動作用の開始により自動車への直接介入のためにも、使用され、最高速度について現在の交通にとって重要な情報が表示するより速く自動車が走行する時、リミッタに対する速度の規定、即ち適応クルーズ制御のための速度の規定が本発明により考慮されている。

本発明によるシステムは、その構造において、本発明による方法及び装置の機能を簡単に変化しかつ適応させるのを可能にするモジュール構造を持っている。例えば光景解釈部において、新しい交通標識又はその他の情報が処理され、制御機構又は状態オートマトンにおけるそれ以上の適応を必要とすることなく、システムにより既に利用可能な圧縮された画像データ又はカードデータとなるように更に処理される。

供給される入力データにおいて矛盾する状態の制御に順応する解決を可能にする制御機構と、制御解釈部にはほぼ関係にない自動車及び周辺の状態を規定する状態オートマトンとに、計算装置を分割するためにも、規則セットを容易に変更して適応させることができる。例えば規則セットを種々の国のために簡単に規定し、境界を越える際制御機構を即応させることによって、システムへモジュール毎に装入することが可能である。その代りに１つだけの制御機構を使用する場合、１つの国において特定の規則を有効又は無効にすることができ、制御機構を国特有なものに交換することが考えられる。別の実施形態は、道路交通のための法規に関する国に特有な要求に関係する、制御機構における規則の国に特有な交換である。状態オートマトンにおける変化は一般に必要でない。なぜならば、そこでは制御解釈部とは原理的に無関係な自動車の状態が規定されているからである。

システムの個々の装置又はモジュールは、全システムの簡単なモジュール構造を変化することなく、任意に複雑に構成することができる。これは、複雑なデータの認識の際にも、停滞しない実時間処理を可能にする。こうして僅かな費用で、場合によっては将来考えられる別の入力源（例えばテレマティック使用から第３者の車両データ）への適応を行うことができ、本発明はこれらの入力源にも関する。

本発明によれば、制御機構において、特別な規則セットにより、関連する画像データ及びカードデータの内容解釈が行われ、制御機構により規定される動作が、認識されている規則に基いて維持される挙動をパラメータ化すると、特に有利である。それにより検出される画像データ及び／又はカードデータの内容評価を必要にする交通にとって重要な情報の認識の一部が、論理的に独立したブロックに統合され、例えば入力信号源の性能の変化、道路交通規則の変化又は変わった交通規則を持つ他の国への走行により、外部から規定される変化の際、このブロックを簡単に適応させることができる。そのために、透明で容易に適合可能な制御機構を選んで、特に種々の国の変化に簡単に合わせることができると、有利である。

本発明により特に有利に使用可能な制御機構の構成は、アルゴリズムにより評価可能なマトリクスにより行うことができる。これは、特に関連する画像データ、カードデータ、及び場合によっては別のデータ例えば視覚センサの状態についての状態情報、速度、周辺温度、道路状態（湿り、雪、滑る氷）、ＥＳＰデータ等がベクトル情報として存在し、制御機構及び状態オートマトンへこの形で伝送される時に、現れる。適当なマトリクス演算により、認識された画像データはカードデータから、数学的に簡単な形で適当な動作が誘導される。しかも制御機構は、２つのアレイの形で構成されるが、制御の評価のために″古典的なマトリクス演算″は使用されない。

特に好ましい実施形態によれば、状態オートマトンが、車両及び／又はその周囲の所定の状態を持ち、制御機構の実行すべき動作が、状態オートマトンにおいて、所定の状態から他の所定の状態又は自身への移行を行う。予め選ばれた所定の状態で本発明により状態空間を規定することにより、簡単なモジュールシステムが形成され、制御の結果についての表出が、交通に関連する情報の認識に基いて、大きい計算出力なしに、車両及び／又は周辺の新しい状態の規定のために、また情報の出力のために、ディスプレイ又は車両制御装置において行われる。

このため状態オートマトンにおける移行が、例えば車両の表示器における情報の出力と結び付いていると、特に有利である。こうして行われる移行の際、必要なデータ出力が特に速く行われる。

状態オートマトンが、その現在の状態を制御機構へも戻し通報することができ、それにより重要な画像データ及び／又はカードデータの解釈の際、制御機構が車両及び／又は周辺の状態を一緒に考慮することができる。これを行うため、重要な圧縮された画像データ及び重要な圧縮されたカードデータを同時に制御機構及び状態オートマトンへ供給することができるので、現在の状態が、状態オートマトンにより、場合によっては規則の評価中にも制御機構へ戻し通報される。特定の規則においてこれが望ましい場合、例えば現在の状態情報が規則の評価前に制御機構に存在せねばならないことを、規則が考慮することもできる。

本発明によれば、状態オートマトンが、特に状態オートマトンの出力挙動を写し取って例えば車両の状態を特徴づける情報を処理する主状態機械と、特に一時的に変化する車両の特別な周辺条件例えば建築現場区間又は相互交通標識区間を写し取る１つ又は複数の周辺状態機械とに分割可能である。状態オートマトンを複数の異なる状態機械に分割することにより、制御機構により規定されて行うべき動作に基いて、複数の移行の並列処理も行うことができる。

本発明による方法の特に好ましい実施形態によれば、第１の光景解釈部及び第２の光景解釈部が、重要な画像データ又はカードデータに圧縮する際、即ち交通にとって重要なデータの存在及び認識の際、制御機構及び状態オートマトン用の全トリガ信号を発生するトリガ制御部にトリガ信号を送る。全トリガ信号により、制御機構及び状態オートマトンが、それらの内部入力端にかかる圧縮されるか又は重要な画像データ及びカードデータを処理する。全トリガ信号を受けた後、制御機構は実行すべき動作を決定し、状態オートマトンは存在する情報からその状態を検出し、それにより実行すべき動作を得た後、その初期状態から新しい状態への移行を行うことができる。本発明によれば、制御機構は、その制御解釈の終了後に、かつ場合によっては動作の出力と共に付加的なトリガ信号を状態オートマトンへ送り、それによりこのオートマトンが移行を直ちに行う。

本発明の簡単な実施形態によれば、トリガ制御部が、全トリガ信号を発生するための第１及び第２の光景解釈部の両方のトリガ信号のＯＲ回路を持っている。

しかしトリガ制御部の好ましい変形例は、第１又は第２の光景解釈部の第１のトリガ信号の印加の際、カウンタ例えば現在の車両速度を積算する距離カウンタを動作させ、最大計数値例えば進んだ最大距離の終了の際、又は第２又は第１の光景解釈部の第２のトリガ信号の印加の際、全トリガ信号を発生する。それにより種々のデータの間の時間的非同期性を阻止し、制御機構及び状態オートマトンによるデータの評価の最適な時点を規定することができる。制御機構及び状態オートマトンは、全トリガ信号を同時に受けるのがよく、それにより規則評価及び状態オートマトンにおいて認識される状態が同じデータに基き、制御機構の動作により開始される移行が、状態オートマトンにおける正しい状態からも始まる。別の実施形態において、画像認識データの前処理からトリガの印加の際、全トリガ信号ＧＴが直ちに発生され、カード情報の前処理からトリガの印加の際にのみ待たれるように、全トリガ信号ＧＴが発生される。

第１及び／又は第２の光景解釈部において、所定の基準により重要な画像データ及び／又はカードデータが有利に選択される。そのため異なる時点に検出される重要な画像データ及び／又はカードデータを時間的に関係させることができる。異なる時点にセンサにより検出される交通標識又はその他の情報は、従って全部関係づけられ、これにより例えば走行する自動車が交通標識を実際に通過する時点が検出される。更にカメラ位置又はセンサ位置の認識及びセンサ面上における交通標識の場所例えばＣＣＤカメラの画素から、関連する画像の場所選択が行われ、信号の時間的及び場所的相互関係が、光景の一層精確な解釈を可能にする。データにおける場所的及び時間的相互関係は、例えば車線にとって重要な情報が場所を解明する検出なしには検出困難である交通標識橋において与えられる。カードデータの範囲において更に、自動車の現在の速度ベクトルから、多分近いうちに重要となる情報の予測を行うことが可能である。これに関して、第１及び第２の光景解釈部が特にすでに圧縮された画像データ又はカードデータを交換し、それにより１つの光景解釈部の認識された情報が他の光景解釈部において利用可能であると、有利である。

特に第１及び第２の光景解釈部が比較可能な速度で相対動作するために、本発明によれば、視覚センサの画像データが、第１の光景解釈部の前にある処理部において、求めるべき画像データ及びカメラ状態データの前選択に限定される。状態情報は、例えばカメラの性質状態（暗さ、汚れた前窓ガラス等）を表示することができる。これらの状態情報も制御機構の範囲内で使用されて、画像データ及びカードデータの間で情報が相違している場合、両方のデータのどちらが一層高い確率で正しいかを示す。

既に述べたように、第１及び第２の光景解釈部は、本発明によれば情報を交換して、各光景解釈部において画像データ及びカードデータの最適な圧縮を行う。特に１つの光景解釈部における交通にとって重要な情報の認識は、直ちに他の光景解釈部へ伝達されるようにする。

更に車両生データ例えばＥＳＰ、速度等のような車両センサデータ、及び／又はカメラ状態データ例えば明るさ、画像品質などが、交通にとって重要な情報の認識の過程において、特に光景解釈部、制御機構及び／又は状態オートマトンにおいて利用可能であると、特に有利である。

前述した方法のほかに、本発明は、画像データを得るための視覚センサのシステムへの接続端子、カードデータを得るためのナビゲーションシステムへの接続端子、及び認識の結果を表示又は処理するための表示器への接続端子を持つ、走行する車両にあって交通にとって重要な情報を認識する装置にも関する。本発明により前に設けられる装置は、特に前述した方法段階を実施するために設けられている。

そのため装置は、光景を解釈し、得られるセンサのセンサデータ又はナビゲーションシステムのカードデータを圧縮し、かつ圧縮されたセンサデータ及びカードデータを制御機構及び状態オートマトン付きの計算装置へ転送するための手段を持っている。光景解釈手段は、画像データを処理する場合、特に画像処理ソフトウェア及び認識ソフトウェアを持つ装置であってもよい。ナビゲーションシステムのカードデータの場合、光景解釈手段は、特にカードデータを交通にとって重要な情報に濾波するフィルタ手段であってもよい。

制御機構は、本発明によれば、光景解釈によって得られる圧縮された画像データ及びカードデータを評価し、実行すべき動作を状態オートマトンへ伝送するために設けられている。本発明による状態オートマトンが、実行すべき動作に基いて、所定の状態を持つ状態空間において移行を行い、新しい状態又は移行に対応する情報を表示器へ接続端子を介して出力するように設けられている。表示器は光ディスプレイ、音響出力装置又は制御器であってもよく、この制御器は、車両機能へ直接介入して、例えば車両が所定の最高速度より速い時、制動を開始する。例えばクルーズ制御、適応クルーズ制御又はリミッタのような他の運転者援助システムへの論理結合を行うことも考えられる。

特に好ましい実施形態によれば、第１の光景解釈部手段及び第２の光景解釈部手段の後に、特に制御機構用開始信号として役立つ全トリガ信号を発生するトリガ制御部が接続され、状態オートマトンが、交通標識の有効長を監視するために常に動作せしめられる。標識がもはや有効と思われない場合、状態オートマトンが制御機構を再びトリガする。しかし本発明による構想の構成に応じて、状態オートマトンは制御機構の別のトリガ信号によっても始動可能である。

本発明による装置の有利な構成によれば、第１の光景解釈部用及び第２の光景解釈部用の手段、トリガ制御部、及び制御機構及び状態オートマトンを持つ計算装置が、共通な融合モジュールを形成し、この融合モジュールにおいて、外部インタフェースより故障の少ない特に高速内部インタフェースにより、個々の装置の間の接続が行われる。全融合モジュールは、メモリ、計算機構及び外部接続端子を持つ計算装置を持つ機器単位として構成可能であり、それにおいて前述した方法が実行される。融合モジュールを複数の別々の機器に分割するか、又は融合モジュールを直接カメラの制御器上で、ナビゲーションシステムの制御器内で又は表示器の制御器内で動作させることも当然可能である。

融合モジュールに、画像データの前処理手段も含むことができるので、カメラまたは視覚センサ及び場合によっては他のセンサを融合モジュールへ直接接続することができる。これはデータバス上で適当な情報の取出しによっても行うことができる。その場合すべてのデータの処理は本発明による融合モジュールにおいて行うことができ、このモジュールの出力インタフェースはなるべく再びデータバスに接続され、交通にとって重要な情報を、車両の他の種々の機器により評価可能な標準化されたデータ書式で利用可能にする。

こうして本発明によれば、交通にとって重要な情報を認識するため提案されたシステム（方法及び装置）のモジュール構造は、自動車においてこのような装置の具体化の際特別な利点を示す。なぜならば、組合わされた画像データ及びカードデータの解釈部を制御機構と状態オートマトンに分割することは、簡単かつ融通性をもって行われるからである。解釈規定部は、透明でかつ取扱い容易な制御機構へ統合することができ、この制御機構を可能な変化に容易に合わせることができる。制御機構は、適当な出力を発生するため比較的複雑さの少ない状態オートマトンで使用される固有の判断論理素子を含んでいる。制御機構の変更はプログラム技術的に容易に行われ、場合によっては普通の検査の範囲内でも実現される。更に状態オートマトンの使用はプログラム技術的に非常に強固なシステムを示し、安全にとって重要な使用の際にも、高い処理確実性を与え、驚くべきことに静的な構成にもかかわらず、走行する自動車の状態を記述するためにも、交通にとって重要な情報の認識特に交通標識及び速度限定の領域において使用可能である。

本発明の別の実施例によれば、装置は車両のために速度限定援助を与えるように（例えばいわゆるリミッタに）構成されている。

本発明の別の実施例によれば、装置は、センサにより検出可能な信号が並列に存在する場合、現在許容される最高速度を検出するために構成され、検出される信号は、適当な速度限界に異なる妥当性で一致する。並列信号は例えば複数の交通標識から由来していてもよい。

換言すれば装置は、異なる速度限界を持つ多重道標の場合、現在有効な標識を精確に検出して選択することができる。それぞれの標識の有効性を示す付加的標識による速度限界についての情報が、ディジタル道路カードから利用可能でないか、又はどんな有効性の条件が現在満たされているかを評価することが不可能である場合、パラメータを介して、保守的な設計として一層低い速度限界を出力するか、又は進歩的な設計として一層高い速度限界を出力するかを、選択することができる。第３の選択として、（それぞれの有効性情報と共に存在する場合）両方の速度限界を出力することができるので、運転者は、どんな速度限界が現在有効であるかを決定することができる。

本発明の別の実施例によれば、装置がモジュール構造を持っているので、個々の部品を容易に交換することができる。更に制御機構はソフトウエアモジュールとして構成可能であり、例えばプログラミング言語Ｃ又はＣ＋＋でプログラムされている。

本発明の実施例によれば、上述した装置及びセンサ、ナビゲーションシステム及び表示器をもつ車両用システムが提示される。

更にこのようなシステムを持つ車両が提示されている。

本発明の別の実施例によれば、プロセッサで実行される場合上述した方法段階を実行するようにプロセッサを指導するプログラム要素が提示されている。

本発明の別の実施例によれば、コンピュータで読取り可能な媒体が提示され、この媒体にプログラム要素が記憶され、プロセッサで実行される場合このプログラム要素がプロセッサを指導して、上述した方法段階を実行する。

本発明のそれ以外の特徴、利点及び適用可能性は、実施例及び図面の以下の説明から明らかになる。上述しかつ／又は図示したすべての特徴は、請求項におけるその要約には関係なく、単独で又は任意の組合わせで本発明の対象を形成している。

自動車にあって交通にとって重要な情報を認識するための本発明による装置の校正を概略的に示す。 本発明による装置の構成を詳細に示す。 本発明の実施例によるシステムを持つ車両の概略図を示す。 本発明の実施例による方法の流れ図を示す。

図における図示は概略的であり、正しい寸法を示していない。

以下の説明において、同じまたは類似の素子に対して同じ符号が使用される。
交通にとって重要な情報特に交通標識の認識のため図１に概略的に示される装置１は、カメラとして構成される視覚センサ３への接続端子を持ついわゆる融合モジュール２、ナビゲーションシステム４及び車両情報システム５を持っている。接続端子を介してカメラ３から画像データＢが、ナビゲーションシステム４からカメラデータＫが、例えば車両ＣＡＮバスに接続可能な車両情報システム５から車両データＦが、融合モジュール２へ伝送され、おれらのデータから融合モジュール２が、交通にとって重要な所望の情報Ｉを検出する。

融合モジュール２により検出される交通にとって重要な情報Ｉ、例えば現在有効な最高速度が、融合モジュール２により表示器６へ出力される。表示器６は、運転者情報に役立つ光学ディスプレイであってもよい。更に表示器は、車両制御部に至る制御インタフェースであってもよく、現在の最高速度以上にある車両速度が確認されると、車両制御部がたとえば車両の速度に自動的に作用する。一般に表示器は任意の装置であってもよく、本発明により融合モジュール２によって検出される交通にとって重要な情報Ｉを更に処理する。

カメラ３の画像データＢが固有の融合モジュール２へ供給される前に、前の処理７が行われ、カメラ３から直接発する画像生データＢ′が多分交通にとって重要な情報Ｉを予選択する画像認識アルゴリズムにより求められ、縁検出又は円検出及び続く分類を伴う古典的画像処理及び関係のない画像範囲の消去によって処理される。処理された画像は固有の画像データＢとして融合モジュール２へ供給される。画像生データＢ′は、並列に前に設けられる処理７においてカメラ３の状態情報も求められ、この状態情報が付加的なカメラ状態データＳとして融合モジュール２へ供給される。

画像データＢ及びカメラ状態データＳは、カメラ３の画像生データＢ′が受ける第１の評価段階の中間結果である。この前評価は、カメラ３に統合され、かつ本発明による第１の方法段階としての使用の範囲において融合モジュール２内で実行される。

図２を参照して融合モジュール２の固有の動作を詳細に説明する前に、一層よい理解のために技術的周辺をもう一度明らかにする。

本発明の目的は、走行する車両において、交通にとって重要な情報を認識する可能性を与えることであり、これらの情報を特に確実に利用可能にすることである。そのため利用可能な種々の生データが利用され、特に視覚センサ又はカメラ３及びナビゲーションシステム４により画像データＢ及びカードデータＫとして供給される。

このようなシステムはそれ自体厳密には既に公知である。しかしカメラにより援助されるアルゴリズムが、交通標識又はその他の交通にとって重要な情報を認識するための例えば提案される前の処理部７の範囲において、また適当な交通標識の認識のためのナビゲーションシステム４のディジタル道路カードが、ディジタルカードにおいて、それぞれ単独に考察される場合、両方のシステムは重大な欠点を含んでいる。

カメラにより援助される交通標識認識の際、例えば周辺光条件（光状態）に関係して、交通標識をすべての状態において確実に正しく認識することはできない。更に交通標識が損傷しまた一部覆われている場合、不確実さが存在し、交通標識又は類似の交通にとって重要な情報の不確実な視覚検出の別の欠陥源も考えられる。

ディジタル道路カードの情報も若干の欠点を持っている。ディジタル道路カードにカードデータＫとして含まれている情報は、古くなる可能性がある。更に例えば建築現場における一時的な速度規則及び知的交通案内のためますます使用される相互交通標識の速度情報は、ディジタルデータにおいて使用不可能である。ディジタル道路カードカラ、そのつど走行する道路区間のトポロジー（例えば発進の範囲、環状交差路の範囲）についての情報及びコース変更事象（最も確からしい道路の離脱）が既にセットされ、融合モジュールにおいて処理される。

本発明により両方の個別システムの利点がまとめられるので、現在許される最高速度についての確実な情報Ｉ又はその他の交通にとって重要な情報を供給することができる。本発明によるシステムは簡単に車両へ統合可能であり、後で拡張可能である。同時に交通にとって重要な情報Ｉの検出及び評価を実時間で可能にする円滑な画像処理を行うことができる。

このようなシステムは、以下に詳細に説明される本発明による融合モジュール２の範囲内で形成される。

融合モジュール２はまだ生データとして存在するカードデータＫ、及び前にある処理部７にすでに受けた画像データＢを、それぞれ外部インタフェースを経て受ける。好ましい構成では、信号Ｂは内部インタフェースを経て伝送される。図示しない別の外部インタフェースを経て、更にカメラ状態情報又はデータＳおよび車両データＦが供給され、その際前記の外部インタフェースは完全に又は部分的にただ１つの車両データバス例えばＣＡＮバスにより形成することができる。供給される情報及びデータは、図２には詳細に示されてないが、図示したすべての装置で利用可能である。

画像データＢは第１の光景解釈部１０へ供給され、カードデータＫは光景解釈部２０へ供給され、これらの光景解釈部は、所定の基準により決定的な画像データ及び／又はカードデータを選択し、重要な画像データＢ_ｒ又はカードデータＫ_ｒに圧縮する。圧縮されたデータＢ_ｒ又はＫ_ｒ、及び場合によっては利用可能なカメラ状態情報Ｓ及び車両データＦが、融合モジュール２内でなるべくデータベクトルとして表現される。伝送は、特に効率的なデータ伝送を可能にする内部インタフェースを経て行われる。外部インタフェースは、車両の固有のセンサ例えばカメラ３への直接接続に用いることができる。更にディジタル道路カードのカードデータＫ及び／又は車両データＦは、ＣＡＮバスを経て伝送することができる。表示器６への認識された交通にとって重要な情報Ｉの伝送は、ＣＡＮバスを経て行うことができる。

重要な画像データＢ_ｒ及び重要なカードデータＫ_ｒは、光景解釈部１０，２０から出て制御機構４０及び状態オートマトン５０へ供給される。制御機構４０は画像データＢ_ｒ及びカードデータＫ_ｒを評価し、この評価に反応して実行すべき動作Ａを状態オートマトン５０へ転送する。

状態オートマトン５０には、走行する自動車の状態及び／又は直接の車両周辺を表す所定の状態Ｚが規定されている。これらの状態は、なるべく実質的に客観的に測定可能な量により規定されており、その点で測定データに基いて実行すべき動作のためこれらの測定データの解釈を行う制御機構４０の表示とは相違している。道路交通規則に従うカードデータ及び画像データの解釈を行う制御機構４０において、実行すべき動作の検出の間でこの本発明により特に有利な分割を行うことによって、状態オートマトン５０は車両及びその周辺の起こり得る状態を最終的に記述する。したがって前もって規定される種々の状態Ｚは、全部の現実を表さねばならない。

この簡単化された図により、融合モジュール２を走行する車両に簡単に設け、選択されるデータから少ない費用で重要な情報Ｉを圧縮して出力することが特に可能である。制御機構４０に一層広範な決定基礎を可能にするために、状態オートマトン５０は、重要な画像データＢ_ｒ及び重要なカードデータＫ_ｒに基いて検出される現在の状態Ｚを制御機構４０へ戻し通報する。

制御機構４０により規定される実行すべき動作Ａは、状態オートマトン５０内で、初期状態と目標状態との間の移行により変換され、移行の仕方に応じて、初期状態と目標状態が同じ又は異なっていてもよい。移行を行う際及び／又は新しい状態に達する際、所定の重要な情報Ｉが表示器６へ出力される。情報は状態情報として永続的に出力可能である。その代わりに運転者への通報が速度限界の変化の際行われるか、又は現在許容される最高速度を超過する際運転者への警告が行われる。

制御機構４０及び状態オートマトン５０が常に作動しないか、データ及び処理の停滞を生じる多数の処理すべき多数のプログラム段階を押して行くようにするため、トリガとも略称されるトリガ制御部３０が設けられ、画像データＢ又はカードデータＫの光景解釈部１０，２０が供給されるデータＢ，Ｋ中に重要な情報Ｉを認識し、これを重要な画像データＢ_ｒ又は重要なカードデータＫ_ｒに圧縮した時常に、トリガ制御部３０が光景解釈部１０．２０からトリガ信号Ｔを受ける。このトリガ信号Ｔに基いて、トリガ３０が全トリガ信号ＧＴを発生し、この全トリガ信号が制御機構４０及び状態オートマトン５０へ供給されて、その演算を開始する。

次に融合モジュール２の個々の素子をもう一度詳細に説明する。

なるべく前にある処理部７においてすでに前処理された画像データＢは、画像データＢ用光景解釈部１０へ供給される。この解釈部の目的は、後で更に詳細に説明される制御機構４０のために利用可能な入力データを受け、個々の画像データの充填を重要な情報に圧縮することである。そのためカメラ画像において認識された情報が、光景処理部１０に規定されている重要な交通情報に翻訳されることによって、大抵の場合まだ画像データとして存在する画像データＢが、光景解釈部１０の入力端で論理データ情報（重要な画像データＢ_ｒ）に変換される。

画像処理は前にある処理部７において行われる。画像データＢは、例えば記録、量、評価への信頼度及び画像処理の品質のような付加的情報を持つ分類された交通標識である。

現在有効な最高速度を検出するため、光景解釈部１０は例えば特定の交通標識の認識に向けられている。

個別画像の解釈のほかに、カメラ３の順次に続く個別画像を時間的順序に並べることが必要である。なぜならば、走行する車両からの撮影が行われる時、交通標識は典型的に多数の個別画像で生じるからである。そのため時間的に非同時に検出される交通標識が内部で追跡されて、カメラ３の複数の画像において認識される交通標識を交通にとって重要な情報に対応させる。光景解釈部１０において追跡される交通標識が例えば特定の時間にわたってもはや検出されないと、車両がこの交通標識を通過し、この交通標識により規定される交通規則がいまや有効であることから出発することができる。この場合この光景の時間的順序（追跡）は終了しており、光景が“終了”しているための特徴が実現されている。その場合全光景が光景解釈部１０において解釈される。

例えば光景解釈部１０を、現在有効な最高速度に対するデータを選択することに向けることができる。この場合解釈部は、終了した光景において、所定の基準に従って、自己の車両にとって速度限界標識又は終了標識が選択され、重要でない標識が除外されることを、具体的に意味する。車道において各車線に対して例えば固有の速度を規定する交通標識橋では、標識の側方偏りを利用して重要でない標識を除外できるので、重要な交通情報Ｉを自己の車線に対して有効な速度限界に圧縮することができる。ディジタル道路カードから、車両が減速帯の範囲にあるという情報が存在すると、減速帯の側方のみに設けられる標識をこの減速帯に対応させることができる。光景解釈の終了後、求められる論理データが重要な画像データＢ_ｒとして、内部インタフェースを経て制御機構４０及び状態オートマトン５０により利用可能にされる。

同様にディジタル道路カードにより利用可能にされるカードデータＫを重要なカードデータＫ_ｒに圧縮することが、光景解釈部２０の目的である。これは、カメラにより援助される交通標識認識用光景圧縮部１０と原理的に対比可能である。そのため光景解釈の終了後別の内部インタフェースを経て制御機構４０及び状態オートマトン５０により利用可能にされる重要な交通情報を圧縮するために、現在のカード情報が予測のカード情報と共に集められる。

利用可能にされる重要なデータＢ_ｒ及びＫ_ｒは、各ベクトル登録が前に規定された情報に対応しているベクトル形式で伝送される。

更に１つの光景解釈部１０又は２０が、求めるべき情報に関して重要な光景の変化を、前の時間段階と比較して確認すると、両方の光景解釈部１０，２０がそれぞれトリガ信号Ｔを発生する。

これらのトリガ信号Ｔはトリガ制御部とも称されるトリガ３０へ供給され、これらのトリガ信号Ｔに基いてトリガ３０が全トリガ信号ＧＴを発生し、この全トリガ信号ＧＴが制御機構４０及びなるべく状態オートマトン５０にも供給される。この全トリガ信号ＧＴを受けると、制御機構４０及び状態オートマトン５０が、利用可能な重要なデータＢ_ｒ及びＫ_ｒの解釈又は評価を開始し、その際制御機構４０が、これらのデータを、マトリクスに記憶されている所定の規則情報に従って解釈し、状態オートマトン５０が、これらのデータから、車両及び／又はその周辺の現在の状態を評価する。

これにより、なるべく計算機構として構成された融合モジュール２において、全体として計算時間が節約される。なぜならば、制御機構４０及び状態オートマトン５０は、交通にとって重要な情報Ｉの変化がある時にのみ、計算時間を必要とするからである。これに反しこのような変化があるまで、入力データから重要なデータをできるだけ圧縮するために、高められた計算能力が光景解釈部１０，２０により利用可能である。

最も簡単な場合トリガ３０は、両方の個別トリガ信号ＴのＯＲ結合によって実現可能である。しかし図示した構成では、全トリガ信号ＧＴは次のように求められる。光景解釈部１０又は２０のトリガ信号Ｔが印加されると、例えば距離カウンタ及び経時タイマとして構成されかつ現在の車両速度に基いて特定の距離のために継続して計算するカウンタが動作せしめられる。このカウンタはこうして現在の車両速度を積算する。所定の最大距離の終了前に、他方の光景解釈部２０又は１０の第２のトリガ信号Ｔが印加されると、全トリガ信号ＧＴが直ちに動作せしめられる。距離カウンタの最大距離の終了まで第２のトリガ信号Ｔの動作が行われないと、カウンタ又は最大距離の終了により、全トリガ信号ＧＴがセットされる。これは両方の光景解釈部１０，２０のうち１つだけが交通にとって重要な情報を確認できたことを示す。

従ってトリガ３０による制御によって、交通標識及びその場所がディジタルカード情報においてしばしば一致して重ならないことによってしばしば生じる時間的非同期性を阻止することができる。

全トリガ信号ＧＴの印加の際、光景解釈部１０，２０の重要なデータＢ_ｒ及びＫ_ｒに基いて、制御機構４０が利用されて、重要なデータＢ_ｒ及びＫ_ｒに含まれる情報を、有効な交通規則に従って評価する。これらの実行すべき動作Ａは、状態オートマトン５０において移行に換算され、これらの移行により状態オートマトン５０において第１の状態から第２の状態への変化が行われるが、第２の状態は第１の状態と一致していてもよい。制御機構４０は、異なる国における種々の交通規則を考慮できるようにするため、国に特有に構成することができる。制御機構４０の提案された構造は、（例えば法律の変更のため）交通規則の融通性のある変更を行うことも可能にする。

状態オートマトン５０により、走行する自動車及び／又は車両周辺の起こり得る種々のシステム状態が表わされる。この場合状態オートマトン５０が、融合モジュール２の出力挙動を決定しかつ実質的に出力すべき情報Ｉを規定する主状態機械５１を備える。主状態機械５１は、例えば走行する車両に対応する状態を現在の許容最高速度に関して実質的に表すことができる。

例えば建築現場又は相互交通区間のような特別の周辺条件の表示は、１つ又は複数の周辺状態機械５２によって可能である。これにより交通にとって重要な情報Ｉの認識の結果が全体として改善され、必要な情報の計算が促進される。制御機構４０の実行すべき動作Ａに関係して、状態オートマトン５０又は主状態機械５１及び／又は周辺状態機械５２の間で、状態間の移行が行われ、交通にとって重要な情報Ｉの出力を新しい状態への移行又はこの状態の到達に結び付けることができる。こうして両方の場合に、状態に対応する情報Ｉが出力される。

特に車両の現在の速度、テレマティックシステム又はインタフェースカメラシステム又はナビゲーションシステムを介して受信される他の車両又は車両の周辺にあるバークの情報を含む車両データＦは、付加的な情報として、融合モジュール２において行われる評価部へ入り、なるべくベクトルの形で存在することができる。これにより限定形式が適応可能にされ、制限し、制限せず又は可変なものとして構成可能である。

図３は、本発明の実施例により交通にとって重要な情報を認識するシステムを持つ車両の概略図を示す。車両３００の前の範囲には視覚センサ３が取付けられて、データ導線を介して融合モジュール２に接続されている。更にナビゲーションシステム４が設けられている。アンテナ３０３を介して適当な衛星信号を受信することができる。システムの他の部品は、わかり易くするため示されていない。

車両の前に二重道標３０１，３０２がある。標識３０１は、１２時と６時との間で１時間当たり３０ｋｍの速度制限を示す、標識３０２は、６時と１２時との間で１時間当たり６０ｋｍの速度制限を示す。

システムは、独立して現在有効な標識を選択し、場合によっては車両の速度を積極的に制限するか、又は現在の速度制限を単純に表示だけすることができる。

適当な制限が付加標識又は有効情報と共にカードに存在していることによって、選択を行うこともできる。この場合カメラによる付加標識の認識は不要でない。

図４は本発明の実施例による方法の流れ図を示す。段階４０１において、カメラによる画像データの検出が行われる。段階４０２において、これらの画像データが第１の光景解釈を受けて、データから重要な交通情報を求め、かつ適当に圧縮する。これと並行して又は時間的にずれて、カードデータが段階４０３においてロードされ、段階４０４で第２の光景解釈部において、含まれる交通にとって重要な情報が求められて圧縮される。

それから対応する結果が段階４０５で制御機構へ供給され、制御機構が画像データ及びカードデータを評価する。それから適当な出力信号が制御機構から状態オートマトンへ引渡される（段階４０６）。状態オートマトンは、段階４０７において、制御機構の出力信号に基く移行をその状態空間において行う。それから状態オートマトンが適当な情報を出力する（段階４０８）。

この情報は、例えば速度制限の表示のために使用することができる。この情報を運転者援助システムの制御のために使用することもできる。

本発明の２つの別の実施例が以下に説明される。第１実施例は融合モジュールの制御機構の具体化に関する。第２の実施例は、現在有効な最高速度を利用するための融合モジュールにおける並列速度限界の処理方法に関する。

第１実施例：
融合モジュールにおいて、許容最高速度について運転者に通報するために、ディジタル道路カードからの情報とカメラに援助される交通標識認識からの情報が集められる。更に現在有効な速度限界を速度制御装置用の入力量として使用することができる。自発走行の範囲からの使用も可能である。

入力データの状態が矛盾する場合にも明白な結果を出力できるようにするため、融合モジュールは制御機構を維持する。２つの情報源（光センサ装置及びディジタルカード）の前処理された入力データに基いて、決定が行われる。このため制御機構が使用される（図２参照）。

基本機能：
交通標識の検出及びディジタル道路カードからの信号の変化の際、データ圧縮又は光景解釈の出力データに基いて、制御機構が評価される。この制御機構の出力は、実行すべき動作であり、それぞれの状態オートマトンにおいて移行に表わされる。前処理ブロック及び制御機構は、異なる国の特徴に立入ることができるようにするため、国に特有に構成することができる。制御機構を説明するため、アルゴリズムにより解釈される内容を持つ２つのマトリクスの形の特別な構造が使用される。

制御機構の変換：
入力信号及び出力信号はそれぞれ１つのベクトルにまとめられる。制御機構の説明はマトリクスの形で行われる。このマトリクスの各行は規則を表す。第２のマトリクスにおいて、各規則に属する出力値が１行ずつ記憶される。（図２におけるトリガ信号ＧＴによりトリガされる）制御機構の実行の際、規則が満たされているか否かを１行１行検査するアルゴリズムが実行される。規則が満たされていると、評価が停止される。出力信号は、正しいと評価された規則に属する出力値で満たされる。適当な機能が、ソフトウエアモジュールとしてたとえばプログラム言語Ｃに変換されている。

入力信号の数は融通性があり、パラメータにより規定可能である（例えば２４個の入力信号）。例えば入力信号はｉｎ１，ｉｎ２，ｉｎ３，・・・と称される。

出力信号の数も可変であり、パラメータにより規定可能である（例えば５つの出力信号）。出力信号は例えばｏｎ１，ｏｎ２，ｏｎ３，・・・と称される）。

規則の数も可変であり、パラメータにより規定可能である（例えば２００個の規則）。規則は複数の“下位規則”から成る（例えば１０個の“下位規則”）。“下位規則”の例は次の通りである。
ＩＦ（ｉｎ１＜ｉｎ２）
ＩＦ（ｉｎ１＝一定）
ＩＦ（ｉｎ１−ｉｎ５≦一定）

各“下位規則”は５つの成分（規則マトリクスにおける列）から成る。
成分１：入力信号＃１
成分２：演算子＃１
成分３：入力信号＃２
成分４：演算子＃２
成分５：定数

規則の個々の成分は“空”であってもよく、それは一般に値“０”による充填に相当する。すべての“下位規則”は論理ＡＮＤにより論理結合されている。制御機構の実行の際規則が真と評価されると、それぞれの規則に対して出力マトリクスに含まれる出力値が出力信号に対応せしめられる。

制御機構の種々の演算が、以下にその対応する意味と共に示されている。
＝ と同じ
！＝ と同じでない
＞ より大きい
＜ より小さい
≧ より大きいか等しい
≦ より小さいか等しい
＋ 加算
− 減算

制御機構の保守：
制御機構は、工具により製造しかつ保守することができる。例えばこのために表処理プログラムが使用され、このプログラムから（例えばプログラム言語Ｖｉｓｕａｌ Ｂａｓｉｃに基いて）マクロにより規則マトリクス及び出力マトリクスを輸出することができる。アルゴリズムにより、実行時間中に規則マトリクス及び出力マトリクスが有効であるか否かが検査される。

制御機構の開発及び保守のためのグラフ表面も与える複雑な工具の使用も同様に可能である。

次の行１は制御マトリクスの例を示す。

この場合規則３は問合わせ（ｉｎ１＜ｉｎ２）及び（ｉｎ１〜ｉｎ５）≦２７））に相当する。

次の表２は出力マトリクスｘの例を示す。

上述した制御機構は、融合モジュールの決定論理の実行に役立つ。融合モジュールの構造及び全システムのモジュール構造により、任意に完全に構成可能な見通しできる装置が生じる。このため容易に適応可能な透明な制御機構が選ばれた。こうして異なる国の変形例又は将来新たに加わる入力信号への簡単な適応が可能になる。固有の決定論理は制御機構の形で記憶されているので、複雑さの少ない状態オートマトンしか必要とされない。

第２の実施例の説明：
基本機能
多数の道路区間例えば自動車道路又は自動車道路に類似に建造された国道上に、並列に設置される速度制限標識（以下多重道標とも称される）が見られる。これらが明白に認識される場合、互いに異なる限界を内部で処理することができる。従って多重道標として、例えば“制限なしの１２０”及び“湿気のある場合８０”の並列道標が生じることがある。大抵の場合これらの標識は柱に上下に取付けられている。例えば標識群の場合のように、走行帯に関する有効性を持つ速度制限は多重道標とは解釈されない。異なる値を持つ２つの検出される速度限界において、多重道標であることが明白に前提とされない場合、融合モジュールは明白に１つの限界であると決定する。

多重道標の認識
多重道標は、交通標識を検出して分類するアルゴリズムを供給するデータに基いて、またディジタル道路カードに含まれる情報に基いても、認識することができる。最初にあげた入力データにおいて、現在まだ付加標識が検出されて分類されないと、多重道標の認識は標識の相互位置によってのみ可能である。これはカメラからの入力データの“光景解釈”の範囲において行われる。逆推論において、直接上下に重なる２つの標識が大抵の場合多重道標であることを、高い確率で前提とすることができる。多重道標がディジタル道路カードに記憶されていると、（例えば見本市における、特定の時間又は特定の日における、トラックのような特定の車両形式に対して）制限の種類もわかる。

この構成により、単純道標及び多重道標における入力データが融合モジュールに対して著しく相違していないことが明らかになる。単純な速度限界に加えて、画像処理を介して多重道標が認識される場合、なお１つの適当な情報が制御機構及び状態オートマトンへ送られる。多重道標またはディジタル道路カードに記憶されている限られて有効な個別道標の場合、情報が一種の制限部を経て伝送される。

限られた有効性で速度限界の処理は次のように行われる。ディジタル道路カードから、速度限界が限られた有効性を持っていることがわかっている場合、この付加情報を画像処理により検出される標識に対応させることができる。それにより運転者は限定の仕方について知らされる。例えば特定の車両形式にとって有効でない速度限界（例えばトラックに対する速度限界）又は現在の時点で有効でない速度限界は、こうしてなくすことができる。速度限界の有効性についての情報が画像処理モジュールから供給可能な場合、直接対応が行われる。

多重道標の処理は次のように行われる。多重道標では、ディジタル道路カード又はカメラ画像における交通標識の検出及び分類のためのアルゴリズムにより、上述した制御機構が数回評価される。この場合論理装置によりそれぞれ異なる入力データが規定される。各制御機構評価の結果は、多重道標を表すために使用される並列付加機械へ供給される。この場合表わすべき速度限界毎に付加機械が使用される。こうして見通し可能で保守可能な制御機構を使用することができる。別の可能性は、一続きの制御機構評価用の入力データを規定する論理装置をなくし、並列状態機械を制御する包括的な制御機構の使用をやめることである。

別の実施形態として、すべての速度限界を１つの制御機構実行で処理できる包括的な制御機構が使用可能である。しかしこれは、付加的な情報のため制御機構が大規模になり、保守し難くなる、という欠点を持っている。

すでに上述したように、すべての速度限界が場合によっては存在する有効性情報と共に運転者へ与えられるが、運転者にとって重要な限界しか与えられない。更に表示すべき限界に関する選択を行い、例えば最高値を持つ限界及び最低値を持つ限界のみを表示することが可能である。

カメラで援助される交通標識認識のデータ及び現在有効な許容最高速度を求める運転者援助システム用のディジタル道路カードのデータを融合する融合モジュールは、並列に存在する速度限界を異なる有効性で処理することができる。

上述した構成により、見通し可能で容易に保守可能なシステムが生じる。多重道標を処理することができ、顧客の希望に応じて又は運転者に通報するための人間−機械インタフェースに関して追跡される戦略に応じて、多重道標を出力することができる。

システムは融通性をもって使用可能であり、保守が容易である。制御機構を小さくするため、並列に使用可能な複数の状態機械を設けることができる。この場合制御機構は、そのたびに異なる入力ベクトル（入力データ）で、数回順次に動作させることができる。

こうして本発明により、両方の個別システム“カメラにより援助される交通標識認識“及び“ディジタル道路カード”の利点をまとめることができる。融合モジュール２又はそこで実施される方法により、一時的な速度限界のみが存在するか、又は相互交通標識により示される情報が存在する時にも、交通にとって重要な情報及び現在許容される最高速度を、逆の周辺条件でも運転者に与えることができる。

補足的に次のことを指摘する。“包括的”及び“持つ”は、別の素子又は段階を除外するものではなく、“１つ”は多数を除外するものではない。更に指摘すべきことは、上記実施例を参照して説明されている特徴または段階が、上述した他の実施例の他の特徴又は段階を組合わせて使用可能なことである。請求項における符号は限定的なものとみなすべきではない。

１ 交通にとって重要な情報を認識する装置
２ 融合モジュール
３ 視覚センサ、カメラ
４ ナビゲーションシステム
５ 車両情報システム、ＣＡＮバス
６ 表示器
７ 前の処理部
１０ 光景解釈部、画像データ
２０ 光景解釈部、カードデータ
３０ トリガ制御部、トリガ
４０ 制御機構
５０ 状態オートマトン
５１ 主状態機械
５２ 周辺状態機械
３００ 車両
３０１ 第１の標識
３０２ 第２の標識
３０３ アンテナ
４０１〜４０７ 方法段階
Ｂ 画像データ（検出されかつ分類された交通標識）
Ｂ′ 画像生データ
Ｂ_ｒ 重要な画像データ
Ｓ カメラ状態の情報又はデータ
Ｋ カードデータ
Ｋ_ｒ 重要なカードデータ
Ｔ トリガ信号
ＧＴ 全トリガ信号
Ｆ 車両データ
Ｉ 交通にとって重要な情報、最高速度
Ａ 実行すべき動作
Ｚ 状態

Claims (30)

1. 走行する車両において交通にとって重要な情報（Ｉ）を認識するための方法であって、センサ（３）のセンサデータ（Ｂ）とナビゲーションシステム（４）のカードデータ（Ｋ）が認識のために解釈されるものにおいて、
   センサデータ（Ｂ）が、第１の光景解釈部（１０）において、含まれている交通にとって重要な情報（Ｉ）を探索されて、重要なセンサデータ（Ｂ_ｒ）に圧縮され、
   カードデータ（Ｋ）が、第２の光景解釈部（２０）において、含まれている交通にとって重要な情報（Ｉ）を探索されて、重要なカードデータ（Ｋ_ｒ）に圧縮され、
   重要なセンサデータ（Ｂ_ｒ）及び重要なカードデータ（Ｋ_ｒ）が、センサデータ及びカードデータを解釈する制御機構（４０）へ送られ、制御機構（４０）が重要なセンサデータ（Ｂ_ｒ）及びカードデータ（Ｋ_ｒ）を評価し、それにより評価に一致する出力信号を出力する
   方法。
2. 出力信号が実行すべき動作（Ａ）に一致し、
   制御機構が出力信号をオートマトン（５０）へ転送し、
   実行すべき動作（Ａ）に基いて状態オートマトン（５０）が、所定の状態（Ｚ）を持つ状態空間において移行を行い、状態又は移行に対応する情報（Ｉ）を出力する
   請求項１に記載の方法。
3. センサが視覚センサであり、センサデータが画像データである、請求項１に記載の方法。
4. 制御機構（４０）において、重要な画像データ（Ｂ_ｒ）及びカードデータ（Ｋ_ｒ）の内容の解釈が、特有の規則セットに基いて行われ、制御機構（４０）により規定される動作（Ａ）が、認識された規則に基いて守るべき挙動をパラメータ化する、請求項３に記載の方法。
5. 制御機構（４０）を形成するため、アルゴリズムにより評価可能なマトリクスが使用される、先行する請求項の１つに記載の方法。
6. 状態オートマトン（５０）が、車両及び／又はその周囲の所定の状態（Ｚ）を持ち、制御機構（４０）の実行すべき動作が、状態オートマトン（５０）において、１つの所定の状態（Ｚ）から他の所定の状態（Ｚ）への移行を行う、請求項３〜５の１つに記載の方法。
7. 状態オートマトン（５０）における移行が、情報（Ｉ）の出力と結び付いている、請求項３〜６の１つに記載の方法。
8. 状態オートマトン（５０）が、その状態（Ｚ）を制御機構（４０）へ戻し通報する、請求項３〜７の１つに記載の方法。
9. 状態オートマトン（５０）が、主状態機械（５０）と１つ又は複数の周囲状態機械（５２）に分割されている、請求項３〜８の１つに記載の方法。
10. 第１の光景解釈部（１０）及び第２の光景解釈部（２０）が、重要な画像データ（Ｋ_ｒ）に圧縮する際、制御機構（４０）及び状態オートマトン（５０）用の全トリガ信号（ＧＴ）を発生するトリガ制御部（３０）にトリガ信号（Ｔ）を送る請求項３〜９の１つに記載の方法。
11. トリガ制御部（３０）が、全トリガ信号（ＧＴ）を発生するための第１及び第２の光景解釈部（１０，２０）の両方のトリガ信号（Ｔ）のＯＲ結合部を持っている、請求項１０に記載の方法。
12. ＯＲ結合部が遅延ＯＲ結合部である、請求項１１に記載の方法。
13. 第１又は第２の光景解釈部（１０，２０）からの第１のトリガ信号（Ｔ）の印加の際、トリガ制御部（３０）がカウンタを活動させ、最大計数値に達するか又は第２のトリガ信号（Ｔ）の印加の際全トリガ信号（Ｇ，Ｔ）を発生する、請求項１１に記載の方法。
14. 第１の光景解釈部（１０）及び／又は第２の光景解釈部（２０）において、所定の基準に基いて、重要な画像データ（Ｂ_ｒ）及び／又はカードデータ（Ｋ_ｒ）が選択される、先行する請求項の１つに記載の方法。
15. 視覚センサ（３）の画像データ（Ｂ′）が、第１の光景解釈部（１０）の前にある処理部（１１）において、求めるべき画像データ（Ｂ）及びカメラ状態データ（Ｓ）の前選択に限定される、先行する請求項の１つに記載の方法。
16. 第１の光景解釈部（１０）と第２の光景解釈部（２０）が情報を交換する、先行する請求項の１つに記載の方法。
17. 車両データ（Ｆ）及び／又はカメラ交換データ（Ｓ）が、交通にとって重要な情報（Ｉ）を認識する際、利用可能である、先行する請求項の１つに記載の方法。
18. 特に請求項１〜１７の１つに記載の方法を実施するために設けられ、画像データ（Ｂ，Ｂ′）を得るためのセンサ（３）のシステムへの接続端子、カードデータ（Ｋ）を得るためのナビゲーションシステム（４）への接続端子、及び認識の結果を表示又は処理するための表示器（６）への接続端子を持つ、走行する車両にあって交通にとって重要な情報（Ｉ）を認識する装置であって、
    光景を解釈し、得られるセンサ（３）のセンサデータ（Ｂ）及びナビゲーションシステム（４）のカードデータ（Ｋ）を圧縮し、かつ圧縮されたセンサデータ（Ｂ_ｒ）及びカードデータ（Ｋ_ｒ）を制御機構（４０）付きの計算装置へ転送するための手段が設けられ、
    制御機構（４０）が、圧縮されたセンサデータ（Ｂ_ｒ）及びカードデータ（Ｋ_ｒ）を評価して対応する出力信号を出力するために設けられていることを特徴とする、装置。
19. 計算装置がさらに状態オートマトン（５０）を持ち、
    出力信号が実行すべき動作（Ａ）と一致し、
    計算機構が出力信号を状態オートマトン（５０）へ転送するように構成され、
    状態オートマトン（５０）が、実行すべき動作（Ａ）に基いて、所定の状態（Ｚ）を持つ状態空間において移行を行い、新しい状態（Ｚ）又は移行に対応する情報（Ｉ）を表示器（１６）へ接続端子を介して出力するようになっている、
    請求項１８に記載の装置。
20. センサが視覚センサであり、センサデータが画像データである、請求項１８又は１９に記載の装置。
21. 第１の光景解釈手段（１０）及び第２の光景解釈手段（２０）の後に、全トリガ信号（ＧＴ）を発生するトリガ制御部（３０）が接続されている、請求項２０に記載の装置。
22. 第１の光景解釈手段（１０）用及び第２の光景解釈手段（２０）、トリガ制御部（３０）、及び制御機構（４０）及び状態オートマトン（５０）を持つ計算装置が、共通な融合モジュール（２）を形成している、請求項１８〜２１の１つに記載の装置。
23. 装置が速度制限補助装置を提供する、請求項１８〜２２の１つに記載の装置。
24. 別に存在しかつセンサにより確認可能で異なる有効性を持つ速度限界と一致する信号において、現在許容される最高速度を求めるために構成される、請求項１８〜２３の１つに記載の装置。
25. 装置がモジュール構造を持っている、請求項１８〜２４の１つに記載の装置。
26. 制御機構が２つのマトリクスを持つソフトウエアモジュールとして構成されている、請求項１８〜２５の１つに記載の装置。
27. 請求項１８〜２６の１つに記載の装置、センサ（３）及びナビゲーションシステム（４）及び表示器（６）を持つ、車両用システム。
28. 請求項２７に記載のシステムを持つ車両。
29. プロセッサで実行される時、請求項１〜１７の１つに記載の方法段階を実行するようにプロセッサを指導するプログラム要素。
30. プロセッサで実行される時、請求項１〜１７の１つに記載の方法段階を実行するようにプロセッサを指導するプログラム要素が記憶されているコンピュータで読取り可能な媒体。

Images