-
Stand der Technik
-
Die Automatisierung des Fahrens geht einher mit der Ausstattung von Fahrzeugen mit immer umfangreicheren und leistungsfähigeren Sensorsystemen zur Umfelderfassung und zur Unterstützung von Fahrfunktionen und/oder zur zumindest teilautomatisierten Steuerung und Führung des Fahrzeugs.
-
Dazu werden häufig mehrere unterschiedliche Sensoren unterschiedlicher Modalität, bzw. basierend auf unterschiedlichen Technologien, eingesetzt, wie beispielsweise Radar-Sensoren und Video-Sensoren. Die Daten, die von den jeweiligen Sensoren unterschiedlicher Modalität generiert werden, werden typischerweise zunächst einzeln verarbeitet, d.h. die empfangenen Radar-Wellen werden unabhängig von den empfangenen Photonen verarbeitet. Erst in den späteren Verarbeitungsschritten erfolgt eine Verknüpfung oder Verrechnung der Daten, beispielsweise durch eine Assoziation von Radar-Reflexen und Video-Pixeln oder eine Fusion von berechneten Radar- und Video-Objekten und auch in höher integrierten Systemen messen die Sensoren unabhängig voneinander. Eine Video-Kamera sendet beispielsweise ihre Bilder an eine Erfassung-Vorrichtung und ein Radar-Sensor sendet ebenfalls seine Signale an diese Erfassung-Vorrichtung. Die Video- und Radar-Daten werden geeignet verknüpft und weiterverarbeitet. Relevante Objekte werden ermittelt und entsprechende Steuerbefehle werden zum Steuergerät verschickt, welches z. B. die Bremse für eine automatische Notbremsung oder das Lenkrad für ein automatisches Ausweichmanöver regelt.
-
Offenbarung der Erfindung
-
Wird eine Video-Kamera als ein nicht steuerbares Sensor-System zum assistierten oder automatisierten Fahren betrachtet, das stets möglichst die gesamte Szene detektiert, so ist es vergleichbar zur visuellen Wahrnehmung eines Menschen.
Allerdings verwendet der Mensch zusätzlich Innen- und Außenspiegel, um das gesamte Fahrzeugumfeld zu erfassen, und bei Dämmerung oder nachts werden weitere Hilfsmittel, wie Abblendlicht oder Fernlicht, für eine bessere visuelle Wahrnehmung verwendet.
-
Eine erhöhte Aufmerksamkeit des Fahrers ist dabei eher lokal, d.h. scharfes Sehen und die entsprechende Verarbeitung im Gehirn erfolgt beim Fahren primär nach vorn. In der Peripherie hingegen verarbeitet der Mensch vornehmlich Bewegungen. Somit richtet der Fahrer sein Sehen und seine Aufmerksamkeit aktiv und situativ auf die relevanten Bereiche des Umfelds - eine visuelle Erfassung des gesamten 360°-Umfelds zu jeder Zeit kann ein einzelner Fahrer nicht leisten.
-
Eine entsprechende gezielte Verwendung und aktive Verknüpfung von mehreren Sensoren ähnlich zur menschlichen Wahrnehmung (scan-and-watch), kann Systeme zur Fahrerassistenz oder zum automatisierten Fahren, insbesondere bei der Verwendung von Sensoren unterschiedlicher Modalität, verbessern.
-
Entsprechend Aspekten der Erfindung wird ein Verfahren zur Erfassung eines Umfelds einer mobilen Plattform mit einem ersten Sensor-System und einem zweiten Sensor-System, ein Verfahren zur Generierung eines Steuersignals, eine Erfassungs-Vorrichtung, ein Computerprogramm, und ein maschinenlesbares Speichermedium, gemäß den Merkmalen der unabhängigen Ansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche sowie der nachfolgenden Beschreibung.
-
In dieser gesamten Beschreibung der Erfindung ist die Abfolge von Verfahrensschritten so dargestellt, dass das Verfahren leicht nachvollziehbar ist. Der Fachmann wird aber erkennen, dass viele der Verfahrensschritte auch in einer anderen Reihenfolge durchlaufen werden können und zu dem gleichen oder einem entsprechenden Ergebnis führen. In diesem Sinne kann die Reihenfolge der Verfahrensschritte entsprechend geändert werden. Einige Merkmale sind mit Zählwörtern versehen, um die Lesbarkeit zu verbessern oder die Zuordnung eindeutiger zu machen, dies impliziert aber nicht ein Vorhandensein bestimmter Merkmale.
-
Gemäß einem Aspekt wird ein Verfahren zur Erfassung eines Umfelds einer mobilen Plattform mit Werten eines ersten Sensor-Systems und Werten eines zweiten Sensor-Systems vorgeschlagen, das die folgenden Schritte aufweist: In einem ersten Schritt wird ein Objekt des Umfelds basierend auf den Werten des ersten Sensor-System bestimmt. In einem weiteren Schritt wird zumindest ein Attribut des Objekts des Umfelds zur näheren Bestimmung des Objekts ermittelt. In einem weiteren Schritt wird das zumindest eine Attribut des Objekts des Umfeldes für das zweite Sensor-System bereitgestellt. In einem weiteren Schritt wird das zumindest eine Attribut des Objekts des Umfeldes mit dem zweiten Sensor-System, basierend auf einer an das zumindest eine Attribut angepassten Wahrnehmung des zweiten Sensor-Systems, zur Erfassung des Umfelds mit dem näher bestimmten Objekt, bestimmt.
-
Dabei kann das erste Sensor-System eingerichtet sein, das zumindest eine Attribut zu generieren und mit dem zweiten Sensor-System gekoppelt sein, um dem zweiten Sensorsystem das zumindest eine Attribut bereitzustellen. Alternativ oder zusätzlich kann das zumindest eine Attribut des Objekts durch eine Attribut-Vorrichtung bereitgestellt werden, die, basierend auf zumindest einem Ausgangssignal des ersten Sensor-Systems, das zumindest eine Attribut generiert und eingerichtet und mit dem zweiten Sensor-System gekoppelt ist, um dem zweiten Sensor-System das zumindest eine Attribut bereitzustellen.
-
Mit anderen Worten kann mit diesem Verfahren eine gerichtete Bestimmung mit dem zweiten Sensor-System erfolgen, nachdem ein Objekt mit dem ersten Sensor-System bestimmt wurde, um das Objekt, in Bezug auf zumindest ein dem zweiten Sensor-System bereitgestelltes Attribut, des mit dem ersten Sensor-System bestimmten Objektes, genauer zu bestimmen.
-
Das zumindest eine Attribut des Objekts kann dabei eine Ausdehnung und/oder eine Position und/oder eine Region und/oder ein Winkel und/oder ein Abstand und/oder eine Elevation und/oder eine Geschwindigkeit und/oder ein zukünftiger wahrscheinlicher Ort und/oder eine Region mit Objekten, die unsicher bestimmt wurden und/oder eine Objektdimension, die mit Unsicherheit bestimmt wurde, betreffen.
-
Unter einer mobilen Plattform kann ein zumindest teilweise automatisiertes System verstanden werden, welches mobil ist, und/oder ein Fahrerassistenzsystem. Ein Beispiel kann ein zumindest teilweise automatisiertes Fahrzeug bzw. ein Fahrzeug mit einem Fahrerassistenzsystem sein. Das heißt, in diesem Zusammenhang beinhaltet ein zumindest teilweise automatisiertes System eine mobile Plattform in Bezug auf eine zumindest teilweise automatisierte Funktionalität, aber eine mobile Plattform beinhaltet auch Fahrzeuge und andere mobile Maschinen einschließlich Fahrerassistenzsysteme. Weitere Beispiele für mobile Plattformen können Fahrerassistenzsysteme mit mehreren Sensoren, mobile Multisensor-Roboter wie z.B. Roboterstaubsauger oder Rasenmäher, ein Multisensor-Überwachungssystem, eine Fertigungsmaschine, ein persönlicher Assistent oder ein Zugangskontrollsystem sein. Jedes dieser Systeme kann ein vollständig oder teilweise automatisiertes System sein.
-
Mit diesem Verfahren kann die Robustheit und Erkennungsrate für relevante Verkehrsteilnehmer, wie z.B. Fahrzeuge, Fußgänger, etc., regulatorische Elemente, wie zum Beispiel Begrenzungs-Linien, Fahrspuren, Bürgersteige, etc., gesteigert werden. Darüber hinaus kann mit einem steuerbaren zweiten Sensorsystem sehr gezielt und hochgenau ein kleiner Bereich des Umfelds erfasst und verarbeitet werden. Insbesondere bei kleinen Objekten in großen Abständen, wie beispielsweise verlorenen Gegenständen (lost cargo), bei Teilverdeckungen, wie zum Beispiel ein Fußgänger hinter einem PKW, oder zur Lokalisierung möglicher Hindernisse, zur präzisen Detektion von Markern, wie Pfosten, Gullydeckeln, Ampeln etc.
Darüber hinaus kann mit diesem Verfahren eine einfachere Absicherung von autonomen Systemen durch erhöhte Redundanz bereits auf Sensorik-Ebene erreicht werden, da beispielsweise das steuerbare zweite Sensor-System die Messung des ersten Sensor-Systems bestätigt oder falsifiziert. Somit kann mit diesem Verfahren ein wirtschaftlich günstigeres Gesamt-Sensor-System aus zumindest einem ersten Sensor-System und einem steuerbaren zweiten Sensor-System mit einer verbesserten Gesamtperformance bereitgestellt werden. Darüber hinaus kann mit diesem Verfahren auch ein das gesamte Umfeld langsam messender Sensor, als erstes Sensor-System, mit einem in einem kleineren Erfassungsbereichs des Umfelds schneller messenden Sensor, als zweites Sensor-System, kombiniert werden.
-
Gemäß einem Aspekt wird vorgeschlagen, dass das zweite Sensor-System ein steuerbares Sensor-System ist.
-
Dadurch kann das steuerbare zweite Sensor-System das von dem ersten Sensor-System bestimmte Objekt näher bestimmen, indem das steuerbare zweite Sensor-System so gesteuert wird, dass es das zumindest eine Attribut des Objektes des Umfeldes genauer bestimmen kann.
-
Dabei kann ein steuerbares Sensor-System ein Sensorsystem sein, dessen Detektionseigenschaft mittels eines Attributes, das beispielsweise in Form eines Steuersignals dem steuerbaren Sensor-System bereitgestellt wird, selektiv an bestimmte Anforderungen der Detektion angepasst werden kann. Solche Detektionseigenschaften des steuerbaren Sensor-Systems kann insbesondere eine Position eines Objektes im Erfassungsbereich des steuerbaren Sensor-Systems betreffen, wie beispielsweise eine Bestimmung in selektierten Teil-Segmenten und/oder eingeschränkten Entfernungsbereichen und/oder Höhenwinkel-Bereiche, es kann aber auch Meßeigenschaften betreffen, wie eine Orts-Auflösung etc.
-
Dabei kann alternativ die Bestimmung des Objektes mit dem ersten Sensor-System auch von dem steuerbaren zweiten Sensor-System durch eine entsprechende Veränderung der Detektionseigenschaften des steuerbaren zweiten Sensorsystems durchgeführt werden, wobei diese Veränderung der Detektionseigenschaften sich insbesondere auf eine räumliche Größe eines Bestimmungsbereichs des Umfelds der mobilen Plattform bezieht.
-
Beispiele für steuerbare Sensor-Systeme sind Radar-Sensoren, Lidar-Sensoren, Infrarot-Sensoren und Time-of-flight-Sensoren.
-
Verallgemeinert können Sensoren verwendet werden, die mit einer auf das Objekt einwirkenden und steuerbaren Signalquelle steuerbar sind, wie beispielsweise Thermografie- Sensoren, die Temperatur-Änderungen bestimmen, die an einer gezielten Stelle des zu bestimmenden Objekts durch Einbringen von Wirbelströmen oder anderen Wärmeeintrag gesteuert werden.
-
Generell kann für die eingebrachte steuerbare Signalquelle auch die Wellenlänge der Signalquelle verändert werden, z.B. im Bereich von 0,7µm - 1000µm für eine Infrarotquelle oder im Bereich von 300-1600nm für einen Lidar-Sensor.
-
Gemäß einem Aspekt wird vorgeschlagen, dass das zweite Sensor-System das Objekt des Umfeldes und das zumindest eine Attribut des Objektes bestimmt.
-
D. h., dass das steuerbare zweite Sensor-System eingerichtet ist, Objekte des Umfelds der mobilen Plattform zu bestimmen bzw. zu erkennen und alternativ oder zusätzlich kann die Bestimmung des Objektes mit Werten des steuerbaren zweiten Sensor-Systems mittels einer Objekterkennungs-Vorrichtung erfolgen.
-
Gemäß einem Aspekt wird vorgeschlagen, dass das zumindest eine ermittelte Attribut Merkmale des bestimmten Objekts charakterisiert, die besonders relevant für eine Erkennung des jeweiligen Objekts sind.
Mit solchen Merkmalen, die ein bestimmtes Objekt charakterisieren (engl. Heatmap), kann eine bereits vorhandene Objekthypothese, die mit Werten des ersten Sensor-Systems und/oder vom ersten Sensor-System aufgestellt wurde, dadurch bestätigt oder falsifiziert werden, dass für eine folgende Bestimmung durch das steuerbare zweite Sensor-System Messpunkte zur näheren Bestimmung des Objektes ausgewählt werden.
-
Gemäß einem Aspekt wird vorgeschlagen, dass das zumindest eine Attribut modellbasiert und/oder Expertenwissen-basiert zur näheren Bestimmung des Objekts ermittelt wird.
Für eine solche modellbasierte und/oder Expertenwissen-basierte Ermittlung des zumindest einen Attributs kann das erste Sensor-System ein Objekt in einem Umfeld bestimmen. Eine Vorrichtung zur Bestimmung des Attributs, das beispielsweise eingerichtet ist mit einem Algorithmus Objekte zu erkennen, und beispielsweise Teil des ersten Sensor-Systems ist, bestimmt mindestens ein charakteristisches Merkmal als Attribut, wie z.B. eine Ausdehnung, einen Abstand, einen Typ, ein Material etc., des Objektes in dem Umfeld und sendet ein spezifisches Steuersignal, wie z.B. einen Winkel, einen Abstand,...etc., an das zweite Sensor-System. Daraufhin vermisst das zweite Sensor-System das Objekt in einem eingeschränkten Teil-Umfeld, um das Objekt genau zu bestimmen. Eine Verarbeitungseinheit, mit z.B. einem Algorithmus zur Objekt-Erkennung, des zweiten Sensors ermittelt mindestens ein charakteristisches Merkmal, wie z.B. eine Ausdehnung, einen Abstand, einen Typ, ein Material etc., des Objektes des eingeschränkten Teil-Umfelds.
Die charakteristischen Merkmale beider Sensoren werden dann in einer weiteren Verarbeitungseinheit, beispielsweise mit einem Fusions-Algorithmus, miteinander verglichen bzw. verknüpft. Auf diese Weise kann das zweite Sensor-System „schwächere/unsichere“ Objekte des ersten Sensor-System gezielt vermessen und „bestätigen“.
-
Die Verarbeitungseinheiten des ersten und des zweiten Sensor-Systems zur Bestimmung von charakteristischen Merkmalen, wie einer Position, eines Winkel, einer Ausdehnung, eines Typs,...etc., können gewöhnlichen Verfahren aus dem Bereich „Objekt-Erkennung“ verwenden - dies können sowohl modell-basierte Detektions-Verfahren oder auch Neuronale Netze sein. Ebenso kann die Verknüpfung („Fusion“) der charakteristischen Merkmale von den zwei Sensoren durch modell-basierte Verfahren oder auch durch neuronale Netz erfolgen.
Beispielsweise wird bei der Objekt-Erkennung von Fahrzeugen mit einem Lidar-Sensor charakteristische Muster erkannt, die die eine L-Form aufweisen. Durch fitten dieser Form beispielsweise mit einer „least-squares“-Methode kann eine solche „L-Form“ best-möglich an die Daten angepasst werden und so Position und Ausdehnung bestimmt werden. Aus einer solchen Position und/oder Ausdehnung des zu detektieren Objekts kann das Attribut leicht abgeleitet werden, indem beispielsweise ein Winkelbereich und/oder ein Abstand aus diesen Angaben für das Objekt des Umfelds bestimmt wird.
-
Gemäß einem Aspekt wird vorgeschlagen, dass dem zweiten Sensor-System eine Vielzahl von Attributen des Objektes bereitgestellt werden, von denen eine geringere Anzahl, wie insbesondere ein Attribut der Vielzahl von Attributen, von dem zweiten Sensor-System bestimmt wird/werden.
-
Gemäß einem Aspekt wird vorgeschlagen, dass das zumindest eine Attribut von dem ersten Sensor-System und/oder einer Vorrichtung zur Bestimmung eines Attributs ermittelt wird.
Für die Ermittlung des zumindest einen Attributs mit der Vorrichtung zur Bestimmung des Attributs können Werte des ersten Sensor-Systems der Vorrichtung zur Bestimmung des Attributs bereitgestellt werden.
-
Gemäß einem Aspekt wird vorgeschlagen, dass das zumindest eine Attribut ein Winkelbereich und/oder ein Positionsbereich und/oder ein Abstandsbereich und/oder ein Elevations-Bereich und/oder eine zukünftige Position und/oder eine Ausdehnung und/oder ein charakterisierendes Merkmale des Objekts in dem Umfeld umfasst. Durch die geeignete Auswahl des zumindest einen Attributs kann das Objekt näher bestimmt werden.
-
Gemäß einem Aspekt wird vorgeschlagen, dass die Ermittlung des zumindest einen Attributs auf einer Bestimmungs-Sicherheit basiert, mit der das Objekt des Umfelds von dem ersten Sensor-System bestimmt wurde.
Dabei bezieht sich die Bestimmungs-Sicherheit insbesondere auf individuelle Messungen, bzw. Bestimmungen des Objektes, des ersten Sensor-Systems. Dazu kann das erste Sensor-System eingerichtet sein, zusätzlich zu den Werten, die das erste Sensor-System generiert um das Objekt des Umfelds zu bestimmen, zusätzlich Güte-Werte generiert, die eine Bestimmungs-Sicherheit der einzelnen Messung des ersten Sensor-Systems angeben.
Darüber hinaus kann sich die Bestimmungs-Sicherheit auch auf eine individuelle interne Repräsentation des Objektes in einem Verfahren zur Bestimmung des Objektes, beispielsweise in Form einer Güte der Bestimmung des Objektes in einer Zwischenrepräsentation, beziehen. Dann kann mit dem steuerbaren zweiten Sensor-System, wie beispielsweise einem Radar-Sensor, das Objekt gezielt näher bestimmt werden.
-
Gemäß einem Aspekt wird vorgeschlagen, dass mittels des ersten Sensor-Systems eine zeitliche Veränderung des Objekts des Umfelds bestimmt wird, und die Bestimmung des zumindest einen Attributs mit dem zweiten Sensor-System auf einer Prädiktion aus der zeitlichen Veränderung des Objekts basiert.
Durch Verfahren der Objekterkennung und Prädiktion können Bereiche des Umfelds ermittelt werden, in die sich bewegte Objekte wahrscheinlich hinbewegen werden oder die zuvor verdeckt waren. Diese Bereiche entstehen durch bewegte Objekte oder durch die Eigenbewegung. Da von diesen Bereichen keine Sensordaten vorhanden sind und zudem häufig verdeckte Objekte nun sichtbar werden können, kann das steuerbare zweite Sensor-System, wie beispielsweise ein Radar-Sensor, diese Bereiche mit höherer Auflösung abtasten. Damit kann die Objektbildung für die Erfassung des Umfeldes der mobilen Plattform beschleunigt werden.
-
Gemäß einem Aspekt wird vorgeschlagen, dass die Ermittlung des zumindest einen Attributs auf einer Detektions-Qualität des ersten Sensor-Systems in einem Teil-Erfassungsbereich basiert, in dem das Objekt bestimmt wurde.
-
Dabei bezieht sich die Detektions-Qualität auf eine systeminhärente, und vor der Bestimmung bzw. Messung, bekannte Eigenschaft des verwendeten Sensor-Systems, wie beispielsweise eine Winkelabhängigkeit der Bestimmung des Objektes oder eine Abhängigkeit der Detektions-Qualität von einem Teil-Erfassungsbereich oder einer Wetterabhängigkeit der Bestimmung des Objektes etc.
-
Beispielsweise ist von einem Radar-Sensor eine Detektionsschwäche im Erfassungsbereich bekannt, was entweder offline, beispielsweise durch das kalibrierte Antennen-Diagramm gegeben sein kann, oder durch empirische False- und True-Detektions-Raten bestimmt wird, oder online durch eine Detektion von Spiegelungen oder Verdeckungen. Mit dem Verfahren kann vorteilhafterweise diese Detektionsschwäche des ersten Sensor-Systems mit einem zweiten Sensor-System, wie beispielsweise einem Lidar-Sensor kompensiert werden, indem Objekte gezielt in dem Erfassungsbereich mit dem zweiten Sensor-System, dass in diesem Fall unterschiedlich von dem ersten Sensorsystem ist, bestimmt werden.
-
Ist beispielsweise eine Objektlänge systematisch mit einer hohen Unsicherheit, also einer geringen Detektions-Qualität, behaftet, wird diese Seite des Objekts von dem zweiten Sensor-System mit einer hohen Auflösung bestimmt, um die Längenschätzung weiter zu verbessern.
Befindet sich beispielsweise ein Objekt am Rand des Erfassungsbereichs des ersten Sensor-Systems, so sind die geschätzten Unsicherheiten gewöhnlich höher als für ein Objekt zentral vor dem Ego-Fahrzeug. Somit kann das Rand-Objekt gezielt mit dem zweiten Sensor-System mit beispielsweise eingeschränktem Erfassungsbereich, entsprechend einem Radar-Sensor, geprüft werden.
Mit diesem Verfahren können also Objekte oder Erfassungsbereiche, die mit dem ersten Sensor-System mit einer geringen Detektions-Genauigkeit bestimmt wurden, gezielt mit dem zweiten Sensor-System näher bestimmt werden. Dieses Verfahren kann mit mehreren unterschiedlichen Sensor-System erfolgen oder aber auch nur mit einer Anzahl von steuerbaren Sensor-Systemen, wie z.B. einem Lidar- oder einem Radar-Sensor.
-
Gemäß einem Aspekt wird vorgeschlagen, dass das erste Sensor-System und das zweite Sensor-System in einem Gesamt-Sensorsystem derart integriert sind, dass das Gesamt-Sensorsystem die Merkmale des ersten Sensor-Systems und des zweiten Sensor-Systems aufweist.
Dabei kann das Gesamt-Sensorsystem zwei Teilsysteme aufweisen, wobei ein erstes Teilsystem dem ersten Sensor entspricht und ein zweites Teilsystem dem zweiten Sensor entspricht. Für ein steuerbares Sensor-System kann das erste Teilsystem beispielsweise einen großen Erfassungsbereich abdecken und nachdem das zumindest eine Attribut des Objektes des Umfeldes ermittelt wurde, kann das Objekt näher bestimmt werden, indem das Gesamt-Sensorsystem so gesteuert wird, dass das Attribut des Objektes des Umfeldes mit dem zweiten Teilsystem des Gesamt-Sensorsystems durch Einschränkung des Erfassungsbereichs dieses Attribut des Objektes der Umgebung bestimmt.
-
Es wird eine Verwendung eines der oben beschriebenen Verfahrens zur Bestimmung eines Umfelds einer mobilen Plattform vorgeschlagen.
-
Dadurch kann die Bestimmung des Umfelds der mobilen Plattform mit geringerem wirtschaftlichen Aufwand mit hoher Qualität der Bestimmung erfolgen.
-
Es wird ein Verfahren vorgeschlagen, bei dem, basierend auf einem, gemäß einem der oben beschriebenen Verfahren, näher bestimmten Objekt in einem Umfeld einer mobilen Plattform, ein Steuersignal zur Ansteuerung eines zumindest teilautomatisierten Fahrzeugs generiert wird; und/oder basierend auf dem näher bestimmten Objekt in einem Umfeld einer mobilen Plattform ein Warnsignal zur Warnung eines Fahrzeuginsassen generiert wird.
-
Der Begriff „basierend auf“ ist in Bezug auf das Merkmal, dass ein Steuersignal basierend auf einem näher bestimmten Objekt in einem Umfeld einer mobilen Plattform, breit zu verstehen. Er ist so zu verstehen, dass abhängig von dem näher bestimmten Objekt in einem Umfeld einer mobilen Plattform, jedwede Bestimmung oder Berechnung eines Steuersignals herangezogen wird, wobei das nicht ausschließt, dass auch noch andere Eingangsgrößen für diese Bestimmung des Steuersignals herangezogen werden. Dies gilt entsprechend für die Bereitstellung eines Warnsignals.
-
Es wird eine Erfassungs-Vorrichtung angegeben, die eingerichtet ist, eines der oben beschriebenen Verfahren zur Erfassung eines Umfelds einer mobilen Plattform durchzuführen.
Mittels einer solchen Vorrichtung ist es möglich, die oben beschriebenen Verfahren, zum Beispiel für den Einbau in eine mobile Plattform, leicht verfügbar und/oder leicht implementierbar zu machen.
-
Es wird ein Computerprogramm angegeben, welches Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, eines der oben beschriebenen Verfahren auszuführen.
Mittels eines solchen Computerprogramms können die oben beschriebenen Verfahren auf eine einfache Art und Weise zum Beispiel einer mobilen Plattform verfügbar gemacht werden.
-
Es wird ein maschinenlesbares Speichermedium angegeben, auf dem das oben beschriebene Computerprogramm gespeichert ist.
Mittels eines solchen maschinenlesbaren Speichermediums ist das oben beschriebene Computerprogrammprodukt transportabel.
-
Ausführungsbeispiel
-
Ein Ausführungsbeispiel der Erfindung wird mit Bezug auf die 1 bis 6 dargestellt und im Folgenden näher erläutert. Es zeigen:
- 1 eine mobile Plattform mit Sensoren unterschiedlicher Modalität mit zumindest einem steuerbaren Sensor;
- 2 Schritte des Verfahrens zur Erfassung eines Umfelds;
- 3a-d eine skizzierte Darstellung unterschiedlicher Aspekte des Verfahrens;
- 4a,b eine skizzierte Darstellung zum Bestimmen eines Attributs mittels eines gesteuerten Sensors;
- 5 einen skizzierten Erfassungsbereich eines Sensors; und
- 6a-d mögliche Applikationen des Verfahrens.
-
Die 1 zeigt schematisch ein Fahrzeug 170, das ein System 100 zur Erfassung eines Umfelds einer mobilen Plattform aufweist. Das Fahrzeug 170 weist eine Video-Kamera 110 auf, die einem ersten Sensor-System entspricht, und die mit einer Erfassungs-Vorrichtung 130 signalmäßig gekoppelt ist, um von ihr generierte Bilder der Erfassung-Vorrichtung 130 bereitzustellen. Ein steuerbarer Radar-Sensor 120 des Fahrzeugs 170, der einem zweiten Sensor-System entspricht, ist mit der Erfassungs-Vorrichtung 130 signalmäßig bidirektional gekoppelt und stellt seine Signale der Erfassungs-Vorrichtung 130 bereit. Dabei kann der steuerbare Radar-Sensor 120 in Bezug auf seine Wahrnehmung des Umfelds, mittels eines Attributs eines mit dem ersten Sensor-System bestimmten Objekts des Umfelds, gesteuert werden.
-
Die Erfassungs-Vorrichtung 130 ist eingerichtet eines der oben beschriebenen Verfahren zur Erfassung des Umfelds mit den Daten der Video-Kamera 110 und das Radar-Sensors auszuführen.
Weiterhin kann die Erfassungs-Vorrichtung mit einem Steuergerät 140 gekoppelt sein, das beispielsweise mit einer Bremse 160 oder einem Lenksystem 150 gekoppelt ist. Dadurch kann das Steuergerät 140 abhängig von Signalen von der Erfassungs-Vorrichtung 130 beispielsweise eine automatische Notbremsung steuern oder mittels des Lenksystems ein automatisches Ausweichmanöver regeln.
-
Das zumindest eine Attribut des von dem ersten Sensor-System 110 bestimmten Objektes des Umfeldes kann durch die Video-Kamera 110 bzw. das erste Sensor-System 110 oder durch die Erfassungs-Vorrichtung 130 ermittelt werden. Dadurch, dass die Kopplung zwischen dem steuerbaren Radar-Sensor 120 und der Erfassungs-Vorrichtung 130 bidirektional ist, kann, entsprechend einem der oben beschriebenen Verfahren, der steuerbaren Radar-Sensor 120 durch die Erfassungs-Vorrichtung 130 so gesteuert werden, das die Wahrnehmung des steuerbaren Radar-Sensors 120, basierend auf einer an das zumindest eine Attribut angepassten Wahrnehmung des Radar-Sensors 120, das zumindest eine Attribut des Objekts bestimmt.
Dazu kann beispielsweise der Radarstrahl des Radar-Sensors 120 von der Erfassungs-Vorrichtung 130, durch ein bereitgestelltes Attribut des Objekts, so gesteuert werden, dass eine gerichtete Erfassung des Umfelds erfolgt, indem der Radarstrahl nur einen eingeschränkten Winkelbereich bestimmt. Alternativ oder zusätzlich kann das Verfahren entsprechend mit einem Lidar-Sensor als steuerbarem zweitem Sensor-System erfolgen, um das Objekt näher zu bestimmen.
-
Die 2 skizziert ein Beispiel eines Ablaufs des Verfahrens zur Erfassung des Umfelds einer mobilen Plattform bei dem in einem ersten Schritt S1 die Video-Kamera 110 ein Bild von einem Bereich B generiert und in einem zweiten Schritt S2 ein Objekt des Umfelds, basierend auf dem Bild der Video-Kamera, bestimmt wird. Mittels eines Algorithmus M1, der entweder in der Video-Kamera 110 und/oder der Erfassungs-Vorrichtung 130 berechnet wird, wird eine Region R des Umfelds bestimmt S3 in dem das Objekt von der Videokamera 110 detektiert wurde. In diesem Fall stellt die Region R das zumindest eine Attribut des Objektes des Umfeldes für das zweite Sensorsystem dar, nämlich den Radar-Sensor 120, das beispielsweise über die Kopplung 125 von der Erfassungs-Vorrichtung 130 dem Radar-Sensor 120 in einem vierten Schritt S4 bereitgestellt wird, in dem es durch die bidirektionale Kopplung übertragen wird.
-
In einem fünften Schritt S5 bestimmt der Radar-Sensor 120 entsprechend dem bereitgestellten Attribut in der Region R das Vorhandensein des Objekts mittels eines Radar-Algorithmus M2, der entweder im Radar-Sensor 120 und/oder in der Erfassungs-Vorrichtung 130 implementiert ist. Somit wird der steuerbare Radar-Sensor 120 mittels des bereitgestellten Attributs gesteuert seine Wahrnehmung der Umgebung entsprechend dem Attribut anzupassen.
-
Die 3a bis d skizzieren das Anpassen der Wahrnehmung des zweiten Sensor-Systems 120, wie beispielsweise eines Radar-Sensors 120, an das zumindest eine Attribut des Objekts.
-
In der 3a ist ein Fahrzeug 170 mit einem ersten Sensor-System 110 und einem zweiten steuerbaren Sensor-System 120 ausgestattet. Das erste Sensor-System überstreicht einen Detektionsbereich in einem Segment 310 in dem ein Objekt 330, beispielsweise ein weiteres Fahrzeug, von dem ersten Sensor-System 110 detektiert wird.
-
Dabei bestimmt das erste Sensor-System 110 das Objekt 330 mit einer gewissen Genauigkeit, die in der 3b durch den Rahmen 345 angedeutet ist. Die Position dieses Rahmens 345 wird als Attribut dem zweiten steuerbaren Sensor-System 120 bereitgestellt, das entsprechend einem der oben beschriebenen Verfahren seine Wahrnehmung an dieses Attribut anpasst, um das Objekt 330 genau zu bestimmen. Dazu kann das steuerbare Sensor-System 120, das beispielsweise ein Radar-Sensor ist, den Winkelbereich einschränken in dem der Radarstrahl wirksam wird, um eine erhöhte Genauigkeit einer Detektion von Objekten in dem eingeschränkten Winkelbereich 320 zu erreichen. Wie in der 3d skizziert ist, wird dadurch die Genauigkeit der Bestimmung der Ausdehnung des Objektes 330 gegenüber dem vorher bestimmten Rahmen 345 des Objektes 330 verbessert.
-
Mit anderen Worten erfasst das erste Sensor-System 110, beispielsweise der Video-Sensor, einen großen Bereich des Umfelds, ein entsprechender Video-Algorithmus erkennt relevante Objekte 330 innerhalb dieses Umfelds und sendet die Objekt-Koordinaten, wie Winkel, Position, o.ä., an den Radar-Sensor, entsprechend einem steuerbaren zweiten Sensor-System 120. Der Radar-Sensor 120 vermisst dann das Objekt 330 gezielt entsprechend angepasst an diese Region, verarbeitet die Daten und detektiert ebenfalls das relevante Objekt 330 an der Position 340, die typischerweise mit dem zweiten Sensor-System genauer bestimmt wird als mit dem ersten Sensor-System. Denn durch die vorselektierte Region 320 mittels des Video-Sensors kann der Radar-Sensor in einem kleineren Bereich das Objekt genauer bestimmen bzw. vermessen, wodurch sich die Detektionsrate deutlich, bei gleichzeitiger Reduktion von Geister-Objekten bzw. Falschdetektionen, erhöht.
-
Die 4a skizziert eines der beschriebenen Verfahren zur Erfassung eines Umfelds einer mobilen Plattform, in dem das eine Attribut, das dem steuerbaren zweiten Sensor-System 120 bereitgestellt wird, sich auf eine Bewegung eines Objektes des Umfeldes und eine Prädiktion dieser Bewegung für einen zukünftigen Zeitpunkt bezieht. Eine solche Bewegung kann sowohl aus einer Eigenbewegung des Objektes als auch aus einer Relativbewegung zwischen einem Objekt und dem erfassenden Fahrzeug resultieren.
-
Das erste Sensor-System 110, wie beispielsweise ein Video-Sensor, kann sowohl das Objekt 420 als auch einen Bereich, wie ein Teil-Segment 320, bestimmen, in dem das Objekt 420b zu einem späteren Zeitpunkt voraussichtlich sein wird.
Das erste Sensor-System 110 kann diese Prädiktion durch aufeinanderfolgende Messungen in dem gesamten Segment 310 ermitteln, indem das erste Sensor-System 110 Werte der Detektion des Objektes 420a zu einem ersten Zeitpunkt t und zu einem zweiten Zeitpunkt t + Δt bereitstellt, und mit einem ersten Algorithmus die Prädiktion einer Position des Objektes ermittelt, oder, beispielsweise mittels eines Radar-Sensors, als erstes Sensor-System 110, inhärent mit der Detektion der Position des Objektes 420a eine Geschwindigkeit des Objektes 420a bestimmt, um damit das Teil-Segment 320 zu bestimmen in dem das Objekt 420a zu einem späteren Zeitpunkt erwartet wird.
Dieses Teil-Segment 320 wird als Attribut dem gesteuerten zweiten Sensor-System 120, wie beispielsweise einem Radar-Sensor, bereitgestellt, so dass das gesteuerte zweite Sensor-System 120 das so gegenüber dem gesamten Segment 310 eingeschränkte Teil-Segment 320, in dem jetzt das Objekt 420b erwartet wird, genauer bestimmen kann, um eine Objektbildung zu beschleunigen.
-
Die 4b skizziert eines der beschriebenen Verfahren in dem durch die Eigenbewegung des Fahrzeugs 170 eine relative Veränderung einer Position eines stationären Objektes 410 zu einem späteren Zeitpunkt mittels Werten des ersten Sensor-Systems 110 in dem gesamten Segment 310 in Form eines Teil-Sektors bestimmt wird. Dieser Teil-Sektor wird dem gesteuerten zweiten Sensor-System als Attribut bereitgestellt, um insbesondere mittels des steuerbaren zweiten Sensor-Systems 120 die Grenzen des Objektes 410 zu dem späteren Zeitpunkt in dem Segment 320 genauer zu vermessen, um durch das Objekt 410 verdeckte Objekte, die bewegt sein können, schneller detektieren zu können.
-
Die 5 skizziert eine Detektion eines Objektes 510 in einem gesamten Segment 310 des ersten Sensor-Systems, wobei eine geschätzte Unsicherheit für die Bestimmung des Objekts 520, die mittels einer Detektions-Qualität beschrieben werden kann, im Zentrum des gesamten Segment 310 gering und für den Randbereich des gesamten Segments 310, also das Teil-Segment 320 hoch ist. Dies kann beispielsweise für einen Radar-Sensor zutreffen. Mit der Kenntnis dieses Bereichs, in dem das Objekt 510 detektiert wurde, ergibt sich in diesem Beispiel eine entsprechend hohe geschätzte Unsicherheit für die Bestimmung des Objekts 510. Mit einem gesteuerten zweiten Sensor-System kann dieses unsicher bestimmte Objekt 510 gezielt bestimmt werden, um die Genauigkeit der Bestimmung des Objektes 510 zu verbessern. Solche Daten über die Sicherheit der Bestimmung von Objekten können von dem Verfahren zur Umfelderfassung für die gemessenen Sensordaten, die geschätzten Objekte und deren Attribute als auch für interne Zwischenrepräsentation bereitgestellt werden.
-
Die Kenntnis dieser Unsicherheiten entsprechend einer Detektions-Qualität kann genutzt werden, um beispielsweise mit einem Radar-Sensor gezielt Objekte oder Regionen zu messen, für die eine geringe Detektions-Qualität berechnet wurde. Befindet sich beispielsweise ein Objekt am Rand des Erfassungsbereichs so sind die geschätzten Unsicherheiten gewöhnlich höher als für ein Objekt zentral vor dem Ego-Fahrzeug 170. Somit kann das Rand-Objekt gezielt mit dem Radar-Sensor in einem eingeschränkten Teil-Segment 320 bestimmt werden. Die Verwendung der Detektions-Qualität kann dabei auf Objektebene sowie auf Szenenebene erfolgen. Ist beispielsweise die Objektlänge mit hoher Unsicherheit behaftet, wird die Seite des Objekts mit hoher Auflösung gemessen, um die Längenschätzung weiter zu verbessern.
Dieses Verfahren zur Erfassung eines Umfelds einer mobilen Plattform kann mit mehreren Sensoren unterschiedlicher Modalität erfolgen oder aber auch nur mit einem steuerbaren Sensor wie z.B. einem Lidar- oder einem Radar-Sensor.
-
Wenn dieses Verfahren zur Erfassung eines Umfeldes einer mobilen Plattform mit beispielsweise zwei steuerbaren Sensoren durchgeführt wird, kann einer dieser Sensoren ein Radar-Sensor und der andere beispielsweise ein Lidar-Sensor sein.
-
Wenn für den Radar-Sensor eine Verteilung der eigenen Detektionsschwächen im Erfassungsbereich, entweder offline durch das kalibrierte Antennen-Diagramm oder bestimmt durch empirische False- und True-Detektion-Rates, oder online durch Detektion von Spiegelungen oder Verdeckungen, bereitgestellt wird, kann mit Kenntnis dieser Verteilung ein Lidar-Sensor angesteuert werden, der gezielt in den Bereichen des Erfassungsbereiches des Radar-Sensors misst, in dem der Radar-Sensor Detektionsschwächen zeigt. Durch das Ausgleichen der Schwächen eines Sensors durch einen anderen steigt eine Detektionsperformance eines Systems aus dem Radar-Sensor und dem Lidar-Sensor. Dieses Verfahren kann natürlich auch umgekehrt werden, indem der Lidar-Sensor den Radar-Sensor oder auch mit anderen Sensoren entsprechend steuert, wie beispielsweise Ultraschall-Sensoren oder andere aktiv gesteuerte Video-Sensoren, wie z.B. structured light, bei dem Licht mit einem gewissen Muster ausgesendet wird, wobei das Muster statisch sein kann oder auch in jedem Zeitschritt steuerbar und veränderlich.
-
Die 6a bis d skizziert weitere mögliche Anwendungsgebiete eines der beschriebenen Verfahren.
Die 6a skizziert die Anwendung eines der beschriebenen Verfahren bei automatisierten Prüfsystemen, z.B. zur Inspektion von Bauteilen mit Thermografie, Wirbelstrom und einer konventionellen Optik, um fehlerhafte Bauteile sicher auszusortieren.
-
Die 6b skizziert die Anwendung eines der beschriebenen Verfahren für einen automatisierten Rasenmäher, z.B. zur sicheren Bestimmung bzw. Klassifikation von Objekten dabei insbesondere die Unterscheidung eines Hindernisses von einem Nicht-Hindernis.
-
Die 6c skizziert die Anwendung eines der beschriebenen Verfahren für eine automatische Zugangskontrollen, z.B. zur optischen und akustischen PersonenIdentifikation und automatische Türöffnung.
-
Die 6d skizziert die Anwendung eines der beschriebenen Verfahren zur Überwachung von Plätzen oder Gebäuden, z.B. zur Prüfung von gefährlichen Gütern, beispielsweise mit einer Kamera und einem Lidar-Sensor.
