-
TECHNISCHES GEBIET
-
Verschiedene Beispiele der Erfindung betreffen im Allgemeinen die Sensorfusion von Sensordaten von mehreren Sensoren.
-
HINTERGRUND
-
Die zuverlässige und robuste Vermessung von Szenen - beispielsweise von Innenräumen oder Straßen - ist in vielen Anwendungsgebieten erstrebenswert. Ein Beispiel betrifft die Steuerung der Bewegung eines Roboters innerhalb einer Szene. Wenn die Szene genau und zuverlässig vermessen ist, können Kollisionen des Roboters mit Objekten der Szene vermieden werden und optimale Bahnen geplant werden.
-
In verschiedenen Beispielen wird eine Sensorfusion von Sensordaten mehrerer Sensoren, die jeweils eine gemeinsame Szene unter Verwendung mehrerer Messmodalitäten abbilden, zur Erhöhung der Genauigkeit der Vermessung der Szene verwendet. Eine beispielhafte Technik ist etwa beschrieben in: YE, Mao, et al. 3D reconstruction in the presence of glasses by acoustic and stereo fusion. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015. S. 4885-4893.
-
KURZZUSAMMENFASSUNG DER ERFINDUNG
-
Es besteht ein Bedarf für verbesserte Techniken zur Sensorfusion. Insbesondere besteht ein Bedarf für Techniken zur Sensorfusion, welche eine genaue und zuverlässige Vermessung der Szene ermöglichen.
-
Diese Aufgabe wird von den Merkmalen der unabhängigen Patentansprüche gelöst. Die Merkmale der abhängigen Patentansprüche definieren Ausführungsformen.
-
In einem Beispiel umfasst ein Computer-implementiertes Verfahren zur Sensorfusion das Empfangen von Sensordaten von einer Vielzahl von Sensoren. Dabei bildet die Vielzahl von Sensoren eine gemeinsame Szene unter Verwendung einer Vielzahl von Messmodalitäten ab. Das Verfahren umfasst auch das Bestimmen von mindestens einem entsprechenden Merkmal in den jeweiligen Sensordaten eines entsprechenden Sensors der Vielzahl von Sensoren. Das Verfahren umfasst auch, für jeden Sensor der Vielzahl von Sensoren, das Erhalten von entsprechenden Leistungsspezifikationsdaten. Ferner umfasst das Verfahren das Durchführen einer wechselseitigen Korrespondenzanalyse zwischen den Merkmalen der Sensordaten, wobei dabei die entsprechenden Leistungsspezifikationsdaten berücksichtigt werden. Das Verfahren umfasst auch das Durchführen der Sensorfusion in Abhängigkeit von der Korrespondenzanalyse.
-
Ein Computerprogramm oder ein Computerprogrammprodukt beinhaltet einen Programmcode der von mindestens einem Prozessor ausgeführt werden kann. Das Ausführen des Programmcodes bewirkt, dass der mindestens eine Prozessor ein Verfahren zur Sensorfusion ausführt. Das Verfahren umfasst das Empfangen von Sensordaten von einer Vielzahl von Sensoren. Dabei bildet die Vielzahl von Sensoren eine gemeinsame Szene unter Verwendung einer Vielzahl von Messmodalitäten ab. Das Verfahren umfasst auch das Bestimmen von mindestens einem entsprechenden Merkmal in den jeweiligen Sensordaten eines entsprechenden Sensors der Vielzahl von Sensoren. Das Verfahren umfasst auch, für jeden Sensor der Vielzahl von Sensoren, das Erhalten von entsprechenden Leistungsspezifikationsdaten. Ferner umfasst das Verfahren das Durchführen einer wechselseitigen Korrespondenzanalyse zwischen den Merkmalen der Sensordaten, wobei dabei die entsprechenden Leistungsspezifikationsdaten berücksichtigt werden. Das Verfahren umfasst auch das Durchführen der Sensorfusion in Abhängigkeit von der Korrespondenzanalyse.
-
Eine Vorrichtung umfasst mindestens einen Prozessor und einen Speicher. Der mindestens eine Prozessor ist eingerichtet, um einen Programmcode vom Speicher zu laden und basierend auf dem Ausführen des Programmcodes folgende Schritte auszuführen: Empfangen von Sensordaten von einer Vielzahl von Sensoren, wobei die Vielzahl von Sensoren eine gemeinsame Szene unter Verwendung einer Vielzahl von Messmodalitäten abbildet; für jeden Sensor der Vielzahl von Sensoren: Bestimmen von mindestens einem entsprechenden Merkmal in den jeweiligen Sensordaten; für jeden Sensor der Vielzahl von Sensoren: Erhalten von entsprechenden Leistungsspezifikationsdaten; Durchführen einer wechselseitigen Korrespondenzanalyse zwischen den Merkmalen der Sensordaten, unter Berücksichtigung der entsprechenden Leistungsspezifikationsdaten; und Durchführen der Sensorfusion in Abhängigkeit von der Korrespondenzanalyse.
-
Die oben dargelegten Merkmale und Merkmale, die nachfolgend beschrieben werden, können nicht nur in den entsprechenden explizit dargelegten Kombinationen verwendet werden, sondern auch in weiteren Kombinationen oder isoliert, ohne den Schutzumfang der vorliegenden Erfindung zu verlassen.
-
Figurenliste
-
- 1 illustriert schematisch eine Szene mit mehreren Objekten, in welcher sich ein Roboter gemäß verschiedener Beispiele bewegt.
- 2 illustriert schematisch das beispielhafte Verarbeiten von Sensordaten von Sensoren, welche die Szene erfassen.
- 3 ist ein Flussdiagramm eines beispielhaften Verfahrens.
-
DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
-
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die im Zusammenhang mit den Zeichnungen näher erläutert werden.
-
Nachfolgend wird die vorliegende Erfindung anhand bevorzugter Ausführungsformen unter Bezugnahme auf die Zeichnungen näher erläutert. In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder ähnliche Elemente. Die Figuren sind schematische Repräsentationen verschiedener Ausführungsformen der Erfindung. In den Figuren dargestellte Elemente sind nicht notwendigerweise maßstabsgetreu dargestellt. Vielmehr sind die verschiedenen in den Figuren dargestellten Elemente derart wiedergegeben, dass ihre Funktion und genereller Zweck dem Fachmann verständlich werden. In den Figuren dargestellte Verbindungen und Kopplungen zwischen funktionellen Einheiten und Elementen können auch als indirekte Verbindungen oder Kopplungen implementiert werden. Eine Verbindung oder Kopplung kann drahtgebunden oder drahtlos implementiert sein. Funktionale Einheiten können als Hardware, Software oder eine Kombination aus Hardware und Software implementiert werden.
-
Nachfolgend werden Techniken im Zusammenhang mit der Sensorfusion beschrieben. Die Sensorfusion betrifft das Zusammenführen von Sensordaten für eine Vielzahl von Sensoren. Dabei kann die Sensorfusion eine Vielzahl von Sensoren betreffen, welche eine gemeinsame Szene unter Verwendung einer Vielzahl von Messmodalitäten abbildet. In anderen Worten können also unterschiedliche Sensoren die Szene mit unterschiedlichen Messmodalitäten abbilden. Dies kann bedeuten, dass Messfelder der verschiedenen Sensoren einen Überlappbereich aufweisen.
-
Als allgemeine Regel können die hierin beschriebenen Techniken in unterschiedlichsten Anwendungsgebieten eingesetzt werden. Zum Beispiel könnte die Bewegung eines Roboters in der Szene basierend auf der Sensorfusion gesteuert werden. Zum Beispiel können mobile Roboter verwendet werden und eine Trajektorienplanung der mobilen Roboter kann basierend auf der Sensorfusion durchgeführt werden. In einem anderen Beispiel könnte ein ortsfest angebrachter Roboter mit einem oder mehreren artikulierten Roboterarmen verwendet werden. Die Bewegung von Roboterarmen kann dann basierend auf der Sensorfusion durchgeführt werden. Beispielsweise kann überwacht werden, ob sich der Roboterarm einer Bedienpersonen oder einem anderen Sperrbereich nähert.
-
Als allgemeine Regel kann die Anzahl und der Typ von Sensoren, die im Zusammenhang mit der Sensorfusion berücksichtigt werden, in unterschiedlichen Implementierungen variieren. Typischerweise können beispielsweise im Bereich zwischen 2-10 Sensoren bei der Sensorfusion berücksichtigt werden. Beispielhafte Sensoren beinhalten aktive Sensoren wie zum Beispiel ToF-Sensoren (engl. time of flight); Radar-Sensoren; Lidar-Sensoren, z.B. 1-D / 2-D gescannt/rotiert oder Flash-Lidar mit Fächerbeleuchtung; Ultraschall-Sensoren, beispielsweise Einzelsensoren oder ein Array von Ultraschallsensoren. Alternativ oder zusätzlich können auch passive Sensoren verwendet werden, etwa Kameras oder Stereokameras. Es können Kameras im infraroten Spektrum, im sichtbaren Spektrum, im ultravioletten Spektrum verwendet werden. Es können monokulare oder Stereokameras verwendet werden. Es können auch aktive Kameras verwendet werden, welche ein Muster - z.B. ein Linienmuster usw. - projizieren und daraus eine Oberflächentopographie ermitteln können. Aus diesen Beispielen ist ersichtlich, dass - je nach Sensortyp - die Messmodalität variiert. Beispielsweise verwenden Radar-Sensoren und Lidar-Sensoren elektromagnetische Wellen in unterschiedlichen Wellenlängenbereichen, Radar-Sensoren beispielsweise im Gigahertz-Bereich und Lidar-Sensoren typischerweise im Infrarotbereich, etwa bei 950 nm oder im C-Band. Ultraschallsensoren verwenden als Messmodalität keine elektromagnetischen Wellen, sondern vielmehr Dichteschwankungen der Luft.
-
Als allgemeine Regel können sowohl in Bezug auf die Szene ortsfeste, als auch bewegliche Sensoren verwendet werden. Zum Beispiel könnten ein oder mehrere Sensoren an einem Roboter angebracht sein, dessen Bewegung basierend auf der Sensorfusion gesteuert wird; alternativ oder zusätzlich könnten ein oder mehrere Sensoren ortsfest in Bezug auf den Roboter angebracht sein.
-
Je nach Sensor können auch die Sensordaten variieren. Die Sensordaten bilden die Szene ab. Je nach Messmodalität werden unterschiedliche physikalische Observablen zur Abbildung der Szene verwendet. Beispielsweise kann der Informationsgehalt der Sensordaten variieren. Manche Sensordaten können keine Ortsauflösung aufweisen: beispielsweise könnte ein Ultraschallsensor lediglich einen einzelnen Abstandswert bereitstellen, jedoch keine laterale Auflösung. Andere Sensordaten können eine 1D-Auflösung aufweisen: dies wäre zum Beispiel bei eindimensional gescannten Lidar-Sensoren der Fall. Noch andere Sensordaten können eine 2D-Auflösung aufweisen, beispielsweise zweidimensional gescannte Lidar-Sensoren oder Kamerabilder oder Radar-Sensoren basierend auf 2D-phasenkohärenten Sendearrays. Dabei kann die Auflösung der Sensordaten von Sensor zu Sensor variieren: beispielsweise weisen typischerweise Radar-Sensoren eine geringere Anzahl von lateralen Bildpunkten auf als Lidar-Sensoren.
-
Verschiedene Beispiele beruhen auf der Erkenntnis, dass einzelne Sensoren, je nach Szene, falsche oder fehlerbehaftete Informationen liefern können. Ein Beispiel betrifft zum Beispiel die Verwendung einer Kamera als Sensor: typischerweise kann eine Kamera im entsprechenden Wellenlängenbereich transparente Objekte nicht oder nur eingeschränkt erkennen. Beispielsweise kann mittels einer Kamera eine Glasscheibe nicht oder nur eingeschränkt erkannt werden. Andererseits kann zum Beispiel ein Ultraschallsensor eine Glasscheibe besonders gut erkennen. Ein weiteres Beispiel betrifft einen Spiegel: zum Beispiel könnte die Kamera ein im Spiegel gespiegeltes Objekt erkennen, nicht jedoch den Spiegel selbst und derart fehlerhafte Information über die Szene liefern. Andererseits könnte der Spiegel beispielsweise keine besonders hohe Reflektivität für Radarwellen aufweisen und deshalb mittels eines Radar-Sensors zuverlässig erkannt werden. Ein weiteres Beispiel betrifft z.B. die eingeschränkte Reichweite von passiven Kameras bei fehlender Beleuchtung der Szene. Noch ein Beispiel betrifft die herabgesetzte Reichweite von Licht-basierten Sensoren bei Rauch oder Nebel.
-
Deshalb kann es oftmals erstrebenswert sein, die Sensordaten der verschiedenen Sensoren zu validieren. Verschiedene hierin beschriebene Beispiele beruhen dabei auf der Erkenntnis, dass es oftmals nicht oder nur eingeschränkt möglich ist, Sensordaten eines Sensors nur anhand der Sensordaten selbst zu validieren. Deshalb werden nachfolgend Techniken beschrieben, welche eine Validierung von Sensordaten im Zusammenhang mit der Sensorfusion betreffen, durch Berücksichtigung der Verfügbarkeit einer Vielzahl von Sensoren, die eine gemeinsame Szene unter Verwendung einer Vielzahl von Messmodalitäten abbildet.
-
In Referenzimplementierungen werden Sensordaten unterschiedlicher Sensoren oftmals separat ausgewertet. Dann beruht beispielsweise eine Hinderniserkennung auf einer gewichteten Kombination der Sensordaten, als Sensorfusion. Die Gewichtung kann zum Beispiel hinsichtlich der Existenzwahrscheinlichkeit des Hindernisses erfolgen. In solchen Referenzimplementierungen, die zum Beispiel in
US 2017/0 197 311 A1 beschrieben sind, wird die Szene oftmals nur eingeschränkt wahrgenommen, was zum Beispiel zu Ungenauigkeiten oder Fehlern bei der Steuerung der Bewegung eines Roboters führen kann.
-
Um solche Nachteile zu beheben, ist es möglich, dass für jeden Sensor der Vielzahl von Sensoren mindestens ein entsprechendes Merkmal in den jeweiligen Sensordaten bestimmt wird. Dann kann eine wechselseitige Korrespondenzanalyse zwischen den Merkmalen der Sensordaten durchgeführt werden. Es kann also beispielsweise verglichen werden, ob ein in ersten Sensordaten bestimmtes Merkmal auch in zweiten Sensordaten vorhanden ist.
-
Durch eine solche wechselseitige Korrespondenzanalyse kann es möglich sein, die verschiedenen Sensordaten zu validieren. Zum Beispiel kann eine positive Validierung des ersten Sensors und des zweiten Sensors mit hoher Wahrscheinlichkeit angenommen werden, wenn das in den ersten Sensordaten bestimmte Merkmal auch in den zweiten Sensordaten bestimmt wird (und möglicherweise auch andersherum), d. h. wenn die ersten Sensordaten mit den zweiten Sensordaten korrespondieren.
-
Manchmal kann es aber vorkommen, dass keine oder nur eine eingeschränkte Korrespondenz zwischen den Sensordaten von zwei unterschiedlichen Sensoren vorliegt. Dies kann unterschiedliche Gründe haben: ein erster Grund ist ein Fehler im Betrieb des ersten Sensors oder des zweiten Sensors. Ein Sensor könnte beschädigt sein. Ein zweiter Grund ist die nicht vorhandene oder eingeschränkte Möglichkeit, ein bestimmtes Merkmal durch die Messmodalität des ersten Sensors oder des zweiten Sensors zu erfassen. Beispielsweise können für sichtbares Licht transparente Objekte durch herkömmliche Kameras oftmals nicht oder nur eingeschränkt erfasst werden.
-
Nachfolgend werden Techniken beschrieben, die es ermöglichen, zwischen diesen zwei Ursachen für Diskrepanzen zwischen den Sensordaten, die im Rahmen der wechselseitigen Korrespondenzanalyse von Merkmalen der Sensordaten erkannt werden, zu unterscheiden.
-
Dazu können gemäß verschiedener Beispiele für jeden Sensor der Vielzahl von Sensordaten auch entsprechende Leistungsspezifikationsdaten erhalten werden. Es ist dann möglich, die wechselseitige Korrespondenzanalyse zwischen den Merkmalen der verschiedenen Sensordaten unter Berücksichtigung der entsprechenden Leistungsspezifikationsdaten durchzuführen. Die Sensorfusion kann dann in Abhängigkeit von der Korrespondenzanalyse durchgeführt werden.
-
Im Allgemeinen können die Leistungsspezifikationsdaten bestimmte Fähigkeiten des jeweiligen Sensors Merkmale abzubilden beschreiben. Die Leistungsspezifikationsdaten können also indikativ sein für mindestens eine Beschränkung der jeweiligen Messmodalität, Merkmale mit bestimmten Eigenschaften abzubilden.
-
Die Leistungsspezifikationsdaten können also im Allgemeinen in Abhängigkeit von den entsprechenden Messmodalitäten bestimmt werden. Die Leistungsspezifikationsdaten können vorgegeben sein.
-
Die Leistungsspezifikationsdaten für eine Kamera könnten zum Beispiel beschreiben, dass die Kamera Objekte mit einer hohen Transparenz im entsprechenden Spektralbereich nicht oder nur eingeschränkt abbilden kann. Die Leistungsspezifikationsdaten für einen Ultraschallsensor könnten beispielsweise beschreiben, dass Objekte, die eine Entfernung von mehr als 10 m zum Ultraschallsensor aufweisen, nicht oder nur eingeschränkt durch den Ultraschallsensor abgebildet werden können - d.h. im Allgemeinen können die Leistungsspezifikationsdaten eine Reichweite (engl. range) beschreiben. Die Leistungsspezifikationsdaten für einen Ultraschallsensor könnten beispielsweise beschreiben, dass Objekte, die eine laterale Ausdehnung (senkrecht zur tiefen Messerichtung) von weniger als 5 cm aufweisen, durch den Ultraschallsensor nicht oder nur eingeschränkt abgebildet werden können - d.h. im Allgemeinen können die Leistungsspezifikationsdaten eine Auflösung (engl. resolution) beschreiben. Die Leistungsspezifikationsdaten könnten zum Beispiel auch beschreiben, dass auf eine bestimmte Art und Weise orientierte Oberflächen von Objekten - zum Beispiel in Bezug auf eine Position und/oder Orientierung (Pose) des jeweiligen Sensors - nicht oder nur eingeschränkt abgebildet werden können. Ein Beispiel betrifft zum Beispiel gegenüber der direkten Verbindungslinie zwischen Oberfläche und Ultraschallsensor verkippte Oberflächen, die die Schallwellen in eine andere Richtung, weg vom Ultraschallsensor, umlenken. Entsprechend kann auch ein LIDAR-Sensor verkippte, reflektierende Oberflächen nicht oder nur eingeschränkt detektieren. Im Zusammenhang mit Radar-Sensoren entspricht dies sogenannten Stealth-Techniken. Solche und andere Eigenschaften, insbesondere auch Materialeigenschaften einer Oberfläche des Objekts, können im Zusammenhang mit der Reflektivität des Objekts berücksichtigt werden. Zum Beispiel können LIDAR- Sensoren bestimmte besonders wenig reflektierende Objekte in einer Entfernung nicht detektieren.
-
Allgemeiner formuliert wäre es also möglich, dass die mindestens eine durch die Leistungsspezifikationsdaten indizierte Beschränkung einen unteren Schwellenwert für eine laterale Ausdehnung von Objekten in der Szene umfasst. Alternativ oder zusätzlich wäre es auch möglich, dass die mindestens eine Beschränkung, die durch die Leistungsspezifikationsdaten indiziert wird, eine geometrische Orientierung von Objekten in der Szene umfasst. Manchmal wäre es möglich, dass diese geometrische Orientierung in Abhängigkeit von einer Pose des entsprechenden Sensors zum Objekt parametrisiert ist. Die mindestens eine Beschränkung könnte alternativ oder zusätzlich auch die Reflektivität einer Oberfläche eines Objekts der Szene umfassen.
-
Durch Berücksichtigung der Leistungsspezifikationsdaten im Rahmen der wechselseitigen Korrespondenzanalyse können Diskrepanzen zwischen in unterschiedlichen Sensordaten bestimmten Merkmalen Beschränkungen der Leistungsspezifikation der jeweiligen Sensoren zugeordnet werden. Dies kann dann anschließend im Rahmen der Sensorfusion berücksichtigt werden. Dadurch kann eine besonders genaue und robuste Sensorfusion ermöglicht werden.
-
1 illustriert ein beispielhaftes System 70. Ein mobiler Roboter 90 bewegt sich innerhalb einer Szene 80. Die Szene 80 umfasst mehrere Objekte 81-83, etwa massive Hindernisse 81 und 83 und eine Glasscheibe 82. Aus 1 ist ersichtlich, dass das Hindernis 83 in Bezug auf den Roboter 90 hinter der Glasscheibe 82 angeordnet ist.
-
Es sind zwei Sensoren 111, 112 vorhanden. Die Sensoren 111, 112 sind im Beispiel der 1 am Roboter 90 angebracht. Im Allgemeinen wäre es aber möglich, dass stationäre Sensoren alternativ oder zusätzlich zu solchen mobilen Sensoren verwendet werden.
-
Die Sensoren 111, 112 weisen jeweils einen entsprechenden Messbereich 211, 212 auf. Die Messbereiche 211, 212 weisen eine bestimmte Ausdehnung in der Tiefenmessrichtung (Z-Richtung) auf. Die Messbereiche 211, 212 weisen auch eine bestimmte Ausdehnung in lateraler Richtung (X-Richtung sowie Y-Richtung) auf. Bestimmte Parameter im Zusammenhang mit den Messbereichen 211, 212 können zum Beispiel im Rahmen entsprechende Leistungsspezifikationsdaten für die Sensoren 111, 112 erfasst sein.
-
Es ist möglich, eine Sensorfusion für Sensordaten der Sensoren 111, 112 durchzuführen. Dann kann die Bewegung des Roboters 90 in der Szene 80 basierend auf der Sensorfusion gesteuert werden. Beispielsweise könnte eine Planung der Trajektorie 91 erfolgen, sodass eine Kollision mit den Objekten 81-83 vermieden wird.
-
Details im Zusammenhang mit der Sensorfusion sind im Zusammenhang mit 2 beschrieben.
-
2 illustriert Aspekte in Bezug auf die Verarbeitung der Sensordaten der Sensoren 111, 112. Insbesondere illustriert 2 Aspekte in Bezug auf eine Sensorfusion für die Sensoren 111, 112.
-
Die Verarbeitung der Sensordaten ermöglicht im Allgemeinen das Suchen von zwischen den verschiedenen Sensordaten korrespondierenden geometrischen Eigenschaften bzw. im Allgemeinen von korrespondierenden Merkmalen. Darauf basierend kann die Plausibilität der verschiedenen Sensordaten validiert werden. Zum Beispiel könnte der Sensor 111 ein Ultraschallsensor sein und Distanzinformation bereitstellen. Der Sensor 112 könnte beispielsweise eine Kamera sein, die ein Bild mit mehreren Bildpunkten bereitstellt. Dabei wäre es möglich, dass die Kontrastwerte der verschiedenen Bildpunkte auch mit Distanzinformationen assoziiert sind. Eine solche Tiefenbildinformation der Kamera 112 kann dann dazu verwendet werden, um die Sensordaten des Ultraschallsensors 111 zu erklären. Es können zum Beispiel Unstimmigkeiten zwischen durch den Ultraschallsensor 111 und durch die Kamera 112 erkannten Merkmalen erkannt werden. Für den Fall, dass solche Unstimmigkeiten erkannt werden, kann eine weitergehende Verarbeitung oder Interpretation der Sensordaten ausgelöst werden, d.h. zum Beispiel ein Szenenrekonstruktionsalgorithmus angewendet werden. Solche und weitere Techniken werden nun im Detail im Zusammenhang mit 2 beschrieben.
-
Im Detail ist in 2 dargestellt, dass eine variable Anzahl von Sensoren 111-114 Sensordaten 121-124 an ein (typischerweise in Software implementiertes) Kalibrationsmodul 131 übergibt. Im Allgemeinen ist das Durchführen einer Kalibrierung und damit das Kalibrationsmodul 131 optional. Mittels der Kalibration ist es möglich, eine automatisierte, extrinsische Kalibration der Sensoren 111-114 vorzunehmen. Die Kalibration kann in Abhängigkeit von unterschiedlichen Ereignissen ausgelöst werden. Beispielsweise könnte die Kalibration wiederholt gemäß einer vorgegebenen Zeitplanung ausgelöst werden. Es wäre auch möglich, dass die Kalibration in Abhängigkeit von der wechselseitigen Korrespondenzanalyse ausgelöst wird, zum Beispiel wenn eine Anzahl von Unstimmigkeiten einen Schwellenwert überschreitet. Ein weiteres Beispiel für ein Ereignis, welches die Kalibrierung auslösen kann, betrifft eine Kollision des Roboters 90 mit einem Hindernis 81-83.
-
Durch die Kalibration können Kalibrationsdaten bestimmt werden. Die Kalibrationsdaten können Abbildungseigenschaften des jeweiligen Sensors 111-114, optional unter Berücksichtigung der entsprechenden Messmodalität, beschreiben. In einem Beispiel könnten die Kalibrationsdaten zum Beispiel einen Versatz der Messbereiche 211, 212 und oder einer Rotation der Messbereiche 211, 212 zueinander kompensieren. Dann kann die weitere Prozessierung der Sensordaten 121-124, insbesondere die Bestimmung von Merkmalen in den jeweiligen Sensordaten, in Abhängigkeit der Kalibrationsdaten erfolgen. Dies bedeutet, dass im Allgemeinen die Kalibration die Sensordaten verschiedener Sensoren miteinander in Bezug setzen kann.
-
Als nächstes wird in Modul 132 die Bestimmung von Merkmalen in den Sensordaten 121-124 durchgeführt, optional unter Berücksichtigung der Kalibrationsdaten. Das Modul 132 kann wiederum in Software implementiert werden. Die Merkmale können bestimmte charakteristische Eigenschaften der Sensordaten beschreiben. Die Merkmale können den Objekten 81-83 der Szene 80 entsprechen.
-
Je nach Typ des verwendeten Sensors 111-114 kann, wie oben stehend beschrieben, der Informationsgehalt der Sensordaten variieren. Entsprechend kann auch die Komplexität der Bestimmung von Merkmalen je nach Typ des Sensors variieren. Zum Beispiel könnte die Merkmalsbestimmung für Ultraschallsensoren die Ermittlung eines einzelnen Distanzwerts umfassen. Andererseits könnte die Merkmalsbestimmung für Kameras eine Objekterkennung, etwa unter Verwendung von maschinellem Lernen und/oder Bildsegmentierung, umfassen.
-
Im Allgemeinen ist es möglich, dass das mindestens eine Merkmal jeweils basierend auf einer Einzelmessung der Sensordaten bestimmt wird. Das bedeutet, dass keine Kombination von Sensordaten mehrerer zeitsequentieller Messungen für die verschiedenen Sensoren 111-124 erfolgt. Wenn Einzelmessungen verwendet werden, dann kann eine höhere Wiederholrate für die nachgelagerte Sensorfusion verwendet werden.
-
Als nächstes wird in Modul 133 eine Korrespondenzanalyse zwischen den Merkmalen der verschiedenen Sensordaten 121-124 durchgeführt. Diese Korrespondenzanalyse wird unter Berücksichtigung von Leistungsspezifikationsdaten 172 durchgeführt.
-
Die Korrespondenzanalyse wird insbesondere wechselseitig zwischen den Merkmalen der verschiedenen Sensordaten 121-124 durchgeführt. Dies bedeutet, dass beispielsweise in den Sensordaten 121 bestimmte Merkmale mit in den Sensordaten 122 bestimmten Merkmalen und mit in den Sensordaten 123 bestimmten Merkmalen und mit in den Sensordaten 124 bestimmten Merkmalen auf Korrespondenz überprüft werden können. Entsprechend können wiederum die in den Sensordaten 122 bestimmten Merkmale mit in den Sensordaten 123 bestimmten Merkmalen usw. auf Korrespondenz überprüft werden.
-
Im Beispiel der 2 werden die Leistungsspezifikationsdaten von einem Modul 171 empfangen. In manchen Beispielen können die Leistungsspezifikationsdaten in einem Speicher fest hinterlegt sein, d. h. vorgegeben sein. Im Beispiel der 2 ist ferner illustriert, dass es manchmal möglich sein kann, die Leistungsspezifikationsdaten im Betrieb für die Sensoren 111-114 anzupassen. Es können also beispielsweise bestimmte Betriebszustände der Sensoren 111-114 berücksichtigt werden, usw. Dies kann z.B. hilfreich sein, wenn die Sensoren 111-114 hinsichtlich der Messmodalitäten einstellbar sind.
-
Dann kann in Abhängigkeit von einem Ergebnis der Korrespondenzanalyse die Sensorfusion durchgeführt werden. Beispielsweise könnte für den Fall, dass die Korrespondenzanalyse eine gute Korrespondenz zwischen den in den verschiedenen Sensordaten 121-124 bestimmten Merkmalen indiziert, die Sensorfusion ohne weiteres durch Kombination der verschiedenen Sensordaten 121-124, d. h. beispielsweise durch Überlagerung der verschiedenen bestimmten Merkmale, durchgeführt werden, was Ausgabe 141 entspricht.
-
Bei Unstimmigkeiten, die im Rahmen der Korrespondenzanalyse erkannt werden - d. h. beispielsweise bei Diskrepanzen in der Interpretation der verschiedenen Sensordaten 121-124 - kann ein Szenenrekonstruktionsalgorithmus angewendet werden. Insbesondere kann der Szenenrekonstruktionsalgorithmus dann angewendet werden, wenn die Korrespondenzanalyse als Ergebnis eine eingeschränkte Korrespondenz indiziert, die jedoch im Rahmen der entsprechenden Leistungsspezifikationsdaten plausibel ist. Wenn die Korrespondenz im Rahmen der entsprechenden Leistungsspezifikationsdaten nicht plausibel ist, kann von einem fehlerhaften Sensor ausgegangen werden.
-
Im Rahmen einer Szenenrekonstruktion können bestimmte, typische Annahmen für die Szene getroffen werden, etwa im Rahmen von Rekonstruktionsregeln. Beispielsweise könnte eine Glasscheibe in einen von der Kamera 112 erkannten Rahmen eingefügt werden. D. h. es können im Allgemeinen bestimmte Merkmale ergänzt werden, insbesondere dann, wenn deren Abwesenheit in den entsprechenden Sensordaten 121-124 im Rahmen der Leistungsspezifikationsdaten plausibel ist. Zum Beispiel könnte im Beispiel der 1 die Glasscheibe 82 im Zusammenhang mit dem Satz der in den Sensordaten 122 der Kamera 112 bestimmten Merkmale ergänzt werden.
-
Dann könnte für jede getroffene Szenenannahme überprüft werden, ob die Gesamtheit aller Sensordaten damit plausibel erklärbar ist, etwa ein Modul 136. Dabei können wiederum die Leistungsspezifikationsdaten 172 berücksichtigt werden. Wenn zum Beispiel eine ebene Glasscheibe in einem durch die Kamera 112 erkannten Rahmen rekonstruiert und ergänzt ist, dann kann validiert werden, dass das Objekt 83, welches sich hinter der Glasscheibe 82 befindet, dennoch als Merkmal in den Sensordaten 122 der Kamera 112 bestimmt wird. Dies bedeutet in allgemeiner Form, dass es möglich ist, dass der Szenenrekonstruktionsalgorithmus eine eingeschränkte Korrespondenz basierend auf den vorgegebenen Rekonstruktionsregeln von erwarteten Merkmalen der Szene korrigiert. Diese Rekonstruktionsregeln können beispielsweise, wie oben stehend beschrieben, einen geometrischen Zusammenhang zwischen bestimmten typischen Merkmalen beschreiben. Im Beispiel der 2 werden die Rekonstruktionsregeln von einem Modul 135 erhalten.
-
In manchen Beispielen wäre es möglich, dass die Rekonstruktionsregeln basierend auf maschinellem Lernen trainiert werden. Beispielsweise wäre es möglich, dass - wenn durch Anwenden bestimmter Variationen von Korrespondenzregeln eine besonders plausible Rekonstruktion der Szene erhalten wird - diese Information zum Trainieren eines entsprechenden Algorithmus, der die Korrespondenzregeln bereitstellt, verwendet wird.
-
Wenn in Modul 136 die Analyse eine erfolgreiche Rekonstruktion der Szene ergibt, dann kann wiederum die Sensorfusion durch Überlagerung der Merkmale, inklusive der durch die Szenenrekonstruktion ergänzten Merkmale, erfolgen, was Ausgabe 142 entspricht. In einem solchen Fall könnte die ergänzte Szene bzw. bestimmte Eigenschaften der ergänzten Szene auch als a-priori-Wissen für eine nachfolgende Merkmalsbestimmung 132 verwendet werden, durch eine Rückführung entsprechender a-priori Daten 143.
-
Ergebnisse der Szenenrekonstruktion 134 könnten auch zum Anpassen der Leistungsspezifikationsdaten 172 verwendet werden. Deshalb können entsprechende Korrekturdaten 144 an das Modul 171 ausgegeben werden.
-
Wenn keine plausible Rekonstruktion der Szene möglich ist, kann eine Warnung 149 ausgegeben werden.
-
Mittels solcher Techniken ist es also möglich, eine robuste Interpretation der Szene - d. h. der Umgebung - vorzunehmen. Insbesondere kann es möglich sein, alle verfügbaren Sensordaten, gegebenenfalls mit Annahmen für typische Merkmale im Rahmen der Szenenrekonstruktion, zusammenzuführen. Durch eine solche Sensorfusion steht ein detailliertes Abbild der Szene zur Verfügung. Durch den hohen Detailgrad kommt es zu weniger räumlichen Einschränkungen. Dies kann zum Beispiel insbesondere im Zusammenhang mit der Planung von Trajektorien 91 (vergleiche 1) hilfreich sein. Beispielsweise kann bei Szenen mit Objekten wie einem Türrahmen, eng stehenden Hindernissen wie Pfosten, etc. die Umgebung richtig interpretiert werden, sodass eine Durchfahrt ermöglicht wird.
-
3 ist ein Flussdiagramm eines beispielhaften Verfahrens. Beispielsweise könnte das Verfahren gemäß 3 auf einem Prozessor implementiert werden, indem dieser den Programmcode aus einem Speicher liest. Das Verfahren gemäß dem Beispiel der 3 dient dem robusten Auffinden von Merkmalen in einer Szene basierend auf multimodalen Sensordaten.
-
Zunächst werden in Block 1001 Sensordaten empfangen. Dabei ist es im Allgemeinen möglich, dass die Sensordaten von mindestens zwei unterschiedlichen Sensoren, d. h. Sensoren, die unterschiedlichen Sensortypen zugeordnet sind, empfangen werden. Die verschiedenen Sensoren können eine gemeinsame Szene mit unterschiedlichen Modalitäten abbilden. Beispielsweise könnten Sensordaten von einer Kamera empfangen werden und weitere Sensordaten von einem Ultraschallsensor empfangen werden.
-
Dann werden in Block 1002 anhand der Sensordaten jeweils ein oder mehrere Merkmale bestimmt. Die Auswertung in Block 1002 kann zunächst getrennt für die verschiedenen verfügbaren Sensordaten erfolgen. Insbesondere kann es möglich sein, in Block 1002 Kalibrationsdaten zu berücksichtigen. Diese können die verschiedenen Sensordaten zueinander in Bezug setzen. Dazu können die Kalibrationsdaten Abbildungseigenschaften des jeweiligen Sensors, zum Beispiel eine Pose, ein Vergrößerungsfaktor, eine Latenz, eine Bildwiederholrate, usw. beschreiben.
-
Anschließend werden in Block 1003 Leistungsspezifikationsdaten für jeden Sensor erhalten. Die Leistungsspezifikationsdaten sind indikativ für mindestens eine Beschränkung der jeweiligen Messmodalität im Zusammenhang mit der Fähigkeit des entsprechenden Sensors, Merkmale mit bestimmten Eigenschaften abzubilden.
-
Als nächstes wird in Block 1004 eine wechselseitige Korrespondenzanalyse der Merkmale durchgeführt, wobei dabei die entsprechenden Leistungsspezifikationsdaten berücksichtigt werden. Dies kann bedeuten, dass korrespondierende Merkmale in den Sensordaten der unterschiedlichen Sensoren gefunden werden. Die in den unterschiedlichen Sensordaten bestimmten Merkmale können also zueinander in Bezug gesetzt werden bzw. zueinander zugeordnet werden.
-
Dabei unterstützen die Leistungsspezifikationsdaten der verschiedenen Sensoren die Korrespondenzanalyse und ermöglichen eine genauere Bewertung von Unstimmigkeiten, die im Rahmen der Korrespondenzanalyse identifiziert werden. Beispielsweise könnten die Leistungsspezifikationsdaten Grenzen von überlappenden Messfeldern der unterschiedlichen Sensoren bestimmen. Beispielsweise könnten die Leistungsspezifikationsdaten Anforderungen an eine Geometrie eines Objekts, d. h. zum Beispiel die Flächenausrichtung oder den Abstand zum Sensor, bestimmen, sodass das Objekt als Merkmal erkannt werden kann.
-
Das Ergebnis der Korrespondenzanalyse wird dann in Block 1005 überprüft. Wenn eine Korrespondenz vorliegt, dann kann direkt in Block 1007 die Sensorfusion durchgeführt werden. Dazu können die verschiedenen bestimmten Merkmale überlagert werden. Das Vorliegen einer Korrespondenz kann zum Beispiel dann festgestellt werden, wenn alle Merkmale der Sensordaten eines Sensors (innerhalb bestimmter Genauigkeitsschranken) eine Übereinstimmung in den Merkmalen der übrigen Sensordaten finden.
-
Wenn aber keine Korrespondenz vorliegt, kann - vor dem Durchführen der Sensorfusion in Block 1007 - zunächst der Block 1006 ausgeführt werden. In Block 1006 wird ein Szenenrekonstruktionsalgorithmus angewendet. Durch diesen können bestimmte Merkmale, für die keine Korrespondenz vorliegt, rekonstruiert werden. Dabei kann Block 1007 insbesondere dann durchgeführt werden, wenn zwar keine Korrespondenz vorliegt, der Mangel an Korrespondenz aber innerhalb der durch die Leistungsspezifikationsdaten indizierten Beschränkungen plausibel ist (andernfalls könnte eine Warnung ausgegeben werden, in 3 nicht dargestellt).
-
Im Zusammenhang mit dem Szenenrekonstruktionsalgorithmus können a-priori Annahmen über die Szene verwendet werden, etwa im Rahmen von Rekonstruktionsregeln. Beispielsweise könnten die a-priori Annahmen eine Information über das Einsatzgebiet umfassen, etwa ob es sich um eine Innenraumszene oder eine Außenraumszene handelt, etc.. Häufig auftretende, typische Objekte, die von einem bestimmten Sensortyp nur schwer erkannt werden können, können so effizienter rekonstruiert werden. Beispielsweise Glasscheiben in einem Rahmen oder charakteristische Sockel/Verkleidungen, die stark absorbieren oder glänzend sind.
-
Im Rahmen des Szenenrekonstruktionsalgorithmus können auch maschinelle Lernverfahren verwendet werden. Beispielsweise können Korrespondenzregeln, die die Rekonstruktion von Merkmalen beschreiben, basierend auf maschinellem Lernen trainiert werden. Dies ermöglicht eine robustere und effizientere Umgebungsrekonstruktion.
-
Es können auch bestimmte Ergebnisse des Szenenrekonstruktionsalgorithmus weiter genutzt werden. Beispielsweise könnten die Leistungsspezifikationsdaten basierend auf einem Ergebnis des Szenenrekonstruktionsalgorithmus angepasst werden. Wird nämlich zum Beispiel erkannt, dass ein bestimmtes Merkmal in bestimmten Sensordaten nicht erkannt wurde und wird dieses Merkmal rekonstruiert, so können Eigenschaften dieses Merkmals als durch den entsprechenden Sensortyp nicht erkennbar in den Leistungsspezifikationsdaten hinterlegt werden. Eine solche Rückkopplung kann zum Beispiel mit maschinellen Lernen, insbesondere bestärkendem Lernen (engl. reinforced learning) implementiert werden.
-
Außerdem können die Ergebnisse des Szenenrekonstruktionsalgorithmus zur Erkennung von systematischen Fehlern, beispielsweise aufgrund einer ansteigenden Häufigkeit in Unstimmigkeiten, genutzt werden.
-
Selbstverständlich können die Merkmale der vorab beschriebenen Ausführungsformen und Aspekte der Erfindung miteinander kombiniert werden. Insbesondere können die Merkmale nicht nur in den beschriebenen Kombinationen, sondern auch in anderen Kombinationen oder für sich genommen verwendet werden, ohne das Gebiet der Erfindung zu verlassen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2017/0197311 A1 [0019]
