-
Stand der Technik
-
Die Erfindung betrifft ein Verfahren und ein maschinelles Lernsystem zur Klassierung von Objekten
-
Die Veröffentlichung „Multi-View 3D Object Detection Network for Autonomous Driving" von Xiaozhi Chen, Huimin Ma, Ji Wan, Bo Li, Tian Xia, Department of Electronic Engineering, Tsinghua University, Baidu Inc. (LIDARarXiv: 1611.07759v3 [cs.CV] 22 Jun 2017) beschreibt ein Verfahren zur hochgenauen 3D Objektdetektion in Szenarien für das hochautomatisierte Fahren. Zur Objekterkennung werden hierbei Daten einer Kamera und eines Lidars in ein Objektdetektionsnetzwerk eingespeist.
-
In der Veröffentlichung „Learning Hierarchical Semantic Segmentations of LIDAR Data“ von David Dohan, Brian Matejek, and Thomas Funkhouser von der Princeton University, Princeton, NJ USA, wird ein Verfahren zur semantischen Segmentierung von mittels eines Lidars aufgezeichneten Daten offenbart.
-
Offenbarung der Erfindung
-
Die Erfindung beschreibt ein Verfahren zur Klassierung eines Objekts mit den Schritten:
- • Empfangen wenigstens einer, auf einem von einer Sendevorrichtung ersten ausgesendeten elektromagnetischen Signal und einem von einer Empfangsvorrichtung ersten empfangenen elektromagnetischen Signal basierenden, Abstandsinformation eines Objekts;
- • Empfangen wenigstens einer, auf einem von einer Sendevorrichtung zweiten ausgesendeten elektromagnetischen Signal und einem von einer Empfangsvorrichtung zweiten empfangenen elektromagnetischen Signal basierenden, Schwingungsinformation des Objekts, welche eine Festkörperschwingung wenigstens eines Teilbereiches des Objekts repräsentiert;
- • Klassierung des Objekts basierend auf den empfangenen Informationen.
-
Unter Klassierung wird hierbei die Anwendung einer Klassifikation auf ein Objekt durch Auswahl einer passenden Klasse einer gegebenen Klassifikation verstanden. Bei den Sende- und/oder Empfangsvorrichtungen kann es sich entweder um jeweils unterschiedliche oder dieselben Sende- und/oder Empfangsvorrichtung handeln. Es können auch dieselbe Empfangsvorrichtung und unterschiedliche Sendevorrichtung oder unterschiedliche Empfangsvorrichtungen und dieselbe Sendevorrichtung verwendet werden.
-
Bei der Abstandsinformation kann es sich um einen Abstand zwischen Empfangs- und/oder Sendevorrichtung und dem Objekt handeln. Die Anstandsinformation kann jedoch auch einen anderen Abstand bzw. einen Abstand zu einer anderen Referenz darstellen. Befindet sich die Sende- und/oder Empfangsvorrichtung beispielsweise auf einem Fahrzeugdach, kann ein zusätzlicher Offset zu einem ermittelten Abstand hinzugefügt werden, sodass der die Abstandsinformation den Abstand zu unterschiedlichen Fahrzeugbegrenzungen, wie beispielweise der Stoßstange angibt.
-
Die Schwingungsinformation enthält Informationen über von dem Objekt durchgeführte Festkörperschwingungen, welche beispielsweise durch Geräuschquellen in der Nähe des Objekts und/oder Erschütterungen und/oder weitere mechanische Anregungen des Objekts hervorgerufen werden können. Da ggf. nur ein Teilbereich des Objekts von der elektromagnetischen Strahlung erfasst wird, oder nur Informationen eines Teilbereichs des Objekts von der Empfangsvorrichtung erfassbar sind, können diese Schwingungsinformationen auch nur Festkörperschwingungen eines Teilbereiches des Objekts repräsentieren.
-
Unter dem Empfangen von Informationen wird ein zur Verfügung stellen dieser Informationen verstanden. Die Informationen können hierbei zum einen von einer Einheit zu einer anderen gesendet werden, beispielweise von einem Steuergerät zu einem weiteren Steuergerät, sie können jedoch auch innerhalb eines Steuergerätes weitergegeben werden und lediglich von einer weiteren Anwendung, wie einem Computerprogramm oder einem maschinellen Lernverfahren oder einem neuronalen Netzwerden empfangen / genutzt werden. Beispielsweise kann in einem Steuergerät sowohl einer Ermittlung der Informationen erfolgen als auch ein Empfangen dieser Informationen. Unter den Informationen können in der vorliegenden Schrift sowohl Messwerte als auch bereits ausgewertete Messwerte verstanden werden. Beispielsweise kann eine Information über einen Zeitversatz zwischen einem ausgesendeten und Empfangenen Signal eine Abstandsinformation darstellen oder eine Information über einen Phasendifferenz zwischen ausgesendeter und empfangener Strahlung. Entsprechendes gilt für die Schwingungsinformation.
-
Diese Erfindung bietet den Vorteil, dass durch eine Auswertung der Schwingungsinformationen ein zusätzliches Merkmal bzw. eine zusätzliche Eigenschaft des Objekts zur Verfügung steht, welche vorteilhaft zur Klassierung des Objekts genutzt werden kann. Hierdurch lässt sich eine Klassifizierungsgenauigkeit bzw. eine Klassifikationsgüte eines entsprechenden Klassifikationsverfahrens verbessern. Derartige Verfahren können beispielweise zum Betreiben eines Fahrzeugs verwendet werden, wobei das Fahrzeug basierend auf der Klassierung betrieben wird.
-
In einer weiteren Ausführungsform des Verfahrens handelt es sich bei den elektromagnetischen Signalen um optische Signale. Die Wellenlängen optischer Signale liegen im Allgemeinen zwischen 400 nm und 1 mm. Insbesondere handelt es sich um optische Signale mit Wellenlängen zwischen 700 nm und 8000 nm, weiter insbesondere zwischen 800 nm und 1400 nm und weiter insbesondere zwischen 1000 nm und 1300 nm.
-
Diese Ausführungsform der Erfindung bietet den Vorteil, dass eine Klassierung mittels optischer Signale durchführbar ist, beispielsweise eines Lasers. Da auch der Mensch primär Informationen mittels seiner Augen erfasst, können hierdurch relevante Objekte klassifiziert werden.
-
Werden Wellenlängen zwischen 700 nm und 8000 nm verwendet, hat dies den Vorteil, dass diese Wellenlängen für das menschliche Auge nicht sichtbar sind. Bei einer Verwendung in Bereichen, in denen Menschen vorhanden sein können, kann hierdurch eine Gefährdung und Beeinträchtigung der Menschen vermieden werden.
-
Werden Wellenlängen zwischen 800 nm und 1400 nm gewählt, kann eine gute Reichweite der optischen Strahlung gewährleistet werden.
-
Der Wellenlängenbereich zwischen 1000 nm und 1300 nm ist vorteilhaft, da optische Strahlung in diesem Wellenlängenbereich direkt von der Hornhaut des menschlichen Auges absorbiert wird und folglich zu keinen Schädigungen des Auges führen können. Hierdurch ist ein sicherer Einsatz dieses Verfahrens in Gebieten, in denen sich Menschen aufhalten, sichergestellt.
-
In einer weiteren Ausführungsform des Verfahrens handelt es sich bei den empfangenen elektromagnetischen Signalen um an dem Objekt reflektierte Signale der ausgesendeten elektromagnetischen Signale handelt.
-
In dieser Ausführungsform wird ein Objekt mittels einer Sendevorrichtung mit elektromagnetischer Strahlung angestrahlt und die zumindest teilweise von dem Objekt reflektierte Strahlung wird mittels einer Empfangsvorrichtung erfasst. Folglich beruhen sowohl die Anstandsinformation als auch die Schwingungsinformation auf physikalischen Eigenschaften der ausgesendeten und empfangenen elektromagnetischen Strahlung.
-
Diese Ausführungsform der Erfindung bietet den Vorteil, dass eine Erfassung der Informationen lediglich anhand einer Auswertung der elektromagnetischen Strahlung möglich ist, welche von einer Sendeeinheit ausgesendet und von einer Empfangseinheit empfangen wird. Es sind keine weiteren Informationen von externen Quellen, wie einem Server und/oder weiteren Sensoren und/oder Informationsquellen notwendig.
-
In einer weiteren Ausführungsform des Verfahrens handelt es sich bei dem ersten und zweiten ausgesendeten Signal um dasselbe ausgesendete Signal und es handelt sich bei dem ersten und zweiten empfangenen Signal um dasselbe empfangene Signal.
-
In dieser Ausführungsform handelt es sich bei den Sende- und Empfangsvorrichtung ebenfalls um dieselben Vorrichtungen.
-
Diese Ausführungsform der Erfindung bietet den Vorteil, dass eine Klassierung lediglich anhand eines ausgesendeten und eines empfangenen Signals möglich ist. Hierdurch können anhand einer Messung mehrere Objektmerkmale erfasst und ausgewertet werden. Hierdurch kann eine Klassifikationsgüte bei gleichbleibenden Kosten und ohne wesentlichen Mehraufwand verbessert werden.
-
In einer weiteren Ausführungsform des Verfahrens wird/werden die Abstandsinformation basierend auf einer Laufzeitmessung des ersten ausgesendeten und ersten empfangenen Signals und/oder einer Messung einer Phasenlage zwischen dem ersten ausgesendeten und ersten empfangenen Signal und/oder über ein Triangulationsverfahren ermittelt.
-
Diese Ausführungsform der Erfindung bietet den Vorteil, dass über die Laufzeitmessung sehr schnell und unkompliziert eine Abstandsinformation gewonnen werden kann. Über eine Messung der Phasenlage kann diese Information ebenfalls ermittelt und ggf. noch exakter bestimmt werden.
-
Alternativ oder ergänzend kann der Abstand auch über ein Triangulationsverfahren bestimmt werden, bei welchem die Sendevorrichtung und die Empfangsvorrichtung örtlich separiert sind. In den meisten Fällen eine kleine örtliche Separation von Sende und Empfangsvorrichtung notwendig sein, da es sich um unterschiedliche Geräte handelt. Bei der Triangulation können jedoch auch sehr große Abstände gewählt werden, beispielsweise größer als 1m oder größer als 5m oder größer als 100m. Hierdurch ist es möglich, auch sehr kleine Bewegungen von Objekten anhand einer räumlichen Ablenkung der elektromagnetischen Strahlung zu messen, beispielsweise entsprechend einem über Triangulation betriebenen Lasermikrofon.
-
Ein derartiges Verfahren kann beispielsweise bei einer Verwendung von versetzt angeordneten Sende- und Empfangsvorrichtungen, beispielsweise in Parkhäusern oder in Fahrzeugen, angewandt werden.
-
In einer weiteren Ausführungsform des Verfahrens wird/werden die Schwingungsinformation basierend auf wenigstens einer Laufzeitmessung des zweiten ausgesendeten und zweiten empfangenen Signals und/oder einer Messung einer Phasenlage zwischen dem zweiten ausgesendeten und zweiten empfangenen Signal und/oder über ein Triangulationsverfahren ermittelt.
-
Diese Ausführungsform des Verfahrens bietet ebenfalls die oben erwähnten Vorteile. Insbesondere können durch eine Messung einer Phasenlage zwischen ausgesendeter und empfangener Strahlung sehr kleine Schwingungen des Objekts erfasst werden, sodass sich diese Methode gut für die Detektion von Festkörperschwingungen eignet. Auch ein Triangulationsverfahren bietet sich zur Messung von Festkörperschwingungen an und wird beispielsweise bei einigen Lasermikrofonen eingesetzt.
-
Sowohl für die Ermittlung der Abstandsinformation als auch für die Ermittlung der Schwingungsinformation können jeweils mehrere Verfahren kombiniert angewandt werden. Durch die Ermittlung der Informationen mittels mehrerer unterschiedlicher Verfahren kann folglich eine Redundanz geschaffen werden.
-
In einer weiteren Ausführungsform der Erfindung wird die Anstandsinformation basierend auf einer Laufzeitmessung der ersten elektromagnetischen Signale und die Schwingungsinformation basierend auf einer Messung einer Phasenlase zwischen den zweiten elektromagnetischen Signalen ermittelt wird.
-
Diese Ausführungsform des Verfahrens bietet den Vorteil, dass für die Ermittlung der Abstandsinformation und der Schwingungsinformation jeweils gut geeignete Messverfahren eingesetzt werden. Da die Messverfahren sich unterscheiden, entsteht zudem eine Art Redundanz, sodass die Wahrscheinlichkeit, dass beide Informationen fehlerhaft sind, sinkt.
-
In einer weiteren Ausführungsform des Verfahrens erfolgt eine räumliche Abtastung einer Umgebung. Hierbei werden für wenigstens zwei unterschiedliche Bereiche der Umgebung jeweils wenigstens eine Abstands- und eine Schwingungsinformation empfangen und es erfolgt eine Klassierung, insbesondere eine semantische Segmentierung, der abgetasteten Umgebung anhand der empfangenen Informationen.
-
Diese Ausführungsform des Verfahrens bietet den Vorteil, dass ein Bild einer Umgebung erzeugt werden kann, in welchem Objekte klassifiziert dargestellt werden können. Derartige Verfahren sind essenziell für automatisierte Fahrzeuge oder Roboter, insbesondere wenn sich diese selbständig bewegen sollen. Bei einer semantischen Segmentierung wird in diesem Verfahren versucht, jedem Messwert ein Objekt zuzuordnen. Ist dies nicht möglich, wird der Messwert entsprechend gekennzeichnet, beispielsweise in dem diesem der Wert 0 zugewiesen wird. Bei diesem Verfahren ist es nicht notwendig, dass für jeden abgetasteten Bereich der Umgebung sowohl eine Abstandsinformation als auch eine Schwingungsinformation ermittelt wird. Es ist ausreichend, wenn zumindest für jeweils zwei unterschiedliche Bereiche diese Informationen ermittelt werden. Es ist auch denkbar, dass wesentlich mehr Abstandwerte bei der Abtastung ermittelt werden und nur für einen bestimmten Prozentsatz zusätzlich eine Schwingungsinformation ermittelt wird.
-
In einer weiteren Ausführungsform der Erfindung basieren die empfangenen Abstandsinformation und die Schwingungsinformation auf Messdaten eines Lidars und/oder Radars.
-
Diese Ausführungsform der Erfindung bietet den Vorteil, dass das Verfahren mittels bereits eingesetzter Technologien realisiert werden kann und folglich sehr kostengünstig und zeitnah umsetzbar ist. Speziell die Wellenlängen eines Lidars ermöglichen zuverlässige Messungen von Festkörperschwingungen von Objekten.
-
Beispielsweise kann ein Lidar zusätzlich zur Abstandsdetektion als Lasermikrofon verwendet werden, sodass durch auf diese Wiese zusätzlich gewonnenen Information eine verbesserte Klassifikation ermöglichen. Anstelle Objekte lediglich anhand klassischer Methoden durch Auswertung von Abstandswerten und durch diese erfasste Geometrien und Bewegung zu erkennen, werden zusätzlich die Geräusch- bzw. Schwingungsinformationen des entsprechenden Bildbereiches einem Klassifikator zugeführt, welches basierend auf den Mehrinformation ein besseres Klassifikationsergebnis erzielen kann.
-
Ein weiterer Vorteil ist, dass nur ein Sensor benötigt wird, um zwei voneinander unabhängige Informationen zu erhalten.
-
Des Weiteren wird ein Objekttracking vereinfacht, da Objekte anhand eines objekttypischen Schwingungsverhaltens besser erkannt und verfolgt werden können.
-
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Klassierung anhand eines vergleichenden Klassifikationsalgorithmus und/oder eines maschinelles Lernsystems erfolgt.
-
Bei dem vergleichenden Klassifikationsalgorithmus kommen zur Klassifikation Vergleichsverfahren zum Einsatz, sodass ein Datensatz mit Vergleichsdaten zur Verfügung gestellt werden muss. Anhand eines Vergleichs der Informationen mit den Vergleichsdaten können folglich Objekte klassifiziert werden.
-
Das maschinelle Lernsystem kommt im Allgemeinen ohne derartige Vergleichsdaten aus. Basiert das maschinelle Lernsystem beispielweise auf einem neuronalen Netz, so kann allein dieses Netz ausreichend sein, um die Klassifizierung durchzuführen. Anhand von in einem Einlernverfahren angepasster Gewichte des neuronalen Netzes kann eine zuverlässige Klassierung unterschiedlicher Objekte erfolgen, ohne dass hierfür zusätzliche Informationen aus Datenbanken oder ähnlichem benötigt werden.
-
Diese Ausführungsform des Verfahrens bietet den Vorteil, dass eine Klassifikation anhand der Informationen auch dann möglich ist, wenn beispielsweise die Schwingungsinformationen an sich keinen erkennbaren Mehrwert zu liefern scheinen, da deren Auftreten zunächst keinem erklärbaren Muster zu folgen scheint. Bei der Erfassung und Auswertung einer großen Menge an Messwerten können jedoch ggf. charakteristische Merkmale extrahiert werden, die mittels der genannten Methoden zu einem Mehrwert und besseren Klassifikationsgüten führen. Insbesondere bei der Verwendung eines maschinellen Lernsystems können derartige Informationen sehr gut verarbeitet und gewinnbringend eingesetzt werden.
-
Es wird zudem ein maschinelles Lernsystem zur Klassierung beansprucht, welches dazu eingerichtet ist und derart eingelernt wurde, basierend auf wenigstens einer dem maschinellen Lernsystem zur Verfügung gestellten, auf einem von einer Sendevorrichtung ersten ausgesendeten elektromagnetischen Signal und einem von einer Empfangsvorrichtung ersten empfangenen elektromagnetischen Signal basierenden, Abstandsinformation eines Objekts und wenigstens einer dem maschinellen Lernsystem zur Verfügung gestellten, auf einem von einer Sendevorrichtung zweiten ausgesendeten elektromagnetischen Signal und einem von einer Empfangsvorrichtung zweiten empfangenen elektromagnetischen Signal basierenden, Schwingungsinformation des Objekts, welche eine Festkörperschwingung wenigstens eines Teilbereiches des Objekts repräsentiert, eine Klassierung des Objekts durchzuführen.
-
Zum Einlernen des maschinellen Lernsystems können unterschiedliche Verfahren, wie das überwachte oder unüberwachte Lernen eingesetzt werden. Als maschinelles Lernsystem kann beispielsweise ein künstliches neuronales Netz, ein rekurrentes neuronales Netz, ein convolutional neural Network oder ein auf Backpropagation basierendes Netzwerk eingesetzt werden. Auch sind die Verwendung eines Autoencoders oder vergleichbarer Strukturen bzw. Algorithmen denkbar. Es sind auch Kombinationen mehrerer Algorithmen oder Netztypen möglich. Generell können auch mehrere Netze miteinander vernetzt sein und Ausgabewerte einzelner Netze als Eingabewerte in weitere Netze verwendet werden.
-
In einer weiteren Ausführungsform des maschinellen Lernsystems weist dieses wenigstens drei neuronale Netze auf, wobei in eine Eingangsschicht eines ersten neuronalen Netzes die wenigstens eine Abstandsinformation eingeht, in eine Eingangsschicht eines zweiten neuronalen Netzes die wenigstens eine Schwingungsinformation eingeht und in eine Eingangsschicht eines dritten neuronalen Netzes von dem ersten und zweiten neuronalen Netz ausgegebene Daten eingehen, insbesondere wobei anhand des dritten neuronalen Netzes eine Klassierung von Objekten erfolgt.
-
Diese Ausführungsform der Erfindung bietet den Vorteil, dass zunächst Netzwerke die beiden unterschiedlichen Informationen auswerten und anschließend bereits verarbeitet Informationen an das dritte neuronale Netzwerk weitergegeben werden. Hierdurch lassen sich je nach verwendetem neuronalen Netz sowohl die Performance des maschinellen Lernsystems als auch dessen Klassifikationsgüte verbessern.
-
Des Weiteren wird ein maschinenlesbares Speichermedium beansprucht, auf welchem das maschinelle Lernsystem gespeichert ist.
-
Darüber hinaus wird eine Vorrichtung zur Klassierung, insbesondere ein Steuergerät beansprucht, welche bzw. welches dazu eingerichtet ist, ein Verfahren zur Klassierung nach einem dieser Erfindung zugrunde liegenden Verfahren auszuführen.
-
In einer weiteren Ausführungsform der Erfindung umfasst diese Vorrichtung das oben offenbarte maschinenlesbare Speichermedium.
-
Figurenliste
-
- 1 zeigt eint schematisches Verfahrensdiagramm.
- 2 zeigt eine mögliche Realisierung des Verfahrens mittels eine maschinellen Lernverfahrens.
- 3 zeigt eine beispielhafte Umsetzung des Verfahrens mittels eines weiteren maschinellen Lernverfahrens.
-
Ausführungsbeispiele
-
In einem ersten Ausführungsbeispiel ist ein Laser, welcher Licht mit einer Wellenlänge von etwa 900 nm ausstrahlt, als Sendevorrichtung in einem Parkhaus angebracht. Der Laser wird gepulst betrieben und sendet Pulse mit einer Länge von 5 ns aus. Mittels einer hochsensiblen Fotodiode, welche zusammen mit dem Laser in einem gemeinsamen Gehäuse untergebracht ist und welche als Empfangsvorrichtung dient, werden vom Laser ausgesendete und an einem Objekt reflektierte elektromagnetische Signale empfangen. Der Laser und die Fotodiode sind hierbei derart zeitlich synchronisiert betrieben, dass sowohl die Laufzeit des Laserpulses, welche für das Zurücklegen der Strecke vom Laser, zu einem Objekt und zurück zum Bildsensor benötigt wird, als auch eine Phasendifferenz zwischen dem ausgesendeten Laserpuls und dem empfangenen Signal messbar sind.
-
Auf einer ebenfalls in dem Gehäuse untergebrachten Recheneinheit werden die ausgesendeten und empfangenen Signale derart ausgewertet, dass basierend auf einer Laufzeitmessung des ausgesendeten und empfangenen Signals ein Abstand eines vom Laser angestrahlten Objekts ermittelt wird. Zudem wird basierend auf einer Messung einer Phasenlage zwischen dem ausgesendeten und empfangenen Signal eine Schwingungsinformation des Objekts ermittelt. Da das reflektierte Signal je nach Abstand des Objekts zum Laser aufgrund der kurzen Laserpulse ggf. erst nach dem vollständigen Aussenden des Laserpulses empfangen wird, wird für die Ermittlung der Phasendifferenz die bei unendlicher Pulslänger theoretisch vorliegende Phase des ausgesendeten Signals verwendet.
-
Die auf dieses Weise ermittelten Abstands- und Schwingungsinformationen werden von der Recheneinheit bereitgestellt und über eine Schnittstelle an einen zentralen Server weitergeleitet.
-
Auf diesem zentralen Server läuft das in Fig. dargestellte Verfahren ab, welches in Schritt 101 startet.
-
In Schritt 102 wird von dem zentralen Server die Abstandsinformation empfangen.
-
In Schritt 103 wird von dem zentralen Server die Schwingungsinformation empfangen.
-
In Schritt 104 erfolgt basierend auf den empfangenen Informationen eine Klassierung des Objekts, in welchem ermittelt wird, um welche Art von Objekt es sich handelt. Hierbei kann das Objekt zu verschiedensten Klassen zugeordnet werden, wie beispielsweise Kraftfahrzeug, Fußgänger, Radfahrer, Einkaufswagen, etc. Es können auch wesentlich detaillierte Klassifikationen erfolgen, wie Kleinwagen, Kombi, Limousine, Erwachsene Person, Kind, etc.
-
Das Verfahren endet in Schritt 105.
-
In diesem Ausführungsbeispiel erfolgt die Klassierung mittels eines maschinellen Lernsystems, welches in 2 skizziert ist. Mittels einer Messeinrichtung 201, in diesem Fall dem Laser, der Fotodiode und der Recheneinheit werden Abstandsinformationen und Schwingungsinformationen eines Objekts ermittelt. Die Abstandsinformationen werden in eine Eingangsschicht eines ersten neuronalen Netzes 202 eingespeist und die Schwingungsinformationen in ein zweites neuronales Netz 203. Die beiden neuronalen Netze 202, 203 weisen jeweils mehrere versteckte Schichten und eine Ausgangsschicht auf. Die jeweils an den Ausgangsschichten der Netze 202, 203 auslesbaren Daten werden als Eingangsdaten in ein drittes neuronales Netz 204 eingespeist. Das dritte neuronale Netz 204 weist eine Ausgangsschicht mit n Neuronen auf, wobei n der Anzahl an verschiedenen Klassen entspricht, welche von dem neuronalen Netz unterschieden werden sollen. Jedem Neuron der Ausgangsschicht ist entsprechend eine Klasse zugeordnet. Der an jedem Neuron der Ausgangsschicht auslesbare Wert entspricht in diesem Ausführungsbeispiel einer Wahrscheinlichkeit dafür, dass es sich bei dem Objekt, dessen Abstands- und Schwingungsinformation ausgewertet wurde, um ein Objekt der dem entsprechenden Neuron zugeordneten Klasse handelt. Die aus der Ausgangsschicht des dritten neuronalen Netzes 204 ausgelesene Information wird in diesem Ausführungsbeispiel auf einem Display 205 visualisiert.
-
In diesem Ausführungsbeispiel befinden sich zudem Kameras in dem Parkhaus, die ebenfalls die von dem Laser bestrahlbaren Bereiche erfassen. Diese Kamerabilder werden ebenfalls ausgewertet und zusammen mit den Zusatzinformationen aus den Messungen mittels des Lasers auf dem Bildschirm 205 dargestellt.
-
In einem weiteren Ausführungsbeispiel werden die Abstands- und die Schwingungsinformation mittels unterschiedlicher Systeme erfasst. Zur Ermittlung der Abstandsinformation kommt ein Radarsystem zum Einsatz, welches einen vordefinierten Bereich eines Parkhauses erfasst. Zur Ermittlung der Schwingungsinformationen kommen mehrere Laser und Laserdetektoren zum Einsatz, wobei die Laserdetektoren jeweils örtlich von den Lasern getrennt angeordnet sind. In diesem Ausführungsbeispiel sind Laser und Laserdetektor jeweils etwa 10m voneinander entfernt angeordnet. Auf diese Weise ist es möglich, mittels eines Triangulationsverfahrens kleines Festkörperschwingungen von Objekten zu detektieren. Die von beiden Systemen erfassten Informationen werden an einen zentralen Server weitergegeben, der diese Auswertet und basierend auf den Informationen eine Klassierung der mittels der Systeme erfassten Objekte durchführt.
-
In einem weiteren Ausführungsbeispiel wird ein Bereich eines Parkhauses mit mehreren Lasern bestrahlt, wobei die Laser örtlich voneinander separierte Bereiche bestrahlen. Jedem Laser ist ein Laserdetektor zugewiesen, der reflektierte Signale des jeweiligen Lasers erfasst. Die Laser werden gepulst betrieben und zeitversetzt aktiviert, sodass eine klare Separation der Lichtpulse erfolgen kann. Eine Recheneinheit ermittelt basierend auf den mittels der Laserdetektoren erfassten Signalen Abstandsinformationen und Schwingungsinformationen für die unterschiedlichen Bereiche, bzw. für angestrahlte Objekte in den unterschiedlichen Bereichen. Zur Ermittlung der Abstands- und Schwingungsinformationen werden sowohl die Laufzeiten der einzelnen gepulst ausgesendeten Wellenzüge als auch Phasendifferenzen zwischen empfangenen und ausgesendeten Pulsen herangezogen. Da in diesem Ausführungsbeispiel sehr mehrere Laser zum Einsatz kommen, kann mit den erhaltenen Daten ein 3D-Bild der Umgebung erzeugt werden, welches bestrahlte Objekte darstellt. Die Daten werden auch in diesem Ausführungsbeispiel einem mittels eines neuronalen Netzes ausgewertet, welches eine Klassifikation der einzelnen Abstands- und Schwingungsinformationen durchführt. Auf diese Weise entsteht ein 3D-Bild der Umgebung, in welchem zudem einzelne Objekte klassifiziert werden. Das auf diese Weise erzeugte Bild kann anschließend auf einem Bildschirm dargestellt werden.
-
In einem weiteren Ausführungsbeispiel ist ein drehbarer Lidar Sensor auf einem Fahrzeug angebracht. Dieser enthält 64 Laser und 64 Laserdetektoren, welche ein vertikales Sichtfeld von etwa 30° erfassen können. Der Sensor ist zudem in der Lage sich bis zu 20 Mal pro Sekunde um eine vertikale Achse zu drehen und somit eine 360° Aufnahme einer Umgebung des Fahrzeugs ermöglicht. Pro Umdrehung können theoretisch je nach Drehgeschwindigkeit über 250000 Abstands- und Schwingungsinformationen ermittelt werden, falls von jedem angestrahlten Bereich eine Reflexion der ausgesendeten Strahlung erfasst wird. Die Abstands- und Schwingungsinformationen werden in diesem Ausführungsbeispiel mittels eines maschinellen Lernsystems ausgewertet, mittels welchem eine semantische Segmentierung des aufgezeichneten 360° Bilder durchgeführt wird. Hierdurch entsteht ein Abstandsbild einer Umgebung, welches zusätzlich Informationen über die Art der angestrahlten Objekte enthält. Derartige Informationen sind für automatisiert betriebene Systeme, insbesondere sich automatisiert bewegende Systeme, wie automatisiert fahrende Fahrzeuge extrem nützlich.
-
In einem weiteren Ausführungsbeispiel erfolgt die Ermittlung von Abstands- und Schwingungsinformationen mittels eines in einem Fahrzeug verbauten Radarsensors. Auch hier werden sowohl die Laufzeiten als auch die Phasendifferenzen zwischen ausgesendeter und empfangener Strahlung zur Ermittlung dieser Informationen herangezogen. Die Informationen werden anschließend in ein neuronales Netz eingespeist, welches eine Klassierung anhand der erfassten Daten durchführt.
-
In 3 ist ein Ausführungsbeispiel eines maschinellen Lernsystems dargestellt, welches dazu eingerichtet ist und derart eingelernt wurde, basierend auf wenigstens einer dem maschinellen Lernsystem zur Verfügung gestellten, auf einem von einer Sendevorrichtung ersten ausgesendeten elektromagnetischen Signal und einem von einer Empfangsvorrichtung ersten empfangenen elektromagnetischen Signal basierenden, Abstandsinformation eines Objekts und wenigstens einer dem maschinellen Lernsystem zur Verfügung gestellten, auf einem von einer Sendevorrichtung zweiten ausgesendeten elektromagnetischen Signal und einem von einer Empfangsvorrichtung zweiten empfangenen elektromagnetischen Signal basierenden, Schwingungsinformation des Objekts, welche eine Festkörperschwingung wenigstens eines Teilbereiches des Objekts repräsentiert, eine Klassierung des Objekts durchzuführen.
-
Das maschinelle Lernsystem weist ein erstes 303 und einer zweites 304 faltendes neuronales Netz (Convolutional Neural Networks) auf, in welche Schwingungsinformationen 302 und Abstandsinformationen 301 eingehen, wobei in das erste neuronales Netz 303 die Abstandsinformationen 301 und in das zweite neuronale Netz 304 die Schwingungsinformationen eingespeist werden. Hinter dem zweiten neuronalen Netz befindet sich ein deconvolutional neuronales Netze 306, welches die Daten einer Ausgangsschicht des zweiten neuronalen Netzes 304 weiterverarbeitet. Basierend auf den Daten einer Ausgangsschicht des ersten neuronalen Netzwerks 303 erfolgt mittels eines zwischengeschalteten Algorithmus 307 eine erste grobe Bildauswertung, deren Ergebnis für ein Pooling der durch das zweite neuronale Netz 304 und das deconvolutional neuronale Netz 306 verarbeiteten Daten verwendet wird. Das Pooling findet hierbei in einem vierten neuronalen Netz 308 statt, welches gleichzeitig die finale Klassifikation der eingespeisten Schwingungsdaten 302 ausgibt.
-
Die von dem ersten neuronalen Netz 303 ausgegebenen Daten werden ebenfalls in einem deoconvolutional neuronalen Netz 305 weiterverarbeitet, welches eine Klassifikation der eingespeisten Abstandsdaten 301 ausgibt. Die von den deoconvolutional neuronalen Netzen 308, 305 ausgegeben Daten werden mittels eines weiteren Algorithmus 309 fusioniert. Hierbei findet eine elementweise Mittelwertbildung statt.
-
In diesem Ausführungsbeispiel wurden Daten einer Fahrzeugumgebung eingespeist, welche anhand der von dem Algorithmus 309 ausgebbaren Daten als semantisch segmentiertes 3D-Umfeld 310 darstellbar sind und für beliebige Folgeanwendungen weiterverwendet werden können.
-
In einem weiteren Ausführungsbeispiel ist das maschinelle derart trainiert, dass die Schwingungsinformationen 302 in das neuronale Netz 303 und die Abstandsinformationen in das neuronale Netz 304 eingespeist werden und auf diese Weise eine Klassierung erfolgt.
-
In einem weiteren Ausführungsbeispiel werden sowohl die Abstandsinformationen als auch die Schwingungsinformationen einem Pooling unterzogen. Hierfür kann nach dem in 3 dargestellten deconvolutional neuronalen Netz 305 ein weiteres neuronales Netz zwischengeschaltet werden. Das in diesem Netz durchgeführte Pooling wird in diesem Ausführungsbeispiel von Ausgangsdaten des neuronalen Netzwerks 304 beeinflusst. In einem weiteren Ausführungsbeispiel findet das Pooling ohne Einfluss des jeweils anderen Auswertekanals (der Schwingungsinformation bzw. Abstandsinformationen) statt.
-
In einem weiteren Ausführungsbeispiel ist ein Fahrzeug mit einem Lidar und einem Steuergerät ausgestattet, welches basierend auf den mittels des Lidars erfassten Daten eine semantische Segmentierung und 3D-Darstellung einer Fahrzeugumgebung ermittelt. Basierend auf den ermittelten Informationen der Fahrzeuginformationen werden mehrere Fahrerassistenzsysteme betrieben. Unter anderem werden ein Notbremsassistent, eine ACC-Funktion und ein automatisiertes Einparksystem mittels der ermittelten Informationen betrieben.
-
In einem weiteren Ausführungsbeispiel wird mittels eines Lidars eine Umgebung abgetastet und es werden für jeden abgetasteten Bereich sowohl Abstands- als auch Schwingungsinformationen ermittelt. Diese Informationen werden anschließend in ein gemeinsames neuronales Netzwerk eingespeist, welches basierend auf den gemeinsam einspeisten Informationen eine Klassierung durchführt.
-
In einem weiteren Ausführungsbeispiel wird wieder mittels eines Lidars eine Umgebung abgetastet, wobei mehrere örtlich voneinander separierte Bereiche mittels gepulster Strahlung mit einer Wellenlänge von 1300 nm angestrahlt werden und Reflexionen der ausgesendeten Strahlung erfasst werden. In ein maschinelles Lernsystem werden anschließend die Messwerte und die Ausstrahlzeiten und Phasenlagen der ausgesendeten Lichtpulse eingespeist, anhand welcher dieses eine Klassierung der erfassten Bereiche durchführt.
-
Dieses maschinelle Lernsystem wurde mittels eines überwachten Lernverfahrens eingelernt. Die oben genannten Daten wurden hierfür als Eingangswerte verwendet und entsprechend eingespeist. Die Ausgangswerte wurden mit Referenzwerten verglichen, welche mittels eines Klassifikationsalgorithmus und händische Zuordnung von Objekten basierend auf Kamerabildern der gleichen Umgebung erstellt wurden.
-
In einem weiteren Ausführungsbeispiel erfolgt anhand eines Lidarsensors, welcher an einem Fahrzeug angebracht ist, eine semantische Segmentierung, wobei jedem mittels des Lidars aufgezeichneten Messpunkt eine Klasse zugeteilt wird. In diesem Ausführungsbeispiel entspräche dies jedem Abstandswert, welchen der Lidarsensor liefert. Als Klasse werden exemplarisch die Klasse Fahrzeug und Hintergrund genannt.
-
Der Lidarsensor zeichnet ein nicht dichtes 360° Abstandsbild mit 32 Höhenschichten und rotationsgeschwindigkeitsabhängiger Azimutwinkelauflösung. Zusätzlich wird mittels des Lidars eine Geräuschkarte aufgebaut, die das aufgetretene Geräusch an jeder Position, eines vorher definierten Gitternetzes, seit dem letzten Frame, oder auch über mehrere Frames darstellt. Die Geräuschkarte wird anhand der gemessenen Festkörperschwingungen erstellt.
-
Diese beiden Informationsquellen werden vom Klassifikator, in diesem Ausführungsbeispiel einem KI-Modul unterschiedlich behandelt. Für die Fahrzeugerkennung auf dem Abstandsbild wird ein räumlicher Kontext herangezogen, d.h. um einzelnen Abstandsmessung des Lider eine Klasse geben zu können, wird vom Klassifikator eine vordefinierte Menge von Abstandsmessungen betrachten, welche derart gewählt ist, dass diese die Geometrie des Fahrzeuges beschreiben kann. In diesem Ausführungsbeispiel werden hierfür alle 32 Höhenschichten und jeweils 32 zeitversetzt aufgenommene Abstandswerte in den 32 Höhenschichten herangezogen (dies entspricht einem Öffnungswinkel von etwa 100°).
-
Um das Fahrzeug anhand der Geräuschkarte erkennen zu können, werden lediglich jeweils an einen Messpunkt angrenzende weitere Messpunkte (jeweils vier) gleichzeitig vom Klassifikator ausgewertet.
-
Ein gemeinsames KI-Modul erzeugt aus beiden Informationsquellen das gewünschte Ergebnis der Semantischen Segmentierung, was im genannten Ausführungsbeispiel eine Trennung von Fahrzeugen und Hintergrund ermittelt.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- „Multi-View 3D Object Detection Network for Autonomous Driving“ von Xiaozhi Chen, Huimin Ma, Ji Wan, Bo Li, Tian Xia, Department of Electronic Engineering, Tsinghua University, Baidu Inc. (LIDARarXiv: 1611.07759v3 [cs.CV] 22 Jun 2017) [0002]
