-
Die
Erfindung betrifft ein Verfahren zur multisensoriellen Objekterkennung
in mindestens einem vorgebbaren Messraum.
-
Die
rechnerbasierte Auswertung von Sensorsignalen zur Objekterkennung
und Objektverfolgung ist bereits aus dem Stand der Technik bekannt. Beispielsweise
sind Fahrerassistenzsysteme für Straßenfahrzeuge
erhältlich,
welche vorausfahrende Fahrzeuge mittels Radar erkennen und nach
verfolgen, um z.B. die Geschwindigkeit und den Abstand des eigenen
Fahrzeugs zum vorausfahrenden Verkehr automatisch zu regeln. Für den Einsatz
im Fahrzeugumfeld sind darüber
hinaus unterschiedlichste Arten von Sensoren, wie z.B. Radar, Laser-
und Kamerasensoren bereits bekannt. Diese Sensoren sind in ihren
Eigenschaften sehr unterschiedlich und besitzen unterschiedliche
Vor- und Nachteile. Beispielsweise unterscheiden sich derartige
Sensoren in ihrem Auflösungsvermögen oder
in der spektralen Empfindlichkeit.
-
Aus
der älteren
Anmeldung
DE 102006013597.0 ist
ein multisensorieller Hypothesen-basierter Objektdetektor und Objektverfolger
bekannt, bei welchem Sensorinformationen aus mehreren unterschiedlichen
für einen
Messraum, z.B. ein Suchfens ter, erfassten Sensorsignalströmen mit
unterschiedlichen Sensorsignaleigenschaften gemeinsam ausgewertet
werden. Zur Auswertung werden die wenigstens zwei Sensorsignalströme dabei
nicht aneinander angepasst und/oder aufeinander abgebildet, sondern
es werden in jedem der wenigstens zwei Sensorsignalströme Objekthypothesen
generiert und auf der Grundlage dieser Objekthypothesen Merkmale
für wenigstens
einen Klassifikator generiert. Die Objekthypothesen werden anschließend mittels
des Klassifikators bewertet und einer oder mehreren Klassen zugeordnet,
wobei wenigstens zwei Klassen definiert sind und einer der beiden
Klassen Objekte zuzuordnen sind. Dabei werden die unterschiedlichen
Sensorsignalströme
von Sensoren weitgehend gleichen Typs aber mit unterschiedlichen
Sensorsignaleigenschaften, wie z.B. unterschiedliche Auflösung oder
Empfindlichkeit von verschiedenen Kamerasensoren, erfasst und gemeinsam
verarbeitet. Beispielsweise werden die Bilder zweier Kameras mit unterschiedlichem
Auflösungsvermögen miteinander fusioniert.
Dieses Verfahren ist hinsichtlich der Berücksichtigung von weiteren,
den Messraum repräsentierenden
Informationen begrenzt.
-
Der
Erfindung liegt daher die Aufgabe zu Grunde, ein Verfahren zur multisensoriellen
Objekterkennung zu schaffen, womit Objekte und weitere diese Objekte
und/oder deren Umgebung repräsentierende
Informationen auf eine einfache und zuverlässige Weise erkannt und gegebenenfalls
verfolgt werden können.
-
Diese
Aufgabe wird erfindungsgemäß durch die
im Anspruch 1 angegebenen Merkmale gelöst. Vorteilhafte Weiterbildungen
der Erfindung sind Gegenstand der Unteransprüche.
-
Ausgehend
von der oben genannten älteren Anmeldung
DE 102006013597.0 ,
deren gesamte Offenbarung hiermit durch Verweis miteinbezogen wird, wobei
zur multisensoriellen Objekterkennung in mindestens einem vorgebbaren
Messraum, wie einem Suchfenster, Sensorinformationen aus wenigstens zwei
unterschiedlichen Sensorsignalströmen mit unterschiedlichen Sensorsignaleigenschaften
gemeinsam analysiert und unangepasst derart verarbeitet werden,
dass in jedem der wenigstens zwei Sensorsignalströme Objekthypothesen
generiert werden, die mittels wenigstens einem Klassifikator bewertet und
einer oder mehreren zugehörige
Objekte umfassende Klassen zugeordnet werden, werden beim erfindungsgemäßen Verfahren
im Messraum Sensorsignalströme
mit unterschiedlichen Sensorsignalformen in unterschiedlichen und/oder
gleichen Dimensionen erfasst und gemeinsam analysiert und verarbeitet.
Durch eine derartige Erweiterung des Verfahrens zur multisensoriellen
Objekterkennung auf beliebige ein- oder mehrdimensionale Sensorsignale
und Messgrößen und/oder
Messbereiche im Messraum ist eine differenzierte Objekterkennung
und Umgebungserkennung sowie gegebenenfalls Objektverfolgung ermöglicht.
Dabei können
beliebige Objekte, insbesondere bewegliche Objekte, wie z.B. Tiere
und Personen, flache Objekte, wie z.B. Kanalisationsdeckel, Bordsteinkante,
sicher erkannt und berücksichtigt
werden.
-
Bevorzugt
wird bzw. werden der oder die Sensorsignalströme in mindestens einer räumlichen und/oder
zeitlichen Dimension erfasst. Beispielsweise werden eindimensionale
Sensorsignalströme,
z.B. eines einzelnen Ultraschallsensors oder eines Thermopiles,
erfasst. Als mehrdimensionale Sensorsignalströme werden insbesondere Sensorsignale
eines abbildenden Radars mit Azimuth-, Entfernung-, Dopplerfrequenz-
und Intensitätsdarstellung
erfasst. Auch können
ein- oder mehrdimensionale Rohsignale, z.B. Phasenverschiebungen,
erfasst werden. Zusätzlich
oder alternativ kann der zeitliche Verlauf der Sensorsignale erfasst
werden.
-
Zweckmäßigerweise
werden die Sensorsignalströme
mit unterschiedlichen Sensorsignalformen anhand von Sensoren unterschiedlichen
Typs erfasst, wobei jedem der Sensoren mindestens ein vorgebbarer
Messbereich im Messraum zugeordnet wird. Beispielsweise wird in
Abhängigkeit
vom zugrunde liegenden Sensortyp dem jeweiligen Sensor ein Messbereich
oder Messfenster im insbesondere mehrdimensionalen Messraum zugeordnet,
wohingegen beim Stand der Technik den Sensoren Bildbereiche zugeordnet
werden. Durch eine derartige messbereichs- und sensorabhängige Differenzierung des Messraumes
können
die ermittelten Sensorinformationen in Bezug auf dem zugrunde liegenden
Erfassungsraum genauer und umfangreicher, insbesondere in Bezug
auf zusätzliche
Kontextinformationen, welche Zusatzinformationen, die nicht Bestandteil
des Objektes sind, darstellen, analysiert und anhand des Klassifikators
bewertet werden. Hierzu werden die aus den erfassten Sensorsignalströmen abgeleiteten
Sensorinformationen im Messraum mindestens einem Objekt, mindestens
einer Objektgruppe, mindestens einer Objekteigenschaft, mindestens einem
Objektparameter, und/oder mindestens einer dem Objekt zugehörigen Objektumgebung
zugeordnet.
-
Bevorzugt
wird das Verfahren zur multisensoriellen Objekterkennung zur Umgebungserfassung und/oder
Objektverfolgung bei einem Fahrzeug verwendet.
-
Ausführungsbeispiele
der Erfindung werden anhand einer Zeichnung näher erläutert. Dabei zeigen:
-
1 schematisch
ein Blockschaltbild mit einer Mehrzahl von Sensoren unterschiedlichen
Typs zur Erfassung von Sensorsignalströmen unterschiedlichen Sensorsignalformats
zur differenzierten und erweiterten Objekterkennung und/oder Objektverfolgung.
-
1 zeigt
mehrere Sensoren 1.1 bis 1.z zur Erfassung von
zugehörigen
Sensorsignalströmen
in einem vorgebbaren Messraum R zur Detektion eines Objekts O, z.B.
in einer voraus liegenden Fahrzeugumgebung zur Detektion eines voraus
fahrenden Fahrzeugs.
-
Dabei
werden die mittels der Sensoren
1.1 bis
1.z erfassten
Sensorsignalströme
gemäß dem in der
oben genannten älteren
Anmeldung
DE 102006013597.0 offenbarten
Verfahren zur multisensoriellen Objekterkennung analysiert und gemeinsam
verarbeitet, insbesondere fusioniert. Hierzu werden die mittels
der Sensoren
1.1 bis
1.z erfassten Sensorsignalströme einer
Steuereinheit
2, z.B. einem Fahrassistenzsystem, zur Analyse
und gemeinsamen Verarbeitung zugeführt, wobei in der Steuereinheit
2 das
Verfahren zur multisensoriellen Objekterkennung implementiert ist.
Im Detail werden Sensorinformationen aus wenigstens zwei unterschiedlichen
Sensorsignalströmen
mit unterschiedlichen Sensorsignaleigenschaften von Sensoren gleichen
Typs und gleichen Sensorsignalformen zur gemeinsamen Auswertung
herangezogen. Die Sensorsignalströme werden dabei zur Auswertung
nicht aneinander angepasst und/oder aufeinander abgebildet. Anhand
der wenigstens zwei Sensorsignalströme werden zunächst Objekthypothesen
generiert und auf der Grundlage dieser Objekthypothesen werden sodann
Merkmale für
wenigstens einen Klassifikator generiert. Die Objekthypothesen werden
anschließend
mittels dem wenigstens einen Klassifikator bewertet und einer oder
mehreren Klassen zugeordnet. Da bei sind wenigstens zwei Klassen
definiert, wobei einer der beiden Klassen Objekte zuzuordnen sind.
Somit wird eine einfache und zuverlässige Objekterkennung möglich. Eine
aufwendige Anpassung unterschiedlicher Sensorsignalströme aneinander bzw.
eine Abbildung aufeinander entfällt
hierbei. Im Rahmen des beschriebenen Verfahrens werden die Sensorinformationen
aus wenigstens zwei Sensorsignalströmen direkt miteinander kombiniert
bzw. miteinander fusioniert. Die Objekthypothesen können entweder
eindeutig einer Klasse zugeordnet werden, oder sie werden mehreren
Klassen zugeordnet, wobei die jeweilige Zuordnung mit einer Wahrscheinlichkeit
belegt ist.
-
Darüber hinaus
weisen die Sensorsignalströme
unterschiedliche Sensorsignaleigenschaften, die im Wesentlichen
auf unterschiedlichen Positionen und/oder Orientierungen und/oder
Sensorgrößen der verwendeten
Sensoren 1.1 bis 1.z basieren. Positions- und/oder
Orientierungsabweichungen oder durch einzelne Komponenten verursachte
Abweichungen bei den verwendeten Sensorgrößen führen ferner zu unterschiedlichen
Sensorsignaleigenschaften in den einzelnen Sensorsignalströmen. Beispielsweise
verursachen Kamerasensoren mit einem unterschiedlichen Auflösungsvermögen Unterschiede in
den Größen bei
den Bildaufnahmen. Auch werden häufig
aufgrund unterschiedlicher Kameraoptiken unterschiedlich große Bildbereiche
erfasst. Weiterhin können
z.B. die physikalischen Eigenschaften der Kamerachips völlig unterschiedlich
sein, so dass beispielsweise eine Kamera Umgebungsinformationen im
sichtbaren Wellenlängenspektrum
und eine weitere Kamera Umgebungsinformationen im Infrarot-Spektrum
erfasst, wobei die Bildaufnahmen ein völlig unterschiedliches Auflösungsvermögen aufweisen
können.
-
Das
beschriebene Verfahren wird erfindungsgemäß erweitert, indem als Sensoren 1.1 bis 1.z Sensoren
unterschiedlichen Typs, z.B. Kamerasensoren, wie im Nah- oder Ferninfrarotbereich
empfindliche Kameras (kurz NIR- oder FIR-Kamera genannt) und/oder
CCD-Kameras (mit CCD = charge coupled device), ein oder mehrere
Ultraschallsensoren, RF-Sensor (Funkwellen-Sensor), Lichtsensoren, Temperatursensoren,
Radar, Schallsensoren, Drucksensoren, Regensensoren, mit unterschiedlichen Sensorsignalformen,
insbesondere ein- oder mehrdimensionalen Signalformen, eingesetzt
werden.
-
Im
Detail werden die mittels der Sensoren 1.1 bis 1.z unterschiedlichen
Typs erfassten Sensorsignalströme
in Analogie zu dem oben beschrieben Verfahren zur Objekterkennung
fusioniert und gemeinsam verarbeitet.
-
Anstatt
Bildbereiche, wie bei dem bekannten Multisensorsystem mit Sensoren
gleich Typs, insbesondere Kamerasensoren, den Sensoren zuzuordnen,
wird beim vorliegenden verbesserten Detektionsverfahren jedem der
Sensoren 1.1 bis 1.z mindestens einer von mehreren
vorgebbaren Messbereichen R1 bis Rn im Messraum R zugeordnet. Dabei werden
z.B. je Dimension x, y, z und t jeweils ein Messbereich R1 bis R4
vorgegeben.
-
Anschließend werden
die von den verschiedenen Sensoren 1.1 bis 1.z erfassten
Sensorsignalströme
und insbesondere aus diesen abgeleitete Sensorinformationen im Messraum
R mindestens einem Objekt O, einer Objektgruppe, Objektteilen (z.B. Beine
vs. Oberkörper),
Objekteigenschaften (z.B. Bewegung, Erhabenheit von der Oberfläche) und/oder
einem Kontext, d.h. mindestens einer dem Objekt O zugehörigen Objektumgebung
(z.B. Straße S,
Straßenrand,
Wald, Stadtgebiet, Hintergrund, Himmel) zugeordnet. Beispielsweise
erfasst ein so genannter Lidar-Sensor (Lidar = light detection and ranging,
Lasersensor) Information über
bewegte Beine; ein FIR-Sensor liefert Informationen über einen warmen
Kopf; ein NIR-Sensor liefert Information über Wald und ferner werden
Zusatzinformationen, die nicht Bestandteil des Objektes O sind,
aber zur Objekterkennung beitragen, in Form von Metadaten berücksichtigt.
-
Die
Zusatzinformationen sind dabei nicht notwendigerweise auf die räumliche
oder zeitliche Umgebung des Objektes O in den unterschiedlichen Sensorsignalströmen beschränkt, sondern
umfassen vielmehr auch Metawissen, das abhängig oder unabhängig der
eingesetzten Sensoren 1.1 bis 1.z sein kann. Beispiele
hierfür
sind:
- – sensorunabhängiges Metawissen:
bei der Fahrzeugerkennung kann die Straße S und das Metawissen, dass
sich Fahrzeuge in der Regel auf der Straße S bewegen, herangezogen
werden, um die Erkennungsaufgabe zu lösen; umgekehrt kann in diesem
Szenario "Wasser" und das Metawissen,
dass Fahrzeuge in der Regel nicht schwimmen können, herangezogen werden,
um Falschalarme zu verhindern.
- – sensorabhängiges Metawissen:
kleine Fahrzeuge im Bild haben eine große Entfernung vom Betrachter,
etc.
-
Bei
der Verarbeitung der Sensorsignalströme der Sensoren 1.1 bis 1.z werden
diese Zusatzinformationen als Kontext in die Fusionierung der verschiedenen
Sensorsignalströme
eingebunden, indem:
- – Kontextinformationen als
wenigstens ein separater Sensor 1.1 bis 1.z beschrieben
und in dem oben beschriebenen und bekannten Fusionierungsverfahren
als weitere Fusionsgröße eingebracht
werden;
- – Kontextinformationen
nicht als Sensorstrom, sondern als Merkmal beschrieben und in dem oben
beschriebenen und bekannten Fusionierungsverfahren als weitere Fusionsgröße eingebracht
werden.
-
Alternativ
oder zusätzlich
können
die gemäß dem beschriebenen
Verfahren ermittelten Fusions- und Detektionsergebnisse und die
Zusatzinformationen probabilistisch oder possibilistisch kombiniert werden.
-
Auch
können
die Zusatzinformationen und/oder die Detektionsergebnisse in jeder
anderen beliebigen und geeigneten Art und Weise kombiniert werden,
um eine differenzierte und verbesserte Objekterkennung zu ermöglichen.
-
Durch
die Erweiterung auf beliebige Signale und Messgrößen bzw. Messbereiche R1 bis
Rn im Messraum R ist das Verfahren auf beliebige Sensorkombinationen
anwendbar. Darüber
hinaus ist durch die Berücksichtigung
von Kontextinformationen eine verbesserte Detektions- und Erkennungsleistung möglich. Die
Kombination beliebiger Sensoren 1.1 bis 1.z oder
die Kombination beliebiger Sensoren 1.1 bis 1.z mit
Einbindung von Kontextinformationen oder Zusatzinformationen wird
zur Detektion von beliebigen Objekten O, z.B. Tieren, erhabenen
Objekten, flachen Objekten, Kanalisationsdeckel, eingesetzt.
-
- 1.1
bis 1.z
- Sensoren
- 2
- Steuereinheit
- O
- Objekt
- R
- Messraum
- R1
bis Rn
- Messbereiche
- S
- Straße
- X,
y, z, t
- Dimensionen