-
Die
Erfindung geht aus von einem Verfahren zur computergestützten Klassifizierung
von dreidimensionalen Objekten zu einer oder mehrerer vorgegebenen
Objektklassen, bei dem ein Objekt messtechnisch erfasst wird.
-
In
vielen Anwendungsgebieten werden heute Objektdaten wie z.B. Position,
Ausmaß,
Geschwindigkeit und Beschleunigung aus einer 3D-Umgebung erfasst,
z.B. in industriellen Fertigungsprozessen, sicherheitstechnischen
Anwendungen, auch in der Umfelderfassung von Fahrzeugen, auf die
hier im folgenden in besonderer Weise Bezug genommen wird. Diese
Objektdaten werden von Messeinrichtungen geliefert, welche prinzipiell
aus einem oder mehreren z.T. unterschiedlichen Sensoren bestehen
können,
z.B. Radar, Ultraschall, Video im sichtbaren und infraroten Bereich,
Lidar, Laser, Range-Imager. Auch die Mehrfachverwendung eines Sensortyps
z.B. zur Triangulation oder Trilateration ist üblich.
-
Eine
Zielsetzung in der Verarbeitung von Objektdaten ist die Klassifizierung.
Unter Klassifizierung versteht man die Zuordnung von Objekten zu
bestimmten Objekt klassen. Dabei repräsentiert jede Klasse eine Menge
von Objekten, die als zusammengehörig betrachtet werden. Bei
der Umfelderfassung von Fahrzeugen können beispielsweise Fußgänger, Radfahrer,
Personenkraftwagen, (PKW) und Lastkraftwagen (LKW) wesentliche Objektklassen
sein. Solche Klassifizierungssysteme zur Unterscheidung von Objektklassen
im Fahrzeugumfeld sind bisher jedoch noch nicht verfügbar.
-
Um
eine Objektklassifizierung durchzuführen, sind in Abhängigkeit
von der Art der verwendeten Sensoren und der Anwendungsgebiete unterschiedliche
Verfahren bekannt. Eine Möglichkeit
ist die Klassifizierung basierend auf dem vorhandenen Datenmaterial
selbst (datenbasierter Ansatz). Eine gängige Vorgehensweise für diesen
Ansatz ist die Untersuchung des Datenmaterials, um geeignete Unterscheidungsmerkmale
zu finden. Zielsetzung bei der Ermittlung dieser Merkmale ist die
Diskriminierung der Objekte in die verschiedenen Klassen. Diese
Suche nach geeigneten Merkmalen ist meist mit einem hohen Aufwand
hinsichtlich der Datenanalyse verbunden.
-
So
sind derzeit eingesetzte datenbasierte Ansätze zur Klassifizierung im
starken Maße
von der Wahl des Trainingssets abhängig. Im Training nicht ausreichend
berücksichtigte
Objekteigenschaften oder ein unzureichendes Abdecken möglicher
Situationen können
später
z.B. zu Fehlklassifizierungen führen.
Weiterhin ist der gesamte Trainingsprozess im allgemeinen sehr aufwändig.
-
Auch
ist bei Veränderung
der Objektklassen die Anpassung eines datengetriebenen Klassifizierungssystems
meist mit einem erhöhten
Aufwand verbunden, da im allgemeinen bei einer Änderung der Klassen eine erneute
Analyse des Datenmaterials zur Ermittlung der Unterscheidungsmerkmale notwendig
ist. Im Gegensatz zum da tenbasierten Ansatz wird beim modellbasierten
Ansatz Vorwissen über
die Elemente einer Klasse in Form von Modellen eingebracht. Ziel
ist, die unterschiedlichen Erscheinungsformen möglichst aller in der Praxis
häufig
auftretenden Objekte durch die Verwendung solcher Modelle nachzubilden.
Die Klassifizierung, also die Zuweisung der Objekte zu den Objektklassen,
geschieht im Stand der Technik durch einen Vergleich der Objektdaten
mit den vorher festgelegten Modellen. Es werden also nicht nur die
Messdaten selbst zur Unterscheidung der Objekte verwendet, wie beim datenbasierten
Ansatz.
-
Bisher
sind modellbasierte 2D-Klassifizierungsverfahren wie z.B. das „2D-Template-Matching" bekannt. Bei diesem
Verfahren werden zweidimensionale Schablonen verwendet, um beispielsweise
in einem Videobild charakteristische Muster zur Klassifizierung
eines aufgenommenen Objektes wiederzuerkennen. Diese Schablonen
können
sich je nach Anwendung z.B. auf Form, Helligkeit, Farbe oder Kanten
beziehen.
-
Da
Objekte in Abhängigkeit
von ihrer Orientierung und Lage zum Sensor unterschiedliche Erscheinungsformen
haben können – ein Fahrzeug sieht
ja von vorn betrachtet anders aus als von der Seite betrachtet,
werden je nach Qualitätsanforderungen
zumindest einige bis hin zu sehr vielen solcher Schablonen zur Repräsentation
eines Objektes benötigt.
Dies bringt eine erhöhte
Komplexität
und somit auch einen erhöhten
Rechenaufwand mit sich. Weiterhin muss eine Vorauswahl hinsichtlich
Zahl und Art der Schablonen getroffen werden; dies benachteiligt
untere Umständen
die Klassifizierung eines Objektes für den Fall einer unzureichend
repräsentierten
Erscheinungsform.
-
Ein
weiteres Problem im Zusammenhang mit der unterschiedlichen Erscheinungsform
von Objekten ist neben der Lage des Objekts seine Oberflächenbeschaffenheit,
also Texturierung und Farbe. So können Objekte gleichen Typs
-beispielsweise Objekte mit identischen dreidimensional gemessenen Abmessungen-
je nach Oberfläche,
Farbe und in Abhängigkeit
der Beleuchtungssituation von einem Sensor unterschiedlich wahrgenommen
werden. Bei einem Videosensor ergeben sich beispielsweise unterschiedliche
Helligkeits- und Farbwerte für
Objekte unterschiedlicher Texturen und Beleuchtung. Diese Einflüsse sind
bei 2D-Klassifizierungsverfahren wie z.B. dem „Template-Matching" zu berücksichtigen und
machen die Auswertung der erfassten Daten und die Klassifizierung
sehr komplex und schwierig durchführbar und erfordern gegebenenfalls
eine zu lange Rechenzeit, was insbesondere bei gefordertem schnellen
Echtzeitverhalten eines Systems nicht tolerierbar ist.
-
Vorteile der
Erfindung
-
Mit
den Maßnahmen
der unabhängigen
Ansprüche
wird durch Verwendung einer Datenbank, die erfindungsgemäß dreidimensionale
Modelle speichert, ein Klassifizierungsverfahren offenbart, das
mit wenig Rechenleistung sehr effizient arbeiten kann und das eine
hohe Flexibilität
besitzt und nur geringen Anpassungsaufwand zur Anpassung des Verfahrens
an unterschiedlichste Einsatzgebiete erfordert. Dieses Verfahren
basiert darauf, dass die Messdaten 3D-Daten sind, dass eine sensierte
Messdatenpunktwolke aus 3D-Daten mit den gespeicherten 3D-Datenmodellen
(den Archetypen einer jeweiligen Objektklasse) verglichen und durch
Variation der 3D-Lage
des Modells im Raum auf die Messdatenpunktwolke abgestimmt wird,
und dann die Klassifizierung zu der am besten passenden Klasse erfolgt.
In der Folge können
geeignete Maßnahmen
getroffen werden. Bei der Verwendung im Zusammenhang mit einem Fahrerassistenzsystem
können
beispielsweise Warnsignale ausgegeben, die Bremse betätigt oder weitere,
unten noch beschriebene Aktionen eingeleitet werden.
-
So
ist ein Training zum Erkennen von klassifizierenden Objekteigenschaften
wie bei dem datenbasierten Ansatz aus dem Stand der Technik wegen der
Verwendung von dreidimensionalen Modellen nicht erforderlich.
-
Auch
kann, wenn eine Datenbank von 3D-Modelldaten einmal vorhanden ist,
in vorteilhafter Weise das Klassifizierungssystem flexibel angepasst werden.
So ist die Zuweisung von Modellen der Datenbank zu Objektklassen
relativ unabhängig
vom Gesamtsystem; bei einer Änderung
dieser Zuordnungen oder einer Erweiterung der Datenbank muss keine
zusätzliche
Arbeit für
eine Anpassung des Systems aufgewendet werden.
-
Des
Weiteren bietet der erfinderische „3D-Modell"-Ansatz den Vorteil, dass für jedes
repräsentierte
Objekt im Gegensatz zum 2D-Ansatz des Standes der Technik jeweils
nur ein Modell benötigt wird,
um sämtliche
möglichen
Erscheinungsformen hinsichtlich der Lage des Objektes zu beschreiben. Das
erfindungsgemäße Verfahren
ist daher aufgrund seiner niedrigen Komplexität vor allem in zeitkritischen
(z.B. Sicherheits-) Anwendungen gegenüber rechenintensiveren Möglichkeiten
der Klassifizierung wie dem erwähnten
2D-Ansatz im Vorteil. Auch ist das erfinderische Verfahren durch
die Verwendung von Mess- und Modelldatenpunkten mit Informationen über alle
drei Raumrichtungen unempfindlich gegenüber Texturierungs- und Beleuchtungsrandbedingungen.
-
In
den Unteransprüchen
sind vorteilhafte Ausgestaltungen, Weiterbildungen und Verbesserungen
des jeweiligen Gegenstandes der Erfindung angegeben.
-
Eine
vorteilhafte Weiterbildung des vorliegenden erfinderischen Verfahrens
stellt die Einbeziehung von Zusatzdaten über das Objekt, wie Geschwindigkeit
und Beschleunigung dar. Diese können
dann mit für
die Objektklassen typischen Geschwindigkeitsbereichen und Beschleunigungsvermögen (Längs-/Querbeschleunigung)
verglichen werden.
-
Dadurch
wird die Qualität
der Klassifizierung weiter verbessert. So kann beispielsweise ein
Fußgängermodell
nur einem begrenzten Geschwindigkeitsbereich zugeordnet sein, so
dass ein Objekt, das höhere
Geschwindigkeitsmessdaten aufweist, schon deshalb nicht als Fußgänger in
Frage kommt. Ein Vergleich der Objektbeschleunigung mit dem Beschleunigungsvermögen des
betrachteten Modells kann in gleicher Weise die Klassifizierung
erleichtern. So kann ein Fußgänger beispielsweise
sehr viel schneller seine Bewegungsrichtung ändern als ein Pkw. Weiterhin
kann ein Lkw nicht so schnell beschleunigen, wie ein Pkw.
-
Ebenso,
kann die Verwendung solcher Zusatzinformation als Ausschlusskriterium
eine Verbesserung der Rechengeschwindigkeit des Verfahrens bringen.
Wenn etwa ein Objekt wie oben beschrieben aufgrund seiner zu hohen
Geschwindigkeit nicht als Fußgänger in
Frage kommt, braucht nicht noch ein rechenaufwändiger Modellvergleich von
Objekt mit Fußgängermodell
erfolgen.
-
Eine
weitere Verbesserung des vorliegenden erfinderischen Verfahrens
bezüglich
der Reduzierung des Rechenaufwandes ist der Vergleich der Eckpunkte
von 3D-Modellformen und Messdatenpunktwolke. Dadurch wird die Anzahl
der zu verarbeitenden Datenpunkte erheblich verringert.
-
Eine
weitere vorteilhafte Ausgestaltung des Verfahrens ist der Vergleich
der Formen von Modell und Messdatenpunktwolke anhand von Abstandsberechnung
zwischen den Messdatenpunkten und der berechneten Oberfläche des
Modells. Dadurch wird in einfacher und effektiver Weise ein Vergleichsresultat
für die
Kongruenz der Form aus den Messdaten mit der des 3D-Modells erzeugt.
-
Eine
Qualitätsverbesserung
durch erhebliche Verringerung des Rechenaufwandes stellt im Falle
teilweiser Überdeckungen
eines Objekts, insbesondere durch ein „Drittobjekt", die Nichtberücksichtigung
entsprechender Teile des Modells in den Schritten des Vergleichens
der dreidimensionalen Formen und des Variierens der geometrischen
Beziehung nach Lage und Orientierung zwischen beiden Formen dar.
-
Eine
weitere vorteilhafte Ausgestaltung der vorliegenden Erfindung ist
die Verwendung eines Modells, das Interpolationsdatenpunkte enthält, die interpolieren
zwischen einander entsprechenden Modelldatenpunkten verschiedener
Klassen. So können beispielsweise
fein abgestufte Klassen wie etwa Limousine und Kombi-PKW zu einer
einzigen Klasse vereint werden, wenn die zwischen den beiden unterschiedlichen
Heckformen interpoliert wird. Damit kann die Anzahl notwendiger
Modelle reduziert werden, um dennoch eine gemäß der Anwendung ausreichende
Klassifizierung zu erreichen. Dies erspart Rechenaufwand.
-
Eine
besonders bevorzugte Anwendung des erfindungsgemäßen Verfahrens ist die Anwendung auf
Objekte, die während
des Betriebs eines Kraftfahrzeugs – während der Fahrt und auch im
Stillstand, z.B. vor einer Kreuzung – aus seinem Umfeld sensorisch
erfasst werden.
-
So
können
bei Fahrzeugen in vorteilhafter Weise automatische Schritte mit
vorbestimmten Maßnahmen
spezifisch je nach Klassifizierungsergebnis eingeleitet werden,
wenn das Fahrzeug aufgrund des Ergebnisses weiterer sogenannter
Precrash-Sensorik und -analyse, also Systemen des Standes der Technik
zur Kollisionsvorhersage in einen Unfall mit dem Objekt verwickelt
werden könnte. Insbesondere
kann eine solche Maßnahme
das gezielte Ansteuern von Rückhaltesystemen
je nach Klassifizierungsergebnis enthalten.
-
Weitere
vorteilhafte Maßnahmen
bei der Anwendung des erfinderischen Verfahrens in Kraftfahrzeugen
bestehen bei der Klassifizierung des Objektes in einer Klasse „Fußgänger" darin, dass eine frontseitig
angelenkte Motorhaube automatisch leicht angehoben, oder alternativ
dazu ein außenseitig
am Fahrzeug wirksamer Airbag gezündet
wird, um einen bevorstehenden Zusammenprall mit dem „Objekt" „Fußgänger" besser zu dämpfen und damit die Gefahr
schwerer Verletzungen zu verringern.
-
Eine
zum Zwecke der schnelleren Klassifizierung beanspruchte Weiterbildung
des vorliegenden erfinderischen Verfahrens bei der Anwendung in Kraftfahrzeugen
ist die Durchführung
wenigstens eines der folgenden Schritte:
- a)
Reduzierung der Anzahl der Modelle im Vergleichsschritt, damit jedes
Objekt muss nur mit einer geringeren Anzahl von Modellen der Datenbank
verglichen werden braucht,
- b) Herabsetzen des Qualitätskriteriums,
beispielsweise Reduktion der Komplexität der verwendeten Modelle:
weniger detaillierte Oberflächenbeschreibung,
geringere Anzahl Modell-Eckpunkte.
-
Die
Intensität
beziehungsweise die Grenzen dieser Schritte sind auch während des
Betriebes situationsbedingt dynamisch variierbar.
-
Eine
Realisierungsmöglichkeit
für ein
System zur Durchführung
des erfinderischen Verfahrens ist ein computergestütztes Fahrzeuginformationssystem
enthaltend wirksame Verbindungen zu den oben genannten, am Fahrzeug
vorhandenen Fahrzeugsensoreinrichtungen zur Erfassung von Objekten
aus dem Umfeld des Fahrzeugs, eine computergestützte Datenbank enthaltend dreidimensional
abbildende Modelle von Objekten, einen Steuerkreis zur Analyse und
Klassifizierung der erfassten Objekte, sowie wirksame Verbindungen
zu Aktuatoreinrichtungen am Fahrzeug, die je nach Klassifizierungsergebnis
selektiv betätigbar
sind.
-
Eine
alternative, ebenfalls besonders geeignete Anwendung des erfinderischen
Verfahrens ist die formbasierte Klassifizierung von Bauteilen in
einem Fertigungsprozess. Dadurch wird die Klassifizierung von Bauteilen
gegenüber
den herkömmlichen Methoden
verbessert und beschleunigt.
-
Zeichnungen
-
Anhand
der Zeichnungen werden Ausführungsbeispiele
der Erfindung erläutert.
-
Es
zeigen:
-
1 eine Blockdarstellung
eines Fahrzeugs enthaltend ein computergestütztes Fahrzeuginformationssystem
eingerichtet zur Durchführung
einer Ausgestaltung des erfinderischen Klassifizierungsverfahrens;
-
2 eine schematische Blockdarstellung eines
Aufbaus einer 3D-Modell-Datenbank für eine Ausgestaltung des erfinderischen
Klassifizierungsverfahrens;
-
3 ein übersichtsartiges Flussdiagramm einer
Ausgestaltung des erfinderischen Klassifizierungsverfahrens;
-
4 ein Flussdiagramm zum
Vergleichen der Formen von Messdatenpunktwolken und 3D-Modellen
und zum Klassifizieren von Objekten gemäß einer Ausgestaltung des erfinderischen
Klassifizierungsverfahrens; und
-
5 eine Skizze von vier berechneten
Modellformen gemäß einer
Ausgestaltung des erfinderischen Klassifizierungsverfahrens.
-
Beschreibung
von Ausführungsbeispielen
-
In
den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsgleiche
Komponenten.
-
1 zeigt eine Blockdarstellung
eines Fahrzeugs 1 enthaltend ein computergestütztes Fahrzeuginformationssystem 3 eingerichtet
zur Durchführung
einer Ausgestaltung des erfinderischen Klassifizierungsverfahrens.
-
In
und/oder an dem Fahrzeug 1, wie beispielsweise einem Personenkraftwagen,
sind Sensoren 5 zur dreidimensionalen Erfassung von Objekten (z.B.
Bäume,
Fußgänger, Personenkraftwagen (PKW),
Lastkraftwagen (LKW)) nach allen drei Raumrichtungen aus dem Umfeld
des Fahrzeugs 1 angebracht. Die Art der Sensoren 5 kann
beispielsweise Radar, Ultraschall, Video-Kamera für den sichtbaren
und infraroten Bereich, Lidar, Laser und Range-Kamera (entfernungsmessende
Kamera) oder Kombinationen davon sein. Zweckmässig im Bereich Fahrzeugumfeld
wären zwei
Videokameras, die aufeinander abstimmbar angesteuert sind und dasselbe
Objekt aus verschiedenen Winkeln aufnehmen. Durch Triangulation
lassen sich so 3D-Messpunkte generieren, die Abstandsinformation,
Lateralversatz und Höhe
des Objektes beinhalten. Alternativ oder in Ergänzung kann ein Radarsystem
zur Generierung der 3D-Messpunkte verwendet werden.
-
Die
von den Sensoren ermittelten Messdaten enthalten Informationen über alle
drei Raumrichtungen. Die Messdaten werden über Verbindungen (z.B. Kabel,
Funk, Infrarotübertragung)
an das im Fahrzeug 1 integrierte Fahrzeuginformationssystem 3 weitergeleitet.
Das Fahrzeuginformationssystem 3 besitzt eine Computereinheit 7,
die eine Datenbankanwendung 9 verwaltet, die Daten von
Modellen von verschiedenen Objekten wie z. B. Fußgänger, Transporter und PKWs
enthält.
Dabei ist die Datenbasis derart, dass die Modelldaten bei spielsweise über markante
Eckkoordinaten der 3D-Raumform eines Modells Informationen aller
drei Raumrichtungen enthalten.
-
Des
Weiteren gehört
zur Computereinheit 7 ein programmbasierter Steuerkreis 11 zur
Analyse und Klassifizierung der von den Sensoren 5 erfassten Objekte.
In diesen Steuerkreis 11 werden sowohl die Messdaten von
den Sensoren 5 als auch die für den Vergleich mit den Messdaten
benötigten
Modelldaten aus der Modell-Datenbank 9 eingespeist und
für die Klassifizierung
verarbeitet.
-
Nach
Analyse und Klassifizierung des erfassten Objekts werden dann bestimmte
Aktuatoreinrichtungen 13 des Fahrzeugs von der Steuereinheit 7 über Verbindungen
(z.B. Kabel, Funk, Infrarotübertragung)
entsprechend nach erfasster Situation bzw. Objekt angesteuert. So
kann beispielsweise bei einem erkannten Fußgänger in nur einem Meter Abstand
vor dem Fahrzeug bei einer Fahrgeschwindigkeit von 60 km/h eine
Aktuatoreinrichtung 13 zur Auslösung eines Airbags außen an der
Motorhaube angesteuert werden, da sich dann eine Kollision mit dem
Fußgänger nicht
mehr vermeiden lässt.
-
In 2 ist eine schematische
Blockdarstellung des Aufbaus einer 3D-Modell-Datenbank 9 für eine Ausgestaltung
des erfinderischen Klassifizierungsverfahrens gezeigt.
-
Die
Objektklassen sind dort in die drei Klassen „PKW" 20, „LKW" 22 und „Fußgänger" 24 aufgeteilt.
-
Der
Objektklasse „PKW" 20 sind
die 3D-Modell-Datensätze „PKW" mit Fließheck" 26, „PKW mit Stufenheck" 28 und „PKW als
Kombi" 30 zugeordnet.
-
Zu
der Objektklasse „LKW" 22 gehören die 3D-Modell-Datensätze „Transporter" 32 und „LKW" 34 und
zu der Objektklasse „Fußgänger" 24 der 3D-Modell-Datensatz „Fußgänger" 36. Die
Datensätze
der 3D-Modelle enthalten Daten zur Dar stellung der äußeren Form
eines Modells gemäß eines
Objekts ihrer Bezeichnung den sogenannten Modelltyp.
-
Jedem
3D-Modell-Datensatz 26, 28, 30, 32, 34, 36 sind
spezifische Geschwindigkeitsbereichsdaten 38 und weitere
Zusatzinformationsdaten 40 zugeordnet, etwa die maximale
Höhe oder
Breite des Objekts. Die Geschwindigkeitsbereichsdaten 38 geben den
Modelltyp entsprechende Geschwindigkeitsgrenzen an. So beispielsweise
bei dem Modelltyp Fußgänger die
Grenzen 0 km/h (untere Grenze) und 30 km/h (schnell laufend) als
obere Grenze.
-
Die
weiteren Zusatzinformationsdaten 40 beziehen sich zum Beispiel
auf typisches Beschleunigungsvermögen.
-
In 3 ist ein schematisches
Flussdiagramm für
den Steuerfluss einer Ausgestaltung des erfinderischen Klassifizierungsverfahrens
dargestellt.
-
Dabei
werden die von den Sensoren 5 erfassten 3D-Messdaten 50 und
weitere Sensordaten 52 wie beispielsweise die Geschwindigkeit
des erfassten Objekts mit den 3D-Modelldaten 26, 28, 30, 32, 34, 36 der
Modell-Datenbank 9 und den Modellen zugeordneten Zusatzinformationsdaten 38, 40 wie beispielsweise
ein Geschwindigkeitsbereich im Schritt 60 miteinander verglichen.
-
Es
wird dort durch den Vergleich der weiteren Sensordaten 52 mit
den Zusatzinformationsdaten 38, 40 eine Vorauswahl
der in Frage kommenden 3D-Modelldaten 26 bis 36 getroffen.
Daraufhin wird die dreidimensionale Form, die sich aus der Messdatenpunktwolke
ergibt, mit der Modellform eines ersten Modells der noch zur Auswahl
stehenden Modelle verglichen. Dabei sollte angemerkt sein, dass
eine solche Vorauswahl nichtzwingend notwendig ist. Sie kann beispielsweise
dann sinnvoll sein, wenn Rechenzeit eingespart werden soll.
-
Genauer
werden die Modelldaten 26 bis 36, die die Basis
der dreidimensionalen Modellform bilden, bezüglich Kongruenz mit der Messdatenpunktwolke über das
an sich bekannte Verfahren der Bildung von Abstandsmaßen zwischen
sich entspre chenden Punkten analysiert, und das Vergleichsresultat
wird durch Variation der geometrischen Beziehung – Lage und
Orientierung im Raum- zwischen beiden Formen optimiert. Dieser Vergleich
wird vorzugsweise für
jeden aus der Modelldatenbank gewählten Modelldatensatz 26, 28, 30, 32, 34, 26 durchgeführt.
-
Als
Variante dieses Verfahrens kann dieser Vergleich vorzeitig abgebrochen
werden, wenn es sich bereits früher
ergibt, dass das sensierte Objekt wirklich mit hoher Wahrscheinlichkeit
eventuell mit Hilfe der Zusatzdaten klassifizierbar ist.
-
Nach
Ermittlung der optimierten Vergleichsresultate bezüglich aller
ausgewählten
Modelle erfolgt der Schritt der Klassifizierung 70. Dabei
wird das Modell, mit dem das beste Vergleichsresultat erzielt wurde,
bestimmt, und das erfasste Objekt der Objektklasse, zu der das Modell
gehört,
zugeordnet.
-
Die
Schritte des Vergleichens 60 und des Klassifizierens 70 werden
mit allen erfassten Objekten durchgeführt. In 4 ist das Verfahren bezüglich dieser
beiden Schritte in einem Flussdiagramm detailliert dargestellt.
-
Anschließend erfolgt
im Schritt 80 die Beschreibung der 3D-Szene des erfassten Fahrzeugumfelds,
d.h. die in der 3D-Szene
festgestellten und klassifizierten Objekte werden zueinander und
bezüglich
des eigenen Fahrzeugs in räumliche
Beziehung gesetzt (z.B. für
eine 3D-Darstellung der Szene in Schritt 90).
-
Parallel
oder alternativ zu der Darstellung in Schritt 90 kann eine
Interpretation der 3D-Szene in Schritt 90a erfolgen. So
wird die 3D-Szene aufgrund von Ergebnissen weiterer, von der Erfindung
unabhängig
laufender Pre-crash-Sensorik
als eine unmittelbar bevorstehende Unfallsituation mit dem Fahrzeug
interpretiert. So kann z.B. aufgrund einer hohen Differenzgeschwindigkeit
eines betrachteten Objekts, bzw durch einen sehr niedrigen Abstand
zu einem solchen Objekt die Situation als „Kollision unvermeidbar" interpretiert werden.
-
Ausgehend
von der Interpretation der 3D-Szene 90a werden dann in
Schritt 100 automatisch vorbestimmte Maßnahmen spezifisch je nach zugeordneter
Objektklasse eingeleitet.
-
Wird
z.B. die Szene als ein unmittelbar bevorstehender Zusammenstoß mit einem
Objekt aus der Klasse „Fußgänger" 24 interpretiert,
so besteht eine Möglichkeit,
den Zusammenprall zu dämpfen, indem
automatisch eine frontseitig angelenkte Motorhaube geöffnet wird.
-
Wird
hingegen beispielsweise eine bevorstehende Kollision mit einem Objekt
aus der Klasse „PKW" 20 analysiert,
so wird die dafür
ungeeignete Sicherheitsmaßnahme
des Öffnens
der Motorhaube nicht eingeleitet, sondern ein Rückhaltesystem zum Schutz der
Fahrzeuginsassen wie z.B. ein Gurtstraffer gezielt und spezifisch
für das
Klassifizierungsergebnis zu dem gefährdenden Objekt angesteuert
und aktiviert.
-
4 zeigt ein Flussdiagramm
zum Vergleichen der Formen von Messdatenpunktwolken und 3D-Modellen
und zum Klassifizieren von Objekten gemäß einer Ausgestaltung des erfinderischen
Klassifizierungsverfahrens mit weiteren Einzelheiten.
-
Die
von den Sensoren erzeugten Messdaten mit Informationen in den drei
Raumrichtungen werden in einer Vorbearbeitung 105 dahingehend
untersucht, inwieweit welche Messdaten zu einem einzigen Objekt
oder zu unterschiedlichen Objekten gehören.
-
Ein
Unterscheidungskriterium ist beispielsweise der räumliche
Abstand zwischen benachbarten Messdatenpunkten. Wenn eine Häufung der
Objektmessdatenpunkten im einem gewissen Raumbereich besteht, so
werden diese Messdatenpunkte einem Objekt zugeordnet. Andererseits
werden, wenn der Abstand zwischen benachbarten Messdatenpunkten
groß ist,
z.B. größer als
1 Meter, diese Messdatenpunkte verschiedenen Objekten zugeordnet. Damit
werden also gewisse „Cluster" von Messdatenpunkten
gebildet, die sogenannten „Messdatenpunktwolken", die jeweils einem
Objekt zugeordnet werden.
-
Dafür können Clusterbildungstechniken
aus dem Stand der Technik verwendet werden, wie sie beispielsweise
veröffentlicht
sind unter
http://www.cs.unr.edu/~looney/cs479/cs4792.htm, oder
in der Patentanmeldung WO-200185914 A.
-
Die
Messdatenpunktwolken werden dann nacheinander, wie im Folgenden
beschrieben, untersucht:
Es wird eine Messdatenpunktwolke ausgewählt, Schritt 110.
Dabei bestimmt sich beispielsweise die Reihenfolge der Auswahl 110 nach
der Nähe
der Messdatenpunktwolke bzw. des dieser zugeordneten Objekts zum
Fahrzeug.
-
Daraufhin
werden im Schritt 120 zu der ausgewählten Messdatenpunktwolke die
Modelldaten eines Modells aus der 3D-Modell-Datenbank 9 herangezogen
und die aus den Modelldatenpunkten berechnete Modellform mit der
Form der Messdatenpunktwolke bezüglich
der Kongruenz zueinander verglichen, Schritt 130. Ein geeignetes
Maß dafür ist beispielsweise
der Abstand der jeweiligen Messdatenpunkte zur Oberfläche der
Modellform. Das ermittelte Vergleichsresultat wie z.B. die Summe
aller Abstände
normiert auf die Anzahl der Messdatenpunkte ist ein Maß für die Güte der Kongruenz
der beiden Formen.
-
Im
folgenden Schritt 140 wird die geometrische Beziehung,
also Lage und Orientierung der Modellform zur Form der Messdatenpunktwolke
verändert.
Anfangs in groben Veränderungsschritten,
die bei weiteren Iterationen dann bezüglich einer Optimierung des
Vergleichsresultats in feinere Abstimmungen übergehen.
-
Ob
eine weitere Iteration für
den Durchlauf der Schritte des Vergleichens der Formen 130 und der
Variation 140 der geometrischen Beziehung der beiden Formen
erfolgt, hängt
gemäß Ausführungsbeispiel
von zwei Bedingungen ab. Erstens darf ein Abbruchkriterium noch
nicht erfüllt
sein. Dieses wird in Schritt 150 geprüft. Ein solches Abbruchkriterium ist
beispielsweise eine Höchstgrenze
von fünf
bis zehn Durchläufen
der Iterationen der Schritte 120 bis 140. Wenn
dieses Abbruchkriterium noch nicht erreicht ist, muss dann zweitens
in Schritt 160 ein Qualitätskriterium auch nicht erfüllt sein.
-
Dieses
Qualitätskriterium
ist eine Bedingung bezüglich
der Güte
des Vergleichsresultats. Ein solches Qualitätskriterium ist z.B. die Bedingung,
dass nach zwei aufeinanderfolgenden Iterationen keine weitere nennenswerte
Verbesserung des Vergleichsresultats festgestellt worden ist.
-
Kommt
es hingegen in Schritt 150 zum Abbruch oder ist in Schritt 160 das
Qualitätskriterium
erfüllt,
so wird das bisher beste Vergleichsresultat bezüglich des jeweiligen Modells
gespeichert, Schritt 170, und nach Prüfung 180 des Vorhandenseins
weiterer auswählbarer
Modelle in der 3D-Modell-Datenbank 9 wieder
mit dem Auswählen 130 von
Modelldaten eines noch zur Verfügung
stehenden weiteren Modells aus der 3D-Modell-Datenbank 9 begonnen. Mit
diesen Modelldaten wird dann ebenso verfahren wie oben zu den Schritten 120 bis 170 beschrieben.
-
Wird
jedoch in Schritt 180 festgestellt, dass alle auswählbaren
Modelle der Modelldatenbank durchgeprüft worden sind, erfolgt die
Klassifizierung der Messdatenpunktwolke in Schritt 190.
Die Klassifizierung 190 geschieht in der Weise, dass das
der Messdatenpunktwolke zugeschriebene Objekt derjenigen Klasse
zugeordnet wird, der das Modell angehört, bei dem das beste der in
Schritt 170 gespeicherten Vergleichsresultat erzielt wurde.
-
Handelt
es sich beispielsweise um das Modell „Fußgänger" 36 so wird das Objekt der
Klasse „Fußgänger" 24 zugeordnet.
-
Nach
dieser Klassifizierung wird die nächste Messdatenpunktwolke ausgewählt, Schritt 100,
und mit dieser werden entsprechend die Schritte 120 bis 190 durchgeführt.
-
Damit
wird soweit fortgefahren, bis in Schritt 200 festgestellt
wird, dass alle auswählbaren
Messdatenpunktwolken aus den von den Sensoren aufgenommenen Messdaten
durchgeprüft
und klassifiziert worden sind. Dann ist die aufgenommene 3D-Szene vollständig klassifiziert.
-
5 zeigt eine Skizze von
vier berechneten Modellformen gemäß einer bestimmten Ausgestaltung
des erfinderischen Klassifizierungsverfahrens.
-
Diese
vier Beispiele von 3D-Modellformen 300 sind aus den jeweiligen
3D-Modelldatenpunkten 302 berechnet.
-
Eine
Möglichkeit
einer solchen Oberflächenbeschreibung
ist die Angabe von 3D-Modelldatenpunkten 302 mit zusätzlicher
Vermaschungsinformation, also eine Gruppierung der Punkte zu geometrischen
Formen. Eine solche Vermaschung kann z.B. über die Zuordnung der Modell-Eckpunkte zu Dreiecken
geschehen. Mit Hilfe eines solchen Drahtgitters (wire-frame) aus
Dreiecken lässt
sich die Oberfläche des
gewählten
Objektrepräsentanten
darstellen. Je nach Art der Anwendung und evtl. Randbedingungen hinsichtlich
der Komplexität
der Modelle 300 kann ein unterschiedlicher Detaillierungsgrad
verwendet werden. Das bedeutet, dass ein Objekt einerseits wahlweise
durch ein Modell 300 mit vielen oder wenigen Dreiecksflächen dargestellt
werden kann. Weiterhin kann die Anordnung der Dreiecksflächen selbst
entweder sehr komplex sein, oder sich an einfachen geometrischen
For men (z.B. Quadern) orientieren. Darüber hinaus sind auch völlig andere
Arten der Modellbeschreibung denkbar, z.B. eine Darstellung nur durch
Punkte (ohne Oberflächen),
die Verwendung von Vierecken oder Polyedern, kubischen Splines etc.
-
Obwohl
die vorliegende Erfindung anhand eines bevorzugten Ausführungsbeispiels
vorstehend beschrieben wurde, ist sie darauf nicht beschränkt, sondern
auf vielfältige
Weise modifizierbar. Beispielsweise können bestimmte Plausibilitätsbetrachtungen der
oben beschriebenen 3D-Analyse vorgreifen, um das Verfahren abzukürzen. Oder
es können
zusätzlich
akustische Signale aus der Fahrzeugumgebung ausgewertet werden.
-
Eine
alternative Anwendung des erfinderischen Verfahrens ist die formbasierte
Klassifizierung von Bauteilen in einem Fertigungsprozess.
-
Schließlich können die
Merkmale der Unteransprüche
im wesentlichen frei miteinander und nicht durch die in den Ansprüchen vorliegende
Reihenfolge miteinander kombiniert werden, sofern sie unabhängig voneinander
sind.