DE10335601B4

DE10335601B4 - Verfahren zur Objektklassifizierung unter Verwendung einer 3D-Modelldatenbank

Info

Publication number: DE10335601B4
Application number: DE10335601.0A
Authority: DE
Inventors: Stephan Simon; Sebastian Lindner; Henning Voelz
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2003-08-04
Filing date: 2003-08-04
Publication date: 2016-01-14
Anticipated expiration: 2023-08-05
Also published as: DE10335601A1

Abstract

Die Erfindung geht aus von einem Verfahren zur computergestützten Klassifizierung von dreidimensionalen Objekten zu einer oder mehrerer vorgegebenen Objektklassen, bei dem ein Objekt messtechnisch erfasst wird. Um das Verfahren effizienter und sicherer zu gestalten, basiert das erfindungsgemäße Verfahren darauf, dass die Messdaten 3D-Daten sind, dass eine sensierte Messdatenpunktwolke aus 3D-Daten mit gespeicherten 3D-Datenmodellen (den Archetypen einer jeweiligen Objektklasse) verglichen (130) und durch Variation (140) der 3D-Lage des Modells im Raum auf die Messdatenpunktwolke abgestimmt wird, und dann die Klassifizierung (190) zu der am besten passenden Klasse erfolgt. In der Folge können geeignete Maßnahmen getroffen werden, etwa Warnsignale ausgegeben, die Bremse betätigt werden, gegebenenfalls in Interaktion mit ebenfalls an Bord vorhandener Pr-Crash Sensorik.

Description

Stand der Technik
Die Erfindung geht aus von einem Verfahren zur computergestützten Klassifizierung von dreidimensionalen Objekten zu einer oder mehrerer vorgegebenen Objektklassen, bei dem ein Objekt messtechnisch erfasst wird.
In vielen Anwendungsgebieten werden heute Objektdaten wie z. B. Position, Ausmaß, Geschwindigkeit und Beschleunigung aus einer 3D-Umgebung erfasst, z. B. in industriellen Fertigungsprozessen, sicherheitstechnischen Anwendungen, auch in der Umfelderfassung von Fahrzeugen, auf die hier im folgenden in besonderer Weise Bezug genommen wird. Diese Objektdaten werden von Messeinrichtungen geliefert, welche prinzipiell aus einem oder mehreren z. T. unterschiedlichen Sensoren bestehen können, z. B. Radar, Ultraschall, Video im sichtbaren und infraroten Bereich, Lidar, Laser, Range-Imager. Auch die Mehrfachverwendung eines Sensortyps z. B. zur Triangulation oder Trilateration ist üblich.
Eine Zielsetzung in der Verarbeitung von Objektdaten ist die Klassifizierung. Unter Klassifizierung versteht man die Zuordnung von Objekten zu bestimmten Objektklassen. Dabei repräsentiert jede Klasse eine Menge von Objekten, die als zusammengehörig betrachtet werden. Bei der Umfelderfassung von Fahrzeugen können beispielsweise Fußgänger, Radfahrer, Personenkraftwagen, (PKW) und Lastkraftwagen (LKW) wesentliche Objektklassen sein. Solche Klassifizierungssysteme zur Unterscheidung von Objektklassen im Fahrzeugumfeld sind bisher jedoch noch nicht verfügbar.
Um eine Objektklassifizierung durchzuführen, sind in Abhängigkeit von der Art der verwendeten Sensoren und der Anwendungsgebiete unterschiedliche Verfahren bekannt. Eine Möglichkeit ist die Klassifizierung basierend auf dem vorhandenen Datenmaterial selbst (datenbasierter Ansatz). Eine gängige Vorgehensweise für diesen Ansatz ist die Untersuchung des Datenmaterials, um geeignete Unterscheidungsmerkmale zu finden. Zielsetzung bei der Ermittlung dieser Merkmale ist die Diskriminierung der Objekte in die verschiedenen Klassen. Diese Suche nach geeigneten Merkmalen ist meist mit einem hohen Aufwand hinsichtlich der Datenanalyse verbunden.
So sind derzeit eingesetzte datenbasierte Ansätze zur Klassifizierung im starken Maße von der Wahl des Trainingssets abhängig. Im Training nicht ausreichend berücksichtigte Objekteigenschaften oder ein unzureichendes Abdecken möglicher Situationen können später z. B. zu Fehlklassifizierungen führen. Weiterhin ist der gesamte Trainingsprozess im allgemeinen sehr aufwändig.
Auch ist bei Veränderung der Objektklassen die Anpassung eines datengetriebenen Klassifizierungssystems meist mit einem erhöhten Aufwand verbunden, da im allgemeinen bei einer Änderung der Klassen eine erneute Analyse des Datenmaterials zur Ermittlung der Unterscheidungsmerkmale notwendig ist. Im Gegensatz zum datenbasierten Ansatz wird beim modellbasierten Ansatz Vorwissen über die Elemente einer Klasse in Form von Modellen eingebracht. Ziel ist, die unterschiedlichen Erscheinungsformen möglichst aller in der Praxis häufig auftretenden Objekte durch die Verwendung solcher Modelle nachzubilden. Die Klassifizierung, also die Zuweisung der Objekte zu den Objektklassen, geschieht im Stand der Technik durch einen Vergleich der Objektdaten mit den vorher festgelegten Modellen. Es werden also nicht nur die Messdaten selbst zur Unterscheidung der Objekte verwendet, wie beim datenbasierten Ansatz.
Bisher sind modellbasierte 2D-Klassifizierungsverfahren wie z. B. das „2D-Template-Matching” bekannt. Bei diesem Verfahren werden zweidimensionale Schablonen verwendet, um beispielsweise in einem Videobild charakteristische Muster zur Klassifizierung eines aufgenommenen Objektes wiederzuerkennen. Diese Schablonen können sich je nach Anwendung z. B. auf Form, Helligkeit, Farbe oder Kanten beziehen. Da Objekte in Abhängigkeit von ihrer Orientierung und Lage zum Sensor unterschiedliche Erscheinungsformen haben können – ein Fahrzeug sieht ja von vorn betrachtet anders aus als von der Seite betrachtet, werden je nach Qualitätsanforderungen zumindest einige bis hin zu sehr vielen solcher Schablonen zur Repräsentation eines Objektes benötigt. Dies bringt eine erhöhte Komplexität und somit auch einen erhöhten Rechenaufwand mit sich. Weiterhin muss eine Vorauswahl hinsichtlich Zahl und Art der Schablonen getroffen werden; dies benachteiligt untere Umständen die Klassifizierung eines Objektes für den Fall einer unzureichend repräsentierten Erscheinungsform.
Ein weiteres Problem im Zusammenhang mit der unterschiedlichen Erscheinungsform von Objekten ist neben der Lage des Objekts seine Oberflächenbeschaffenheit, also Texturierung und Farbe. So können Objekte gleichen Typs – beispielsweise Objekte mit identischen dreidimensional gemessenen Abmessungen – je nach Oberfläche, Farbe und in Abhängigkeit der Beleuchtungssituation von einem Sensor unterschiedlich wahrgenommen werden. Bei einem Videosensor ergeben sich beispielsweise unterschiedliche Helligkeits- und Farbwerte für Objekte unterschiedlicher Texturen und Beleuchtung. Diese Einflüsse sind bei 2D-Klassifizierungsverfahren wie z. B. dem „Template-Matching” zu berücksichtigen und machen die Auswertung der erfassten Daten und die Klassifizierung sehr komplex und schwierig durchführbar und erfordern gegebenenfalls eine zu lange Rechenzeit, was insbesondere bei gefordertem schnellen Echtzeitverhalten eines Systems nicht tolerierbar ist.
US 6,259,815 B1 zeigt ein System, das dreidimensionale Objekte erkennt, indem dreidimensionale deformierbare Vorlagen verwendet werden. Ein Objekt wird mittels einer Kamera gefilmt, um volumetrische Daten zu ermitteln, die mit mehreren dreidimensionalen deformierbaren Templates aus einer Datenbank verglichen werden. Das Objekt wird daraufhin in die Klasse des nächstliegenden Templates eingeordnet. Dies wird insbesondere zu Animationszwecken in einer Virtual-Reality-Umgebung eingesetzt.
Die US 2003/0114964 A1 beschreibt ein Klassifizierungssystem für ein Fahrzeug, das mittels eines Sensors (bevorzugt optisch) Umrandungen von Hindernissen erkennt und eine sogenannte Boundingbox um diese Objekte legt. Abhängig von der Höhe und Breite wird eine Objektklassifizierung durchgeführt. Dies umfasst neben anderen Fahrzeugen beispielsweise auch Fußgänger. Verschiedene Sicherheitssysteme des Fahrzeugs können daraufhin aktiviert werden.
Die DE 100 25 678 A1 beschreibt ein Verfahren und eine Vorrichtung zur Detektion von Verkehrsteilnehmern und Hindernissen auf der Grundlage von Kamerabildern, zu der Bestimmung derer Entfernung vom Beobachter und zu derer Klassifikation. In einer zweistufigen Klassifikation werden potentielle Unfallgegner erkannt und identifiziert.
Die US 6 498 972 B1 beschreibt eine Kontrolleinrichtung für ein Fahrzeug, welche mittels eines Sensors Signale eines vorhandenen Objektes generiert. Ein Fahrzeuggeschwindigkeitssensor generiert hierbei ein Geschwindigkeitssignal des Fahrzeugs, korrespondierend zu dessen longitudinaler Geschwindigkeit.
Vorteile der Erfindung
Mit den Maßnahmen der unabhängigen Ansprüche wird durch Verwendung einer Datenbank, die erfindungsgemäß dreidimensionale Modelle speichert, ein Klassifizierungsverfahren offenbart, das mit wenig Rechenleistung sehr effizient arbeiten kann und das eine hohe Flexibilität besitzt und nur geringen Anpassungsaufwand zur Anpassung des Verfahrens an unterschiedlichste Einsatzgebiete erfordert. Dieses Verfahren basiert darauf, dass die Messdaten 3D-Daten sind, dass eine sensierte Messdatenpunktwolke aus 3D-Daten mit den gespeicherten 3D-Datenmodellen (den Archetypen einer jeweiligen Objektklasse) verglichen und durch Variation der 3D-Lage des Modells im Raum auf die Messdatenpunktwolke abgestimmt wird, und dann die Klassifizierung zu der am besten passenden Klasse erfolgt. In der Folge können geeignete Maßnahmen getroffen werden. Bei der Verwendung im Zusammenhang mit einem Fahrerassistenzsystem können beispielsweise Warnsignale ausgegeben, die Bremse betätigt oder weitere, unten noch beschriebene Aktionen eingeleitet werden.
So ist ein Training zum Erkennen von klassifizierenden Objekteigenschaften wie bei dem datenbasierten Ansatz aus dem Stand der Technik wegen der Verwendung von dreidimensionalen Modellen nicht erforderlich.
Auch kann, wenn eine Datenbank von 3D-Modelldaten einmal vorhanden ist, in vorteilhafter Weise das Klassifizierungssystem flexibel angepasst werden. So ist die Zuweisung von Modellen der Datenbank zu Objektklassen relativ unabhängig vom Gesamtsystem; bei einer Änderung dieser Zuordnungen oder einer Erweiterung der Datenbank muss keine zusätzliche Arbeit für eine Anpassung des Systems aufgewendet werden.
Des Weiteren bietet der erfinderische „3D-Modell”-Ansatz den Vorteil, dass für jedes repräsentierte Objekt im Gegensatz zum 2D-Ansatz des Standes der Technik jeweils nur ein Modell benötigt wird, um sämtliche möglichen Erscheinungsformen hinsichtlich der Lage des Objektes zu beschreiben. Das erfindungsgemäße Verfahren ist daher aufgrund seiner niedrigen Komplexität vor allem in zeitkritischen (z. B. Sicherheits-)Anwendungen gegenüber rechenintensiveren Möglichkeiten der Klassifizierung wie dem erwähnten 2D-Ansatz im Vorteil. Auch ist das erfinderische Verfahren durch die Verwendung von Mess- und Modelldatenpunkten mit Informationen über alle drei Raumrichtungen unempfindlich gegenüber Texturierungs- und Beleuchtungsrandbedingungen.
In den Unteransprüchen sind vorteilhafte Ausgestaltungen, Weiterbildungen und Verbesserungen des jeweiligen Gegenstandes der Erfindung angegeben. Erfindungsgemäß werden Zusatzdaten über das Objekt, wie Geschwindigkeit und Beschleunigung im Verfahren mit einbezogen. Diese werden mit für die Objektklassen typischen Geschwindigkeitsbereichen und Beschleunigungsvermögen (Längs-/Querbeschleunigung) verglichen. Dadurch wird die Qualität der Klassifizierung weiter verbessert. So kann beispielsweise ein Fußgängermodell nur einem begrenzten Geschwindigkeitsbereich zugeordnet sein, so dass ein Objekt, das höhere Geschwindigkeitsmessdaten aufweist, schon deshalb nicht als Fußgänger in Frage kommt. Ein Vergleich der Objektbeschleunigung mit dem Beschleunigungsvermögen des betrachteten Modells kann in gleicher Weise die Klassifizierung erleichtern. So kann ein Fußgänger beispielsweise sehr viel schneller seine Bewegungsrichtung ändern als ein Pkw. Weiterhin kann ein Lkw nicht so schnell beschleunigen, wie ein Pkw.
Ebenso kann die Verwendung solcher Zusatzinformation als Ausschlusskriterium eine Verbesserung der Rechengeschwindigkeit des Verfahrens bringen. Wenn etwa ein Objekt wie oben beschrieben aufgrund seiner zu hohen Geschwindigkeit nicht als Fußgänger in Frage kommt, braucht nicht noch ein rechenaufwändiger Modellvergleich von Objekt mit Fußgängermodell erfolgen.
Eine weitere Verbesserung des vorliegenden erfinderischen Verfahrens bezüglich der Reduzierung des Rechenaufwandes ist der Vergleich der Eckpunkte von 3D-Modellformen und Messdatenpunktwolke. Dadurch wird die Anzahl der zu verarbeitenden Datenpunkte erheblich verringert.
Eine weitere vorteilhafte Ausgestaltung des Verfahrens ist der Vergleich der Formen von Modell und Messdatenpunktwolke anhand von Abstandsberechnung zwischen den Messdatenpunkten und der berechneten Oberfläche des Modells. Dadurch wird in einfacher und effektiver Weise ein Vergleichsresultat für die Kongruenz der Form aus den Messdaten mit der des 3D-Modells erzeugt.
Eine Qualitätsverbesserung durch erhebliche Verringerung des Rechenaufwandes stellt im Falle teilweiser Überdeckungen eines Objekts, insbesondere durch ein „Drittobjekt”, die Nichtberücksichtigung entsprechender Teile des Modells in den Schritten des Vergleichens der dreidimensionalen Formen und des Variierens der geometrischen Beziehung nach Lage und Orientierung zwischen beiden Formen dar.
Eine weitere vorteilhafte Ausgestaltung der vorliegenden Erfindung ist die Verwendung eines Modells, das Interpolationsdatenpunkte enthält, die interpolieren zwischen einander entsprechenden Modelldatenpunkten verschiedener Klassen. So können beispielsweise fein abgestufte Klassen wie etwa Limousine und Kombi-PKW zu einer einzigen Klasse vereint werden, wenn die zwischen den beiden unterschiedlichen Heckformen interpoliert wird. Damit kann die Anzahl notwendiger Modelle reduziert werden, um dennoch eine gemäß der Anwendung ausreichende Klassifizierung zu erreichen. Dies erspart Rechenaufwand.
Eine besonders bevorzugte Anwendung des erfindungsgemäßen Verfahrens ist die Anwendung auf Objekte, die während des Betriebs eines Kraftfahrzeugs – während der Fahrt und auch im Stillstand, z. B. vor einer Kreuzung – aus seinem Umfeld sensorisch erfasst werden.
So können bei Fahrzeugen in vorteilhafter Weise automatische Schritte mit vorbestimmten Maßnahmen spezifisch je nach Klassifizierungsergebnis eingeleitet werden, wenn das Fahrzeug aufgrund des Ergebnisses weiterer sogenannter Precrash-Sensorik und -analyse, also Systemen des Standes der Technik zur Kollisionsvorhersage in einen Unfall mit dem Objekt verwickelt werden könnte. Insbesondere kann eine solche Maßnahme das gezielte Ansteuern von Rückhaltesystemen je nach Klassifizierungsergebnis enthalten.
Weitere vorteilhafte Maßnahmen bei der Anwendung des erfinderischen Verfahrens in Kraftfahrzeugen bestehen bei der Klassifizierung des Objektes in einer Klasse „Fußgänger” darin, dass eine frontseitig angelenkte Motorhaube automatisch leicht angehoben, oder alternativ dazu ein außenseitig am Fahrzeug wirksamer Airbag gezündet wird, um einen bevorstehenden Zusammenprall mit dem „Objekt” „Fußgänger” besser zu dämpfen und damit die Gefahr schwerer Verletzungen zu verringern.
Eine zum Zwecke der schnelleren Klassifizierung beanspruchte Weiterbildung des vorliegenden erfinderischen Verfahrens bei der Anwendung in Kraftfahrzeugen ist die Durchführung wenigstens eines der folgenden Schritte:

a) Reduzierung der Anzahl der Modelle im Vergleichsschritt, damit jedes Objekt muss nur mit einer geringeren Anzahl von Modellen der Datenbank verglichen werden braucht,
b) Herabsetzen des Qualitätskriteriums, beispielsweise Reduktion der Komplexität der verwendeten Modelle: weniger detaillierte Oberflächenbeschreibung, geringere Anzahl Modell-Eckpunkte.

Die Intensität beziehungsweise die Grenzen dieser Schritte sind auch während des Betriebes situationsbedingt dynamisch variierbar.
Eine Realisierungsmöglichkeit für ein System zur Durchführung des erfinderischen Verfahrens ist ein computergestütztes Fahrzeuginformationssystem enthaltend wirksame Verbindungen zu den oben genannten, am Fahrzeug vorhandenen Fahrzeugsensoreinrichtungen zur Erfassung von Objekten aus dem Umfeld des Fahrzeugs, eine computergestützte Datenbank enthaltend dreidimensional abbildende Modelle von Objekten, einen Steuerkreis zur Analyse und Klassifizierung der erfassten Objekte, sowie wirksame Verbindungen zu Aktuatoreinrichtungen am Fahrzeug, die je nach Klassifizierungsergebnis selektiv betätigbar sind.
Zeichnungen
Anhand der Zeichnungen werden Ausführungsbeispiele der Erfindung erläutert.
Es zeigen:
1 eine Blockdarstellung eines Fahrzeugs enthaltend ein computergestütztes Fahrzeuginformationssystem eingerichtet zur Durchführung einer Ausgestaltung des erfinderischen Klassifizierungsverfahrens;
2 eine schematische Blockdarstellung eines Aufbaus einer 3D-Modell-Datenbank für eine Ausgestaltung des erfinderischen Klassifizierungsverfahrens;
3 ein übersichtsartiges Flussdiagramm einer Ausgestaltung des erfinderischen Klassifizierungsverfahrens;
4 ein Flussdiagramm zum Vergleichen der Formen von Messdatenpunktwolken und 3D-Modellen und zum Klassifizieren von Objekten gemäß einer Ausgestaltung des erfinderischen Klassifizierungsverfahrens; und
5 eine Skizze von vier berechneten Modellformen gemäß einer Ausgestaltung des erfinderischen Klassifizierungsverfahrens.
Beschreibung von Ausführungsbeispielen
In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsgleiche Komponenten.
1 zeigt eine Blockdarstellung eines Fahrzeugs 1 enthaltend ein computergestütztes Fahrzeuginformationssystem 3 eingerichtet zur Durchführung einer Ausgestaltung des erfinderischen Klassifizierungsverfahrens.
In und/oder an dem Fahrzeug 1, wie beispielsweise einem Personenkraftwagen, sind Sensoren 5 zur dreidimensionalen Erfassung von Objekten (z. B. Bäume, Fußgänger, Personenkraftwagen (PKW), Lastkraftwagen (LKW)) nach allen drei Raumrichtungen aus dem Umfeld des Fahrzeugs 1 angebracht. Die Art der Sensoren 5 kann beispielsweise Radar, Ultraschall, Video-Kamera für den sichtbaren und infraroten Bereich, Lidar, Laser und Range-Kamera (entfernungsmessende Kamera) oder Kombinationen davon sein. Zweckmässig im Bereich Fahrzeugumfeld wären zwei Videokameras, die aufeinander abstimmbar angesteuert sind und dasselbe Objekt aus verschiedenen Winkeln aufnehmen. Durch Triangulation lassen sich so 3D-Messpunkte generieren, die Abstandsinformation, Lateralversatz und Höhe des Objektes beinhalten. Alternativ oder in Ergänzung kann ein Radarsystem zur Generierung der 3D-Messpunkte verwendet werden.
Die von den Sensoren ermittelten Messdaten enthalten Informationen über alle drei Raumrichtungen. Die Messdaten werden über Verbindungen (z. B. Kabel, Funk, Infrarotübertragung) an das im Fahrzeug 1 integrierte Fahrzeuginformationssystem 3 weitergeleitet. Das Fahrzeuginformationssystem 3 besitzt eine Computereinheit 7, die eine Datenbankanwendung 9 verwaltet, die Daten von Modellen von verschiedenen Objekten wie z. B. Fußgänger, Transporter und PKWs enthält. Dabei ist die Datenbasis derart, dass die Modelldaten beispielsweise über markante Eckkoordinaten der 3D-Raumform eines Modells Informationen aller drei Raumrichtungen enthalten. Des Weiteren gehört zur Computereinheit 7 ein programmbasierter Steuerkreis 11 zur Analyse und Klassifizierung der von den Sensoren 5 erfassten Objekte. In diesen Steuerkreis 11 werden sowohl die Messdaten von den Sensoren 5 als auch die für den Vergleich mit den Messdaten benötigten Modelldaten aus der Modell-Datenbank 9 eingespeist und für die Klassifizierung verarbeitet.
Nach Analyse und Klassifizierung des erfassten Objekts werden dann bestimmte Aktuatoreinrichtungen 13 des Fahrzeugs von der Steuereinheit 7 über Verbindungen (z. B. Kabel, Funk, Infrarotübertragung) entsprechend nach erfasster Situation bzw. Objekt angesteuert. So kann beispielsweise bei einem erkannten Fußgänger in nur einem Meter Abstand vor dem Fahrzeug bei einer Fahrgeschwindigkeit von 60 km/h eine Aktuatoreinrichtung 13 zur Auslösung eines Airbags außen an der Motorhaube angesteuert werden, da sich dann eine Kollision mit dem Fußgänger nicht mehr vermeiden lässt.
In 2 ist eine schematische Blockdarstellung des Aufbaus einer 3D-Modell-Datenbank 9 für eine Ausgestaltung des erfinderischen Klassifizierungsverfahrens gezeigt.
Die Objektklassen sind dort in die drei Klassen „PKW” 20, „LKW” 22 und „Fußgänger” 24 aufgeteilt. Der Objektklasse „PKW” 20 sind die 3D-Modell-Datensätze „PKW” mit Fließheck” 26, „PKW mit Stufenheck” 28 und „PKW als Kombi” 30 zugeordnet. Zu der Objektklasse „LKW” 22 gehören die 3D-Modell-Datensätze „Transporter” 32 und „LKW” 34 und zu der Objektklasse „Fußgänger” 24 der 3D-Modell-Datensatz „Fußgänger” 36. Die Datensätze der 3D-Modelle enthalten Daten zur Darstellung der äußeren Form eines Modells gemäß eines Objekts ihrer Bezeichnung den sogenannten Modelltyp. Jedem 3D-Modell-Datensatz 26, 28, 30, 32, 34, 36 sind spezifische Geschwindigkeitsbereichsdaten 38 und weitere Zusatzinformationsdaten 40 zugeordnet, etwa die maximale Höhe oder Breite des Objekts. Die Geschwindigkeitsbereichsdaten 38 geben den Modelltyp entsprechende Geschwindigkeitsgrenzen an. So beispielsweise bei dem Modelltyp Fußgänger die Grenzen 0 km/h (untere Grenze) und 30 km/h (schnell laufend) als obere Grenze. Die weiteren Zusatzinformationsdaten 40 beziehen sich zum Beispiel auf typisches Beschleunigungsvermögen. In 3 ist ein schematisches Flussdiagramm für den Steuerfluss einer Ausgestaltung des erfinderischen Klassifizierungsverfahrens dargestellt. Dabei werden die von den Sensoren 5 erfassten 3D-Messdaten 50 und weitere Sensordaten 52 wie beispielsweise die Geschwindigkeit des erfassten Objekts mit den 3D-Modelldaten 26, 28, 30, 32, 34, 36 der Modell-Datenbank 9 und den Modellen zugeordneten Zusatzinformationsdaten 38, 40 wie beispielsweise ein Geschwindigkeitsbereich im Schritt 60 miteinander verglichen. Es wird dort durch den Vergleich der weiteren Sensordaten 52 mit den Zusatzinformationsdaten 38, 40 eine Vorauswahl der in Frage kommenden 3D-Modelldaten 26 bis 36 getroffen. Daraufhin wird die dreidimensionale Form, die sich aus der Messdatenpunktwolke ergibt, mit der Modellform eines ersten Modells der noch zur Auswahl stehenden Modelle verglichen. Dabei sollte angemerkt sein, dass eine solche Vorauswahl nichtzwingend notwendig ist. Sie kann beispielsweise dann sinnvoll sein, wenn Rechenzeit eingespart werden soll.
Genauer werden die Modelldaten 26 bis 36, die die Basis der dreidimensionalen Modellform bilden, bezüglich Kongruenz mit der Messdatenpunktwolke über das an sich bekannte Verfahren der Bildung von Abstandsmaßen zwischen sich entsprechenden Punkten analysiert, und das Vergleichsresultat wird durch Variation der geometrischen Beziehung – Lage und Orientierung im Raum- zwischen beiden Formen optimiert. Dieser Vergleich wird vorzugsweise für jeden aus der Modelldatenbank gewählten Modelldatensatz 26, 28, 30, 32, 34, 26 durchgeführt.
Als Variante dieses Verfahrens kann dieser Vergleich vorzeitig abgebrochen werden, wenn es sich bereits früher ergibt, dass das sensierte Objekt wirklich mit hoher Wahrscheinlichkeit eventuell mit Hilfe der Zusatzdaten klassifizierbar ist. Nach Ermittlung der optimierten Vergleichsresultate bezüglich aller ausgewählten Modelle erfolgt der Schritt der Klassifizierung 70. Dabei wird das Modell, mit dem das beste Vergleichsresultat erzielt wurde, bestimmt, und das erfasste Objekt der Objektklasse, zu der das Modell gehört, zugeordnet. Die Schritte des Vergleichens 60 und des Klassifizierens 70 werden mit allen erfassten Objekten durchgeführt. In 4 ist das Verfahren bezüglich dieser beiden Schritte in einem Flussdiagramm detailliert dargestellt.
Anschließend erfolgt im Schritt 80 die Beschreibung der 3D-Szene des erfassten Fahrzeugumfelds, d. h. die in der 3D-Szene festgestellten und klassifizierten Objekte werden zueinander und bezüglich des eigenen Fahrzeugs in räumliche Beziehung gesetzt (z. B. für eine 3D-Darstellung der Szene in Schritt 90).
Parallel oder alternativ zu der Darstellung in Schritt 90 kann eine Interpretation der 3D-Szene in Schritt 90a erfolgen. So wird die 3D-Szene aufgrund von Ergebnissen weiterer, von der Erfindung unabhängig laufender Pre-crash-Sensorik als eine unmittelbar bevorstehende Unfallsituation mit dem Fahrzeug interpretiert. So kann z. B. aufgrund einer hohen Differenzgeschwindigkeit eines betrachteten Objekts, bzw durch einen sehr niedrigen Abstand zu einem solchen Objekt die Situation als „Kollision unvermeidbar” interpretiert werden. Ausgehend von der Interpretation der 3D-Szene 90a werden dann in Schritt 100 automatisch vorbestimmte Maßnahmen spezifisch je nach zugeordneter Objektklasse eingeleitet. Wird z. B. die Szene als ein unmittelbar bevorstehender Zusammenstoß mit einem Objekt aus der Klasse „Fußgänger” 24 interpretiert, so besteht eine Möglichkeit, den Zusammenprall zu dämpfen, indem automatisch eine frontseitig angelenkte Motorhaube geöffnet wird. Wird hingegen beispielsweise eine bevorstehende Kollision mit einem Objekt aus der Klasse „PKW” 20 analysiert, so wird die dafür ungeeignete Sicherheitsmaßnahme des Öffnens der Motorhaube nicht eingeleitet, sondern ein Rückhaltesystem zum Schutz der Fahrzeuginsassen wie z. B. ein Gurtstraffer gezielt und spezifisch für das Klassifizierungsergebnis zu dem gefährdenden Objekt angesteuert und aktiviert.
4 zeigt ein Flussdiagramm zum Vergleichen der Formen von Messdatenpunktwolken und 3D-Modellen und zum Klassifizieren von Objekten gemäß einer Ausgestaltung des erfinderischen Klassifizierungsverfahrens mit weiteren Einzelheiten.
Die von den Sensoren erzeugten Messdaten mit Informationen in den drei Raumrichtungen werden in einer Vorbearbeitung 105 dahingehend untersucht, inwieweit welche Messdaten zu einem einzigen Objekt oder zu unterschiedlichen Objekten gehören. Ein Unterscheidungskriterium ist beispielsweise der räumliche Abstand zwischen benachbarten Messdatenpunkten. Wenn eine Häufung der Objektmessdatenpunkten im einem gewissen Raumbereich besteht, so werden diese Messdatenpunkte einem Objekt zugeordnet. Andererseits werden, wenn der Abstand zwischen benachbarten Messdatenpunkten groß ist, z. B. größer als 1 Meter, diese Messdatenpunkte verschiedenen Objekten zugeordnet. Damit werden also gewisse „Cluster” von Messdatenpunkten gebildet, die sogenannten „Messdatenpunktwolken”, die jeweils einem Objekt zugeordnet werden. Dafür können Clusterbildungstechniken aus dem Stand der Technik verwendet werden, wie sie beispielsweise veröffentlicht sind unter
http://www.cs.unr.edu/~looney/cs479/cs4792.htm, oder in der Patentanmeldung WO-200185914 A .
Die Messdatenpunktwolken werden dann nacheinander, wie im Folgenden beschrieben, untersucht:
Es wird eine Messdatenpunktwolke ausgewählt, Schritt 110. Dabei bestimmt sich beispielsweise die Reihenfolge der Auswahl 110 nach der Nähe der Messdatenpunktwolke bzw. des dieser zugeordneten Objekts zum Fahrzeug. Daraufhin werden im Schritt 120 zu der ausgewählten Messdatenpunktwolke die Modelldaten eines Modells aus der 3D-Modell-Datenbank 9 herangezogen und die aus den Modelldatenpunkten berechnete Modellform mit der Form der Messdatenpunktwolke bezüglich der Kongruenz zueinander verglichen, Schritt 130. Ein geeignetes Maß dafür ist beispielsweise der Abstand der jeweiligen Messdatenpunkte zur Oberfläche der Modellform. Das ermittelte Vergleichsresultat wie z. B. die Summe aller Abstände normiert auf die Anzahl der Messdatenpunkte ist ein Maß für die Güte der Kongruenz der beiden Formen. Im folgenden Schritt 140 wird die geometrische Beziehung, also Lage und Orientierung der Modellform zur Form der Messdatenpunktwolke verändert. Anfangs in groben Veränderungsschritten, die bei weiteren Iterationen dann bezüglich einer Optimierung des Vergleichsresultats in feinere Abstimmungen übergehen.
Ob eine weitere Iteration für den Durchlauf der Schritte des Vergleichens der Formen 130 und der Variation 140 der geometrischen Beziehung der beiden Formen erfolgt, hängt gemäß Ausführungsbeispiel von zwei Bedingungen ab. Erstens darf ein Abbruchkriterium noch nicht erfüllt sein. Dieses wird in Schritt 150 geprüft. Ein solches Abbruchkriterium ist beispielsweise eine Höchstgrenze von fünf bis zehn Durchläufen der Iterationen der Schritte 120 bis 140. Wenn dieses Abbruchkriterium noch nicht erreicht ist, muss dann zweitens in Schritt 160 ein Qualitätskriterium auch nicht erfüllt sein.
Dieses Qualitätskriterium ist eine Bedingung bezüglich der Güte des Vergleichsresultats. Ein solches Qualitätskriterium ist z. B. die Bedingung, dass nach zwei aufeinanderfolgenden Iterationen keine weitere nennenswerte Verbesserung des Vergleichsresultats festgestellt worden ist.
Kommt es hingegen in Schritt 150 zum Abbruch oder ist in Schritt 160 das Qualitätskriterium erfüllt, so wird das bisher beste Vergleichsresultat bezüglich des jeweiligen Modells gespeichert, Schritt 170, und nach Prüfung 180 des Vorhandenseins weiterer auswählbarer Modelle in der 3D-Modell-Datenbank 9 wieder mit dem Auswählen 130 von Modelldaten eines noch zur Verfügung stehenden weiteren Modells aus der 3D-Modell-Datenbank 9 begonnen. Mit diesen Modelldaten wird dann ebenso verfahren wie oben zu den Schritten 120 bis 170 beschrieben.
Wird jedoch in Schritt 180 festgestellt, dass alle auswählbaren Modelle der Modelldatenbank durchgeprüft worden sind, erfolgt die Klassifizierung der Messdatenpunktwolke in Schritt 190. Die Klassifizierung 190 geschieht in der Weise, dass das der Messdatenpunktwolke zugeschriebene Objekt derjenigen Klasse zugeordnet wird, der das Modell angehört, bei dem das beste der in Schritt 170 gespeicherten Vergleichsresultat erzielt wurde. Handelt es sich beispielsweise um das Modell „Fußgänger” 36 so wird das Objekt der Klasse „Fußgänger” 24 zugeordnet.
Nach dieser Klassifizierung wird die nächste Messdatenpunktwolke ausgewählt, Schritt 100, und mit dieser werden entsprechend die Schritte 120 bis 190 durchgeführt. Damit wird soweit fortgefahren, bis in Schritt 200 festgestellt wird, dass alle auswählbaren Messdatenpunktwolken aus den von den Sensoren aufgenommenen Messdaten durchgeprüft und klassifiziert worden sind. Dann ist die aufgenommene 3D-Szene vollständig klassifiziert.
5 zeigt eine Skizze von vier berechneten Modellformen gemäß einer bestimmten Ausgestaltung des erfinderischen Klassifizierungsverfahrens. Diese vier Beispiele von 3D-Modellformen 300 sind aus den jeweiligen 3D-Modelldatenpunkten 302 berechnet.
Eine Möglichkeit einer solchen Oberflächenbeschreibung ist die Angabe von 3D-Modelldatenpunkten 302 mit zusätzlicher Vermaschungsinformation, also eine Gruppierung der Punkte zu geometrischen Formen. Eine solche Vermaschung kann z. B. über die Zuordnung der Modell-Eckpunkte zu Dreiecken geschehen. Mit Hilfe eines solchen Drahtgitters (wire-frame) aus Dreiecken lässt sich die Oberfläche des gewählten Objektrepräsentanten darstellen. Je nach Art der Anwendung und evtl. Randbedingungen hinsichtlich der Komplexität der Modelle 300 kann ein unterschiedlicher Detaillierungsgrad verwendet werden. Das bedeutet, dass ein Objekt einerseits wahlweise durch ein Modell 300 mit vielen oder wenigen Dreiecksflächen dargestellt werden kann. Weiterhin kann die Anordnung der Dreiecksflächen selbst entweder sehr komplex sein, oder sich an einfachen geometrischen Formen (z. B. Quadern) orientieren. Darüber hinaus sind auch völlig andere Arten der Modellbeschreibung denkbar, z. B. eine Darstellung nur durch Punkte (ohne Oberflächen), die Verwendung von Vierecken oder Polyedern, kubischen Splines etc.
Obwohl die vorliegende Erfindung anhand eines bevorzugten Ausführungsbeispiels vorstehend beschrieben wurde, ist sie darauf nicht beschränkt, sondern auf vielfältige Weise modifizierbar. Beispielsweise können bestimmte Plausibilitätsbetrachtungen der oben beschriebenen 3D-Analyse vorgreifen, um das Verfahren abzukürzen. Oder es können zusätzlich akustische Signale aus der Fahrzeugumgebung ausgewertet werden.
Schließlich können die Merkmale der Unteransprüche im wesentlichen frei miteinander und nicht durch die in den Ansprüchen vorliegende Reihenfolge miteinander kombiniert werden, sofern sie unabhängig voneinander sind.

Claims

Verfahren zur computergestützten Klassifizierung von dreidimensionalen Objekten zu einer oder mehreren vorgegebenen Klassen (20, 22, 24), bei dem ein Objekt messtechnisch erfasst wird, wobei von mindestens einem Sensor ein Satz von Messdaten (50) erzeugt wird, und das Objekt mit einem oder mehreren Modellen als Repräsentant einer jeweiligen Klasse von Objekten verglichen wird, wobei ein Modell aus einer vorgegebenen Menge von Modelldatenpunkten berechenbar ist, mit folgenden Schritten: a) die Messdaten (50) Informationen über alle drei Raumrichtungen enthalten, b) Vergleichen (130) der dreidimensionalen Form, die sich aus einer Messdatenpunktwolke (50) ergibt, mit einer dreidimensionalen Modellform (300), wobei ein Vergleichsresultat für die Kongruenz der Formen aus Messdaten (50) und Modelldaten (26, 28, 30, 32, 34, 36) erzeugt wird, c) Variieren (140) der geometrischen Beziehung zwischen beiden Formen, d) Wiederholen der Schritte b) und c), solange bis eine Kongruenz erreicht ist, die ein vorbestimmtes Qualitätskriterium erfüllt (160), oder ein anderes, vorgewähltes Abbruchkriterium erfüllt (170) ist, e) Durchführen der Schritte b), c) und d) für die Modellformen aller zur Auswahl stehenden Klassen, f) Klassifizieren (190) des 3D-Objekts in die demjenigen Modell zugeordnete Klasse, bei dem das beste Vergleichsresultat erzielt wurde, dadurch gekennzeichnet, dass im Schritt a) als weitere Sensordaten (52) eine Geschwindigkeit des Objekts erfasst wird, wobei ein typischer Geschwindigkeitsbereich (38) der Klasse des Objekts mit in die Klassifizierung (190) für eine Plausibilitätsprüfung einbezogen wird, und/oder im Schritt a) als weitere Sensordaten (52) eine Beschleunigung des Objekts erfasst wird, wobei ein typisches Beschleunigungsvermögen (40) der Klasse des Objekts mit in die Klassifizierung (190) für eine Plausibilitätsprüfung einbezogen wird, wobei durch einen Vergleich der weiteren Sensordaten (52) mit Zusatzinformationsdaten (38, 40) eine Vorauswahl der in Frage kommenden 3D-Modelldaten getroffen wird.
Verfahren nach Anspruch 1, wobei Eckpunkte von Modellform (300) und Messdatenpunktwolke (50) bevorzugt verglichen werden.
Verfahren nach Anspruch 1, wobei der Vergleich von Modellform (300) und Messdatenpunktwolke (50) anhand von Abstandsberechnungen zwischen Messdatenpunkten und der Oberfläche des Modells (300) erfolgt.
Verfahren nach Anspruch 1, wobei überdeckte Teile des Objekts, insbesondere von einem Drittobjekt, sowie die der Überdeckung entsprechenden Teile des Modells (300) nicht in die Schritte von Anspruch 1, b) und c) einfließen.
Verfahren nach Anspruch 1, wobei Interpolationsdatenpunkte verwendet werden, die interpolieren zwischen einander entsprechenden Punkten von Modellen (300) verschiedener Klassen.
Verfahren nach einem der vorstehenden Ansprüche, angewendet auf Objekte, die während des Betriebs eines Kraftfahrzeugs (1) aus seinem Umfeld sensorisch erfasst werden.
Verfahren nach Anspruch 6, wobei zum Zwecke der schnellen Klassifizierung (190) wenigstens eine der folgenden Schritte durchgeführt wird: a) Reduzieren der Anzahl der Modelle (300) im Vergleichsschritt, b) Herabsetzen des Qualitätskriteriums.
Verfahren nach Anspruch 6, enthaltend den weiteren Schritt des automatischen Einleitens (100) von vorbestimmten Maßnahmen spezifisch je nach zugeordneter Objektklasse (20, 22, 24), wenn das Objekt aufgrund des Ergebnisses weiterer Pre-crash-Sensorik und Analyse in einen Unfall mit dem Fahrzeug (1) verwickelt werden könnte.
Verfahren nach dem vorstehenden Anspruch, wobei die Maßnahme das gezielte Ansteuern von Rückhaltesystemen je nach Klassifizierungsergebnis enthält.
Verfahren nach Anspruch 6, wobei die Maßnahme bei Klassifizierung (190) des Objektes in einer Klasse „Fußgänger” (24) darin besteht, eine frontseitig angelenkte Motorhaube automatisch leicht anzuheben, um einen bevorstehenden Zusammenprall mit dem Objekt „Fußgänger” zu dämpfen.
Verfahren nach Anspruch 6, wobei die Maßnahme bei Klassifizierung (190) des Objektes in einer Klasse „Fußgänger” (24) darin besteht, einen außenseitig am Fahrzeug (1) wirksamen Airbag zu zünden, um einen bevorstehenden Zusammenprall mit dem Objekt „Fußgänger” zu dämpfen.
Computergestütztes Fahrzeuginformationssystem (3) enthaltend wirksame Verbindungen zu Fahrzeugsensoreinrichtungen (5) zur Erfassung von Objekten aus dem Umfeld des Fahrzeugs (1), wobei als weitere Sensordaten (52) die Geschwindigkeit und/oder die Beschleunigung eines Objekts messtechnisch erfassbar sind, eine computergestützte Datenbank (9), enthaltend Daten dreidimensional abbildender Modelle (26, 28, 30, 32, 34, 36) von Objekten und Zusatzinformationsdaten (38, 40) mit wenigstens a) einem Geschwindigkeitsbereich eines Objekts, oder b) einem Beschleunigungsvermögen eines Objekts, einen Steuerkreis (11) zur Analyse (130, 140, 150, 160, 170) und Klassifizierung (190) der erfassten Objekte mit Hilfe der Daten der dreidimensional abbildenden Modelle und der Zusatzdaten, wobei ein typischer Geschwindigkeitsbereich (38) einer Klasse eines Objekts mit in die Klassifizierung (190) für eine Plausibilitätsprüfung und/oder ein typisches Beschleunigungsvermögen (40) einer Klasse eines Objekts mit in die Klassifizierung (190) für eine Plausibilitätsprüfung einbezogen wird, wobei durch einen Vergleich der weiteren Sensordaten (52) mit den Zusatzinformationsdaten (38, 40) eine Vorauswahl in Frage kommender 3D-Modelldaten getroffen wird, sowie wirksame Verbindungen zu Aktuatoreinrichtungen (13) am Fahrzeug (1), die je nach Klassifizierungsergebnis selektiv betätigbar sind.