-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Überwachung einer Fahrzeugumgebung, wobei Daten eines Sensorsystems mittels eines Klassifikators ausgewertet werden
-
Die
DE 10 2007 014 012 A1 beschreibt ein Fahrzeugumgebungs-Überwachungsgerät, ein Fahrzeugumgebungs-Überwachungsverfahren und ein Fahrzeugumgebungs-Überwachungsprogramm, die aus einem Bild der Umgebung des Fahrzeugs ein zu vermeidendes Objekt, wie beispielsweise einen Fußgänger, rasch bestimmen können und dem Fahrer Informationen bereitstellen oder das Fahrzeugverhalten steuern können. Das Fahrzeugumgebungs-Überwachungsgerät schließt eine Objektextraktions-Verarbeitungseinheit ein, die aus von Infrarotkameras aufgenommenen Bildern um ein Fahrzeug herum vorhandene Objekte extrahiert, eine Fußgängerextraktions-Verarbeitungseinheit, die aus den extrahierten Objekten einen Fußgänger extrahiert, eine Körperhaltungsbestimmungs-Verarbeitungseinheit, welche die Körperhaltung des extrahierten Fußgängers bestimmt, eine Vermeidungsobjektbestimmungs-Verarbeitungseinheit, die mittels Durchführung eines Bestimmungsalgorithmus, der wenigstens eine erste Bestimmungsverarbeitung bezüglich der von der Körperhaltungsbestimmungs-Verarbeitungseinheit bestimmten Körperhaltung des Fußgängers einschließt, bestimmt, ob das extrahierte Objekt ein zu vermeidendes Objekt ist, welches davor bewahrt werden muss, mit dem Fahrzeug in Kontakt zu treten, und eine Fahrzeugaustattungssteuerungs-Verarbeitungseinheit steuert.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein verbessertes Verfahren zur Überwachung einer Fahrzeugumgebung anzugeben, wobei Daten eines Sensorsystems mittels eines Klassifikators ausgewertet werden.
-
Die Aufgabe wird erfindungsgemäß hinsichtlich des Verfahrens durch die im Anspruch 1 angegebenen Merkmale und hinsichtlich der Vorrichtung durch die im Anspruch 7 angegebenen Merkmale gelöst.
-
Bei einem Verfahren zur Überwachung einer Fahrzeugumgebung werden Daten eines Sensorsystems mittels eines Klassifikators ausgewertet und erfindungsgemäß verschiedene Fahrsituationstypen unterschieden, wobei
- – zu jedem Fahrsituationstyp ein Parametersatz und/oder ein Verarbeitungsschema für den Klassifikator vorgegeben werden bzw. wird;
- – mittels der Daten des Sensorsystems und/oder erfasster Fahrparameter eine aktuelle Fahrsituation bestimmt wird,
- – der aktuellen Fahrsituation ein Fahrsituationstyp zugeordnet wird und
- – in Abhängigkeit von dem aktuell erkannten Fahrsituationstyp der aktuelle Parametersatz und/oder das aktuelle Verarbeitungsschema für den Klassifikator angepasst wird.
-
Die Erfindung verknüpft in vorteilhafter Weise den Umstand, dass die Klassifikation oder Erkennung von Objekten in verschiedenen Fahrsituationen unterschiedlich schwierig oder aufwändig ist, mit dem Umstand, dass die Anforderungen an die Zuverlässigkeit einer solchen Klassifikation oder Erkennung ebenfalls von der jeweiligen Fahrsituation abhängen.
-
Eine aktuelle Fahrsituation wird dabei durch eine Reihe von Umgebungs- und Fahrparametern bestimmt. Beispielsweise zählen hierzu eine Unterscheidung von Tag und Nacht, die Klasse der befahrenen Straße wie Autobahn, Landstraße, Hauptstraße innerorts, Nebenstraße oder Spielstraße, die Zahl der Fahrspuren, geltende Verkehrszeichen wie Geschwindigkeitslimits, Spielstraße, Überholverbote, Zebrastreifen, Schulweg, Vorfahrtsregelung oder Stopschilder, ferner Bebauungsgrenzen, beispielsweise zur Unterscheidung von innerorts und außerorts, eine Straßen- und Verkehrsdichte, Kreuzungsinformationen wie die Entfernung zur nächsten Kreuzung oder eine erhöhte Kreuzungsdichte in der Vorschau oder vorausliegende Kreisverkehre, die Entfernung zu einem vorausliegenden Gefahrenpunkt wie einer Schule, einem Kindergarten, einem Fußgängerüberweg, eine geltende Vorfahrtsregelung, eine Straßenkrümmung oder eine Erfassung des Fahrverhaltens, beispielsweise durch ein zeitliches Profil von Geschwindigkeit und Lenkbewegungen.
-
Informationen zur Beschreibung der Fahrsituation werden in der Regel durch Sensoren im Fahrzeug, beispielsweise einen Regen-Licht-Sensor und durch die mittels eines Navigationssystems aus der digitalen Straßenkarte entnommenen Informationen ermittelt. Es ist auch möglich, bestimmte Kontextinformationen zeitlich zu integrieren, um statistische Prognosen für die aktuelle Fahrsituation oder bevorstehende Fahrsituationen zu gewinnen.
-
Ereignisse, welche mit dem Verfahren zur Überwachung der Fahrzeugumgebung erkannt werden sollen, können in Abhängigkeit von der aktuellen Fahrsituation mittels statistischer Größen beschrieben werden. Hierbei sind Ereignisse, die im Zusammenhang mit gefährlichen Situationen auftreten, von besonderer Bedeutung. Gefährliche Situationen sind dadurch gekennzeichnet, dass eine aktive Einflussnahme des Fahrers zur Vermeidung eines Unfalls und/oder eines Schadens erforderlich ist. Dies kann beispielsweise ein mögliches Zusammentreffen mit einem Fußgänger oder ein mögliches Auffahren auf ein vorausfahrendes Fahrzeug sein.
-
Fahrsituationen, die eine ähnliche statistische Beschreibung solcher Ereignisse, insbesondere solcher gefährlichen Situationen aufweisen und/oder die ähnliche Anforderungen an die aktive Einflussnahme oder die Aufmerksamkeit des Fahrers stellen, werden zu Fahrsituationstypen zusammengefasst. Für das vorgeschlagene Verfahren zur Überwachung der Fahrzeugumgebung wird im Voraus eine Menge möglicher Fahrsituationstypen festgelegt, die jeweils durch bestimmte Werte und/oder Wertebereiche für Sensordaten oder Kombinationen davon gekennzeichnet sind.
-
Das vorgeschlagene Verfahren zur Überwachung der Fahrzeugumgebung, im Folgenden auch als Fahrzeugumgebungs-Überwachungsverfahren bezeichnet, dient dazu, einen Fahrer möglichst rechtzeitig und möglichst zuverlässig vor solchen gefährlichen Situationen zu warnen. In einer Weiterbildung dient das Fahrzeugumgebungs-Überwachungsverfahren ferner dazu, Maßnahmen zur Vermeidung oder Begrenzung von Schäden in einer gefährlichen Situation vorzubereiten und/oder einzuleiten und/oder durchzuführen.
-
Zu diesem Zweck wird fortlaufend die aktuelle Fahrsituation erfasst und aus der vorbestimmten Menge möglicher Fahrsituationstypen der gemäß den kennzeichnenden Sensordaten ähnlichste Fahrsituationstyp ausgewählt. Dieser, im Folgenden als aktueller Fahrsituationstyp bezeichneter Fahrsituationstyp wird zur Anpassung des Fahrzeugumgebungs-Überwachungsverfahrens verwendet.
-
Beispielsweise kann eine Fahrt auf einer Autobahn bei freier Fahrtstrecke ein Fahrsituationstyp sein, dem eine niedrige Wahrscheinlichkeit eines Zusammentreffens mit einem Fußgänger, beispielsweise unterhalb von 0,001%, zugeordnet wird. Eine Fahrt in einem Innenstadtbereich mit einer Geschwindigkeitsbegrenzung von 30 km/h kann hingegen ein anderer Fahrsituationstyp sein, dem eine höhere Wahrscheinlichkeit eines Zusammentreffens mit einem Fußgänger, beispielsweise oberhalb von 0,1%, zugeordnet wird. Es ist auch möglich, dass andere statistische Parameter zur Beschreibung der Fahrsituation verwendet werden, beispielsweise die Zeit, die im Mittel zwischen zwei gefährlichen Situationen verstreicht.
-
Das vorgeschlagene Fahrzeugumgebungs-Überwachungsverfahren umfasst Verfahren zur Extraktion von Merkmalen aus erfassten Sensordaten. Solche Merkmale können beispielsweise die Anzahl, die Größe, die Form oder die Geschwindigkeit von Objekten sein, welche aus den Bilddaten eines als Kamera ausgebildeten Sensors extrahiert werden.
-
Das Fahrzeugumgebungs-Überwachungsverfahren umfasst ferner mindestens einen Klassifikator, welcher aus den extrahierten Merkmalen nach einem vorgegebenen Schema Entscheidungen ableitet. Solche Entscheidungen können binärer Art sein und beispielsweise das Vorhandensein eines Fußgängers in dem von einer Kamera erfassten Bild beschreiben. Solche Entscheidungen können auch kategorialer Art sein und beispielsweise angeben, mit welcher Art von Fahrzeug ein Zusammenstoß droht.
-
Es liegt in der Natur solcher Fahrzeugumgebungs-Überwachungsverfahren, dass sie nur mit einer begrenzten Zuverlässigkeit arbeiten. Insbesondere können tatsächlich vorliegende gefährliche Situationen nur mit einer begrenzten Richtigerkennungsrate oder True Positive Rate erkannt werden, welche regelmäßig unterhalb von 100% liegt. Ebenso wird von den durch das Fahrzeugumgebungs-Überwachungsverfahren gemeldeten gefährlichen Situationen ein gewisser Anteil nicht tatsächlichen gefährlichen Situationen entsprechen. Mit anderen Worten: auch in einem Teil der tatsächlich nicht gefährlichen Situationen wird durch das Fahrzeugumgebungs-Überwachungsverfahren ein Alarm ausgelöst. Dieser Anteil tatsächlich ungefährlicher, aber als gefährlich signalisierter Situationen wird als Falschalarmrate oder False Positive Rate bezeichnet und liegt regelmäßig oberhalb von 0%.
-
Die Richtigerkennungsrate und die Falschalarmrate können statistisch durch Vergleich der Ausgabe des Fahrzeugumgebungs-Überwachungsverfahrens mit Entscheidungen für Sensordaten aus bekannten Fahrsituationen ermittelt werden, welche von einem als korrekt angenommenen Referenzsystem geliefert werden. Ein solches Referenzsystem, auch als Trainingssystem oder Supervisor-System bezeichnet, kann beispielsweise durch eine manuelle Auswertung von Sensordaten gegeben sein. Es ist auch möglich, dass automatische Systeme, die bekanntermaßen sehr zuverlässig arbeiten, aber aus Aufwandsgründen für das Fahrzeugumgebungs-Überwachungsverfahren nicht einsetzbar sind, als Supervisor-System verwendet werden.
-
Klassifikatoren und/oder Verfahren zur Merkmalsextraktion in einem Fahrzeugumgebungs-Überwachungsverfahren sind parametrisierbar. Durch Veränderung von Parametern, beispielsweise von einem Schwellwert für eine Entscheidungsfunktion, können verschiedene Arbeitspunkte des Fahrzeugumgebungs-Überwachungsverfahrens eingestellt werden. Ein Arbeitspunkt ist dabei durch eine zugeordnete Richtigerkennungsrate und eine zugeordnete Falschalarmrate beschrieben. Typischerweise bewirkt eine Verbesserung, also Erhöhung der Richtigerkennungsrate bei einer Verschiebung des Arbeitspunkts eine Verschlechterung, also Erhöhung der Falschalarmrate. Umgekehrt bewirkt typischerweise eine Verbesserung, also Verringerung der Falschalarmrate bei einer Verschiebung des Arbeitspunkts eine Verschlechterung, also Verringerung der Richtigerkennungsrate.
-
In einer Weiterbildung der Erfindung wird der Arbeitspunkt des Fahrzeugumgebungs-Überwachungsverfahrens in Abhängigkeit von dem aktuellen Fahrsituationstyp festgelegt. Beispielsweise wird bei einer Fahrt auf einer Autobahn das Fahrzeugumgebungs-Überwachungsverfahren so parametrisiert, dass eine vergleichsweise niedrige Richtigkerkennungsrate, beispielsweise 80%, bei einer vergleichsweise niedrigen Falschalarmrate, beispielsweise 70%, eingestellt wird. Hingegen wird bei einer Fahrt in einem Innenstadtbereich mit einer Geschwindigkeitsbegrenzung von 30 km/h eine vergleichsweise hohe Richtigerkennungsrate, beispielsweise 99,8%, bei einer vergleichsweise hohen Falschalarmrate, beispielsweise 80%, eingestellt.
-
Damit wird bewirkt, dass in Fahrsituationen, denen ein kritischer Fahrsituationstyp zugeordnet ist, das Fahrzeugumgebungs-Überwachungsverfahren mit großer Empfindlichkeit arbeitet. Gefährliche Situationen, welche bei diesen Fahrsituationstypen vergleichsweise häufig auftreten, werden entsprechend der hohen Richtigerkennungsrate gut erkannt. Somit wird ein sicheres, vorausschauendes Fahren unterstützt.
-
Ferner wird damit bewirkt, dass in Fahrsituationen, denen ein unkritischer Fahrsituationstyp zugeordnet ist, das Fahrzeugumgebungs-Überwachungsverfahren mit großer Spezifität arbeitet. Die Zahl der Falschalarme wird in diesen Fahrsituationstypen reduziert. Dies ist besonders vorteilhaft, weil ein Großteil der Fahrzeit in solchen unkritischen oder in weniger kritischen Fahrsituationstypen verbracht wird.
-
So bewirkt die Wahl des Arbeitspunktes für ein Fahrzeugumgebungs-Überwachungsverfahren in Abhängigkeit vom Fahrsituationstyp einerseits eine hohe Genauigkeit, und somit eine hohe Unterstützungswirkung, und andererseits eine geringe Zahl von Falschalarmen, und somit eine hohe Akzeptanz durch den Anwender.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
-
1 schematisch eine Darstellung der Erkennungsleistung eines Fahrzeugumgebungs-Überwachungsverfahrens und
-
2 einen Ablaufplan für ein Fahrzeugumgebungs-Überwachungsverfahren.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
Das vorgeschlagene Fahrzeugumgebungs-Überwachungsverfahren umfasst ein Verfahren zur Merkmalsextraktion aus Daten, die von einer Sensorik bereitgestellt werden, und einen Klassifikator, welcher aus den extrahierten Merkmalen Entscheidungen ableitet. Es wird durch eine Richtigerkennungsrate oder True Positive Rate TP und eine Falschalarmrate oder False Positive Rate FP beschrieben. Beide Größen sind voneinander abhängig.
-
1 zeigt eine Darstellung der Richtigerkennungsrate oder True Positive Rate TP in Abhängigkeit von der Falschalarmrate oder False Positive Rate FP, die dem Fachmann als Receiver Operator Characteristic ROC bekannt ist. Der Verlauf der Klassifikatorkennlinie 1 beschreibt die Menge aller möglichen Arbeitspunkte mit ihrer zugeordneten Richtigerkennungsrate TP und Falschalarmrate FR Unterschiedliche Arbeitspunkte, beispielsweise ein Arbeitspunkt mit hoher Richtigerkennungsrate AP 1 oder ein Arbeitspunkt mit niedriger Richtigerkennungsrate AP 2 können durch unterschiedliche Wahl von Parametern für die Merkmalsextraktion und/oder die Klassifikation eingestellt werden.
-
Die Ermittlung der Klassifikatorkennlinie 1 erfolgt durch Vergleich der Ausgabe des Fahrzeugumgebungs-Überwachungsverfahrens mit den Entscheidungen eines Trainings- oder Supervisor-Systems, die als tatsächlich richtige Entscheidungen angenommen werden.
-
Das Trainingssystem kann beispielsweise ein technisch aufwändiges Fußgängererkennungssystem mit einer sehr hohen Erkennungsqualität sein oder durch manuell ausgewertete Daten realisiert werden. Das Trainingssystem definiert das durch das Fahrzeugumgebungs-Überwachungsverfahren zu erreichende Erkennungsergebnis. Beispielsweise definiert das Trainingssystem, wann anhand der Sensordaten, beispielsweise der Bilder einer Kamera, die in das Fahrzeugumgebungs-Überwachungsverfahren eingespeist werden, ein Fußgänger erkannt werden soll.
-
Mittels des Trainingssystems lässt sich zum Einen eine Klassifikatorkennlinie 1 ermitteln, die in statistischer Weise, also über verschiedene konkrete Fahrsituationen hinweg gemittelt, die Leistung des Fahrzeugumgebungs-Überwachungsverfahrens beschreibt.
-
Zum Anderen lassen sich mittels des Trainingssystems absolute Wahrscheinlichkeitswerte für das Auftreten gefährlicher Situationen, beispielsweise für ein mögliches Zusammentreffen mit einem Fußgänger ermitteln. Insbesondere ist es möglich, für bestimmte Fahrsituationstypen, beispielsweise „Fahrt auf einer Autobahn” oder „Fahrt in einem Innenstadtbereich” solche Wahrscheinlichkeitswerte zu ermitteln.
-
Das vorgeschlagene Fahrzeugumgebungs-Überwachungsverfahren umfasst ferner ein Verfahren zur Ermittlung eines aktuellen Fahrsituationstyps, bei welchem anhand von Sensordaten und/oder anhand von Fahrparametern und/oder anhand von kartographischen oder Geoinformationen über die aktuelle Fahrzeugposition während der Fahrt laufend ein aktueller Fahrsituationstyp aus der Menge der mittels des Trainingssystems vordefinierten Fahrsituationstypen ausgewählt und zugeordnet wird.
-
Beispielsweise ist es möglich, anhand geringen oder fehlenden Tageslichtes, eines aktivierten Regensensors, einer Geschwindigkeit von 25 km/h und einer Position in einem bebauten Gebiet einen Fahrsituationstyp „Nachtfahrt unter erschwerten Bedingungen mit erhöhtem Gefährdungspotenzial” auszuwählen und als aktuellen Fahrsituationstyp zuzuordnen.
-
Ändern sich die die Fahrsituation beschreibenden Parameter, so wird die Bestimmung und Zuordnung des aktuellen Fahrsituationstyps automatisch erneut durchgeführt.
-
Es ist möglich, aber nicht zwingend erforderlich, dass Sensordaten, die in das Fahrzeugumgebungs-Überwachungsverfahren eingespeist werden, mindestens teilweise auch für die Zuordnung eines Fahrsituationstyps verwendet werden.
-
In einer vorteilhaften Ausführungsform der Erfindung wird das Fahrzeugumgebungs-Überwachungsverfahren so gesteuert, dass ein Arbeitspunkt entlang der Klassifikatorkennlinie 1 in Abhängigkeit von dem aktuellen Fahrsituationstyp gewählt wird. Beispielsweise wird ein Arbeitspunkt AP1 mit hoher Richtigerkennungsrate, beispielsweise 99,8%, bei einer hohen Falschalarmrate FP, beispielsweise 80%, für einen ersten Fahrsituationstyp gewählt, bei dem eine gefährliche Situation wahrscheinlich ist, beispielsweise für eine Nachtfahrt unter erschwerten Bedingungen mit erhöhtem Gefährdungspotenzial.
-
Wenn die mittels des Trainingssystems ermittelte Wahrscheinlichkeit eines Zusammentreffens mit einem Fußgänger in diesem ersten Fahrsituationstyp beispielsweise 0,1% beträgt, so ergibt sich die totale oder absolute Wahrscheinlichkeit, ein Zusammentreffen mit einem Fußgänger mittels des Fahrzeugumgebungs-Überwachungsverfahrens nicht zu erkennen, zu (100% – 99,8%) × 0,1% = 0,02%.
-
In einem anderen Beispiel wird ein Arbeitspunkt AP2 mit einer niedrigen Richtigerkennungsrate, beispielsweise 80%, für einen zweiten Fahrsituationstyp gewählt, der als Fahrt auf einer Autobahn bei freier Fahrbahn charakterisiert ist und dem eine Wahrscheinlichkeit von 0,001% für ein Zusammentreffen mit einem Fußgänger zugeordnet ist. Somit ergibt sich die totale oder absolute Wahrscheinlichkeit, ein Zusammentreffen mit einem Fußgänger mittels des Fahrzeugumgebungs-Überwachungsverfahrens nicht zu erkennen, ebenfalls zu (100% – 80%) × 0,001% = 0,02%.
-
Das Fahrzeugumgebungs-Überwachungsverfahren kann somit durch geeignete, an den aktuellen Fahrsituationstyp angepasste Wahl des Arbeitspunktes entlang der Klassifikatorkennlinie 1 so gesteuert werden, dass ein vorgegebener Maximalwert für die Wahrscheinlichkeit, eine gefährliche Situation nicht zu erkennen, eingehalten wird und dass gleichzeitig die mittlere Zahl von Falschalarmen, also die über alle gewählten Arbeitspunkte gemittelte Falschalarmrate FP, minimiert wird.
-
Die Vorrichtungen im Kraftfahrzeug, die mittels eines Sensorsystems zur Fußgängererkennung dem Schutz des Fußgängers dienen, unterscheiden sich in der Weise, wie sie in die Fahrzeugführung eingreifen. Es sind informierende Systeme bekannt, welche den Fahrer über Fußgänger im Gefahrenbereich informieren und ihn dabei bei der rechtzeitigen Wahrnehmung solcher Fußgänger unterstützen. Ferner sind warnende Systeme bekannt, die einen Fahrer warnen, wenn sein Verhalten bei der Fahrzeugführung einen Fußgänger potenziell gefährdet. Konditionierende Systeme bereiten Eingriffe in die Fahrzeugführung so vor, dass in einer Gefahrensituation eine schnellere Reaktion möglich wird. Eingreifende Systeme greifen selbst in die Fahrzeugführung ein, um eine Gefährdung des Fußgängers zu vermeiden oder die Folgen zu mildern.
-
Je nach Auslegung des Systems sind bestimmte Erkennungsraten mindestens zu erreichen oder bestimmte Falschalarmraten FP nicht zu überschreiten. Ein warnendes System, das den Fahrer bei einem zu hohen Anteil von Falschalarmen warnt, wird vom Fahrer nicht mehr ernst genommen oder gar als störend empfunden und verfehlt damit seine eigentliche Aufgabe. Ein eingreifendes System darf aus Funktionssicherheitssicht nur eine bestimmte Anzahl von Falscheingriffen pro Strecke aufweisen.
-
Beispielsweise kann mittels des vorgeschlagenen Verfahrens ein Fahrzeugumgebungs-Überwachungsverfahren so gesteuert werden, dass eine vorgegebene Richtigerkennungsrate TP, beispielsweise die Erkennung von 90% aller Fußgänger, in einem statistischen Sinne erreicht wird und eine von der Falschalarmrate FP abgeleitete Größe, beispielsweise maximal ein Falscheingriff pro 1.000.000 km gefahrener Strecke, eingehalten wird.
-
In vorteilhafter Weise wird durch die Erfindung bei einer vorgegebenen Unterstützungswirkung des Fahrzeugumgebungs-Überwachungsverfahrens die Akzeptanz durch den Anwender verbessert. Mit dem vorgeschlagenen Verfahren wird die Gefahr deutlich vermindert, dass ein Fahrzeugumgebungs-Überwachungsverfahren, das den Anwender zu häufig unbegründet warnt, nicht mehr ernst genommen oder gar als störend empfunden wird. Die Erfindung verbessert auch die Eigenschaften eines in die Fahrzeugsteuerung eingreifenden Systems, das auf diesem Fahrzeugumgebungs-Überwachungsverfahren aufsetzt und das aus Gründen der Funktionssicherheit nur eine bestimmte Anzahl von Falscheingriffen pro gefahrener Strecke aufweisen darf.
-
Mit anderen Worten: das Fahrzeugumgebungs-Überwachungsverfahren wird so gesteuert, dass in einem unwichtigen Funktionskontext, beispielsweise dem Fahren auf einer Autobahn, eine schlechtere relative Erkennungsleistung und in einem wichtigen Funktionskontext, beispielsweise dem Fahren in einer Innenstadt, eine bessere relative Erkennungsleistung ermöglicht wird, was unter Berücksichtigung der unterschiedlichen Wahrscheinlichkeiten für das Auftreten gefährlicher Situationen zu einer Einhaltung vorgegebener Grenzwerte für die absolute Erkennungsleistung führt und die erlebbare Systemperformance verbessert.
-
In einer weiteren Ausführungsform der Erfindung wird das Verfahren zur Merkmalsextraktion und/oder der Klassifikator in Abhängigkeit von dem erkannten Fahrsituationstyp angepasst. 2 zeigt schematisch und beispielhaft den Ablauf eines Fahrzeugumgebungs-Überwachungsverfahrens, wobei das Sensorsystem wenigstens teilweise als Kamera ausgeprägt ist, für ein einzelnes aufgenommenes Bild. In einem ersten Schritt wird der aktuelle Fahrsituationstyp, beispielsweise „Fahrt auf einer Autobahn” oder „Fahrt im Innenstadtbereich” erkannt.
-
In Abhängigkeit von dem erkannten Fahrsituationstyp werden vordefinierte Ausschnitte des Kamerabildes ausgewählt und untersucht. Beispielsweise werden für den Fahrsituationstyp „Fahrt im Innenstadtbereich” viele Bildausschnitte ausgewählt, die den Bereich der Fahrbahnränder überdecken. Für den Fahrsituationstyp „Fahrt auf einer Autobahn” werden dagegen beispielsweise nur wenige Bildausschnitte oder nur ein einzelner Bildausschnitt ausgewählt, die/der einen mittig gelegenen Teilbereich des Kamerabildes abdecken/abdeckt.
-
Für jeden Bildausschnitt, auch als Region Of Interest (ROI) bezeichnet, werden in einem nachfolgenden Schritt Merkmale extrahiert. In einem anschließenden Schritt werden diese Merkmale durch einen Klassifikator verarbeitet und eine auf diesen Bildausschnitt bezogene Entscheidung ermittelt.
-
Beispielsweise können Merkmale eines Bildausschnittes Form, Größe oder Lage von binarisierten Bildobjekten sein. Merkmale eines Bildausschnitts können auch statistische Parameter, beispielsweise die Häufigkeitsverteilung von Grau- und/oder Farbwerten sein.
-
Eine auf einen Bildausschnitt bezogene Entscheidung kann beispielsweise eine Aussage sein, ob sich im Bildausschnitt Teile eines als Fußgänger zu identifizierenden Objekts befinden. Eine solche Entscheidung kann beispielsweise auch eine Aussage sein, ob sich im Bildausschnitt stark reflektierende oder selbst leuchtende Objekte, beispielsweise von Fußgängern oder Radfahrern getragene Reflexstreifen oder Warnsignale befinden.
-
Die auf einen Bildausschnitt bezogenen Verarbeitungsschritte werden für alle Bildausschnitte wiederholt, die für den erkannten Fahrsituationstyp vordefiniert sind. In einem abschließenden Schritt werden optional die auf die verarbeiteten Bildausschnitte bezogenen Klassifikationsergebnisse zusammengefasst und eine Klassifikation oder Entscheidung für das gesamte Bild ermittelt. Beispielsweise ist es möglich, eine Gefahrenwarnung nur auszulösen, wenn stark reflektierende oder selbstleuchtende Objekte in mindestens zwei Bildausschnitten erkannt wurden.
-
Diese Ausführungsform der Erfindung bietet den Vorteil, dass der mit dem Fahrzeugumgebungs-Überwachungsverfahren verbundene Auswertungsaufwand in Abhängigkeit von dem erkannten Fahrsituationstyp steuerbar ist. So ist es möglich, in unkritischen Fahrsituationstypen eine geringere Anzahl von Verarbeitungsschritten, beispielsweise entsprechend einer geringeren Anzahl von ausgewerteten Bildausschnitten, durchzuführen. Die von dem Fahrzeugumgebungs-Überwachungsverfahren nicht benötigte Rechenleistung eines Verarbeitungssystems kann dann vorteilhaft für andere Aufgaben eingesetzt werden. In kritischen Fahrsituationstypen, beispielsweise bei Fahrt im Innenstadtbereich, wird dagegen die maximal mögliche Anzahl von Bildausschnitten ausgewertet, um eine möglichst hohe Richtigerkennungsrate oder True-Positive-Rate TP zu erreichen.
-
In einer weiteren Ausführungsform der Erfindung wird das Verfahren der Merkmalsextraktion in Abhängigkeit von dem aktuell erkannten Fahrsituationstyp angepasst. Beispielsweise ist es möglich, einen Fahrsituationstyp „Fahrt im Bereich von Schulen und/oder Kindertagesstätten” zu definieren. Bei Erkennung eines solchen Fahrsituationstyps wird die Merkmalsextraktion so gewählt, dass Personen mit geringerer Größe, insbesondere Kinder, besser erkannt werden. Dies kann beispielsweise durch Anpassung von Schwellwerten bei einer Bildbinarisierung und/oder bei einer Konturverfolgung in einem Grauwert- oder Farbbild erreicht werden.
-
Mit dieser Ausführungsform der Erfindung kann die Richtigerkennungsrate oder True-Positive-Rate TP bei gleichbleibender oder verbesserter Falschalarmrate oder False-Positive-Rate FP verbessert werden. Damit werden die Unterstützungswirkung und die Akzeptanz des Fahrzeugumgebungs-Überwachungsverfahrens in vorteilhafter Weise verbessert.
-
In einer weiteren Ausführungsform der Erfindung wird die Art und/oder die Parametrisierung des Klassifikators zur Auswertung der Bildausschnitte in Abhängigkeit von dem aktuell erkannten Fahrsituationstyp angepasst. Beispielsweise ist es möglich, für einen Fahrsituationstyp „Fahrt im Innenstadtbereich” einen ersten Klassifikator, und für einen Fahrsituationstyp „Fahrt auf der Autobahn” einen zweiten Klassifikator auszuwählen. Beispielsweise kann der erste Klassifikator speziell auf die Erkennung von Fußgängern trainiert sein, wohingegen der zweite Klassifikator speziell auf die Erkennung von Hindernissen im Fahrbahnbereich trainiert sein kann. Damit wird in vorteilhafter Weise eine besonders zuverlässige Erkennung von Gefährdungen erreicht, die in dem jeweiligen aktuellen Fahrsituationstyp besonders häufig oder typisch auftreten. Damit werden die Unterstützungswirkung und die Akzeptanz des Fahrzeugumgebungs-Überwachungsverfahrens in vorteilhafter Weise verbessert.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102007014012 A1 [0002]
