DE102022120140A1

DE102022120140A1 - Verfahren und Steuervorrichtung zum Vorgeben eines Objektzustands eines Objekts in einem Umfeld einer Umfelderfassungseinrichtung

Info

Publication number: DE102022120140A1
Application number: DE102022120140.6A
Authority: DE
Inventors: Ferdinand Farenholtz; Michael Stark; Christian TENDYCK; Daniel Basse
Original assignee: Volkswagen AG; Cariad SE
Current assignee: Volkswagen AG; Cariad SE
Priority date: 2022-08-10
Filing date: 2022-08-10
Publication date: 2024-02-15

Abstract

Die Erfindung betrifft ein Verfahren zum Vorgeben eines Objektzustands (Z1, Z2) eines Objekts (20) im Umfeld (U) einer Umfelderfassungseinrichtung (11). Dabei werden zunächst Klassifikationsdaten (Z) zu dem Objekt (20) als ein Eingangssignal (Zin) erfasst, wobei die Klassifikationsdaten (Z) zumindest zwei verschiedene Objektzustände (Z1, Z2) des Objekts (20) angeben. Danach wird ein jeweils zugeordneter Konfidenzwert (K1, K2) zu zumindest zwei der Objektzustände (Z1, Z2) bestimmt, wobei der jeweilige Konfidenzwert (K1, K2) ein Maß für eine Zuverlässigkeit des jeweiligen Objektzustands (Z1, Z2) vorgibt. Anschließend werden die Konfidenzwerte (K1, K2) gemäß einem vorgegebenen Auswertekriterium ausgewertet. In Abhängigkeit von dem Ergebnis des Auswerten wird genau einer der Objektzustände (Z1, Z2) als Ausgangssignal (Zout) bereitgestellt.

Description

Die Erfindung betrifft ein Verfahren zum Vorgeben oder Ausgeben eines Objektzustands eines Objekts im Umfeld einer Umfelderfassungseinrichtung. Die Erfindung betrifft auch eine Steuervorrichtung, die dazu eingerichtet ist, das vorgenannte Verfahren auszuführen oder durchzuführen.
Eine Umfelderfassungseinrichtung ist ein an sich bekanntes System zum Überwachen eines Umfelds, insbesondere zum Erkennen oder Identifizieren oder Klassifizieren von Objekten in dem Umfeld. Das Identifizieren kann zum Beispiel ein Erkennen oder Zuordnen von zumindest einem Objektzustand des Objekts umfassen. Mit einem Objektzustand ist vorliegend insbesondere ein konkreter Zustandswert oder Eigenschaftswert einer Objekteigenschaft gemeint. Eine Objekteigenschaft kann beispielsweise eine Farbe, eine Position oder eine Typklassifikation, also ein Objekttyp oder eine Objektart des Objekts, sein. Dementsprechend kann der Objektzustand zum Beispiel einen Farbwert, einen Positionswert umfassen geografische Koordinaten des Objekts oder ein Objektklassenwert sein. Der Objektklassenwert kann zum Beispiel angeben, dass es sich bei dem Objekt um eine Person, einen Radfahrer, eine bestimmte Tierart, einen Personenkraftwagen, usw. handelt.
Eine handelsüblich eingesetzte Umfelderfassungseinrichtung kann vorzugsweise zum automatisierten oder selbstständigen Erkennen eines oder mehrere Objekte in dem Umfeld ausgebildet sein. Dazu kann die Umfelderfassungseinrichtung beispielsweise Sensoreinheit und eine Steuervorrichtung umfassen. Mittels der Sensoreinheit kann die Umgebung erfasst werden. Es können zum Beispiel Sensordaten aufgenommen werden, die ein Abbild oder eine Nachbildung des Umfelds und somit auch den Objekten im Umfeld darstellen. Dazu kann die Sensoreinheit kann zum Beispiel einen oder mehrere Sensoren aufweisen. Als Sensor zur Umfelderfassung kann zum Beispiel eine Kamera, ein Ultraschallsensor, ein Lidarsensor oder ein Radarsensor oder ein anderer vorgegebener Sensor, der zur Umfelderfassung tauglich ist, eingesetzt werden.
Mittels der Steuervorrichtung können die erfassten Sensordaten ausgewertet oder verarbeitet werden. Dadurch wird zum Beispiel die Objektklassifikation, also das Bestimmen des jeweiligen Objektzustands ausgeführt. Für die Klassifikation kann ein an sich bekanntes Klassifikationsmodul eingesetzt werden, welches einen vorbestimmten Klassifikationsalgorithmus ausführen kann. Das Klassifikationsmodul kann Klassifikationsdaten zu dem Objekt liefern, die den Objektzustand umfassen. Die Klassifikation kann zum Beispiel anhand von Schätzungen oder Mustererkennung zum Beispiel mittels neuronaler Netze erfolgen.
Die Klassifikationsdaten und insbesondere den erkannten Objektzustand kann die Steuervorrichtung zur Weiterverarbeitung bereitstellen. Der ausgegebene Objektzustand kann zum Beispiel von einer der Überwachungseinrichtung zugeordneten Verarbeitungseinrichtung oder einem System, welches die Umfelderfassungseinrichtung umfasst, genutzt werden, um vorbestimmte Systemeinstellungen oder Systemzustände vorzunehmen oder einzustellen.
Eine solche Umfelderfassungseinrichtung wird heutzutage in den verschiedensten Anwendungsbereichen eingesetzt. Zu den Anwendungsbereichen zählen zum Beispiel eine Gebäudeüberwachung, ein Wilddtiermonitoring oder eine Verkehrsüberwachung oder andere Einsatzgebiete, die eine Umgebungserfassung notwendig machen.
Im Bereich der Verkehrsüberwachung kann die Umfelderfassungseinrichtung zum Beispiel für ein sogenanntes Fahrerassistenzsystem oder elektronisches Fahrzeugführungssystem in einem Kraftfahrzeug eingesetzt werden. Ein elektronisches Fahrzeugführungssystem kann ein elektronisches System sein, das dazu eingerichtet ist, ein Fahrzeug vollautomatisch oder vollautonom oder zumindest teilautomatisch oder teilautonom zu führen.
Hierbei kann der jeweils erkannte Objektzustand beispielsweise an ein Steuergerät des Fahrerassistenzsystems bereitgestellt werden. Abhängig von dem Objektzustand kann das Steuergerät, welches die Verarbeitungseinrichtung ausbilden kann, ein passendes Fahrmanöver auswählen und entsprechende Fahrzeugaktuatoren des Kraftfahrzeugs zum Durchführen des Fahrmanövers ansteuern.
Ein anderes Beispiel für eine zugeordnete Verarbeitungseinrichtung ist eine Anzeigeeinrichtung für eine Darstellung des Objekts an eine Bedienperson, im Kraftfahrzeug zum Beispiel ein Insasse oder Fahrer. Dadurch kann der Bedienperson in einer visuellen Information ausgegeben werden, welche Objekte das die Umfelderfassungseinrichtung in dem Umfeld wahrnimmt. Die Anzeigeeinrichtung kann zum Beispiel mittels eines mobilen Endgeräts, wie einem Smartphone oder einem Tablet, oder mittels eines Infotainmentsystems des Kraftfahrzeugs bereitgestellt sein.
Insbesondere bei bewegten Objekten und/oder dem Einsatz der Umfelderfassungseinrichtung in einem bewegten System, wie beispielsweise einem Kraftfahrzeug, kann es passieren, dass das Klassifikationsmodul die Klassifikation aktualisiert oder ändert. Das kann vorkommen, wenn das Objekt beispielsweise zuerst zunächst zu weit entfernt ist oder teilweise von einem anderen Objekt verdeckt ist. Dann wird das Objekt zum Beispiel zunächst in einer ersten Weise klassifiziert. Es kann beispielsweise zu einer Falschklassifizierung, bei welcher der erkannte Objektzustand von einem realen Objektzustand abweicht. Sobald das Objekt jedoch nah genug ist oder freisteht, kann eine neue oder aktualisierte Klassifikation mit einem neuen Objektzustand durchgeführt werden. Die aktualisierte Klassifikation kann zum Beispiel mit dem realen Objektzustand übereinstimmen (Richtigklassifikation).
Für die Verarbeitungseinrichtung ist es vorteilhaft, nicht alle diese Umsprünge oder Wechsel des erkannten Objektzustands mitzumachen oder zu berücksichtigen. Beispielsweise können bei einer Anzeigeeinrichtung im Kraftfahrzeug schnelle Darstellungswechsel vom Fahrer als sehr störend oder irritierend wahrgenommen werden. Um Störungen zu vermeiden, sollen die Zustände, also die Ergebnisse einer Klassifikation, deshalb stabilisiert werden.
Eine bekannte Methode zur Stabilisierung besteht zum Beispiel darin, eine Hysterese für die Vorgabe des Objektzustands umzusetzen. Am Beispiel der Anzeigeeinrichtung heißt das, dass der Wechsel zu einer neuen Objektdarstellung zeitlich verzögert wird. Die Dauer der Verzögerung kann frei gewählt sein. Eine solche Hysterese ermöglicht aber keine zuverlässige Stabilisierung, da das Klassifikationsmodul insbesondere im bewegten System mit hoher Frequenz verschiedene Objektzustände liefert kann. Nachteilig ist hierbei, dass nach Ablauf der Hysteresedauer immer nur der aktuell erkannte Objektzustand ausgegeben wird. Es wird nicht berücksichtigt, dass zum Beispiel ein anderer Zustände während der Hysteresedauer gegebenenfalls deutlich länger vorlag.
Es ist die Aufgabe der vorliegenden Erfindung, bei einer Umfelderfassung eine Vorgabe eines erkannten Objektzustands für ein Objekts im Umfeld einer Umfelderfassungseinrichtung zuverlässig zu stabilisieren.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die Gegenstände der abhängigen Patentansprüche, in der Beschreibung sowie in den Figuren offenbart.
Die Erfindung beruht auf der Erkenntnis, dass es vorteilhaft ist, die die wahrscheinlichste oder häufigste Klassifikation des Objekts vorzugeben. Um die Vorgebe oder Ausgabe des Objektzustands zu stabilisieren kann dazu zum Beispiel für mehrere erkannte Objektzustände eine Konfidenz ermittelt werden. Die Aufbau- oder Abbaugeschwindigkeit der Konfidenz kann von verschiedenen Parametern abhängig sein. Ändert sich die Klassifikation bei der Objekterkennung, soll nicht einfach nur die neue Objektklassifikation, also der neue Objektzustand ausgegeben werden. Stattdessen soll zu der neuen Objektklassifikation mit denselben Parametern eine neue Konfidenz aufgebaut werden, während die zur Zeit noch angezeigte Objektklassifikation die Konfidenz wieder abbaut. Erst wenn die Konfidenzen zum Beispiel vorbestimmte Grenzwerte erreicht haben, wird in der Darstellung von der ersten Objektklassifikation auf die zweite Objektklassifikation umgeschaltet. So kann sichergestellt werden, dass immer der Zustand, also die Objektklassifikation ausgegeben wird, die die höchste Konfidenz über die Zeit generiert hat.
Dementsprechend betrifft die Erfindung ein Verfahren zum Vorgeben oder Ausgeben eines Objektzustands eines Objekts im Umfeld einer Umfelderfassungseinrichtung. Das Verfahren umfasst die folgenden Schritte, die beispielsweise mittels der eingangs genannten Steuervorrichtung der Umfelderfassungseinrichtung durchgeführt werden können:

Zunächst werden Klassifikationsdaten zu dem Objekt als ein Eingangssignal erfasst. Die Klassifikationsdaten umfassen dabei zumindest zwei verschiedene Objektzustände des Objekts oder geben diese an. Die Objektzustände können beispielsweise jeweils als Zustandswert, wie er zuvor beschrieben wurde, vorliegen. Das heißt, es können zum Beispiel zwei oder mehrere Objektzustände empfangen werden, die sich jeweils voneinander unterscheiden. Die Klassifikationsdaten können von dem eingangs genannten Klassifikationsmodul bereitgestellt oder übermittelt werden.

Anschließend werden in dem Verfahren zu den oder für zumindest zwei, also zwei oder mehr der Objektzustände jeweils ein zugeordneter Konfidenzwert bestimmt oder ermittelt. Vorzugsweise kann für alle Objektzustände ein zugeordneter Konfidenzwert ermittelt werden. Der jeweilige Konfidenzwert gibt ein Maß für eine Zuverlässigkeit, insbesondere eine Beständigkeit oder Genauigkeit, des jeweiligen Objektzustands an. Der jeweilige Konfidenzwert kann beispielsweise als Wahrscheinlichkeitswert vorliegen. Der Konfidenzwert kann somit beschreiben, wie beständig das Klassifikationsmodul bei der Umfelderfassung den jeweiligen Objektzustand erkannt hat. Dabei kann ein höherer Klassifikationswert eine höhere Beständigkeit, insbesondere exaktere Beschreibung des Umfelds bedeuten als ein niedrigerer Klassifikationswert. Der Konfidenzwert ist beispielsweise höher je länger der zugehörige Objektzustand in den Klassifikationsdaten bei der Überwachung des Objekts detektiert oder erfasst wurde.
Als nächstes werden in dem Verfahren die zumindest zwei, also zwei oder mehr Konfidenzwerte gemäß einem vorgegebenen Auswertekriterium ausgewertet. Das Auswerten kann zum Beispiel ein Vergleichen und/oder Bewerten der Konfidenzwerte umfassen. Das Auswertekriterium gibt zum Beispiel vor, dass für Ausgabe des Objektzustands basierend auf den Konfidenzwerten ein Wechsel oder Umschalten des Objektzustands beispielweise für eine Weiterverarbeitung mittels einer eingangs beschriebenen Verarbeitungseinrichtung notwendig oder sinnvoll ist. Durch Anwenden des Auswertekriteriums kann somit die Stabilisierung realisiert werden.
Anschließend wird in dem Verfahren in Abhängigkeit vom Ergebnis des Auswertens vorzugsweise nur, also genau einer der Objektzustände als Ausgangssignal bereitgestellt. Zum Beispiel kann derjenige Objektzustand mit dem höchsten Konfidenzwert ausgewählt werden. Die übrigen erkannten Objektzustände werden vorzugsweise verworfen, also nicht bereitgestellt. Das Bereitstellen erfolgt insbesondere an die Verarbeitungseinrichtung, wie zum Beispiel ein Steuergerät eines Fahrerassistenzsystems oder einer Anzeigeeinrichtung eines Kraftfahrzeugs. Das Bereitstellen umfasst vorliegend insbesondere ein Vorgeben oder Ausgeben oder Übermitteln.
Wird zunächst ein anderer Objektzustand bereitgestellt, kann sich dadurch beispielsweise ein Wechsel oder eine Umschaltung in der Ausgabe ergeben. Dabei kann der gemäß dem Auswertekriterium ausgewählte Objektzustand den Vorangegangenen ersetzen. Vorzugsweise wird der Wechsel zum Beispiel nur dann durchgeführt, wenn das Auswertekriterium erfüllt ist. Ansonsten, also wenn das Auswertekriterium nicht erfüllt ist, wird zum Beispiel der vorangegangene oder ursprüngliche Objektzustand beibehalten.
Besonders bevorzugt wird in dem Verfahren zumindest ein Objektzustand abhängig von dem Auswertekriterium bereitgestellt. Vorzugweise werden zum Beispiel zwei oder mehr Objektzustände gemäß dem Auswertekriterium ausgewählt und anschließend bereitgestellt. Die Auswahl gemäß dem Auswerten kann zum Beispiel gemäß einer vorbestimmten Priorisierung erfolgen. Beispielweise werden die Objektzustände nach aufsteigenden Konfidenzwerten priorisiert. Bei mehr als einem bereitzustellenden Objektzustand, können die bereitzustellenden Objektzustände zum Beispiel an verschiedene Verarbeitungseinrichtungen übermittelt werden.
Durch die Erfindung ergibt sich der Vorteil, dass kein zufälliger oder zeitabhängiger Wechsel in der Ausgabe des Objektzustands erfolgt, wenn sich eine Objektklassifikation bei der Umfelderfassung verändert. Die Ausgabe kann zuverlässig stabilisiert werden.
Mit Objekt ist vorliegend ein Hindernis für das Kraftfahrzeug im Straßenverkehr gemeint. Eine Objektklasse oder eine Objekteigenschaft kann zum Beispiel ein Verkehrsteilnehmer oder eine Infrastruktur sein. Weitere Beispiele für eine Objektklasse sind eine Dimension (Größe), eine Ausrichtung oder eine Position des Objekts insbesondere relativ zu der Umfelderfassungseinrichtung sein. Ein Objektzustand kann eine konkrete Art einer Objektklasse sein. Nicht abschließend kann dies vorliegend zum Beispiel ein Pkw, ein Lkw, ein Motorrad, ein Radfahrer, ein Fußgänger, geografische Positionsdaten, eine konkrete Fahrspur oder eine konkrete Fahrbahnmarkierung, ein konkretes Verkehrsschild, wie eine Geschwindigkeitsbegrenzungsanzeige, oder eine andere vorgegebene Art von Objektzustand sein. Mit „konkret“ ist in diesem Zusammenhang gemeint, dass es sich um eine bestimmte Art von Objekt handelt.
Die Objekterkennung im Umfeld und das Erkennen oder Zuordnen des Zustands zu dem Objekt kann mittels der Umfelderfassungseinrichtung, wie sie eingangs beschrieben wurde, durchgeführt werden. Die Umfelderfassungseinrichtung kann die Steuervorrichtung umfassen, die zum Durchführen oder Ausführen des Verfahrens genutzt werden kann. Die Zustandserkennung wird allgemein auch als Klassifizierung oder Klassifikation bezeichnet. Die Klassifikation zur Objekterkennung im Umfeld, insbesondere in einem vorbestimmten Objektraum um die die Umfelderfassungseinrichtung herum, ist an sich bekannt. In einem Kraftfahrzeug kann eine entsprechende Umfelderfassungseinrichtung zum Beispiel von einem Fahrerassistenzsystem, wie zum Beispiel einem sogenannten Travel Assist, umfasst sein.
Mittels der Umfelderfassungseinrichtung kann das Umfeld erfasst und nach bekannten Verfahren zur Objekterkennung ausgewertet werden. Das Erfassen kann optisch, akustisch oder gemäß einem anderen physikalischen Erkennungsprinzip oder Messprinzip erfolgen. Zur Umfelderfassung kann die Umfelderfassungseinrichtung eine Sensoreinheit mit zum Beispiel einen oder mehrere Sensoren, wie zum Beispiel einen Lidarsensor, einen Radarsensor, einen Ultraschallsensor oder eine Kamera umfassen. So kann zum Beispiel zur Umfelderfassung ein digitales Bild oder Video mittels einer Umfeldkamera aufgenommen werden.
Für die Auswertung kann zum Beispiel ein vorbestimmter Klassifikationsalgorithmus auf das erfasste Abbild der Umgebung angewendet werden. Ein heutzutage bekannter Klassifikationsalgorithmus basiert zum Beispiel auf Mustererkennung. Für die Auswertung umfasst die Umfelderfassungseinrichtung zum Beispiel ein zu der Steuervorrichtung separates oder von der Steuervorrichtung umfasstes Steuergerät mit einem Klassifikationsmodul. Das Steuergerät kann als Klassifikator bezeichnet werden. Das Steuergerät kann zum Beispiel ein künstliches neuronales Netz aufweisen. Die Auswertung kann zum Beispiel aus Basis des maschinellen Lernens oder Deep Learning umgesetzt sein. Zum Trainieren des neuronalen Netzes können zum Beispiel die bereitgestellten und/oder verworfenen Objektzustände als Trainingsdaten verwendet werden.
Durch die Klassifikation des Objekts wird der Objektzustand erkannt, also dem Objekt zugeordnet. Dieser ist zum Beispiel als Wert oder Datensatz in den vorgenannten Klassifikationsdaten enthalten. Die Klassifikationsdaten werden von der Umfelderfassungseinrichtung zum Beispiel als Input (Eingangssignal) an die Steuervorrichtung, die zum Durchführen des obigen Verfahrens eingesetzt wird, bereitgestellt oder ausgeben. Mittels der Steuervorrichtung können der oder die Objektzustände, wie zuvor beschrieben, ausgewählt werden. Den jeweils ausgewählte Objektzustand kann die Steuervorrichtung an die vorgenannte Verarbeitungseinrichtung übertragen oder bereitstellen.
Falls es sich dabei um eine Anzeigeeinrichtung handelt, kann diese den Objektzustand nutzen, um für den Insassen ein Symbol des Objekts in dem Umfeld darzustellen. Dazu kann die Anzeigeeinrichtung zum Beispiel ein passendes Symbol für das Objekt mit dem entsprechenden Objektzustand auswählen oder zuordnen. Das Symbol kann eine schematische Darstellung des Objekts sein. Handelt es sich hingegen um ein Fahrerassistenzsystem, kann dessen Steuergerät den Objektzustand zum Beispiel nutzen, um ein passendes Fahrmanöver auszuwählen oder zuordnen.
Die jeweilige Zuordnung kann nach einer vorgegebenen Zuordnungsvorschrift erfolgen. Zum Beispiel kann für die Zuordnung eine Zuordnungstabelle oder Look-Up-Table mittels der jeweiligen Verarbeitungseinrichtung implementiert sein.
Weitere Beispiele für eine Verarbeitungseinrichtung oder ein System, in welchem die Umfelderfassungseinrichtung einsetzbar ist oder mit welchem die Umfelderfassungseinrichtung koppelbar ist, sind unter anderem ein Gebäudeüberwachungssystems, ein System zur Wildtierüberwachung, wie es zum Beispiel von Jägern eingesetzt wird, ein Verkehrsüberwachungssystem, welches zum Beispiel in einem Kraftfahrzeug oder für eine Verkehrsinfrastruktur eingesetzt wird, oder ein mobiles Endgerät.
Das vorgenannte Verfahren kann für jedes Objekt in der Umgebung separat oder einzeln durchgeführt werden. Das heißt, es wird immer nur ein einziges Objekt und dessen Zustand überwacht oder überprüft. Vorzugsweise wird das Verfahren in einem vorbestimmten Objektüberwachungszeitraum durchgeführt. Der Objektüberwachungszeitraum ist zum Beispiel derjenige Zeitraum in dem das jeweilige Objekt von der Umfelderfassungseinrichtung tatsächlich erfasst wird oder erfassbar ist. Für ein Objekt, das aus dem Sichtfeld oder Erfassungsbereich der Umfelderfassungseinrichtung verschwindet, wird der Objektüberwachungszeitraum vorzugsweise beendet. Alternativ kann der Objektüberwachungszeitraum ein vorbestimmtes Intervall innerhalb, insbesondere ein Teilbereich des Zeitraums sein, in dem das jeweilige Objekt von der Umfelderfassungseinrichtung tatsächlich erfasst wird oder erfassbar ist. Eine Länge des Intervalls kann gemäß einer gewünschten Hysteresedauer gewählt sein. Zum Beispiel kann das Intervall 5 bis 30 Sekunden, vorzugsweise 5 bis 10 Sekunden betragen. Wird ein neues oder anderes Objekt erkannt, wird das Verfahren für dieses Objekt vorzugsweise neu durchgeführt.
Zu der Erfindung gehören auch Ausführungsformen, durch die sich zusätzliche Vorteile ergeben.
Gemäß einer Ausführungsform wird zumindest in dem vorgegeben Überwachungszeitraum des Objekts (Objektüberwachungszeitraum) das Bestimmen und Auswerten der Konfidenzwerte in einer Stabilisierungsroutine kontinuierlich durchgeführt. Das heißt, die Schritte des Bestimmens und des Auswertens können innerhalb des zuvor beschriebenen Objektüberwachungszeitraums wiederkehrend oder wiederholt durchgeführt werden. Dadurch können die Konfidenzwerte kontinuierlich angepasst werden. Das Wiederholen der Schritte erfolgt dabei nach vorbestimmten Zeitintervallen und/oder in Abhängigkeit von einer Veränderung eines Abstands, also einer Entfernung zwischen dem Objekt und der Umfelderfassungseinrichtung. Ein jeweiliges Zeitintervall oder eine Abstandänderung, insbesondere in einer vorbestimmten Größe, geben somit eine Widerholungsrate für die Stabilisierungsroutine vor.
Die Widerholungsrate kann zum Beispiel in Abhängigkeit von einer Rechenleistung der Steuervorrichtung vorgegeben sein. Zum Beispiel kann eine Taktfrequenz und/oder eine Signalverarbeitungsgeschwindigkeit berücksichtigt werden. Für die Berücksichtigung der Abstandsänderung kann zum Beispiel ein Minimalwert vorgegeben sein. Die Neuberechnung von den Klassifikationsdaten und den Konfidenzwerten erfolgt vorzugsweise erst dann, wenn die Veränderung groß genug, also der Minimalwert zum Beispiel erreicht oder überschritten ist.
Gemäß einer weiteren Ausführungsform wird zum Bestimmen des jeweiligen Konfidenzwerts eine zugeordnete Gewichtungsfunktion, vorliegend zum Beispiel zumindest zwei Gewichtungsfunktionen, vorgegeben oder festgelegt. Die Gewichtungsfunktion kann angeben, mit welcher Größenordnung sich der jeweilige Konfidenzwert zum Beispiel bei einem Durchlauf der Stabilisierungsroutine verändert. Zum Beispiel kann durch die Gewichtungsfunktion vorgeben sein, wie schnell oder stark sich der jeweilige Konfidenzwert verändert, also zum Beispiel ansteigt oder abfällt.
In diesem Zusammenhang ist in einer weiteren Ausführungsform vorgesehen, dass die jeweilige Gewichtungsfunktion in Abhängigkeit von Sensordaten einer Sensoreinheit, also eines jeweiligen Sensors der Umfelderfassungseinrichtung festgelegt werden. Die Sensordaten umfassen eine Leistungsfähigkeit (Performance) und/oder einem Sensortyp und/oder einer Einbauposition einer Sensoreinheit im oder am Kraftfahrzeug. Es erfolgt somit eine sensorabhängige Gewichtung zur Bestimmung des Konfidenzwerts. Dadurch kann berücksichtigt werden, wie gut oder wie genau oder detailliert die jeweilige Sensoreinheit das Umfeld überhaupt erfassen oder aufnehmen kann.
Die Leistungsfähigkeit kann vorliegend zum Beispiel eine Erfassungsqualität, eine Erfassungsgeschwindigkeit, eine Verarbeitungsgeschwindigkeit und/oder eine Erfassungszuverlässigkeit umfassen. Das heißt, ein leistungsfähigerer Sensor kann das Objekt im Umfeld mit höherer Qualität, schneller oder zuverlässiger erkennen oder erfassen als ein weniger leistungsfähiger Sensor. Die Leistungsfähigkeit kann zum Beispiel durch einen Betriebsparameter der Sensoreinheit vorgegeben oder bestimmbar sein. Der Betriebsparameter kann zum Beispiel eine Auflösung, eine Reichweite oder ein Sichtfeld der Sensoreinheit umfassen.
Mit Sensortyp ist vorliegend insbesondere eine Art des Sensors, insbesondere eine Technologie oder ein Messprinzip, gemäß dem der Sensor das Umfeld erfasst gemeint. Als Sensortypen sind wir zuvor erwähnt zum Beispiel unterscheidbar eine Kamera, ein Lidarsensor, ein Radarsensor oder ein Ultraschallsensor. Die Umgebungserfassung mit den vorgenannten Sensoren ist an sich bekannt. So kann zum Beispiel berücksichtigt werden, dass eine Kamera nachts, also im Dunkeln das Umfeld gegebenenfalls schlechter wahrnehmen kann als ein Radarsensor.
Mit der Einbauposition ist vorliegend insbesondere ein Einbauort, also Verortung oder Positionierung des jeweiligen Sensors in der Umfelderfassungseinrichtung, insbesondere am zugeordneten System, wie zum Beispiel am Kraftfahrzeug oder Gebäude gemeint. Sensoren, die zum Beispiel relativ zu dem Objekt näher verbaut sind oder gemäß deren Einbauposition ein geeigneteres Sichtfeld auf das Objekt aufweisen, können dann zum Beispiel bevorzugt oder höher gewichtet werden.
Gemäß einer weiteren Ausführungsform wird die jeweilige Gewichtungsfunktion in Abhängigkeit von Positionsdaten festgelegt, welche eine relative geografische Position des Objekts zu der Umfelderfassungseinrichtung angeben. Das heißt, es erfolgt eine entfernungsabhängige Gewichtung zur Bestimmung der Konfidenzwerte. Durch die bekannte Objektposition kann zum Beispiel der Abstand oder die Entfernung zum überwachenden System, welches die Umfelderfassung nutzt, bestimmt werden. Dadurch können zum Beispiel nahe Objekte für die Bestimmung der Konfidenzen höher gewichtet werden als weiter entfernte.
Gemäß einer weiteren Ausführungsform wird die jeweilige Gewichtungsfunktion in Abhängigkeit von Umweltdaten festgelegt, welche einen Zustand des Umfelds der Umfelderfassungseinrichtung angeben. Das heißt, es kann eine umwelt- oder umfeldabhängige Gewichtung zur Bestimmung der Konfidenzen herangezogen werden.
Die Umweltdaten können als Zustand zum Beispiel einen wetterbedingten Zustand des Umfelds, wie beispielsweise einer Fahrbahn oder einer Umgebungsluft beschreiben. Dieser Zustand kann sich in bekannter Weise auf die Leistungsfähigkeit der Sensoreinheit auswirken. Beispiele für einen Zustand sind unter anderem Regen, Schnee, Nebel, klare Sicht, Nässe oder Glätte. Dementsprechend können die Umweltdaten zum Beispiel eine Niederschlagsmenge, eine Sichtweite, einen Rollwiderstand und/oder einen Reflexionswert angeben.
Die vorgenannten Daten die Sensordaten, die Umweltdaten und/oder die Positionsdaten können neben dem Finden oder Bestimmen der Gewichtungsfunktion auch zum Lösen der Gewichtungsfunktion herangezogen werden. Die relevanten Daten können zum Beispiel in einem Objektdatensatz umfasst sein. Der Objektdatensatz kann zum Beispiel auch die Klassifikationsdaten umfassen. Der Objektdatensatz kann zum Beispiel an die Steuervorrichtung zum Durchführen des vorgenannten Verfahrens als das Eingangssignal bereitgestellt werden.
Gemäß einer weiteren Ausführungsform wird der jeweilige Konfidenzwert gemäß folgender Rechenvorschrift bestimmt: $K_{i} = \sum \pm f_{i} (K_{i}), mit i \in N$
Dabei beschreibt K_i den jeweiligen Konfidenzwert. f_i(K_i) gibt die jeweilige Gewichtungsfunktion an. Der Index i ist eine natürliche Zahl und gibt die Nummerierung des jeweiligen Objektzustands vor. Falls zwei verschiedene Objektzustände erfasst werden ergibt sich zum Beispiel i = {1, 2}.
Für die Wahl des positiven oder negativen Vorfaktors (±) wird insbesondere nach zwei Fallgruppen unterschieden, und zwar danach ob der zugeordnete Objektzustand aktuell bereits bereitgestellt wird oder nicht.
Insbesondere wird zu demjenigen der Objektzustände, der aktuell bereitgestellt wird, für f_i(K_i) nur dann der positive Vorfaktor (+) gewählt wird, wenn einer der in den Klassifikationsdaten umfassten Objektzustände, dem bereitgestellten Objektzustand (Z1, Z2) entspricht. Ansonsten wird in diesem Fall für f_i(K_i) der negative Vorfaktor (-) gewählt. Anders ausgedrückt, ergibt sich der positive Vorfaktor in diesem Fall danach, ob der Eingangszustand, also der anliegende oder erkannte Objektzustand identisch zu dem Ausgangszustand, also dem ausgegebenen Objektzustand ist.
Im Vergleich dazu wird demjenigen der Objektzustände, der aktuell nicht bereitgestellt wird, für f_i(K_i) nur dann der positive Vorfaktor (+) gewählt, wenn einer der in den Klassifikationsdaten umfassten Objektzustände einem Objektzustand entspricht, zu dem ein Konfidenzwert vorliegt. Ansonsten wird in diesem Fall für f_i(K_i) der negative Vorfaktor (-) gewählt. Anders ausgedrückt, ergibt sich der positive Vorfaktor in diesem Fall danach, ob für den Eingangszustand, also der anliegende oder erkannte Objektzustand, bereits eine Konfidenz aufgebaut ist.
Falls die Gewichtungsfunktion in Abhängigkeit von den Positionsdaten gewählt wird, kann die Gewichtungsfunktion zum Beispiel durch die Funktion $\frac{1}{x}$
angegeben sein. Dabei gibt x die Position des Objekts relativ zu der Umfelderfassungseinrichtung, beispielsweise in einer Fahrzeuglängsrichtung zu dem Kraftfahrzeug an.
Um einen überhöhten Anstieg oder Abfall des jeweiligen Konfidenzwerts zu vermeiden, kann für den Konfidenzwert ein Wertebereich vorgegeben sein. Zum Beispiel kann für die Konfidenz ein Wertebereich zwischen [0;1] festgelegt sein. Falls dieser Wertebereich verletzt wird, saturiert die entsprechende Konfidenz.
Durch nutzen der Summenfunktion in der Rechenvorschrift, kann die jeweilige Konfidenz kontinuierlich auf- oder abgebaut werden. Vorzugsweise kann in jedem Durchlauf der Stabilisierungsroutine zum Beispiel ein Summenglied gebildet werden. Das Aufsummieren kann somit nach vorbestimmten Zeitintervallen oder in Abhängigkeit von der Abstandsänderung zwischen Objekt und Kraftfahrzeug erfolgen.
Gemäß einer weiteren Ausführungsform werden gemäß dem Auswertekriterium die jeweiligen Konfidenzwerte mit einem jeweils zugeordneten Grenzwertebereich verglichen. In Abhängigkeit von dem Vergleich, insbesondere einem Ergebnis des Vergleichs wird dann der jeweils zugeordnete Objektzustand zum Bereitstellen ausgewählt. Beispielsweise kann gemäß dem Vergleich derjenige Objektzustand ausgewählt, dessen zugeordneter Konfidenzwert den Grenzwertebereich überschreitet und dessen nicht-zugeordneter Konfidenzwert den Grenzwertebereich unterschreitet.
Anders ausgedrückt, kann durch den jeweiligen Grenzwertebereich somit zum Beispiel ein Minimalgrenzwert als Untergrenze und ein Maximalgrenzwert als Obergrenze vorgegeben sein. Vorzugsweise wird der einem jeweiligen der Konfidenzwerte zugeordnete Objektzustand zum Beispiel nur dann als Ausgangssignal ausgegeben, wenn der betrachtete Konfidenzwert zu dem Objektzustand den Maximalgrenzwert überschreitet und zumindest einer, vorzugsweise aber alle übrigen Konfidenzwerte den Minimalgrenzwert unterschreiten. Das heißt, zum Beispiel, dass für das Umschalten der Konfidenzwert zu einem aktuell bereitgestellten Objektzustand insbesondere betragsmäßig kleiner als der Minimalgrenzwert und der Konfidenzwert zu einem aktuell nicht bereitgestellten Objektzustand t insbesondere betragsmäßig größer als der Maximalgrenzwert sein soll.
Die Auswertung erfolgt somit gemäß einem Grenzwertevergleich. Der jeweilige Grenzwert kann zum Beispiel durch Testversuche ermittelt werden. Der Minimalgrenzwert kann zum Beispiel zwischen 0 und 0,2 gewählt sein. Der Maximalgrenzwert kann zum Beispiel zwischen 0,8 und 1 gewählt sein. Der Grenzwertebereich kann für jeden Konfidenzwert individuell oder für alle Konfidenzwerte gemeinsam festgelegt sein.
Gemäß einer weiteren Ausführungsform wird für zumindest einen zweiten der zumindest zwei Objektzustände nur dann der Konfidenzwert bestimmt, wenn der Konfidenzwert für einen ersten der zumindest zwei Objektzustände einen vorgegebenen Grenzwertebereich unterschreitet. Dabei ist der erste Objektzustand insbesondere ein Objektzustand der aktuell bereitgestellt wird. Der zweite Objektzustand ist hingegen ein neuer, also ein aktuell nicht bereitgestellter Objektzustand. Alternativ hierzu können die Konfidenzen zum Beispiel für jeden erfassten oder anliegenden Objektzustand ermittelt werden.
Vorzugsweise ein Reset oder Zurücksetzen der Konfidenzwerte, wenn ein Umschalten zwischen verschiedenen Objektzuständen durchgeführt wurde. Das heißt, die Daten zu dem nicht mehr bereitgestellten Objektzustand können verworfen werden. Die Daten zu dem neu bereitgestellten Objektzustand werden hingegen als Referenz verwendet.
Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird.
Die Erfindung betrifft auch eine Steuervorrichtung zum Vorgeben oder Ausgeben eines Objektzustands eines Objekts im Umfeld einer Umfelderfassungseinrichtung. Die Steuervorrichtung ist dazu ausgebildet, ein Verfahren wie es zuvor beschrieben wurde, auszuführen. Die Steuervorrichtung kann bevorzugt einem System zur Umfeldüberwachung, wie zum Beispiel einem Kraftfahrzeug oder Gebäude zugeordnet sein. Das heißt, die Steuervorrichtung kann zum Beispiel ein zentraler Bordcomputer des System sein.
Die Steuervorrichtung kann eine Datenverarbeitungsvorrichtung oder eine Prozessoreinrichtung aufweisen, die dazu eingerichtet ist, die entsprechende Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein. Die Prozessorschaltung der Prozessoreinrichtung kann z.B. zumindest eine Schaltungsplatine und/oder zumindest ein SoC (System on Chip) aufweisen.
Es kann auch ein computerlesbares Speichermedium von der Erfindung umfasst sein, umfassend Programmcode, der bei der Ausführung durch eine Prozessorschaltung eines Computers oder eines Computerverbunds, wie die vorgenannte Steuervorrichtung, diese veranlasst, eine Ausführungsform des erfindungsgemäßen Verfahrens auszuführen. Das Speichermedium kann z.B. zumindest teilweise als ein nicht-flüchtiger Datenspeicher (z.B. als eine Flash-Speicher und/oder als SSD - solid state drive) und/oder zumindest teilweise als ein flüchtiger Datenspeicher (z.B. als ein RAM - random access memory) bereitgestellt sein. Das Speichermedium kann in der Prozessorschaltung in deren Datenspeicher angeordnet sein. Das Speichermedium kann aber auch beispielsweise als sogenannter Appstore-Server im Internet betrieben sein. Durch den Computer oder Computerverbund kann eine Prozessorschaltung mit zumindest einem Mikroprozessor bereitgestellt sein. Der Programmcode können als Binärcode oder Assembler und/oder als Quellcode einer Programmiersprache (z.B. C) und/oder als Programmskript (z.B. Python) bereitgestellt sein.
Vorzugsweise kann von der Erfindung auch eine Umfelderfassungseinrichtung mit einer Steuervorrichtung, wie sie zuvor erwähnt wurde, umfasst sein. Die Umfelderfassungseinrichtung kann von einem System zur Umfeldüberwachung, wie es zuvor erwähnt wurde, umfasst sein. Somit kann. Somit kann ein Kraftfahrzeug beispielsweise neben der Steuervorrichtung eine Anzeigeeinrichtung und eine Umfelderfassungseinrichtung, wie sie zuvor beschrieben wurden, umfassen. Die Anzeigeeinrichtung, die Umfelderfassungseinrichtung und die Steuervorrichtung können zum Beispiel einem Fahrerassistenzsystem des Kraftfahrzeugs zugeordnet oder von diesem umfasst sein.
Das Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen oder als Personenbus oder Motorrad ausgestaltet.
Zur Erfindung gehören auch Weiterbildungen der erfindungsgemäßen Steuervorrichtung und des Speichermediums und des Systems, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen der erfindungsgemäßen Steuervorrichtung und des Speichermediums und des Systems hier nicht noch einmal beschrieben.
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

1 eine schematische Darstellung eines Kraftfahrzeugs mit einer Steuervorrichtung zum Vorgeben einer Darstellung eines Objekts in einem Umfeld des Kraftfahrzeugs für eine Anzeigeeinrichtung;
2 ein schematisches Verfahrensablaufdiagramm für ein beispielhaftes Verfahren zum Vorgeben der Darstellung des Objekts im Umfeld des Kraftfahrzeugs für die Anzeigeeinrichtung.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
1 zeigt in schematischer Darstellung ein Kraftfahrzeug 10. Das Kraftfahrzeug 10 ist bespielhaft als Personenkraftwagen ausgebildet. In 1 ist das Kraftfahrzeug 10 in einer Draufsicht, also aus einer Vogelperspektive dargestellt.
Das Kraftfahrzeug 10 bewegt sich in einem Umfeld U, also einer Umgebung, zum Beispiel in eine vorbestimmte Fahrtrichtung. Die Fahrtrichtung des Kraftfahrzeugs 10 entspricht einer x-Richtung des in 1 eingezeichneten Koordinatensystems. Eine y-Richtung des Koordinatensystems verläuft senkrecht zu der Fahrtrichtung, insbesondere in eine Fahrzeugquerrichtung des Kraftfahrzeugs 10.
Im Umfeld U des Kraftfahrzeugs 10, insbesondere in Fahrtrichtung vor dem Kraftfahrzeug 10, befindet sich ein Objekt 20. Das Objekt 20 bildet ein Hindernis für das Kraftfahrzeug 10 versperrt oder behindert die Weiterfahrt des Kraftfahrzeugs 10 in Fahrtrichtung. Zum Beispiel muss das Kraftfahrzeug 10 für die ungehinderte Weiterfahrt das Objekt 20 umfahren oder überholen. Vorliegend ist das Objekt 20 beispielhaft ein Radfahrer 21. Natürlich sind auch andere Objekte 20 als Hindernis denkbar. Zum Beispiel kann das Objekt 20 ein anderes Kraftfahrzeug oder eine Verkehrsinfrastruktur, wie zum Beispiel ein Bordstein oder eine Ampelanlage oder ein Verkehrsschild sein.
Zum Betreiben des Kraftfahrzeugs 10 gemäß 1 kann ein unterstützte Steuerung implementiert sein. Dazu kann das Kraftfahrzeug 10 zum Beispiel ein Fahrerassistenzsystem 14 umfassen. Das Fahrerassistenzsystem 14 kann zum Beispiel zum teilautonomen oder vollautonomen Steuern des Kraftfahrzeugs 10 eingesetzt werden. Dadurch kann zum Beispiel ein geeignetes Fahrmanöver zum Umfahren des Objekts 20 vollständig oder teilweise automatisch von dem Fahrerassistenzsystem 14 übernommen werden. Der Fahrer braucht somit bevorzugt nicht in die Steuerung des Kraftfahrzeugs 10 eingreifen. Heute bekannte Voraussetzungen oder Anforderungen für einen teil- oder vollautomatischen oder -autonomen Fahrmodus sind zum Beispiel in der Norm SAE J3016 (Version vom Juni 2018) in Stufen 1 bis 5 angegeben.
Zum (teil)autonomen Steuern soll das Fahrerassistenzsystem 14 das Objekt 20 zunächst erfassen und zum Beispiel dessen Objektzustand Z1, Z2 erkennen können. Der Objektzustand Z1, Z2 gibt eine konkrete Objekteigenschaft des Objekts an, wie zum Beispiel die Objektart. Vorliegend kann der Objektzustand zum Beispiel Zustandswerte umfassen, die das Objekt als Radfahrer 21 klassifizieren und dessen geografische Koordinaten oder Abstandswerte zu dem Kraftfahrzeug 1 vorgeben. Anhand des erfassten Objektzustands kann dann zum Beispiel das gewünschte Fahrmanöver ausgewählt und eingeleitet oder durchgeführt werden.
Zum Erfassen des Objekts 20 umfasst das Kraftfahrzeug eine Umfelderfassungseinrichtung 11. Zum Erfassen des Umfelds U weist die Umfelderfassungseinrichtung 11 vorliegend zum Beispiel eine Kamera als eine Sensoreinheit auf. Ein Abbild des Umfelds U, insbesondere des Objekts 20 kann somit beispielweise in Form von digitalen Bilddaten oder Videodaten vorliegen.
Die Umfelderfassungseinrichtung 11 kann das erfasste Umfeld U, insbesondere das Abbild des Umfelds U, zudem auswerten, also zum Beispiel den Objektzustand zu dem Objekt 20 bestimmen Zum Auswerten des erfassten Umfeldabbilds kann die Umfelderfassungseinrichtung 11 zum Beispiel ein Steuergerät mit einem Klassifikationsmodul umfassen. Das Klassifikationsmodul kann zum Beispiel ein neuronales Netz umfassen. Mittels des Klassifikationsmoduls kann zum Beispiel einen Mustererkennungsalgorithmus oder Klassifikationsalgorithmus implementiert sein. Durch Anwenden des Algorithmus auf das Umfeldabbild kann das Objekt 20 und insbesondere dessen Objektzustand Z1, Z2 ermittelt werden. Den Objektzustand Z1, Z2 kann die Umfelderfassungseinrichtung 11 zur Weiterverarbeitung an ein zugeordnetes System oder eine Weiterverarbeitungseinrichtung bereitstellen.
Gemäß dem Ausführungsbeispiel in 1 gezeigt umfasst das Fahrerassistenzsystem 14 beispielsweise eine Anzeigeeinrichtung 13 als eine solche Weiterverarbeitungseinrichtung. Mittels der Anzeigeeinrichtung 13 soll das erkannte Objekt 20, insbesondere ein Abbild des Objekts gemäß dem jeweiligen Zustand für einen Insassen des Kraftfahrzeugs 10 dargestellt oder abgebildet werden. Dazu umfasst die Anzeigeeinrichtung 13 zum Beispiel einen Bildschirm (Display).Auf dem Display kann ein Symbol des Radfahrers 21 als eine Objektdarstellung 21' angezeigt werden. Das Symbol für die Darstellung kann in Abhängigkeit von den ermittelten Zustandswerten, also dem Objektzustand Z1, Z2 ausgewählt werden.
Üblicherweise erfolgt die Objektklassifikation anhand von Schätzungen. Das heißt, anhand des erfassten Objekts 20 wird abgeschätzt, mit welcher Wahrscheinlichkeit das Objekt 20 einen bestimmten Objektzustand Z1, Z2 aufweist. Dadurch kann es passieren, dass das Objekt 20 im Vergleich zur Realität falsch klassifiziert wird. Zu einer Falschklassifizierung kann es zum Beispiel kommen, wenn das Objekt zumindest teilweise verdeckt oder zum Beispiel die Sicht der Sensoreinheit eingeschränkt ist.
In solchen Fällen kann es dazu kommen, dass sich das Klassifikationsmodul bezüglich des Objektzustands häufig umentscheidet. Bei jeder Umentscheidung würde auf der Anzeigeeinrichtung 13 eine andere Objektdarstellung 21' angezeigt werden. Das heißt die Anzeige würde ständig wechseln. Das kann den Insassen, insbesondere einen Fahrer, irritieren und vom Straßenverkehr ablenken. Daher kann es von Vorteil sein, die Zustände solcher Klassifikationen, und somit vorliegend insbesondere die Objektdarstellung 21' zu stabilisieren.
Dazu umfasst die Umfelderfassungseinrichtung eine Steuervorrichtung 12, die ausgebildet ist, ein Stabilisierungsverfahren durchzuführen Im vorliegenden Ausführungsbeispiel ist die Steuervorrichtung 12 beispielhaft integraler Bestandteil des Kraftfahrzeugs 10. Zum Beispiel kann die Steuervorrichtung als ECU (electronic control unit - zentrale Steuereinheit) des Kraftfahrzeugs 10 ausgebildet sein.
Durch das Stabilisierungsverfahren kann eine stabilisierte Darstellung für das Objekt 20 im Umfeld U, des Kraftfahrzeugs 10 für die Anzeigeeinrichtung vorgegeben oder ausgewählt werden. Dabei stellt die Umfelderfassungseinrichtung 11 die jeweils erkannten Klassifikationsdaten Z die den oder die erkannten Objektzustände Z1, Z2 umfassen, als Eingangssignal Zin oder Eingangszustand an die Steuervorrichtung 12 bereit. Die Steuervorrichtung 12 wertet die Objektzustände Z1, Z2 aus. Durch das Auswerten kann genau ein stabiler Objektzustand Z1, Z2 bestimmt werden, den die Steuervorrichtung 12 dann als Ausgangssignal Zout an die Anzeigeeinrichtung 13 für die Objektdarstellung 21' ausgibt. Anhand des Ausgangssignals Zout kann die Anzeigeeinrichtung 13 das entsprechende Symbol für die Objektdarstellung 21' auswählen. Der stabilisierte Objektzustand Z1, Z2 kann zum Beispiel derjenige sein, der während eines Objektüberwachungszeitraums über den längsten Zeitraum oder mit der höchsten Wahrscheinlichkeit von der Umfelderfassungseinrichtung 11 als Objektzustand Z1, Z2 zu einem Objekt 20 erkannt wurden. Der Objektüberwachungszeitraum ist zum Beispiel derjenige Zeitraum in dem das jeweilige Objekt 20 von der Umfelderfassungseinrichtung 11 tatsächlich erfasst wurde.
2 zeigt in schematischer Darstellung ein Verfahrensablaufdiagramm für das vorgenannte Stabilisierungsverfahren, das beispielsweise mittels der Steuervorrichtung 12 durchgeführt werden kann. Wird das Verfahren zum Beispiel zu einem Fahrbeginn des Kraftfahrzeugs 10 zum ersten Mal durchgeführt, können Klassifikationsdaten Z mit einem ersten Objektzustand Z1 zu dem Objekt 20 erfasst werden. Da in der Anzeigeeinrichtung 13 noch keine Objektdarstellung 21' erfolgt ist, kann der erste Objektzustand Z1 direkt als Ausgangssignal Zout an die Anzeigeeinrichtung 13 bereitgestellt oder ausgegeben werden. Das Bereitstellen des ersten Objektzustands Z1 ist in dem Schritt S1 des Verfahrens umgesetzt.
In dem Ausführungsbeispiel gemäß den Figuren, kann der Radfahrer 21 zum Beispiel zunächst als Motorrad klassifiziert werden. Der erste Objektzustand Z1 kann als Objektklasse somit zum Beispiel „Motorrad“ angeben. Auf der Anzeigeeinrichtung 13 kann somit ein Symbol für ein Motorrad ausgegeben werden. Anschließend wird das Verfahren in einem Schritt S2 fortgesetzt.
In dem Schritt S2 werden weitere Klassifikationsdaten Z als Eingangssignal Zin also Output der Sensoreinheit der Umfelderfassungseinrichtung 11 mittels der Steuervorrichtung 12 erfasst. Dabei überprüft die Steuervorrichtung 12, ob das Eingangssignal Zin den ersten Objektzustand Z1 oder weitere Objektzustände, die von dem ersten Objektzustand verschieden sind, umfasst. Wird als Eingangssignal Zin weiterhin nur der erste Objektzustand Z1 erfasst, wird der Schritt S2 wiederholt.
Falls die Überprüfung hingegen ergibt, dass das Eingangssignal Zin zu dem ersten Objektzustand Z1 zumindest einen weiteren Objektzustand umfasst, wird das Verfahren in einem Schritt S3 fortgesetzt. Im vorliegenden Ausführungsbeispiel wird beispielhaft nur ein weiterer Objektzustand, nämlich ein zweiter Objektzustand Z2 erfasst. Alternativ können natürlich beliebig viele weitere Objektzustände analog zu dem zweiten Objektzustand Z2 erfasst und wie im Folgenden näher beschrieben ausgewertet werden.
In dem Schritt S3 wird der zweite Objektzustand Z2 an die Steuervorrichtung 12 bereitgestellt und von dieser erfasst. In dem Ausführungsbeispiel gemäß 2, kann der Radfahrer 21 hierbei zum Beispiel der Realität entsprechend als Radfahrer klassifiziert werden. Der zweite Objektzustand Z1 kann als Objektklasse somit zum Beispiel „Radfahrer“ angeben. Die Veränderung in der Klassifikation kann sich zum Beispiel dadurch ergeben, dass sich das Kraftfahrzeug 10 durch Fortbewegung in die Fahrtrichtung näher auf das Objekt 20 zubewegt.
Die Überprüfung auf das Eingangssignal Zin zum Erkennen von weiteren Objektzuständen Z1, Z2 kann zum Beispiel kontinuierlich beispielsweise nach vorbestimmten Zeitintervallen oder in Abhängigkeit von einer Veränderung der Entfernung zwischen Kraftfahrzeug 10 und Objekt 20 durchgeführt werden.
Anschließend wird das Verfahren in einem Schritt S4 fortgeführt. In dem Schritt S4 ist zum Beispiel eine Stabilisierungsroutine umgesetzt. In der Stabilisierungsroutine wird einer der in den Klassifikationsdaten Z enthaltende Objektzustand Z1, Z2 für die Objektdarstellung 21' ausgewählt und dadurch die Ausgabe und Darstellung stabilisiert. Dazu umfasst die Stabilisierungsroutine die Schritte S4a und S4b und S4c.
In dem Schritt S4a wird zu dem ersten Objektzustand Z1 ein erster Konfidenzwert K1 bestimmt oder ermittelt. In dem Schritt S4b wird zum Beispiel parallel dazu zu dem zweiten Objektzustand Z2 ein zweiter Konfidenzwert K2 ermittelt. Die jeweiligen Konfidenzwerte K1, K2 geben ein Maß für eine Zuverlässigkeit der jeweiligen Objektzustände Z1, Z2 an. Mit Zuverlässigkeit ist vorliegend zum Beispiel eine Beständigkeit oder Genauigkeit der Klassifikation gemeint. Zum Beispiel kann durch die Konfidenzwerte K1, K2 eine Aussage darüber getroffen werden, wie lange die jeweiligen Konfidenzdaten in dem vorgegebenen Objektüberwachungszeitraum des Objekts 20 von dem Klassifikationsmodul ausgegeben wurden. Die Konfidenzwerte K1, K2 können zum Beispiel als Wahrscheinlichkeitswerte angegeben sein.
Zum Bestimmen des jeweiligen Konfidenzwerts K1, K2 kann zum Beispiel folgende Rechenvorschrift angewendet werden: $K_{1,2} = \sum \pm f_{1,2} (K_{1,2}) .$
Dabei beschreibt f_1,2(K_1,2) eine Gewichtungsfunktion. Die Gewichtungsfunktion gibt vor, mit welcher Größenordnung sich der jeweilige Konfidenzwert K1, K2 in einem Iterationsschritt der Stabilisierungsroutine S4 verändert. Der Vorfaktor, also das Vorzeichen ± gibt vor, ob der Konfidenzwert im Vergleich zum vorangehenden Iterationsschritt erhöht (+) oder reduziert wird (-). Durch diese Art der Berechnung der Konfidenzwerte K1, K2 kann die Konfidenz zu jedem Objektzustand Z1, Z2 schrittweise auf- oder abgebaut werden.
Ein Iterationsschritt kann einen Durchlauf der Stabilisierungsroutine umfassen. In jedem Iterationsschritt kann ein Summenglied gemäß der in der Rechenvorschrift umfassten Summenfunktion gebildet werden. Die Stabilisierungsroutine kann vorzugsweise kontinuierlich, insbesondere zum Beispiel nach vorbestimmten Zeitintervallen oder nach vorbestimmten Abstandsänderungen zwischen Kraftfahrzeug 10 und Objekt 20 wiederholt werden.
Die Gewichtungsfunktion f_1,2(K_1,2) kann in Abhängigkeit von verschiedenen Faktoren oder Bedingungen ausgewählt oder gebildet werden. Zum Beispiel können Sensoreigenschaften oder Sensordaten der Sensoreinheit der Umfelderfassungseinrichtung 11 in die Beschreibung der Gewichtungsfunktion einfließen. Dabei kann zum Beispiel eine Leistungsfähigkeit und/oder ein Sensortyp und/oder eine Einbauposition der Sensoreinheit berücksichtigt werden.
Zusätzlich oder alternativ können zum Beispiel Umweltdaten, die einen Zustand des Umfelds oder des Kraftfahrzeugs 10 beschreiben, bei der Formulierung der Gewichtungsfunktion berücksichtigt werden. Die Umweltdaten können zum Beispiel eine Niederschlagsmenge, eine Sichtweite, ein Rollwiderstand oder einen Reflexionswert umfassen. Dadurch können zum Beispiel Auswirkungen von wetterabhängigen Einflüssen auf eine Leistungsfähigkeit der Sensoreinheit mitberücksichtigt werden.
Die Gewichtungsfunktion f_1,2(K_1,2) kann zusätzlich oder alternativ beispielsweise in Abhängigkeit von Positionsdaten des Objekts 20 festgelegt werden. Die Positionsdaten können zum Beispiel eine relative geografische Position des Objekts 20 zu dem Kraftfahrzeug 10 angeben. Die Gewichtungsfunktion f_1,2 (K_1,2) kann zum Beispiel eine Abhängigkeit von einer x-Position des Objekts 20 relativ zu dem Kraftfahrzeug 10 entlang der in 1 dargestellten x-Achse des Koordinatensystems umfassen.
Zusätzlich dazu kann die Gewichtungsfunktion f_1,2(K_1,2) zum Beispiel abhängig von der Sensorperformance gewählt werden. Zum Beispiel können Objekte 20 nahe an dem Kraftfahrzeug 10 in der Regel besser erkannt werden als Objekte die weiter vom Kraftfahrzeug 10 entfernt sind. Eine Beispielfunktion hierfür wäre $f_{1,2} (K_{1,2}) = \frac{1}{x} .$
Zum Bestimmen der beiden Konfidenzwerte K1, K2 kann in Abhängigkeit von den vorgenannten Bedingungen kann zum Beispiel dieselbe Gewichtungsfunktion f_1,2(K_1,2) gewählt werden. Alternativ können zum Beispiel verschiedene Gewichtungsfunktion f_1,2(K_1,2) für K1 und K2 gewählt werden.
Der Vorfaktor (±) kann sich wie folgt ergeben. Zum Beispiel kann für den Konfidenzwert K1 ein positiver Vorfaktor (+) gewählt werden, falls das Eingangssignal Zin identisch mit dem zuletzt ausgegebenen Ausgangssignal Zout ist. Das ist der Fall, wenn der als Eingangssignal Zin erfasste Objektzustand Z1 zu dem Objekt 20 dem ersten Objektzustand entspricht (Zin = Z1). Alternativ kann der negative Vorfaktor (-) gewählt werden, falls das Eingangssignal Zin ungleich dem zuletzt ausgegebenen Ausgangssignal Zout ist (Zin ≠ Zout). Das ist zum Beispiel der Fall, wenn als Eingangssignal Zin weitere Objektzustände, also zum Beispiel der zweite Objektzustand Z2 erfasst wird.
Entsprechend kann zum Beispiel für den Konfidenzwert K2 der positive Vorfaktor (+) gewählt werden, wenn das Eingangssignal Zin der zweite Objektzustand Z2 (oder ein oder mehrere weitere Objektzustände), also ein Objektzustand, der zu dem ersten Objektzustand Z1 verschieden ist, umfasst (Zin = Z2). Ansonsten kann für den zweiten Konfidenzwert K2 der negative Vorfaktor (-) gewählt werden, wenn das Eingangssignal Zin ungleich dem Objektzustand für den der Konfidenzwert K2 gerade aufgebaut wird (Zin ≠ Z2). Vorliegend ist das zum Beispiel der Fall, wenn das Eingangssignal Zin weder den ersten noch den zweiten Objektzustand Z1, Z2 sondern einen weiteren Objektzustand umfasst.
Für die Konfidenzwerte K1, K2 kann bevorzugt ein Wertebereich vorgegeben sein. Vorliegend kann der Wertebereich zum Beispiel zwischen [0, 1] liegen. Außerhalb des Wertebereichs kann der Wert für den jeweiligen Konfidenzwert zum Beispiel saturieren.
Im vorliegenden Ausführungsbeispiel kann mittels der Umfelderfassungseinrichtung 11 innerhalb des Überwachungszeitraum, also zum Beispiel beim Zufahren auf das Objekt 20 nach kurzer Zeit erkannt werden, dass es sich nicht um ein Motorrad sondern um den Radfahrer 21 handelt. Dementsprechend kann gemäß der Rechenvorschrift die Konfidenz K1 über den Überwachungszeitraum kontinuierlich abgebaut werden (K1 reduziert sich), während der Konfidenzwert K2 zum Beispiel aufgebaut wird (K2 erhöht sich).
Nach dem Bestimmen der Konfidenzwerte K1, K2, wird die Stabilisierungsroutine in dem Schritt S4c fortgesetzt. In dem Schritt S4c werden der erste und zweite Konfidenzwert K1, K2 gemäß einem vorgegebenen Auswertekriterium ausgewertet. Vorliegend umfasst das Auswertekriterium zum Beispiel einen Vergleich des jeweiligen Konfidenzwerts K1, K2 mit jeweils zugeordneten Grenzwerten G1, G2.
Der Grenzwert G1 ist dabei zum Beispiel ein Minimalgrenzwert, also eine Untergrenze für den Konfidenzwert K1. Im Gegensatz dazu ist der Grenzwert G2 ein Maximalgrenzwert, also eine Obergrenze für den Konfidenzwert K2. Der jeweilige Grenzwert G1, G2 kann zum Beispiel in Abhängigkeit von einer gewünschten Sensibilität der Steuervorrichtung 12 in der Umschaltung zwischen zwei verschiedenen Objektzuständen Z1, Z2 ausgewählt werden. Die Grenzwerte G2, G2 können zum Beispiel durch Messversuche ermittelt werden. Im vorliegenden Ausführungsbeispiel kann für den Grenzwert G1 zum Beispiel ein Wert von 0,1 oder 0,2 festgelegt werden. Im Vergleich dazu kann für den Grenzwert G2 zum Beispiel ein Wert von 0,8 oder 0,9 beispielhaft festgelegt werden.
Gemäß dem Auswertekriterium kann nun im Schritt S4c in einer ersten Bedingung überprüft werden, ob der Konfidenzwert K1 den Grenzwert G1 unterschreitet oder höchstens dem Grenzwert G1 entspricht (K1≤G1). Zudem wird in einer zweiten Bedingung überprüft, ob der Konfidenzwert K2 den Grenzwert G2 überschreitet oder höchstens dem Grenzwert G2 entspricht (K2≥G2). Sind beide Bedingungen oder eine der beiden Bedingungen nicht erfüllt (K1≥G1 und/oder K2≤G2), wird das Verfahren in dem Schritt S4 von Anfang an wiederholt.
Nur dann, wenn beide Bedingungen erfüllt sind (K1≤G1 und K2≥G2), wird das Verfahren in einem Schritt S5 fortgesetzt. In dem Schritt S5 wird der zweite Objektzustand Z2 als Ausgangssignal Zout an die Anzeigeeinrichtung 13 bereitgestellt oder übertragen. Gleichzeitig wird vorzugsweise der erste Objektzustand Z1 als Ausgangssignal Zout verworfen. Das heißt, es wird nur noch der zweite Objektzustand Z2 bereitgestellt und somit das dem Radfahrer zugeordnetes Symbol für die Objektdarstellung 21' ausgewählt. Der zweite Objektzustand Z2 ist somit durch die Stabilisierungsroutine S4 als stabilisiert bestätigt worden. Dadurch kann ein Wechsel oder Umschalten in der Darstellung des Objekts 20 umgesetzt werden.
Anschließend wird das Verfahren in einem Schritt S6 fortgeführt. Der Schritt S6 betrifft einen Reset, also ein Zurücksetzen des in 2 dargestellten Stabilisierungsverfahrens. Dabei wird als neuer erster Objektzustand Z1 der bisherige zweite Objektzustand Z2 eingesetzt. Der bisherige zweite Objektzustand Z2 wird anschließend zurückgesetzt, insbesondere zu Null gesetzt. Analog dazu wird als neuer erster Konfidenzwert K1 der bisherige zweite Konfidenzwert K2 eingesetzt. Der bisherige zweite Konfidenzwert K2 wird zurückgesetzt, insbesondere zu Null gesetzt. Danach kann das Verfahren für beliebige weitere Objektzustände, die zu dem Objekt 20 ermittelt werden, wiederholt werden.
Insgesamt zeigen die vorigen Ausführungsbeispiele wie Systemzustände in einem Fahrerassistenzsystem unter Benutzung von Konfidenzen stabilisiert werden können.
Die Stabilisierung des Objektzustands Z1, Z2 kann anders als in den Ausführungsbeispielen gezeigt natürlich auch in anderen Systemen eingesetzt werden, in denen eine Umfelderfassung oder Umfeldüberwachung gewünscht ist. Zum Beispiel ist der Einsatz im Wildtiermonitoring, oder Personen- oder Gebäudeüberwachung denkbar.

Claims

Verfahren zum Vorgeben eines Objektzustands (Z1, Z2) eines Objekts (20) im Umfeld (U) einer Umfelderfassungseinrichtung (11), gekennzeichnet durch die Schritte: - Erfassen von Klassifikationsdaten (Z) zu dem Objekt (20) als ein Eingangssignal (Zin), wobei die Klassifikationsdaten (Z) zumindest zwei verschiedene Objektzustände (Z1, Z2) des Objekts (20) angeben, - Bestimmen eines jeweils zugeordneten Konfidenzwerts (K1, K2) zu zumindest zwei der Objektzustände (Z1, Z2), wobei der jeweilige Konfidenzwert (K1, K2) ein Maß für eine Zuverlässigkeit des jeweiligen Objektzustands (Z1, Z2) vorgibt, - Auswerten der Konfidenzwerte (K1, K2) gemäß einem vorgegebenen Auswertekriterium, und - in Abhängigkeit von dem Ergebnis des Auswertens: Bereitstellen genau eines der Objektzustände (Z1, Z2) als Ausgangssignal (Zout).
Verfahren nach Anspruch 1, wobei zumindest in einem vorgegeben Überwachungszeitraum des Objekts (20) das Bestimmen und Auswerten der Konfidenzwerte (K1, K2) in einer Stabilisierungsroutine nach vorbestimmten Zeitintervallen und/oder in Abhängigkeit von einer Veränderung eines Abstands des Objekts (20) und der Umfelderfassungseinrichtung (11) kontinuierlich durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei zum Bestimmen des jeweiligen Konfidenzwerts (K1, K2) eine zugeordnete Gewichtungsfunktion (f_1,2 (K_1,2)) vorgegeben wird.
Verfahren nach Anspruch 3, wobei die jeweilige Gewichtungsfunktion (f_1,2 (K_1,2)) in Abhängigkeit von einer Leistungsfähigkeit und/oder einem Sensortyp und/oder einer Einbauposition einer Sensoreinheit der Umfelderfassungseinrichtung (11) festgelegt wird.
Verfahren nach einem der vorhergehenden Ansprüche 3 oder 4, wobei die jeweilige Gewichtungsfunktion ((f_1,2 (K_1,2)) in Abhängigkeit von Positionsdaten festgelegt wird, welche eine relative geografische Position des Objekts (20) zu der Umfelderfassungseinrichtung (11) angeben.
Verfahren nach einem der vorhergehenden Ansprüche 3 bis 5, wobei die jeweilige Gewichtungsfunktion (f_1,2 (K_1,2)) in Abhängigkeit von Umweltdaten festgelegt wird, welche einen Zustand des Umfelds (U) der Umfelderfassungseinrichtung (11) angeben.
Verfahren nach einem der vorhergehenden Ansprüche 3 bis 6, wobei der jeweilige Konfidenzwert (K1, K2) gemäß folgender Rechenvorschrift bestimmt wird: K_i = Σ ± f_i(K_i) mit i ∈ N, wobei f_i(K_i) die jeweilige Gewichtungsfunktion beschreibt, und wobei - zu einem Objektzustand (Z1, Z2), der aktuell bereitgestellt wird, für f_i(K_i) nur dann der positive Vorfaktor gewählt wird, wenn einer der in den Klassifikationsdaten (Z) umfassten Objektzustände (Z1, Z2), dem bereitgestellten Objektzustand (Z1, Z2) entspricht, und ansonsten für f_i(K_i) der negative Vorfaktor gewählt wird, und - zu einem Objektzustand, der aktuell nicht bereitgestellt wird, für f_i(K_i) nur dann der positive Vorfaktor gewählt wird, wenn einer der in den Klassifikationsdaten (Z) umfassten Objektzustände (Z1, Z2), einem Objektzustand (Z1, Z2) entspricht, zu dem ein Konfidenzwert (K1, K2) vorliegt, und ansonsten für f_i(K_i) der negative Vorfaktor gewählt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei gemäß dem Auswertekriterium die jeweiligen Konfidenzwerte (K1, K2) mit einem jeweils zugeordneten Grenzwertebereich verglichen werden, und in Abhängigkeit von dem Vergleich der jeweils zugeordnete Objektzustand (Z1, Z2) zum Bereitstellen ausgewählt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei für zumindest einen zweiten der zumindest zwei Objektzustände (Z1, Z2) nur dann der Konfidenzwert (K2) bestimmt wird, wenn der Konfidenzwert (K1) für einen ersten der zumindest zwei Objektzustände (Z1, Z2) einen vorgegebenen Grenzwertebereich unterschreitet.
Steuervorrichtung (12) zum Vorgeben eines Objektzustands (Z1, Z2) eines Objekts (20) im Umfeld (U) einer Umfelderfassungseinrichtung (11), wobei die Steuervorrichtung (12) ausgebildet ist, ein Verfahren nach einem der vorhergehenden Ansprüche, auszuführen.