DE102020106377A1 - Verfahren zum Betreiben eines Assistenzsystems, sowie Assistenzsystem - Google Patents

Verfahren zum Betreiben eines Assistenzsystems, sowie Assistenzsystem Download PDF

Info

Publication number
DE102020106377A1
DE102020106377A1 DE102020106377.6A DE102020106377A DE102020106377A1 DE 102020106377 A1 DE102020106377 A1 DE 102020106377A1 DE 102020106377 A DE102020106377 A DE 102020106377A DE 102020106377 A1 DE102020106377 A1 DE 102020106377A1
Authority
DE
Germany
Prior art keywords
camera
environment
assistance system
computing device
electronic computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020106377.6A
Other languages
English (en)
Inventor
Felix Klanner
Horst KLOEDEN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102020106377.6A priority Critical patent/DE102020106377A1/de
Publication of DE102020106377A1 publication Critical patent/DE102020106377A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Assistenzsystems (12) eines Kraftfahrzeugs (10), bei welchem mittels einer Kamera (14) des Assistenzsystems (12) eine Umgebung (20) des Kraftfahrzeugs (10) optisch erfasst wird und bei welchem in Abhängigkeit eines mittels der Kamera (14) erfassten Bilds (22) eine Verschmutzung (24) der Kamera (14) mittels einer elektronischen Recheneinrichtung (18) des Assistenzsystems (12) bestimmt wird, wobei zusätzlich mittels einer Umgebungserfassungseinrichtung (16), welche zur Kamera (14) unterschiedlich ausgebildet ist, die Umgebung (20) erfasst wird, und das erfasste Bild (22) mit der zusätzlich erfassten Umgebung (20) mittels der elektronischen Recheneinrichtung (18) verglichen wird, und in Abhängigkeit von dem Vergleich ein Verschmutzungswert (26) für das Bild (22) und/oder ein verschmutzter Bereich (28) im Bild (22) bestimmt wird. Ferner betrifft die Erfindung ein Assistenzsystem (12).

Description

  • Die Erfindung betrifft ein Verfahren zum Betreiben eines Assistenzsystems eines Kraftfahrzeugs gemäß dem Oberbegriff von Patentanspruch 1. Ferner betrifft die Erfindung ein Assistenzsystem.
  • Aus dem Stand der Technik ist bereits bekannt, dass die Funktion einer Kamera darauf basiert, dass eine Sichtverbindung zwischen jedem Pixel des Imagers und dem zu erkennenden Objekt besteht. Eine Verschmutzung des Objektivs oder der Scheibe hinter dem Objekt führen zu einer Degradierung der Erkennungsleistung der Kamera. Bei Kameras erfolgt insbesondere auf Basis der Beobachtung des optischen Flusses eine Abschätzung über den Verschmutzungsgrad. Bei einer Überschreitung eines heuristisch festgelegten Schwellwerts des Verschmutzungsgrades wird das Ergebnis der Kamera nicht mehr für das Umfeld genutzt. Im Kraftfahrzeugbau, insbesondere aus dem Serienkraftfahrzeugbau, schirmen die Bildverarbeitungsfirmen den Zugriff auf die Bildrohdaten meistens ab. Somit ist das Steuergerät der Kamera eine sogenannte „Blackbox“.
  • Die Blackbox des Kamerasteuergeräts gibt eine schwer interpretierbare Größe aus. Daher nutzt beispielsweise eine elektronische Recheneinrichtung des Kraftfahrzeugs einen sehr konservativen Schwellwert bezüglich der Interpretation des Verschmutzungsgrades, was insbesondere bedeutet, dass von einem höheren Verschmutzungsgrad ausgegangen wird. Durch diesen konservativen Ansatz werden Ergebnisse der Bildverarbeitung nicht genutzt, die eigentlich zu einer höheren Sicherheit der autonomen Fahrfunktion beitragen würden. Wird dagegen der Schwellwert weniger konservativ ausgelegt, können im schlechtesten Fall zusätzliche Geisterobjekte erkannt werden, was zu einer Falschklassifikation führen würde. Alternativ können Objekte nicht erkannt werden, was zu einer Fehlklassifikation führen könnte. Insbesondere arbeiten die bisher vorgestellten Kamerasysteme rein binär. Beispielsweise wird bei einem geringen Verschmutzungsgrad eine weitere Nutzung der Bildverarbeitungsergebnisse durchgeführt. Bei einem hohen Verschmutzungsgrad wird keine Nutzung der Bildverarbeitungsergebnisse durchgeführt.
  • Die DE 102 01 522 A1 offenbart ein Verfahren und eine Vorrichtung zur Erkennung von Sichtbehinderungen bei Bildsensorsystemen, wobei auf der Basis der Analyse des aufgenommenen Bildes des Bildsensors ein Signal erzeugt wird, welches das Vorliegen von Sichtbehinderungen und gegebenenfalls Art der Sichtbehinderungen anzeigt.
  • Aufgabe der vorliegenden Erfindung ist es, ein Verfahren sowie ein Assistenzsystem zu schaffen, mittels welchem eine verbesserte Umgebungserfassung durchgeführt werden kann.
  • Diese Aufgabe wird durch ein Verfahren sowie durch ein Assistenzsystem gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausgestaltungsformen sind in den Unteransprüchen angegeben.
  • Ein Aspekt der Erfindung betrifft ein Verfahren zum Betreiben eines Assistenzsystems eines Kraftfahrzeugs, bei welchem mittels einer Kamera des Assistenzsystems eine Umgebung optisch erfasst wird und bei welchem in Abhängigkeit eines mittels der Kamera erfassten Bilds eine Verschmutzung der Kamera mittels einer elektronischen Recheneinrichtung des Assistenzsystems bestimmt wird.
  • Es ist vorgesehen, dass zusätzlich mittels einer Umgebungserfassungseinrichtung, welche zur Kamera unterschiedlich ausgebildet ist, die Umgebung erfasst wird, und das erfasste Bild mit der zusätzlich erfassten Umgebung mittels der elektronischen Recheneinrichtung verglichen wird, und in Abhängigkeit von dem Vergleich ein Verschmutzungswert für das Bild und/oder ein verschmutzter Bereich im Bild bestimmt wird.
  • Dadurch ist es ermöglicht, dass eine verbesserte Umgebungserfassung durchgeführt werden kann. Insbesondere findet somit eine Sensorfusion zwischen der Kamera und der Umgebungserfassungseinrichtung statt, welche insbesondere keine Kamera ist.
  • Insbesondere kann vorgesehen sein, dass ein Kamerasystem genutzt wird, welches eine Vielzahl von Kameras, wobei Vielzahl insbesondere mehr als eine Kamera bedeutet, zur Umfelderfassung aufweist. Mittels dieser Vielzahl von Kameras kann eine Umfelderfassung mit beispielsweise einem Steuergerät der Kamera beziehungsweise des Kamerasystems zur Bildverarbeitung durchgeführt werden. Als Ergebnis liefert die Kamera eine Objektliste der erkannten Objekte sowie einen kontinuierlichen, nicht normierten Wert zur Abschätzung des Verschmutzungsgrades. Mit der Umgebungserfassungseinrichtung werden dann die durch die Kamera erfassten Informationen fusioniert. Dies erfolgt insbesondere in einem sogenannten Fusions-Steuergerät, welches die Informationen aus allen Sensorsystemen und der digital hochgeladenen Karte miteinander zu einem Umfeldmodell fusioniert. Es wird nun ein sogenannter „Beobachter“ implementiert, der eine unabhängige Bewertung der Sensordegradation vornimmt. Diese Bewertung findet nicht auf einer binären Basis, insbesondere verschmutzt/nicht verschmutzt, statt, sondern führt für jedes Objekt der Kamera und für jeden Raumbereich des Objekts eine Abschätzung der Degradation durch. Zum Beispiel kann festgestellt werden, dass die Fußgängererkennung für Fußgänger links des Kraftfahrzeugs gut ist, während eine Bodenebenenschätzung schlecht ist und wobei eine Kraftfahrzeugerkennung in jedem Raumbereich ebenfalls gut ist.
  • Der Beobachter beruht dabei auf folgendem Funktionsprinzip. Insbesondere findet ein Vergleich der Features, zum Beispiel Objekte, der Kamera mit den anderen Sensorsystemen, mit anderen Worten den anderen Umgebungserfassungseinrichtungen, statt. Dabei wird statistisch ein Maß ermittelt, welches kennzeichnet, wie häufig die Kamera ein Feature erkennt oder nicht erkennt. Es wird das statistische Maß mit Erfahrungswerten bezüglich der Erkennungshäufigkeit der Kamera und der Erkennung von signifikanten Abweichungen verglichen. Es wird ein Signifikanzmaß der Abweichung als Degradationsmaß genutzt.
  • Basierend auf dem unabhängig ermittelten Degradationsmaß wird durch die Fusionseinheit eine Strategie ermittelt, welche Informationen der Kamera auch bei vorliegenden Sensordegradation genutzt werden können. Typischerweise wird nach Auftreten einer Verschmutzung, zum Beispiel Fahrt durch eine Schlammpfütze oder Taubenexkremente, durch die Kamera eine Degradation festgestellt und der Kamerasensor abgeschaltet. Nachfolgend ermittelt der Beobachter, welche Informationen der Kamera auch nach Auftreten der Verschmutzung noch brauchbar sind und nutzt diese nach entsprechender Beobachtungszeit wieder für die Fusion im Umfeldmodell.
  • Bevorzugt kann vorgesehen sein, dass auch der Abstand von einem erfassten Objekt berücksichtigt wird. Beispielsweise kann ein Lkw (Lastkraftwagen) in der Ferne, beispielsweise in einem bestimmten Abstandsbereich, aufgrund der Verschmutzung nicht mehr erkannt werden. Erscheint der Lkw jedoch vor diesem Abstandsschwellwert, so erscheint dieser im Bild groß, und kann auch bei einer Verschmutzung entsprechend weiterhin erfasst werden.
  • Insbesondere kann dann in Abhängigkeit des bestimmten Verschmutzungswerts beziehungsweise des verschmutzen Bereichs bestimmt werden, ob beispielsweise ein Stillstand des Kraftfahrzeugs notwendig ist. Sollte beispielsweise das Kraftfahrzeug als autonomes Kraftfahrzeug bereitgestellt werden, so kann ab einem bestimmten Schwellwert des Verschmutzungswerts beziehungsweise ab einer bestimmten Größe des verschmutzten Bereichs das Kraftfahrzeug stillgelegt werden.
  • Als Umgebungserfassungseinrichtung kann beispielsweise ein Lidarsensor und/oder ein Radarsensor und/oder eine Ultraschallsensor genutzt werden.
  • Gemäß einer vorteilhaften Ausgestaltungsform wird eine Auswertung des Bilds in einen unverschmutzten Bereich des Bilds mittels der elektronischen Recheneinrichtung zur Umgebungsanalyse durchgeführt. Mit anderen Worten wird lediglich die Auswertung im verschmutzten Bereich des Bilds unterdrückt, wobei unverschmutzte Bereiche weiterhin analysiert werden können. Dadurch ist es ermöglicht, dass die Informationen der Kamera, welche im unverschmutzten Bereich sind, weiterhin ausgewertet werden können. Dadurch ist eine verbesserte Umgebungserfassung ermöglicht. Es wird somit keine binäre Auswertung durchgeführt.
  • Ferner hat es sich als vorteilhaft erwiesen, wenn in Abhängigkeit von dem bestimmten Verschmutzungswert einer Auswertung des Bilds mittels der elektronischen Recheneinrichtung ein Plausibilitätswert bei der Umgebungsanalyse zugewiesen wird. Mit anderen Worten kann auch bei einer verschmutzten Kamera weiterhin eine Auswertung berücksichtigt werden. Jedoch kann beispielsweise bei einer verschmutzten Kamera ein Plausibilitätswert sehr niedrig ausfallen, sodass Informationen der Kamera bei einer Auswertung eher geringeres Gewicht zugeteilt werden als beispielsweise Informationen von einem Lidarsensor. Somit können weiterhin Informationen von der Kamera genutzt werden, wodurch eine verbesserte Umgebungserfassung realisiert werden kann.
  • In einer weiteren vorteilhaften Ausgestaltungsform wird zusätzlich die Umgebung mit einer Lidarsensoreinrichtung und/oder mit einer Ultraschallsensoreinrichtung und/oder mit einer Radarsensoreinrichtung als Umgebungserfassungseinrichtung erfasst. Ergänzend kann auch die Umgebungserfassungseinrichtung als weitere Kamera ausgebildet sein. Insbesondere kann somit eine Sensorfusion mit unterschiedlichen Umgebungserfassungseinrichtungen durchgeführt werden, wodurch eine flexible und gleichzeitig ausfallsichere Umgebungserfassung ermöglicht ist. Dadurch ist es ermöglicht, dass auf unterschiedlichen Fusionsdaten basierend das Verfahren durchgeführt werden kann.
  • Ferner hat es sich als vorteilhaft erwiesen, wenn das Assistenzsystem für ein zumindest teilweise autonomes, insbesondere für ein vollautonomes, Kraftfahrzeug bereitgestellt wird. Insbesondere findet somit ein Fahren des Kraftfahrzeugs ohne Eingriff eines Fahrers statt. Insbesondere beim vollautonomen Kraftfahrzeugbetrieb ist es notwendig, die Umgebung entsprechend präzise und schnell bestimmen zu können. Durch das erfindungsgemäße Verfahren ist es nun ermöglicht, dass beim autonomen Fahrbetrieb weiterhin die Daten der Kamera, auch bei einem niedrigen Verschmutzungsgrad, genutzt werden können, um einen sicheren Fahrbetrieb des Kraftfahrzeugs im autonomen Fahrbetrieb realisieren zu können.
  • In einer weiteren vorteilhaften Ausgestaltungsform wird die Umgebung charakterisierender Umweltparameter der Umgebung bei dem Vergleich mit berücksichtigt. Beispielsweise können Wetterinformationen, wie beispielsweise Schnee oder Regen, mit berücksichtigt werden. Insbesondere können auch eine Position des Kraftfahrzeugs, die Wetterlage, die Jahreszeit, die Tageszeit, Niederschlag und Temperatur mit analysiert werden. Insbesondere können diese Informationen an eine kraftfahrzeugexterne elektronische Recheneinrichtung, welche beispielsweise auch als Backendserver bezeichnet werden kann, übertragen. Dadurch ist es ermöglicht, dass zuverlässig eine Analyse des Verschmutzungsgrades durchgeführt werden kann.
  • Ferner hat es sich als vorteilhaft erwiesen, wenn der die Umgebung charakterisierende Umweltparameter mit dem Verschmutzungswert mittels der elektronischen Recheneinrichtung korreliert wird und in Abhängigkeit von der Korrelation und eines zukünftigen die Umgebung charakterisierenden Umweltparameters ein zukünftiger Verschmutzungswert prädiziert wird. Insbesondere kann alternativ oder ergänzend vorgesehen sein, dass der Verschmutzungswert an die kraftfahrzeugexterne elektronische Recheneinrichtung übertragen wird und innerhalb der kraftfahrzeugexternen elektronischen Recheneinrichtung korreliert wird. Beispielsweise kann dann vorgesehen sein, dass auf Basis der Korrelation beziehungsweise der Analyseergebnisse zwischen den die Umgebung charakterisierenden Umweltparametern prädiziert wird, wie hoch am nächsten Tag voraussichtlich der Verunreinigungsgrad sein wird, wobei dies beispielsweise in eine Reinigungsstrategie für das Kraftfahrzeug mit umgesetzt werden kann. Insbesondere sollte das Kraftfahrzeug, insbesondere das autonom betriebene Kraftfahrzeug, beispielsweise in einem Flottenbetrieb eingesetzt sein, so können entsprechende Reinigungszeiten beziehungsweise Ausfallzeiten des Kraftfahrzeugs zuverlässig bestimmt werden. Insbesondere beim Flottenbetrieb kann somit eine hochpräzise Voraussage über die Nutzung des Kraftfahrzeugs durchgeführt werden.
  • Gemäß einer weiteren vorteilhaften Ausgestaltungsform wird auf Basis des bestimmten Verschmutzungswerts und/oder des verschmutzten Bereichs eine Reinigungsstrategie für die Kamera mittels der elektronischen Recheneinrichtung bestimmt und in Abhängigkeit von der bestimmten Reinigungsstrategie eine Einsatzdauer der Kamera bestimmt. Insbesondere kann in Abhängigkeit der Einsatzdauer der Kamera auch eine Einsatzdauer des Kraftfahrzeugs, insbesondere in einem Flottenbetrieb, bestimmt werden. Insbesondere, da davon ausgegangen werden kann, dass automatisierte Kraftfahrzeuge zukünftig in einem Flottenbetrieb betrieben werden, können Servicemitarbeiter für die Reinigung der Kraftfahrzeuge entsprechend zuverlässig bereits frühzeitig eingeplant werden. Insbesondere wird somit auf Basis der Prädiktion der Sensorverschmutzung für den nächsten Tag beispielsweise ein Servicebedarf für das Kraftfahrzeug beziehungsweise für die Kamera übermittelt, sodass eine Personalplanung für das Kraftfahrzeug durchgeführt werden kann.
  • Ebenfalls vorteilhaft ist, wenn der Vergleich auf Basis eines durch die Kamera erfassten Objekts und des zusätzlich mittels der Umgebungserfassungseinrichtung erfassten Objekts erfolgt. Beispielsweise kann eine Objektliste von der Kamera ausgegeben werden, wobei diese Objektliste mit einer Objektliste von der Umgebungserfassungseinrichtung abgeglichen werden kann. Insbesondere können dann die gemeinsamen Objekte verglichen werden. Auf Basis der verglichenen Objekte kann dann sowohl der Verschmutzungswert der Kamera als auch der Bereich, in welchem die Verschmutzung ist, zuverlässig bestimmt werden.
  • Ein weiterer Aspekt der Erfindung betrifft ein Assistenzsystem für ein Kraftfahrzeug, mit zumindest einer Kamera, einer Umgebungserfassungseinrichtung und einer elektronischen Recheneinrichtung, wobei das Assistenzsystem zum Durchführen eines Verfahrens nach dem vorhergehenden Aspekt ausgebildet ist. Insbesondere wird das Verfahren mittels des Assistenzsystems durchgeführt.
  • Ein nochmals weiterer Aspekt der Erfindung betrifft ein Kraftfahrzeug mit einem Assistenzsystem nach dem vorhergehenden Aspekt. Das Kraftfahrzeug ist insbesondere als zumindest teilweise autonomes Kraftfahrzeug, insbesondere als vollautonomes Kraftfahrzeug, ausgebildet. Insbesondere ist das Kraftfahrzeug als Teil einer Fahrzeugflotte anzusehen.
  • Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar.
  • Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die Zeichnungen näher erläutert. Es zeigt dabei die einzige Figur eine schematische Seitenansicht einer Ausführungsform eines Kraftfahrzeugs mit einer Ausführungsform eines Assistenzsystems.
  • In der Figur sind gleiche oder funktionsgleiche Elemente mit gleichen Bezugszeichen versehen.
  • Die Figur (Fig.) zeigt in einer schematischen Seitenansicht eine Ausführungsform eines Kraftfahrzeugs 10 mit einer Ausführungsform eines Assistenzsystems 12. Das Assistenzsystem 12 weist zumindest eine Kamera 14 sowie eine Umgebungserfassungseinrichtung 16 auf. Die Umgebungserfassungseinrichtung 16 ist unterschiedlich zur Kamera 14 ausgebildet. Ferner weist das Assistenzsystem 12 eine elektronische Recheneinrichtung 18 auf.
  • Beim Verfahren zum Betreiben des Assistenzsystems 12 des Kraftfahrzeugs 10 wird mittels der Kamera 14 eine Umgebung 20 des Kraftfahrzeugs 10 optisch erfasst und es wird in Abhängigkeit eines mittels der Kamera 14 erfassten Bilds 22 eine Verschmutzung 24 der Kamera 14 mittels der elektronischen Recheneinrichtung 18 des Assistenzsystems 12 bestimmt.
  • Es ist vorgesehen, dass zusätzlich mittels der Umgebungserfassungseinrichtung 16, welche zur Kamera 14 unterschiedlich ausgebildet ist, die Umgebung 20 erfasst wird und das erfasste Bild 22 mit der zusätzlich erfassten Umgebung 20 mittels der elektronischen Recheneinrichtung 18 verglichen wird und in Abhängigkeit von dem Vergleich ein Verschmutzungswert 26 für das Bild 22 und/oder ein verschmutzter Bereich 28 im Bild 22 bestimmt wird.
  • Insbesondere ist vorgesehen, dass eine Auswertung des Bilds 22 in einem unverschmutzten Bereichs 30 des Bilds 22 mittels der elektronischen Recheneinrichtung 18 zur Umgebungsanalyse durchgeführt wird. Mit anderen Worten wird in dem unverschmutzten Bereich 30 weiterhin eine Umgebungsanalyse durchgeführt, während in dem verschmutzten Bereich 28 eine Umgebungsanalyse verhindert beziehungsweise unterdrückt wird.
  • Ferner ist insbesondere vorgesehen, dass in Abhängigkeit von dem bestimmten Verschmutzungswert 26 eine Auswertung des Bilds 22 mittels der elektronischen Recheneinrichtung 16 ein Plausibilitätswert bei der Umgebungsanalyse zugewiesen wird.
  • Insbesondere kann ferner vorgesehen sein, dass zusätzlich die Umgebung 20 mit einer Lidarsensoreinrichtung und/oder mit einer Ultraschallsensoreinrichtung und/oder mit einer Radarsensoreinrichtung als Umgebungserfassungseinrichtung 16 erfasst wird. Das Assistenzsystem 12 ist insbesondere für ein zumindest teilweise autonomes, insbesondere für ein vollautonomes, Kraftfahrzeug 10 bereitgestellt.
  • Ferner kann vorgesehen sein, dass ein die Umgebung 20 charakterisierender Umweltparameter 32 der Umgebung 20 bei dem Vergleich berücksichtigt wird. Insbesondere kann der die Umgebung 20 charakterisierende Umweltparameter 32 mit dem Verschmutzungswert 26 mittels der elektronischen Recheneinrichtung 16 korreliert werden und in Abhängigkeit von der Korrelation kann ein zukünftiger Verschmutzungswert 26 prädiziert werden.
  • Auf Basis des bestimmten Verschmutzungswerts 26 und/oder des verschmutzten Bereichs 28 kann dann eine Reinigungsstrategie für die Kamera 14 mittels elektronischen Recheneinrichtung 18 bestimmt werden und in Abhängigkeit von der bestimmten Reinigungsstrategie kann eine Einsatzdauer der Kamera 14 beziehungsweise des Kraftfahrzeugs 10 bestimmt werden. Insbesondere kann vorgesehen sein, dass die Reinigungsstrategie auch von einer kraftfahrzeugexternen, elektronischen Recheneinrichtung 34 bestimmt werden kann. Insbesondere können hierzu die gewonnenen Informationen mittels des Assistenzsystems 12 an die kraftfahrzeugexterne elektronische Recheneinrichtung 34 übertragen werden. Die kraftfahrzeugexterne elektronische Recheneinrichtung 34 wiederum kann dann diese Informationen an ein weiteres Kraftfahrzeug 36 übertragen. Das Kraftfahrzeug 10 sowie das weitere Kraftfahrzeug 36 befinden sich insbesondere in einer sogenannten Flotte. Insbesondere kann auf Basis des Verschmutzungswerts 26 eine Einsatzdauer des Kraftfahrzeugs 10 für die Flotte, insbesondere für die autonome Flotte, bestimmt werden.
  • Des Weiteren zeigt die Fig., dass der Vergleich auf Basis eines durch die Kamera 14 erfassten Objekts 38, welches vorliegend insbesondere als Fußgänger dargestellt ist, und des zusätzlich mittels der Umgebungserfassungseinrichtung 16 erfassten Objekts 38 erfolgt.
  • Insbesondere ist somit gemäß der Fig. ein Assistenzsystem 12 mit zumindest der Kamera 14 oder alternativ weiteren Kameras 14 zur Umfelderfassung mit einem Steuergerät zur Bildverarbeitung ausgebildet. Als Ergebnis liefert die Kamera 14 eine Objektliste der erkannten Objekte 38 sowie einen kontinuierlichen, nicht normierten Wert zur Abschätzung des Verschmutzungsgrades. Ferner ist vorgesehen, dass das Assistenzsystem 12 die Umfelderfassungseinrichtung 16 zur Erfassung der Umgebung 20 ohne Kamerasensoren, zum Beispiel bestehend aus Lidarsensor, Radarsensor oder Ultraschallsensor, aufweist. Die elektronische Recheneinrichtung 18, welche insbesondere auch als Fusions-Steuergerät bezeichnet werden kann, fusioniert die Informationen aus der Kamera 14 und der Umgebungserfassungseinrichtung 16 und einer digitalen hochgenauen Karte miteinander zu einem Umfeldmodell. Auf dem Fusionssteuergerät wird dann ein „Beobachter“ implementiert, der eine unabhängige Bewertung der Kameradegeneration vornimmt. Diese Bewertung findet nicht auf einer binären Basis statt, sondern führt für jedes Feature der Kamera 14 und für jeden Raumbereich des Features eine Abschätzung der Degradation durch. Zum Beispiel kann bei einer Fußgängererkennung für Fußgänger links das Kraftfahrzeug 10 weiterhin gut den Fußgänger erkennen. Eine Bodenebenenschätzung kann währenddessen schlecht sein und eine Fahrzeugerkennung in jedem Raumbereich kann ebenfalls weiterhin gut sein.
  • Der Beobachter beruht dabei auf dem Funktionsprinzip, dass die Features beziehungsweise Objekte 38 der Kamera 14 mit der Umgebungserfassungseinrichtung 16 miteinander verglichen werden. Dabei wird ein statistisches Maß ermittelt, welches kennzeichnet, wie häufig die Kamera 14 ein Feature erkennt oder nicht. Es wird das statistische Maß mit Erfahrungswerten bezüglich der Erkennungshäufigkeit der Kamera 14 und Erkennung von signifikanten Abweichungen durchgeführt. Das Signifikanzmaß der Abweichung wird hierbei als Degradationsmaß genutzt. Basierend auf dem unabhängig ermittelten Degradation maß wird durch die Fusionseinheit eine Strategie ermittelt, welche Informationen der Kamera 14 auch bei Vorliegen der Sensordegradation genutzt werden können. Typischerweise wird nach Auftreten der Verschmutzung, zum Beispiel durch Fahrt durch eine Schlammpfütze, durch die Kamera 14 eine Degradation festgestellt und der Kamerasensor abgeschaltet. Nachfolgend ermittelt der Beobachter, welche Information der Kamera 14 auch nach Auftreten der Verschmutzung noch brauchbar sind und nutzt diese nach entsprechender Beobachtungszeit wieder für die Fusion im Umfledmodell.
  • Vorteilhaft kann vorgesehen sein, dass neben dem Verschmutzungsgrad der Kamera 14 auch Umfeldfaktoren, wie die Geoposition des Kraftfahrzeugs 10, Wetterlage, Jahreszeit, Tageszeit, Niederschlag, Temperaturen in beispielsweise der kraftfahrzeugexternen elektronischen Recheneinrichtung 34 mit aufgezeichnet und analysiert werden. Basierend auf den Ergebnissen wird die Korrelation zwischen diesen Umfeldfaktoren und dem Verschmutzungsgrad bestimmt. Basierend auf diesen Korrelationen kann das Assistenzsystem 12 abschätzen, wie hoch am nächsten Tag voraussichtlich Verunreinigungsgrad sein wird und baut dieses gezielt in eine Reinigungsstrategie für die Kamera 14 mit ein. Beispielsweise kann davon ausgegangen werden, dass automatisierte Kraftfahrzeuge 10, 36 zukünftig in einem Flottenbetrieb betrieben werden und Servicemitarbeiter für die Reinigung der Kraftfahrzeuge 10, 36 verantwortlich sind. Somit kann vorteilhaft vorgesehen sein, dass auf Basis der Detektion der Sensorverschmutzung für den nächsten Tag der Servicebedarf ermittelt wird und eine Personalplanung in Abhängigkeit davon bestimmt wird.
  • Insgesamt zeigt die Erfindung eine Verschmutzungserkennung der Kamera 14 im Sensorverbund des autonomen Kraftfahrzeugs 10.
  • Bezugszeichenliste
    • 10
    Kraftfahrzeug
    12
    Assistenzsystem
    14
    Kamera
    16
    Umgebungserfassungseinrichtung
    18
    elektronische Recheneinrichtung
    20
    Umgebung
    22
    Bild
    24
    Verschmutzung
    26
    Verschmutzungswert
    28
    verschmutzer Bereich
    30
    unverschmutzter Bereich
    32
    Umweltparameter
    34
    kraftfahrzeugexterne elektronische Recheneinrichtung
    36
    weiteres Kraftfahrzeug
    38
    Objekt
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 10201522 A1 [0004]

Claims (10)

  1. Verfahren zum Betreiben eines Assistenzsystems (12) eines Kraftfahrzeugs (10), bei welchem mittels einer Kamera (14) des Assistenzsystems (12) eine Umgebung (20) des Kraftfahrzeugs (10) optisch erfasst wird und bei welchem in Abhängigkeit eines mittels der Kamera (14) erfassten Bilds (22) eine Verschmutzung (24) der Kamera (14) mittels einer elektronischen Recheneinrichtung (18) des Assistenzsystems (12) bestimmt wird, dadurch gekennzeichnet, dass zusätzlich mittels einer Umgebungserfassungseinrichtung (16), welche zur Kamera (14) unterschiedlich ausgebildet ist, die Umgebung (20) erfasst wird, und das erfasste Bild (22) mit der zusätzlich erfassten Umgebung (20) mittels der elektronischen Recheneinrichtung (18) verglichen wird, und in Abhängigkeit von dem Vergleich ein Verschmutzungswert (26) für das Bild (22) und/oder ein verschmutzter Bereich (28) im Bild (22) bestimmt wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine Auswertung des Bilds (22) in einem unverschmutzten Bereich (30) des Bilds (22) mittels der elektronischen Recheneinrichtung (18) zur Umgebungsanalyse durchgeführt wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass in Abhängigkeit von dem bestimmten Verschmutzungswert (26) einer Auswertung des Bilds (22) mittels der elektronischen Recheneinrichtung (18) ein Plausibilitätswert bei der Umgebungsanalyse zugewiesen wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zusätzlich die Umgebung (20) mit einer Lidarsensoreinrichtung und/oder mit einer Ultraschallsensoreinrichtung und/oder mit einer Radarsensoreinrichtung als Umgebungserfassungseinrichtung (16) erfasst wird.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Assistenzsystem (12) für ein zumindest teilweise autonomes, insbesondere für ein vollautonomes, Kraftfahrzeug (10) bereitgestellt wird.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein die Umgebung charakterisierender Umweltparameter (32) der Umgebung (20) bei dem Vergleich mit berücksichtigt wird.
  7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass der die Umgebung charakterisierende Umweltparameter (32) mit dem Verschmutzungswert (26) mittels der elektronischen Recheneinrichtung (18) korreliert wird und in Abhängigkeit von der Korrelation und eines zukünftigen die Umgebung (20) charakterisierenden Umweltparameters (32) ein zukünftiger Verschmutzungswert (26) prädiziert wird.
  8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass auf Basis des bestimmten Verschmutzungswerts (26) und/oder des verschmutzten Bereichs (28) eine Reinigungsstrategie für die Kamera (14) mittels der elektronischen Recheneinrichtung (18) bestimmt wird und in Abhängigkeit von der bestimmten Reinigungsstrategie eine Einsatzdauer der Kamera (14) bestimmt wird.
  9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Vergleich auf Basis eines durch die Kamera (14) erfassten Objekts (38) und des zusätzlich mittels der Umgebungserfassungseinrichtung (16) erfassten Objekts (38) erfolgt.
  10. Assistenzsystem (12) für ein Kraftfahrzeug (10), mit zumindest einer Kamera (14), einer Umgebungserfassungseinrichtung (16) und einer elektronischen Recheneinrichtung (18), wobei das Assistenzsystem (12) zum Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 9 ausgebildet ist.
DE102020106377.6A 2020-03-09 2020-03-09 Verfahren zum Betreiben eines Assistenzsystems, sowie Assistenzsystem Pending DE102020106377A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102020106377.6A DE102020106377A1 (de) 2020-03-09 2020-03-09 Verfahren zum Betreiben eines Assistenzsystems, sowie Assistenzsystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020106377.6A DE102020106377A1 (de) 2020-03-09 2020-03-09 Verfahren zum Betreiben eines Assistenzsystems, sowie Assistenzsystem

Publications (1)

Publication Number Publication Date
DE102020106377A1 true DE102020106377A1 (de) 2021-09-09

Family

ID=77388712

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020106377.6A Pending DE102020106377A1 (de) 2020-03-09 2020-03-09 Verfahren zum Betreiben eines Assistenzsystems, sowie Assistenzsystem

Country Status (1)

Country Link
DE (1) DE102020106377A1 (de)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10201522A1 (de) 2002-01-17 2003-07-31 Bosch Gmbh Robert Verfahren und Vorrichtung zur Erkennung von Sichtbehinderungen bei Bildsensorsystemen
DE102011056051A1 (de) 2011-12-05 2013-06-06 Conti Temic Microelectronic Gmbh Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera unter Berücksichtigung von Informationen über Regen
US20180143298A1 (en) 2016-11-21 2018-05-24 Nio Usa, Inc. Sensor surface object detection methods and systems
US20190225234A1 (en) 2019-03-29 2019-07-25 Intel Corporation Detection of an anomalous image associated with image data from one or more cameras of a computer-aided or autonomous driving vehicle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10201522A1 (de) 2002-01-17 2003-07-31 Bosch Gmbh Robert Verfahren und Vorrichtung zur Erkennung von Sichtbehinderungen bei Bildsensorsystemen
DE102011056051A1 (de) 2011-12-05 2013-06-06 Conti Temic Microelectronic Gmbh Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera unter Berücksichtigung von Informationen über Regen
US20180143298A1 (en) 2016-11-21 2018-05-24 Nio Usa, Inc. Sensor surface object detection methods and systems
US20190225234A1 (en) 2019-03-29 2019-07-25 Intel Corporation Detection of an anomalous image associated with image data from one or more cameras of a computer-aided or autonomous driving vehicle

Similar Documents

Publication Publication Date Title
DE102012222126B4 (de) Verfahren und Vorrichtung zum Ansteuern einer Reinigungsvorrichtung für eine Fahrzeugkamera, Verfahren zum Reinigen einer Fahrzeugkamera und Kamerasystem für ein Fahrzeug
WO2018177484A1 (de) Verfahren und system zur vorhersage von sensorsignalen eines fahrzeugs
EP2710573B1 (de) Verfahren und vorrichtung zum erkennen eines möglichen kollisionsobjektes
DE112017002743T5 (de) Parkunterstützungsvorrichtung und Parkunterstützungsverfahren
EP3727936B1 (de) Verfahren zum erkennen von zumindest einem an einem kraftfahrzeug anliegenden objekt sowie steuervorrichtung und kraftfahrzeug
DE102011087797A1 (de) Verfahren und Vorrichtung zur Lokalisation einer vordefinierten Parkposition
EP3619060B1 (de) Verfahren zur ermittlung des knickwinkels eines gespanns
DE102017217072A1 (de) Verfahren zum Erkennen eines Witterungsverhältnisses in einer Umgebung eines Kraftfahrzeugs sowie Steuervorrichtung und Kraftfahrzeug
DE102012015282B4 (de) Verfahren zur Detektion eines verdeckten Zustands einer Bilderfassungseinrichtung eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102016012345A1 (de) Verfahren zum Erkennen von Objekten
DE102016104044A1 (de) Verfahren zum Erkennen einer Ablagerung auf einem optischen Element einer Kamera durch einen Merkmalsraum und eine Hyperebene, sowie Kamerasystem und Kraftfahrzeug
DE102018005969A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsvstems mit zwei Erfassungseinrichtungen
EP3784534B1 (de) Reinigung von umfeldsensoren eines kraftfahrzeugs
DE102018220306B4 (de) Verfahren und Vorrichtung zum Benachrichtigen eines Benutzers über eine Verschmutzung am Fahrzeug sowie Fahrzeug mit einer solchen Vorrichtung
DE102020106377A1 (de) Verfahren zum Betreiben eines Assistenzsystems, sowie Assistenzsystem
DE102019000060A1 (de) Steuern eines Fahrzeugs unter Verwendung eines Steuerungssystems
DE102018200754A1 (de) Verfahren und Vorrichtung zum Auswerten von Sensordaten mittels Kameradaten und Fahrerassistenzsystem
DE102017100669A1 (de) Verfahren zum Erfassen eines Umgebungsbereichs eines Kraftfahrzeugs mit Anpassung einer Region von Interesse in Abhängigkeit von einem Anhänger, Recheneinrichtung, Kamerasystem sowie Kraftfahrzeug
EP3599144B1 (de) Erkennung eines status eines garagentores beim autonomen einparken
DE102019132012A1 (de) Verfahren und System zur Detektion von kleinen unklassifizierten Hindernissen auf einer Straßenoberfläche
DE102019129101A1 (de) Verfahren und System zum Schätzen eines Begrenzungsrahmens, der ein Zielfahrzeug einschließt
DE102019008079A1 (de) Verfahren zum Erkennen mindestens eines Objekts in einem Fahrbereich eines Fahrzeugs, Vorrichtung eingerichtet zum Druchführen eines solchen Verfahrens, und Fahrzeug mit einer solchen Vorrichtung
DE102019114904A1 (de) Vorausschauende Erkennung einer Fahrbahnbeschaffenheit mittels eines Laserscanners und einer Kameraeinheit
DE102018010042A1 (de) Verfahren zum Erkennen wenigstens eines sich in einer Umgebung eines Kraftfahrzeugs befindenden Objekts
DE102018202356A1 (de) Verfahren und Vorrichtung zum Prüfen einer Freigabe einer Anfahrt für ein Fahrzeug

Legal Events

Date Code Title Description
R163 Identified publications notified