DE102021207792A1 - Verfahren zum Regeln eines Reinigungsvorgangs für einen optischen Weg eines Kamerasystems einer mobilen Plattform - Google Patents

Verfahren zum Regeln eines Reinigungsvorgangs für einen optischen Weg eines Kamerasystems einer mobilen Plattform Download PDF

Info

Publication number
DE102021207792A1
DE102021207792A1 DE102021207792.7A DE102021207792A DE102021207792A1 DE 102021207792 A1 DE102021207792 A1 DE 102021207792A1 DE 102021207792 A DE102021207792 A DE 102021207792A DE 102021207792 A1 DE102021207792 A1 DE 102021207792A1
Authority
DE
Germany
Prior art keywords
cleaning
camera system
mobile platform
scenario
cleaning process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021207792.7A
Other languages
English (en)
Inventor
Markus Klein
Michael Ostertag
Yao Li
Shishira Kroll
Mirko Thulke
Andreas Kern
Niklas Heppner
Juergen Pfadt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102021207792.7A priority Critical patent/DE102021207792A1/de
Priority to PCT/EP2022/068536 priority patent/WO2023001539A1/de
Publication of DE102021207792A1 publication Critical patent/DE102021207792A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • B60S1/06Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • B60S1/06Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833Optical rain sensor
    • B60S1/0844Optical rain sensor including a camera
    • B60S1/0848Cleaning devices for cameras on vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/56Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

Es wird ein Verfahren zum Regeln eines Reinigungsvorgangs für einen optischen Weg eines Kamerasystems einer mobilen Plattform beschrieben, mit den Schritten: Bereitstellen eines aktuellen Status von Reinigungsressourcen;Bereitstellen eines aktuellen Blindheitsstatus des optischen Wegs des Kamerasystems; Bestimmen eines zukünftigen Fahrszenarios der mobilen Plattform;Bestimmen eines Reinigungsszenarios, basierend auf dem aktuellen Status der Reinigungsressourcen; und/oder dem aktuellen Blindheitsstatus des optischen Wegs des Kamerasystems; und/oder dem zukünftigen Fahrszenario der mobilen Plattform, um den Reinigungsvorgang freizugeben.

Description

  • Stand der Technik
  • Die Automatisierung des Fahrens geht einher mit der Ausstattung von Fahrzeugen mit immer umfangreicheren und leistungsfähigeren Sensorsystemen zur Umfelderfassung. Bei der Interpretation der Sensordaten werden für Klassifikations- und Detektionsaufgaben Methoden des maschinellen Lernens (engl. Machine Learning) eingesetzt.
    Ein optisches Kamerasystem kann durch unterschiedlichste Störungen des Aufnahmepfades degradiert sein, so z.B. durch eine Verschmutzung der Kameralinse oder einer vorgelagerten Windschutzscheibe, oder einer Beschädigung der Kamera oder durch andere Umwelteinflüsse wie Regen, Nebel, Schnee oder Gischt.
    Für eine Erfassung von Umweltrepräsentationen zum zumindest teilautomatisierten Fahren mittels solcher optischer Sensoren sind ausreichend klare Bilder der optischen Sensoren besonders wichtig. Daher werden solche Kamerasysteme bzw. Video-Sensoren mit Reinigungsvorrichtungen versehen.
  • Offenbarung der Erfindung
  • Bei automatischen Reinigungsanforderungen sollte berücksichtigt werden, dass ein Reinigungsvorgang nicht zu häufig erfolgt, um zu vermeiden, dass Reinigungsressourcen unnötig verbraucht werden, so dass gegebenenfalls eine Reinigungsfunktionalität, aufgrund verbrauchte Ressourcen, nicht mehr realisiert werden kann, was Funktionalitäten von Anwendungsverfahren, die einen ungestörten optischen Weg des Kamerasystems erfordern, eingeschränkt werden und/oder nicht mehr zur Verfügung stehen.
  • Dazu wird eine Regelung des Reinigungsvorgangs benötigt, die den Reinigungsvorgang, angepasst an Fahrszenarien, abhängig von Umwelt- und/oder Fahrzeugbedingungen, um den Verbrauch von Reinigungsressourcen zu optimieren.
    Dazu kann die Regelung auf einem manuellen und/oder automatischen REAR- und/oder FRONT und/oder Seiten-Kamera-Reinigungsvorgang und/oder, d. h. auf einer Benutzereingabe und/oder einer algorithmischen Blindheitserkennung und/oder eine Reinigungs-Anforderung eines Anwendungsverfahrens des Kamerasystems basieren. Die Regelung kann ein Softwaresignal ausgeben, um beispielsweise eine Reinigungspumpe als Reinigungsvorgang zu aktivieren, die Reinigungsflüssigkeit auf den optischen Weg des Kamerasystems sprüht, um diesen zu reinigen.
  • Gemäß Aspekten der Erfindung wird ein Verfahren zum Regeln eines Reinigungsvorgangs für einen optischen Weg eines Kamerasystems einer mobilen Plattform, eine Verwendung des Verfahrens, eine Vorrichtung zur Datenverarbeitung, ein Steuergerät und eine mobile Plattform, gemäß den Merkmalen der unabhängigen Ansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche sowie der nachfolgenden Beschreibung.
  • In dieser gesamten Beschreibung der Erfindung ist die Abfolge von Verfahrensschritten so dargestellt, dass das Verfahren leicht nachvollziehbar ist. Der Fachmann wird aber erkennen, dass viele der Verfahrensschritte auch in einer anderen Reihenfolge durchlaufen werden können und zu dem gleichen oder einem entsprechenden Ergebnis führen. In diesem Sinne kann die Reihenfolge der Verfahrensschritte entsprechend geändert werden. Einige Merkmale sind mit Zählwörtern versehen, um die Lesbarkeit zu verbessern oder die Zuordnung eindeutiger zu machen, dies impliziert aber nicht ein Vorhandensein bestimmter Merkmale.
  • Gemäß einem Aspekt der Erfindung wird ein Verfahren zum Regeln eines Reinigungsvorgangs für einen optischen Weg eines Kamerasystems einer mobilen Plattform vorgeschlagen, wobei in einem Schritt ein aktueller Status von Reinigungsressourcen bereitgestellt wird. In einem weiteren Schritt wird ein aktueller Blindheitsstatus des optischen Wegs des Kamerasystems bereitgestellt. In einem weiteren Schritt wird ein zukünftiges Fahrszenario der mobilen Plattform bestimmt. In einem weiteren Schritt wird ein Reinigungsszenario, basierend auf dem aktuellen Status der Reinigungsressourcen und/oder dem aktuellen Blindheitsstatus des optischen Wegs des Kamerasystems und/oder dem zukünftigen Fahrszenario der mobilen Plattform bestimmt, um den Reinigungsvorgang freizugeben.
  • Mit anderen Worten kann mit diesem Verfahren eine notwendige Reinigung identifiziert werden, bevor von einem Anwendungsverfahren, das ein Bild des Kamerasystems verwendet, ein Reinigungsvorgang angefordert wird. D. h. ein Reinigungsvorgang des optischen Weges kann schon durchgeführt werden, wenn gewisse Anwendungsverfahren, die ein Bild des Kamerasystems verwenden, noch nicht operativ geschaltet sind, so dass der Reinigungsvorgang die Funktion nicht beeinträchtigt.
    Darüber hinaus kann ein Reinigungsvorgang während eines bestimmten Fahrzustandes freigegeben und/oder ausgelöst werden, um eine Reinigungswirkung zu optimieren. Beispielsweise kann der Reinigungsvorgang bei einer Geschwindigkeit ausgelöst werden, bei dem eine dabei verwendete Reinigungsflüssigkeit durch den Fahrtwind, insbesondere in einem Geschwindigkeitsbereich von 40 km/h bis 60 km/h, nach der Reinigung aus dem optischen Weg des Kamerasystems entfernt wird.
  • Das Fahrszenario kann beispielsweise dadurch erkannt werden, dass ein Fahrzyklus gewechselt wird oder bestimmte Fahrzyklen durchlaufen werden, aus denen ein zukünftiges Fahrszenario abgeleitet werden kann. Weiterhin beispielsweise, kann ein bestimmtes Fahrszenario dadurch erkannt werden, dass aus einer länger anhaltenden hohen Geschwindigkeit auf einen bestimmten niedrigen Geschwindigkeitsbereich abgebremst wird. Dies kann beispielsweise, ohne weitere Informationen, als ein Verlassen einer Autobahn interpretiert werden.
    Das zukünftige Fahrszenario kann aus einer Vielzahl von möglichen Fahrszenarien mittels einer Bestimmung einer Wahrscheinlichkeit für das Eintreten eines der Vielzahl der möglichen Fahrszenarien bestimmt werden und somit als ein wahrscheinliches zukünftiges Fahrszenario bestimmt werden.
  • Dabei kann das Kamerasystem sowohl in Fahrtrichtung als auch gegen die Fahrtrichtung als auch seitlich zur Fahrtrichtung eingerichtet sein. D. h. das Kamerasystem kann ein Front-Kamerasystem und/oder ein Heck-Kamerasystem und/oder ein Seiten-Kamerasystem sein.
    Ein Kamerasystem kann ein optisches System zur Generierung von Bildern der Umgebung der mobilen Plattform, wie beispielsweise ein optisches Videosystem, sein.
  • In diesem Zusammenhang kann das Regeln des Reinigungsvorgangs im Sinne von einem Steuern des Reinigungsvorgangs und/oder einem Regeln im engeren Sinn verstanden werden.
  • Unter einer mobilen Plattform kann ein zumindest teilweise automatisiertes System verstanden werden, welches mobil ist, und/oder ein Fahrerassistenzsystem eines Fahrzeugs. Ein Beispiel kann ein zumindest teilweise automatisiertes Fahrzeug bzw. ein Fahrzeug mit einem Fahrerassistenzsystem sein. Das heißt, in diesem Zusammenhang beinhaltet ein zumindest teilweise automatisiertes System eine mobile Plattform in Bezug auf eine zumindest teilweise automatisierte Funktionalität, aber eine mobile Plattform beinhaltet auch Fahrzeuge und andere mobile Maschinen einschließlich Fahrerassistensystemen. Weitere Beispiele für mobile Plattformen können Fahrerassistenzsysteme mit mehreren Sensoren, mobile Multisensor-Roboter wie z.B. Roboterstaubsauger oder Rasenmäher, ein Multisensor-Überwachungssystem, eine Fertigungsmaschine, ein persönlicher Assistent oder ein Zugangskontrollsystem sein. Jedes dieser Systeme kann ein vollständig oder teilweise automatisiertes System sein.
  • Durch die Verwendung des Reinigungsszenarios können die Reinigungsressourcen optimiert eingesetzt und an die Umgebungs- und Fahrbedingungen angepasst werden. Das Reinigungsszenario kann auch ein manuelles Triggern eines Reinigungsvorgangs des Fahrers der mobilen Plattform unmöglich machen, um beispielsweise ein aktuelles Anwendungsverfahren in seiner Funktion nicht zu stören.
  • Gemäß einem Aspekt wird vorgeschlagen, dass eine Reinigungsanforderung zumindest eines Anwendungsverfahrens für die mobile Plattform, das ein Bild des Kamerasystems verwendet, bereitgestellt wird und der Reinigungsvorgang ausgelöst wird, sofern das Reinigungsszenario aktuell den Reinigungsvorgang freigegeben hat, und die Reinigungsanforderung von zumindest einem Anwendungsverfahren aktiv ist und/oder von einem Fahrer eine Reinigungsanforderung getriggert wurde.
    Dabei kann die Anforderung für einen Reinigungsvorgang von einem oder mehreren einer Vielzahl von Anwendungsverfahren stammen und entsprechend dem Verfahren zum Regeln des Reinigungsvorgangs freigegeben oder nicht freigegeben werden. Alternativ kann mit diesem Verfahren ein notwendiger Reinigungsvorgang durchgeführt werden, bevor der Reinigungsvorgang anfordert wird oder nach Anforderung eines Reinigungsvorgangs, um den Reinigungsvorgang zu optimieren und/oder um das Anwendungsverfahren in seiner Funktion nicht zu beeinträchtigen.
  • Beispielsweise kann ein interner Parklückensuche-Algorithmus einen Reinigungsvorgang unabhängig von einer Fahreranforderung anfordern oder den Reinigungsvorgang unterbinden, um eine Funktionalität bereitzuhalten. Wenn
    das zukünftige Fahrszenario also eine Parkplatzsuche bestimmt, kann in einem höheren Geschwindigkeitsbereich der optische Weg des Kamerasystems gereinigt werden, da der Parklückensuche-Algorithmus nur bis 40 km/h aktiv ist. Daher stört eine Reinigung in einem Geschwindigkeitsbereich über 40 km/h die Anwendung des Parklückensuche-Algorithmus nicht.
    Mögliche Reinigungsanforderungen anderer Anwendungsverfahren, die in einem zukünftigen Fahrszenario aktiv geschaltet werden, können mit entsprechenden Reinigungszenarien vor der Reinigungsanforderung des jeweiligen Anwendungsverfahrens vermieden werden, um das jeweilige Anwendungsverfahren bereitstellen zu können.
  • Gemäß einem Aspekt wird vorgeschlagen, dass, abhängig von dem bestimmten zukünftigen Fahrszenario, ein Reinigungsvorgang ausgelöst wird, sofern das Reinigungszenario den Reinigungsvorgang freigegeben hat.
    Beispielsweise kann, wenn die mobile Plattform, wie beispielsweise ein Fahrzeug, eine Autobahn unter Regenbedingungen verlässt, eine Reinigung ausgelöst werden. Weiterhin beispielsweise, kann während einer Off-Road Strecke eine Häufigkeit des Reinigungsvorgangs mit höherer Frequenz durch das Reinigungszenario freigegeben werden.
    Dabei kann das zukünftige Fahrszenario mittels eines aktuellen Fahrszenarios beispielsweise durch Extrapolation aus dem aktuellen Fahrszenario bestimmt werden. Zusätzlich oder alternativ kann das zukünftige Fahrszenario basierend auf einer Eintrittswahrscheinlichkeit aus einer Vielzahl von möglichen zukünftigen Fahrszenarios bestimmt werden.
    Beispielsweise kann zur Bestimmung eines zukünftigen Fahrszenarios ein aktueller Fahrzyklus und/oder Informationen über die Umgebung der mobilen Plattform und/oder Fahrzeugzustandsinformationen berücksichtigt werden.
  • Gemäß einem Aspekt wird vorgeschlagen, dass das zukünftige Fahrszenario der mobilen Plattform mittels eines trainierten maschinellen Lern-Systems bestimmt wird, und dem trainierten maschinellen Lern-System Eingangsgrößen für die Bestimmung des zukünftigen Fahrszenarios der mobilen Plattform bereitgestellt werden.
    Mit anderen Worten können adaptive Lernalgorithmen zum Auslösen des Reinigungsvorgangs, mittels trainierter maschineller Lern-Systeme, verwendet werden.
  • Ein solches trainiertes maschinelles Lern-System kann beispielsweise ein neuronales Netzwerk sein das trainiert wurde zukünftige Fahrszenarien mittels der Eingangsgrößen zu bestimmen. Dabei können sich die Eingangsgrößen auf einen Fahrzyklus und/oder auf eine Umgebung der mobilen Plattform und/oder einen Fahrzeugzustand beziehen.
  • Vorteilhafterweise kann durch die Bestimmung des zukünftigen Fahrszenarios mit einem trainierten maschinellen Lern-System eine Vorhersage für einen notwendigen Reinigungsvorgang, abhängig von dem zukünftigen Fahrszenario, generiert werden, so dass der Reinigungsvorgang proaktiv erfolgen kann, um den Reinigungsvorgang zu optimieren und/oder dem Anwendungsprogramm, das ein Bild des Kamerasystems verwendet, eine optimierte Funktion zu ermöglichen.
  • Dabei sind Beispiele für maschinelle Lern-Systeme ein neuronales Netzwerk, insbesondere ein neuronales Faltungsnetzwerk, ggf. in Kombination mit vollständig verbundenen neuronalen Netzen, ggf. unter Nutzung von klassischen Regularisierungs- und Stabilisierungsschichten wie Batch-Normalisierung und Trainings-Drop-Outs, unter Nutzung verschiedener Aktivierungsfunktionen wie Sigmoid und ReLu, etc. Klassische Ansätze wie Support-Vector-Machines,
    Boosting, Entscheidungsbäume, sowie Random-Forrests können alternativ oder zusätzlich als maschinelle Lern-Systeme für das beschriebene Verfahren verwendet werden.
  • Bei neuronalen Netzwerken kann das Signal an einer Verbindung künstlicher Neuronen eine reelle Zahl sein, und der Ausgang eines künstlichen Neurons wird durch eine nichtlineare Funktion der Summe seiner Eingänge berechnet. Die Verbindungen der künstlichen Neurone haben typischerweise ein Gewicht, das sich mit fortschreitendem Lernen anpasst. Das Gewicht erhöht oder verringert die Stärke des Signals an einer Verbindung. Künstliche Neuronen können eine Schwelle aufweisen, so dass nur dann ein Signal ausgegeben wird, wenn das Gesamtsignal diese Schwelle überschreitet.
    Typischerweise wird eine Vielzahl von künstlichen Neuronen in Schichten zusammengefasst. Unterschiedliche Schichten führen möglicherweise unterschiedliche Arten von Transformationen für ihre Eingaben durch. Signale wandern von der ersten Schicht, der Eingabeschicht, zur letzten Schicht, der Ausgabeschicht; möglicherweise nach mehrmaligem Durchlaufen der Schichten.
  • Solche neuronalen Netze müssen für ihre spezifische Aufgabe trainiert werden. Dabei erhält jedes Neuron der entsprechenden Architektur des neuronalen Netzes z. B. ein zufälliges Anfangs-Gewicht. Dann werden die Eingangs-Daten in das Netz gegeben, und jedes Neuron kann die Eingangs-Signale mit seinem Gewicht gewichten und gibt das Ergebnis weiter an die Neuronen der nächsten Schicht. An der Output-Schicht wird dann das Gesamt-Ergebnis bereitgestellt. Die Größe des Fehlers kann berechnet werden, sowie der Anteil, den jedes Neuron an diesem Fehler hatte, um dann das Gewicht jedes Neurons in die Richtung zu verändern, die den Fehler minimiert. Dann erfolgen rekursiv Durchläufe, erneute Messungen des Fehlers und Anpassung der Gewichte, bis ein Fehlerkriterium erfüllt ist.
    Ein solches Fehlerkriterium kann z.B. der Klassifikationsfehler auf einem Test-Daten-Set sein, oder auch ein aktueller Wert einer Loss-Funktion, beispielsweise auf einem Trainings-Daten-Set. Alternativ oder zusätzlich kann das Fehlerkriterium ein Abbruchkriterium betreffen als einen Schritt bei dem im Training ein Overfitting einsetzen würde oder die verfügbare Zeit zum Training abgelaufen ist.
  • In diesem Verfahren kann das neuronale Netzwerk mit einer Vielzahl von Referenz-Fahrszenarien als Eingangsdaten trainiert werden, zukünftige Fahrszenarien vorherzusagen, indem beispielsweise mittels Referenzfahrten der mobilen Plattform Referenz-Fahrszenarien mit unterschiedlichen zeitlichen Abständen generiert und gespeichert werden, mit denen das neuronale Netzwerk trainiert werden kann, Fahrszenarien in unterschiedlichen zeitlichen Abständen ausgehend von einem aktuellen Fahrszenario vorherzusagen. Dabei können bei den Referenz-Fahrszenarien eine Vielzahl von jeweils entsprechenden Eingangsgrößen für das neuronale Netzwerk detektiert und gespeichert werden, um mit diesen Eingangsgrößen das neuronale Netzwerk zu Trainieren entsprechende Fahrszenarien zu erkennen und vorherzusagen.
    Dabei können die Referenz-Fahrszenarien Fahrerszenarien sein, die insbesondere speziell für das Trainieren eines maschinellen Lern-Systems aufgenommen und beispielsweise manuell selektiert und annotiert wurden oder synthetisch generiert wurden und entsprechend gelabelt sind. Beispielsweise kann ein solches Labeln der Fahrszenarien manuell erfolgen.
  • Gemäß einem Aspekt wird vorgeschlagen, dass die Eingangsgrößen für das trainierte maschinelle Lern-System einen Getriebemodus und/oder einen Off-Road Modus und/oder Satellitennavigationsdaten und/oder Navigationsdaten und/oder einen Typ eines Fahrzyklus und/oder detektierte Verkehrsschilder und/oder Objekte einer Umgebung der mobilen Plattform und/oder Fahrzeuge der Umgebung der mobilen Plattform und/oder erkannte Untergründe der mobilen Plattform und/oder eine Repräsentation der Umgebung der mobilen Plattform umfassen.
    Vorteilhafterweise kann durch diese Eingangsgrößen das maschinelle Lern-System wie beispielsweise das neuronale Netzwerk zukünftige Fahrszenarien bestimmen bzw. vorhersagen, indem möglichst viele relevante Eingangsgrößen für die Bestimmung des zukünftigen Fahrszenario berücksichtigt werden.
  • Gemäß einem Aspekt wird vorgeschlagen, dass das zukünftige Fahrszenario mittels eines aktuellen Fahrszenarios bestimmt wird und/oder das zukünftige Fahrszenario basierend auf einer Eintrittswahrscheinlichkeit aus einer Vielzahl von möglichen zukünftigen Fahrszenarios bestimmt wird.
    Vorteilhafterweise kann das zukünftige Fahrszenario mittels einer Extrapolation das zukünftige Fahrszenario bestimmen. Alternativ oder zusätzlich kann mittels einer Bestimmung einer Eintrittswahrscheinlichkeit für ein bestimmtes Fahrszenario aus einer Vielzahl von Szenarien das zukünftige Fahrszenario bestimmt werden.
  • Gemäß einem Aspekt wird vorgeschlagen, dass das zukünftige Fahrszenario einen Geschwindigkeitsbereich und/oder einen automatischen Parkvorgang und/oder einen Fahrzeugtürenzustand und/oder eine Tageszeit und/oder einen Fahrbahnwechsel und/oder eine Fahrtrichtung und/oder ein Off-Road Modus und/oder einen Typ eines Fahrzyklus und/oder erkannte Untergründe der mobilen Plattform umfasst.
    Diese zukünftigen Fahrszenarien sind hier beispielhaft aus einer Vielzahl von möglichen Fahrszenarien genannt.
  • Gemäß einem Aspekt wird vorgeschlagen, dass der Reinigungsvorgang mittels einer Wischvorrichtung und/oder einer Waschvorrichtung erfolgt.
  • Gemäß einem Aspekt wird vorgeschlagen, dass die unterschiedlichen Anwendungsverfahren einen automatischen Parkvorgang und/oder eine bildbasierte Anwendung und/oder eine automatische Notbrems-Funktion und/oder ein Kalibrierten des Kamerasystems umfasst.
  • Gemäß einem Aspekt wird vorgeschlagen, dass abhängig von dem bestimmten Reinigungsszenario und/oder dem bereitgestellten Blindheitsstatus und/oder den Reinigungsressourcen zumindest ein Anwendungsverfahren deaktiviert wird.
  • Vorteilhafterweise kann mit diesem Verfahren zum Regeln des Reinigungsvorgangs eine Möglichkeit zum Aktivieren des Reinigungsvorgangs bestimmt werden, um bei einer zumindest temporären eingeschränkten Möglichkeit einen Reinigungsvorgang zu starten, ein Anwendungsverfahren, zumindest temporär zu deaktivieren, um eine Fehlfunktion des Anwendungsverfahrens zu vermeiden.
  • Beispielsweise kann eine Blindheit des optischen Wegs des Kamerasystems bestimmt werden, woraufhin das Fahrzeug zum Stillstand gebracht wird, insbesondere dadurch, dass der Motor abgestellt wird. Bei einem Neustart des Fahrzeugs wird von einem ausreichend durchsichtigen optischen Weg des Kamerasystems ausgegangen, d. h. das Kamerasystem wird als „nicht blind“ angenommen, um ein zumindest teilautomatisches Ausparken zu ermöglichen.
  • Gemäß einem Aspekt wird vorgeschlagen, dass das Kamerasystem der mobilen Plattform ein rückwärts gerichtetes Kamerasystem zur Rückwärtsfahrt und/oder ein vorwärts gerichtetes Kamerasystem zur Vorwärtsfahrt umfasst und/oder das Reinigungszenario abhängig von dem verwendeten Kamerasystem ist. Vorteilhafterweise kann durch die Abhängigkeit des Reinigungszenarios von dem verwendeten Kamerasystem, also ob das verwendete Kamerasystem in Bezug auf die mobile Plattform vorwärts gerichtet oder rückwärts gerichtet ist, berücksichtigt werden, dass bei einer Vorwärtsfahrt bzw. einer Rückwärtsfahrt unterschiedliche Fahrszenarien und insbesondere unterschiedliche zukünftige Fahrszenarien möglich sind. Beispielsweise ist ein vorderes automatisches Notbremssystem (engl. automatic emergency brake; AEB Front) bei langsamen Fahrmanövern aktiv. Daher wird eine mögliche Reinigungsanforderung anders sein als eine AEB-Reinigungsanforderung hinten, die grundsätzlich ausgelöst wird, wenn Rückwärtsfahren erforderlich ist. Die Reinigungsanforderung des Front AEB kann beispielsweise zu Beginn des Fahrzyklus oder beim Eintritt in einen Betriebsbereich mit niedriger Geschwindigkeit ausgelöst werden.
  • Gemäß einem Aspekt wird vorgeschlagen, dass das Reinigungssystem ausgelöst wird, wenn das anfordernde Anwendungsverfahren nicht aktiv ist und/oder in einem nicht aktiven Zustand geschaltet wird.
    Damit kann die Regelung des Reinigungsvorgangs für den optischen Weg des Kamerasystems an das entsprechende Anwendungsverfahren spezifisch angepasst werden, so dass ein Reinigungsvorgang die Funktion des Anwendungsverfahrens nicht beeinträchtigt.
  • Mit anderen Worten wird, entsprechend einer antizipierten Regelung, dann ein Reinigungsvorgang im entsprechenden Fahrzyklus eines Fahrszenarios ausgelöst, wenn eine Funktion eines Anwendungsverfahrens, dass ein Bild des Kamerasystems verwendet, außerhalb eines aktiven Arbeitspunktes sind, wodurch eine Funktion durch den Reinigungsvorgang nicht blockiert wird.
  • Es wird eine Verwendung eines der oben beschriebenen Verfahren zum Regeln des Reinigungsvorgangs für einen optischen Weg eines Kamerasystems einer mobilen Plattform zum Regeln eines Reinigungsvorgangs vorgeschlagen.
  • Es wird eine Vorrichtung zur Datenverarbeitung vorgeschlagen, um einen Reinigungsvorgang für einen optischen Weg eines Kamerasystems zu regeln, wobei die Vorrichtung einen Eingang zur Bereitstellung eines aktuellen Status von Reinigungsressourcen und/oder einen Eingang zur Bereitstellung eines aktuellen Blindheitsstatus des optischen Wegs des Kamerasystems und/oder einen Eingang zur Bereitstellung von zumindest einer Reinigungsanforderung zumindest eines Anwendungsverfahrens, die zumindest ein Bild des Kamerasystems verwenden, aufweist. Weiterhin weist die Vorrichtung zur Datenverarbeitung eine Recheneinheit und/oder einem System-on-Chip und einem Ausgang zum Auslösen eines Reinigungsvorgangs auf, wobei die Recheneinheit und/oder das System-on-Chip eingerichtet ist, eines der oben beschriebenen Verfahren zum Regeln eines Reinigungsvorgangs für einen optischen Weg eines Kamerasystems einer mobilen Plattform durchzuführen.
    Vorteilhafterweise kann mit einer solchen Vorrichtung das Verfahren leicht in unterschiedliche Systeme integriert werden.
  • Es wird ein Steuergerät zur Verwendung in einem Fahrzeug, das eine oben beschriebene Vorrichtung zur Datenverarbeitung aufweist, vorgeschlagen.
    Dabei kann ein solches Steuergerät auch weitere Funktionen aufweisen.
  • Es wird eine mobile Plattform, und insbesondere ein zumindest teilautomatisiertes Fahrzeug, vorgeschlagen, das ein oben beschriebenes Steuergerät aufweist. Vorteilhafterweise kann eine solche mobile Plattform alle Vorteile des Verfahrens zum Regeln eines Reinigungsvorgangs für einen optischen Weg eines Kamerasystems realisieren.
  • Ausführungsbeispiele
  • Ein Ausführungsbeispiel der Erfindung wird mit Bezug auf die 1 dargestellt und im Folgenden näher erläutert. Es zeigen:
    • 1 Ablaufschema des Verfahrens.
  • Die 1 skizziert schematisch ein Ablaufschema eines Verfahrens zum Regeln eines Reinigungsvorgangs für einen optischen Weg eines Kamerasystems einer mobilen Plattform.
    In einem ersten Schritt S1 wird ein aktueller Status von Reinigungsressourcen bereitgestellt.
    In einem weiteren Schritt S2 wird ein aktueller Blindheitsstatus des optischen Wegs des Kamerasystems bereitgestellt.
    In einem weiteren Schritt S3 wird ein zukünftiges Fahrszenario der mobilen Plattform bestimmt.
    In einem weiteren Schritt S4 wird ein Reinigungszenario, basierend auf dem aktuellen Status der Reinigungsressourcen und/oder dem aktuellen Blindheitsstatus des optischen Wegs des Kamerasystems und/oder dem zukünftigen Fahrszenario der mobilen Plattform bestimmt, um den Reinigungsvorgang freizugeben.

Claims (15)

  1. Verfahren zum Regeln eines Reinigungsvorgangs für einen optischen Weg eines Kamerasystems einer mobilen Plattform, mit: Bereitstellen eines aktuellen Status (S1) von Reinigungsressourcen; Bereitstellen eines aktuellen Blindheitsstatus (S2) des optischen Wegs des Kamerasystems; Bestimmen eines zukünftigen Fahrszenarios (S3) der mobilen Plattform; Bestimmen eines Reinigungsszenarios (S4), basierend auf dem aktuellen Status der Reinigungsressourcen; und/oder dem aktuellen Blindheitsstatus des optischen Wegs des Kamerasystems; und/oder dem zukünftigen Fahrszenario der mobilen Plattform, um den Reinigungsvorgang freizugeben.
  2. Verfahren gemäß Anspruch 1, wobei eine Reinigungsanforderung zumindest eines Anwendungsverfahrens für die mobile Plattform, das ein Bild des Kamerasystems verwendet, bereitgestellt wird; und der Reinigungsvorgang ausgelöst wird, sofern das Reinigungsszenario aktuell den Reinigungsvorgang freigegeben hat; und die Reinigungsanforderung von zumindest einem Anwendungsverfahren aktiv ist.
  3. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei abhängig von dem bestimmten zukünftigen Fahrszenario ein Reinigungsvorgang ausgelöst wird, sofern das Reinigungsszenario den Reinigungsvorgang freigegeben hat.
  4. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei das zukünftige Fahrszenario der mobilen Plattform mittels eines trainierten maschinellen Lern-Systems bestimmt wird, und dem trainierte maschinellen Lern-System Eingangsgrößen für die Bestimmung des zukünftigen Fahrszenarios der mobilen Plattform bereitgestellt werden.
  5. Verfahren gemäß Anspruch 4, wobei die Eingangsgrößen für das trainierte maschinelle Lern-System einen Getriebemodus und/oder einen Off-Road Modus und/oder Satellitennavigationsdaten und/oder Navigationsdaten und/oder einen Typ eines Fahrzyklus und/oder detektierte Verkehrsschilder und/oder Objekte einer Umgebung der mobilen Plattform und/oder Fahrzeuge der Umgebung der mobilen Plattform und/oder erkannte Untergründe der mobilen Plattform und/oder eine Repräsentation der Umgebung der mobilen Plattform umfassen.
  6. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei das zukünftige Fahrszenario mittels eines aktuellen Fahrszenarios bestimmt wird und/oder das zukünftige Fahrszenario basierend auf einer Eintrittswahrscheinlichkeit aus einer Vielzahl von möglichen zukünftigen Fahrszenarios bestimmt wird.
  7. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei das zukünftige Fahrszenario einen Geschwindigkeitsbereich und/oder einen automatischen Parkvorgang und/oder einen Fahrzeugtürenzustand und/oder eine Tageszeit und/oder einen Fahrbahnwechsel und/oder eine Fahrtrichtung und/oder ein Off-Road Modus und/oder einen Typ eines Fahrzyklus und/oder erkannte Untergründe der mobilen Plattform umfasst.
  8. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei die unterschiedlichen Anwendungsverfahren einen automatischen Parkvorgang und/oder eine bildbasierte Anwendung und/oder eine automatische Notbrems-Funktion und/oder ein Kalibrierten des Kamerasystems und/oder eine manuelle Anforderung umfasst.
  9. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei abhängig von dem bestimmten Reinigungsszenario und/oder dem bereitgestellten Blindheitsstatus und/oder den Reinigungsressourcen zumindest ein Anwendungsverfahren deaktiviert wird.
  10. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei das Kamerasystem der mobilen Plattform ein rückwärts gerichtetes Kamerasystem zur Rückwärtsfahrt und/oder ein vorwärts gerichtetes Kamerasystem zur Vorwärtsfahrt und/oder ein Seitenkamera-System umfasst; und/oder das Reinigungszenario abhängig von dem verwendeten Kamerasystem ist.
  11. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei das Reinigungssystem ausgelöst wird, wenn das anfordernde Anwendungsverfahren nicht aktiv ist und/oder in einem nicht aktiven Zustand geschaltet wird.
  12. Verwendung des Verfahrens gemäß einem der Ansprüche 1 bis 11 zum Regeln eines Reinigungsvorgangs.
  13. Vorrichtung zur Datenverarbeitung, um einen Reinigungsvorgang für einen optischen Weg eines Kamerasystems zu regeln, mit einem Eingang zur Bereitstellung eines aktuellen Status von Reinigungsressourcen; und/oder zur Bereitstellung eines aktuellen Blindheitsstatus des optischen Wegs des Kamerasystems; und/oder zur Bereitstellung von zumindest einer Reinigungsanforderung zumindest eines Anwendungsverfahrens, die zumindest ein Bild des Kamerasystems verwenden; und einer Recheneinheit und/oder einem System-on-Chip; und einem Ausgang zum Auslösen eines Reinigungsvorgangs; wobei die Recheneinheit und/oder das System-on-Chip eingerichtet ist, ein Verfahren gemäß einem der Ansprüche 1 bis 12 durchzuführen.
  14. Steuergerät zur Verwendung in einem Fahrzeug, das eine Vorrichtung zur Datenverarbeitung gemäß Anspruch 13 aufweist.
  15. Mobile Plattform, insbesondere ein zumindest teilautomatisiertes Fahrzeug, das ein Steuergerät gemäß Anspruch 14 aufweist.
DE102021207792.7A 2021-07-21 2021-07-21 Verfahren zum Regeln eines Reinigungsvorgangs für einen optischen Weg eines Kamerasystems einer mobilen Plattform Pending DE102021207792A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102021207792.7A DE102021207792A1 (de) 2021-07-21 2021-07-21 Verfahren zum Regeln eines Reinigungsvorgangs für einen optischen Weg eines Kamerasystems einer mobilen Plattform
PCT/EP2022/068536 WO2023001539A1 (de) 2021-07-21 2022-07-05 Verfahren zum regeln eines reinigungsvorgangs für einen optischen weg eines kamerasystems einer mobilen plattform

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021207792.7A DE102021207792A1 (de) 2021-07-21 2021-07-21 Verfahren zum Regeln eines Reinigungsvorgangs für einen optischen Weg eines Kamerasystems einer mobilen Plattform

Publications (1)

Publication Number Publication Date
DE102021207792A1 true DE102021207792A1 (de) 2023-01-26

Family

ID=82458446

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021207792.7A Pending DE102021207792A1 (de) 2021-07-21 2021-07-21 Verfahren zum Regeln eines Reinigungsvorgangs für einen optischen Weg eines Kamerasystems einer mobilen Plattform

Country Status (2)

Country Link
DE (1) DE102021207792A1 (de)
WO (1) WO2023001539A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200094784A1 (en) 2018-09-20 2020-03-26 Ford Global Technologies, Llc Vehicle sensor cleaning
DE112019002097T5 (de) 2018-04-23 2021-03-04 dlhBowles Inc. Fahrzeugsensorreinigungssystem und Verfahren zum Betreiben desselben
DE102019124099A1 (de) 2019-09-09 2021-03-11 Bayerische Motoren Werke Aktiengesellschaft System und Verfahren zum Reinigen von Sensoren eines Fahrzeugs

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8671504B2 (en) * 2010-04-28 2014-03-18 Denso Corporation Cover of vehicle optical sensor and vehicle optical sensor device
US10427645B2 (en) * 2016-10-06 2019-10-01 Ford Global Technologies, Llc Multi-sensor precipitation-classification apparatus and method
US20190118776A1 (en) * 2017-10-19 2019-04-25 Ford Global Technologies, Llc Vehicle window cleaning
US11001231B1 (en) * 2019-02-28 2021-05-11 Ambarella International Lp Using camera data to manage a vehicle parked outside in cold climates

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112019002097T5 (de) 2018-04-23 2021-03-04 dlhBowles Inc. Fahrzeugsensorreinigungssystem und Verfahren zum Betreiben desselben
US20200094784A1 (en) 2018-09-20 2020-03-26 Ford Global Technologies, Llc Vehicle sensor cleaning
DE102019124099A1 (de) 2019-09-09 2021-03-11 Bayerische Motoren Werke Aktiengesellschaft System und Verfahren zum Reinigen von Sensoren eines Fahrzeugs

Also Published As

Publication number Publication date
WO2023001539A1 (de) 2023-01-26

Similar Documents

Publication Publication Date Title
DE102007042481B4 (de) Fahrzeugsteuersystem für einen Kraftwagen
DE112019002097T5 (de) Fahrzeugsensorreinigungssystem und Verfahren zum Betreiben desselben
DE102018206208A1 (de) Verfahren, Vorrichtung, Erzeugnis und Computerprogramm zum Betreiben eines technischen Systems
DE102011002275A1 (de) Verfahren zur Prognose des Fahrverhaltens eines vorausfahrenden Fahrzeugs
DE102012222303A1 (de) Vorrichtung und Verfahren für das Entfernen von reflektiertem Licht von einem Bild eines Bildgebungsgeräts
DE102019209462A1 (de) Verfahren zur Bestimmung eines Vertrauens-Wertes eines detektierten Objektes
DE102015214802A1 (de) Verfahren und Vorrichtung zum Leiten eines Fahrzeugs
DE102015107391A1 (de) Verfahren zum Steuern einer Funktionseinrichtung eines Kraftfahrzeugs anhand von fusionierten Sensordaten, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102019115330A1 (de) Echtzeit-Sicherheitspfaderzeugung für hochautomatisiertes Fahrzeugrückfallmanöver
DE102018124161A1 (de) Verfahren zum zumindest teilautomatisierten Führen eines Kraftfahrzeugs auf einer Fahrbahn
WO2020216562A1 (de) Verfahren zur ermittlung eines sicherheitsniveaus einer sollfunktion eines fahrzeugs, sicherheitssystem und fahrzeug
WO2020126447A1 (de) Verfahren und system zum bereitstellen von umgebungsdaten
DE102021116309A1 (de) Assistenz für beeinträchtigte fahrer
DE102014118719A1 (de) Fahrtunterstützungssystem
DE102021207792A1 (de) Verfahren zum Regeln eines Reinigungsvorgangs für einen optischen Weg eines Kamerasystems einer mobilen Plattform
DE102020103754A1 (de) Hyper-assoziation im episodenspeicher
DE102020205113A1 (de) Fahrzeugsteuerungseinrichtung und fahrzeugsteuerungsverfahren
DE102018207220A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Detektieren eines Berechnungsfehlers oder einer Fehlfunktion
DE102020110730A1 (de) Verfahren und Vorrichtung zur Erhöhung der Verfügbarkeit einer automatisierten Fahrfunktion oder eines Fahrerassistenzsystems
DE102019218349A1 (de) Verfahren zum Klassifizieren von zumindest einem Ultraschallecho aus Echosignalen
WO2021191120A1 (de) VERFAHREN ZUR BESTIMMUNG EINES WERTES EINER REGLERGRÖßE
DE102020007654A1 (de) Verfahren zur kamerabasierten Waschstraßenerkennung und Fahrzeug
DE102018202356A1 (de) Verfahren und Vorrichtung zum Prüfen einer Freigabe einer Anfahrt für ein Fahrzeug
DE10346573B4 (de) Umfelderfassung mit Kompensation der Eigenbewegung für sicherheitskritische Anwendungen
DE102020103505A1 (de) Kognitive prozessor vorsteuerung- und rückkopplung integration in autonome systeme

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication