DE102020209205B3 - Camera-based control of vehicle cleaning functions - Google Patents

Camera-based control of vehicle cleaning functions Download PDF

Info

Publication number
DE102020209205B3
DE102020209205B3 DE102020209205.2A DE102020209205A DE102020209205B3 DE 102020209205 B3 DE102020209205 B3 DE 102020209205B3 DE 102020209205 A DE102020209205 A DE 102020209205A DE 102020209205 B3 DE102020209205 B3 DE 102020209205B3
Authority
DE
Germany
Prior art keywords
vehicle
impairment
transparency
glass pane
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102020209205.2A
Other languages
German (de)
Inventor
Stephan Lenor
Christian Wolf
Christian Hoene
Johann Klaehn
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102020209205.2A priority Critical patent/DE102020209205B3/en
Application granted granted Critical
Publication of DE102020209205B3 publication Critical patent/DE102020209205B3/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • B60S1/06Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833Optical rain sensor
    • B60S1/0844Optical rain sensor including a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating
    • G01S7/4004Means for monitoring or calibrating of parts of a radar system
    • G01S7/4039Means for monitoring or calibrating of parts of a radar system of sensor or antenna obstruction, e.g. dirt- or ice-coating
    • G01S7/4043Means for monitoring or calibrating of parts of a radar system of sensor or antenna obstruction, e.g. dirt- or ice-coating including means to prevent or remove the obstruction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/023Cleaning windscreens, windows or optical devices including defroster or demisting means
    • B60S1/026Cleaning windscreens, windows or optical devices including defroster or demisting means using electrical means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/46Cleaning windscreens, windows or optical devices using liquid; Windscreen washers
    • B60S1/48Liquid supply therefor
    • B60S1/481Liquid supply therefor the operation of at least part of the liquid supply being controlled by electric means
    • B60S1/482Liquid supply therefor the operation of at least part of the liquid supply being controlled by electric means combined with the operation of windscreen wipers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/56Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • B60S1/58Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens for rear windows
    • B60S1/583Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens for rear windows including wiping devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/56Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • B60S1/58Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens for rear windows
    • B60S1/586Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens for rear windows including defroster or demisting means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N21/15Preventing contamination of the components of the optical system or obstruction of the light path
    • G01N2021/155Monitoring cleanness of window, lens, or other parts
    • G01N2021/157Monitoring by optical means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55Specular reflectivity
    • G01N21/552Attenuated total reflection

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Air-Conditioning For Vehicles (AREA)

Abstract

Offenbart ist ein Verfahren zum Aktivieren von mindestens einer Reinigungseinheit eines Fahrzeugs durch ein Steuergerät, wobei von mindestens einem Kamerasensor ermittelte Messdaten empfangen und ausgewertet werden, mindestens eine Beeinträchtigung einer Transparenz einer Glasscheibe des Fahrzeugs, wie beispielsweise einer Windschutzscheibe, durch Anwenden eines Detektionsalgorithmus auf die empfangenen Messdaten ermittelt wird, abhängig von der ermittelten Beeinträchtigung der Transparenz der Glasscheibe die mindestens eine Reinigungseinheit zumindest temporär aktiviert wird. Des Weiteren sind ein Steuergerät, ein Computerprogramm sowie ein maschinenlesbares Speichermedium offenbart.Disclosed is a method for activating at least one cleaning unit of a vehicle by a control device, wherein measurement data determined by at least one camera sensor are received and evaluated, at least one impairment of a transparency of a glass pane of the vehicle, such as a windshield, by applying a detection algorithm to the received Measurement data is determined, depending on the determined impairment of the transparency of the glass pane, the at least one cleaning unit is activated at least temporarily. Furthermore, a control device, a computer program and a machine-readable storage medium are disclosed.

Description

Die Erfindung betrifft ein Verfahren zum Aktivieren von mindestens einer Reinigungseinheit eines Fahrzeugs. Des Weiteren betrifft die Erfindung ein Steuergerät, ein Computerprogramm sowie ein maschinenlesbares Speichermedium.The invention relates to a method for activating at least one cleaning unit of a vehicle. The invention also relates to a control device, a computer program and a machine-readable storage medium.

Stand der TechnikState of the art

Im Fahrzeugbereich steigen der Automatisierungsgrad und die Automatisierungsmöglichkeiten zunehmend. Insbesondere automatisierte Fahrassistenzfunktionen, wie beispielsweise automatisierte Scheibenwischer-Ansteuerung oder automatisierte Aktivierung und Einstellung des Fahrlichts, können das Führen des Fahrzeugs im Alltag erleichtern und den Komfort erhöhen. Um derartige Fahrassistenzfunktionen technisch umzusetzen werden üblicherweise reflexionsbasierte Regen-Sensoren hinter der Frontscheibe bzw. Windschutzscheibe verwendet. Ein reflexionsbasierter Regen-Sensor ist darauf ausgelegt, eine verringerte Lichtreflexion zu erkennen, und auf Basis dieser Messungen die Menge an Wasser bzw. der Wassertropfen auf der Windschutzscheibe abzuschätzen. Diese Information wird genutzt, um bei Regen und Spritzwasser den Scheibenwischer automatisiert anzusteuern. Der reflexionsbasierte Regen-Sensor wird zumeist auch für Helligkeitsmessungen eingesetzt, um automatisierte Fahrlichtsteuerung zu realisieren. Daher wird der reflexionsbasierte Regen-Sensor im Folgenden als Regen-Licht-Sensor bezeichnet.In the vehicle sector, the degree of automation and the automation options are increasing. In particular, automated driver assistance functions, such as automated windshield wiper control or automated activation and setting of the headlights, can make driving the vehicle easier in everyday life and increase comfort. In order to technically implement such driver assistance functions, reflection-based rain sensors are usually used behind the windshield or windshield. A reflection-based rain sensor is designed to detect reduced light reflection and, based on these measurements, to estimate the amount of water or water droplets on the windshield. This information is used to automatically control the windshield wipers in the event of rain and splashing water. The reflection-based rain sensor is mostly also used for brightness measurements in order to implement automated driving light control. The reflection-based rain sensor is therefore referred to below as a rain-light sensor.

Des Weiteren sind Verfahren bekannt, welche basierend auf Messdaten von Kamerasensoren Regen und Spritzwasser erkennen und eine Ansteuerung von Scheibenwischern veranlassen können. Die bekannten Verfahren sind jedoch auf die Erkennung von Regentropfen oder speziellen Verschmutzungen auf der Windschutzscheibe beschränkt. Eine darüber hinausgehende Reaktion auf beispielsweise Schnee, Eis, Beschlag oder allgemeine Verschmutzungen, findet nicht statt. Auch wird keine Erkennung weiterer atmosphärischer Phänomene, wie beispielsweise Schnee oder Sandstürme, eingesetzt, um eine Reinigung präventiv oder mit erhöhter Reaktionsgeschwindigkeit umzusetzen.Furthermore, methods are known which, based on measurement data from camera sensors, can detect rain and spray water and trigger the activation of windshield wipers. However, the known methods are limited to the detection of raindrops or special soiling on the windshield. There is no further reaction to, for example, snow, ice, fogging or general soiling. Furthermore, no detection of further atmospheric phenomena, such as snow or sandstorms, is used in order to implement cleaning preventively or with increased reaction speed.

In der WO 2003/ 029 757 A2 wird ein System zum Detektieren von beschlagenen Scheiben eines Fahrzeugs beschrieben. Dabei umfasst der Begriff „Beschlagen“ Regen, Nebel, Eis, Insekten, Staub und dergleichen. Das System wird auf einem Sockel eines fahrzeugseitigen Innenspiegels angeordnet und nutzt bildgebende Sensoren und Dioden zum Abtasten der Scheibe. Das Auswerten der Messdaten des Sensors umfasst eine Analyse hinsichtlich der Hochfrequenzen. Hierdurch können Kanten bzw. Risse detektiert werden, die auf Beschädigungen oder Ablagerungen auf der Scheibe deuten.WO 2003/029 757 A2 describes a system for detecting misted-up windows of a vehicle. The term “fogging” includes rain, fog, ice, insects, dust and the like. The system is arranged on a base of a vehicle interior mirror and uses imaging sensors and diodes to scan the window. The evaluation of the measurement data of the sensor includes an analysis with regard to the high frequencies. In this way, edges or cracks can be detected that indicate damage or deposits on the pane.

Offenbarung der ErfindungDisclosure of the invention

Die der Erfindung zugrunde liegende Aufgabe kann darin gesehen werden, ein Verfahren vorzuschlagen, welches den Funktionsumfang von bestehenden automatisierten Scheibenwischer-Ansteuerungen verbessert und erweitert.The object on which the invention is based can be seen in proposing a method which improves and expands the functional scope of existing automated windshield wiper controls.

Diese Aufgabe wird mittels des jeweiligen Gegenstands der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand von jeweils abhängigen Unteransprüchen.This object is achieved by means of the respective subject matter of the independent claims. Advantageous refinements of the invention are the subject matter of the respective dependent subclaims.

Nach einem Aspekt der Erfindung wird ein Verfahren zum Aktivieren von mindestens einer Reinigungskomponente eines Fahrzeugs durch ein Steuergerät bereitgestellt.According to one aspect of the invention, a method for activating at least one cleaning component of a vehicle by a control device is provided.

In einem Schritt werden von mindestens einem Kamerasensor ermittelte Messdaten empfangen und ausgewertet. Dabei kann die Auswertung basierend auf klassischen bzw. statischen Algorithmen und Simulationsprogrammen oder basierend auf maschinellem Lernen erfolgen.In one step, measurement data determined by at least one camera sensor are received and evaluated. The evaluation can be based on classic or static algorithms and simulation programs or based on machine learning.

Der mindestens eine Kamerasensor kann hierbei ein hinter einer Scheibe des Fahrzeugs angeordneter Kamerasensor sein. Alternativ oder zusätzlich können Nahfeldkameras in Seitenspiegeln oder im Stoßfänger- oder im Nummernschildbereich, Kameras in Dachaufbauten des Fahrzeugs, Kameras an Anhängern des Fahrzeugs und dergleichen zum Sammeln von Messdaten herangezogen werden.The at least one camera sensor can be a camera sensor arranged behind a window of the vehicle. As an alternative or in addition, near-field cameras in side mirrors or in the bumper or license plate area, cameras in roof structures of the vehicle, cameras on trailers of the vehicle and the like can be used to collect measurement data.

Mindestens eine Beeinträchtigung einer Durchsicht bzw. Transparenz einer Glasscheibe, wie beispielsweise einer Windschutzscheibe, des Fahrzeugs wird durch Anwenden von mindestens einem Detektionsalgorithmus auf die empfangenen Messdaten ermittelt. Anschließend wird abhängig von der ermittelten Beeinträchtigung der Transparenz der Glasscheibe mindestens eine Fahrzeugfunktion bzw. Reinigungseinheit zumindest temporär aktiviert.At least one impairment of a view or transparency of a pane of glass, such as a windshield, of the vehicle is determined by applying at least one detection algorithm to the received measurement data. Subsequently, at least one vehicle function or cleaning unit is activated at least temporarily, depending on the impairment of the transparency of the glass pane that has been determined.

Die Glasscheibe kann beispielsweise aus Glas, einem Plexiglas, einer Folie, einem Verbundwerkstoff und dergleichen bestehen. Insbesondere kann die Glasscheibe als eine Verbundscheibe aus mehreren miteinander verbundenen oder voneinander beabstandeten Lagen bzw. Schichten ausgestaltet sein. Die Glasscheibe kann eine Frontscheibe, eine Heckscheibe, eine Dachscheibe bzw. und/oder mindestens eine Seitenscheibe sein.The glass pane can consist, for example, of glass, a plexiglass, a film, a composite material and the like. In particular, the glass pane can be configured as a composite pane made of several layers or layers that are connected to one another or spaced apart from one another. The glass pane can be a front window, a rear window, a roof window and / or at least one side window.

Der Detektionsalgorithmus kann die ermittelten Messdaten eines Abschnitts eines Fahrzeugumfelds, eines Abschnitts der Glasscheibe und/oder der gesamten Glasscheibe verarbeiten. Dabei können nicht nur Regentropfen oder Wasserstropfen von Spritzwasser auf der Glasscheibe, sondern auch andere Verschmutzungen, atmosphärische Effekte oder Beeinträchtigungen der Transparenz festgestellt werden. Beispielsweise kann eine beschlagene Glasscheibe, eine durch Staub, Insekten oder Eis verunreinigte Glasscheibe und dergleichen ermittelt werden.The detection algorithm can use the determined measurement data of a section of a vehicle environment, a section of the glass pane and / or the entire glass pane. Not only raindrops or water droplets from splashing water on the pane of glass, but also other soiling, atmospheric effects or impairment of transparency can be detected. For example, a steamed-up glass pane, a glass pane contaminated by dust, insects or ice, and the like can be detected.

Basierend auf dem Ergebnis bzw. der Ausgabe des Detektionsalgorithmus kann eine Ansteuerung verschiedener Freihaltefunktionen bzw. Reinigungsfunktionen durch die mindestens eine Reinigungseinheit für die mindestens eine Glasscheibe des Fahrzeugs durch das Steuergerät veranlasst werden, wobei die mindestens eine Beeinträchtigung der Transparenz der Glasscheibe ermittelt und in mindestens eine Beeinträchtigungsklasse eingeordnet wird. Im Vergleich zu einer Lösung, die allein auf Messdaten eines Regen-Licht-Sensors basiert, können atmosphärische Phänomene frühzeitig erkannt und eine präventive Reinigung durch das Steuergerät veranlasst werden.Based on the result or the output of the detection algorithm, the control device can trigger various hold-open functions or cleaning functions by the at least one cleaning unit for the at least one glass pane of the vehicle, with the at least one impairment of the transparency of the glass pane being determined and in at least one Impairment class is classified. Compared to a solution that is based solely on measurement data from a rain / light sensor, atmospheric phenomena can be detected at an early stage and preventive cleaning can be initiated by the control unit.

Durch das Einbeziehen von atmosphärischen Effekten können präventive Maßnahmen, wie beispielsweise eine Aktivierung des Scheibenwischers an Tunnelausfahrten vor einer Benetzung der Frontscheibe des Fahrzeugs, eingeleitet und die Reaktionsgeschwindigkeit des Systems erhöht werden. Darüber hinaus kann das Einbeziehen von atmosphärischen Effekten in die Ansteuerung der Scheibenwischer einen Kontext für eine Erkennung der aktuellen Frontscheiben-Verschmutzung geben und damit Erkennungsgüte erhöhen.By including atmospheric effects, preventive measures, such as activating the windshield wiper at tunnel exits before the windshield of the vehicle is wetted, can be initiated and the response speed of the system can be increased. In addition, the inclusion of atmospheric effects in the control of the windshield wipers can provide a context for a detection of the current windshield contamination and thus increase the quality of detection.

Durch die Verwendung von Messdaten von mindestens einem Kamerasensor können weitere atmosphärische Phänomene, wie beispielsweise Schnee, Sandstürme bzw. Staub, als auch lokale Beeinträchtigungen wie Schmutz oder Vereisungen auf der Windschutzscheibe detektiert werden. Zusätzlich zu einer Trockenreinigung bei Niederschlag können unter Verwendung der Messdaten des Kamerasensors andere lokale Verschmutzungen auf der Glasscheibe erkannt und durch Hinzuschalten von Spritzwasserdüsen oder anderweitigen Nassreinigungsfunktionen beseitigt werden. Insbesondere kann basierend auf der Auswertung der Messdaten des Kamerasensors eine Unterscheidung zwischen dem Bedarf einer Trockenreinigung und einer Nassreinigung erfolgen, sodass neben einer Scheibenwischer-Ansteuerung auch eine Ansteuerung der Scheibenwasseranlage und der Scheibenheizung ermöglicht wird.By using measurement data from at least one camera sensor, further atmospheric phenomena, such as snow, sandstorms or dust, as well as local impairments such as dirt or icing on the windshield can be detected. In addition to dry cleaning when it rains, the measurement data from the camera sensor can be used to detect other local soiling on the glass pane and to remove it by switching on spray water nozzles or other wet cleaning functions. In particular, based on the evaluation of the measurement data from the camera sensor, a distinction can be made between the need for dry cleaning and wet cleaning, so that, in addition to wiper control, control of the windshield water system and the windshield heating is made possible.

Durch die Detektion von einer vereisten oder beschlagenen Glasscheibe mit Hilfe der Messdaten des Kamerasensors ist auch eine automatische Ansteuerung der Windschutzscheibenheizung bzw. des Gebläses möglich.By detecting an iced or misted glass pane with the aid of the measurement data from the camera sensor, automatic control of the windshield heater or the fan is also possible.

Nach einem weiteren Aspekt der Erfindung wird ein Steuergerät bereitgestellt, wobei das Steuergerät dazu eingerichtet ist, das Verfahren auszuführen. Das Steuergerät kann beispielsweise ein fahrzeugseitiges Steuergerät, ein fahrzeugexternes Steuergerät oder eine fahrzeugexterne Servereinheit, wie beispielsweise ein Cloud-System, sein.According to a further aspect of the invention, a control device is provided, the control device being set up to carry out the method. The control device can be, for example, a control device on the vehicle, a control device external to the vehicle, or a server unit external to the vehicle, such as a cloud system, for example.

Darüber hinaus wird nach einem Aspekt der Erfindung ein Computerprogramm bereitgestellt, welches Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer oder ein Steuergerät diesen veranlassen, das erfindungsgemäße Verfahren auszuführen. Gemäß einem weiteren Aspekt der Erfindung wird ein maschinenlesbares Speichermedium bereitgestellt, auf dem das erfindungsgemäße Computerprogramm gespeichert ist.In addition, according to one aspect of the invention, a computer program is provided which comprises commands which, when the computer program is executed by a computer or a control device, cause the computer or a control device to execute the method according to the invention. According to a further aspect of the invention, a machine-readable storage medium is provided on which the computer program according to the invention is stored.

Das Fahrzeug kann gemäß der BASt Norm assistiert, teilautomatisiert, hochautomatisiert und/oder vollautomatisiert bzw. fahrerlos betreibbar sein.According to the BASt standard, the vehicle can be assisted, partially automated, highly automated and / or fully automated or can be operated without a driver.

Das Fahrzeug kann beispielsweise als ein Personenkraftwagen, ein Lastkraftwagen, ein Robotaxi und dergleichen sein. Das Fahrzeug ist nicht auf einen Betrieb auf Straßen beschränkt. Vielmehr kann das Fahrzeug auch als ein Wasserfahrzeug, Luftfahrzeug, wie beispielsweise eine Transportdrohne, und dergleichen ausgestaltet sein.The vehicle can be, for example, a passenger car, a truck, a robotaxi, and the like. The vehicle is not limited to running on roads. Rather, the vehicle can also be configured as a watercraft, aircraft, such as a transport drone, and the like.

Bei einer Ausführungsform werden von mindestens einem Regen-Licht-Sensor und/oder von mindestens einem Fahrassistenzsensor ermittelte Messdaten empfangen und bei der Auswertung durch das Steuergerät mit den Messdaten des Kamerasensors verarbeitet. Hierdurch können hilfsweise Messdaten des Regen-Licht-Sensors herangezogen werden, um die Ausgaben bzw. die Ergebnisse des Detektionsalgorithmus zu verbessern.In one embodiment, measurement data determined by at least one rain / light sensor and / or by at least one driver assistance sensor are received and processed with the measurement data from the camera sensor during the evaluation by the control device. As a result, measurement data from the rain / light sensor can be used as an aid in order to improve the outputs or the results of the detection algorithm.

Darüber hinaus können gemäß einer vorteilhaften Ausgestaltung, Messdaten von anderen Sensoren, wie zum Beispiel LIDAR-Sensoren, Ultraschall-Sensoren und/oder Radarsensoren verwendet werden, um festzustellen, ob beispielsweise atmosphärische Phänomene vorliegen. Insbesondere können bei Regen alle Sensoren im Fahrzeug gleichermaßen betroffen bzw. beeinträchtigt sein, sodass durch eine Fusion der Messdaten die Aktuator-Ansteuerung zur Ausführung der mindestens einen Reinigungseinheit in ihrer Zuverlässigkeit verbessert werden kann.In addition, according to an advantageous embodiment, measurement data from other sensors, such as LIDAR sensors, ultrasonic sensors and / or radar sensors, can be used to determine whether, for example, atmospheric phenomena are present. In particular, when it rains, all sensors in the vehicle can be equally affected or impaired, so that the reliability of the actuator control for executing the at least one cleaning unit can be improved by merging the measurement data.

Der Fahrassistenzsensor und/oder der Regen-Licht-Sensor können hierbei einen Abtastbereich aufweisen, welcher dem Abtastbereich des Kamerasensors im Wesentlichen gleicht oder sich von dem Abtastbereich des Kamerasensors unterscheidet. Dabei können sich die Abtastbereiche des Kamerasensors und des Regen-Licht-Sensors überlappen oder nicht überlappen.The driver assistance sensor and / or the rain / light sensor can have a scanning area which is essentially the same as or different from the scanning area of the camera sensor differs from the scanning range of the camera sensor. The scanning areas of the camera sensor and the rain / light sensor can overlap or not overlap.

Gemäß einem weiteren Ausführungsbeispiel wird als mindestens eine Reinigungseinheit eine Scheibenwischanlage, eine Frontscheibenheizung, eine Heckscheibenheizung, ein Frontscheiben-Heizgebläse, eine Seitenspiegelheizung und/oder mindestens eine Spritzwasserdüse aktiviert. Hierdurch können zusätzliche Reinigungseinheiten umgesetzt, oder die Zuverlässigkeit bestehender Freihaltefunktionen verbessert werden, indem eine automatische Ansteuerung der Reinigungskomponenten erfolgt.According to a further exemplary embodiment, a windshield wiper system, a front window heater, a rear window heater, a front window heater fan, a side mirror heater and / or at least one spray water nozzle is activated as at least one cleaning unit. As a result, additional cleaning units can be implemented, or the reliability of existing hold-open functions can be improved by automatically activating the cleaning components.

Beispielsweise können die Scheibenwischer und Spritzwasserdüsen zur Nassreinigung angesteuert werden. Des Weiteren kann zur Beseitigung der Beeinträchtigung der Transparenz der Glasscheibe eine Ansteuerung der Windschutzscheibenheizung bzw. des Gebläses zur Entfernung von Vereisungen oder des Beschlags auf der Glasscheibe durch das Steuergerät veranlasst werden.For example, the windshield wipers and spray nozzles can be controlled for wet cleaning. Furthermore, in order to eliminate the impairment of the transparency of the glass pane, the control device can trigger the windshield heater or the fan to remove icing or condensation on the glass pane.

Zum Beseitigen einer Beeinträchtigung der Transparenz durch eine beschlagene Glasscheibe können darüber hinaus in die Glasscheibe integrierte Heizstreifen bzw. Heizleitungen elektrisch angesteuert werden, um eine lokale Erwärmung der Glasscheibe zu bewirken.In order to eliminate any impairment of transparency caused by a steamed-up glass pane, heating strips or heating lines integrated into the glass pane can also be controlled electrically in order to bring about local heating of the glass pane.

Die Ansteuerung der einzelnen Komponenten bzw. Korrekturen zum Umsetzen der Reinigungsfunktion durch die mindestens eine Reinigungseinheit kann basierend auf den direkten oder fusionierten Sensorausgaben erfolgen. Eine zentrale Fusionskomponente, welche beispielsweise in das Steuergerät integriert ist, empfängt die Messdaten des Regen-Licht-Sensors und die Ausgaben des Detektionsalgorithmus, welcher die Messdaten des Kamerasensors ausgewertet hat. Anschließend kann das Steuergerät Ansteuerungssignale bzw. Steuerbefehle für die Aktuatoren generieren.The activation of the individual components or corrections to implement the cleaning function by the at least one cleaning unit can be based on the direct or fused sensor outputs. A central fusion component, which is integrated into the control unit, for example, receives the measurement data from the rain / light sensor and the outputs from the detection algorithm that evaluated the measurement data from the camera sensor. The control device can then generate control signals or control commands for the actuators.

Dabei können die jeweiligen Intensitäten und Detektionskonfidenzen berücksichtigt werden, sodass eine Reinigung entsprechend der von dem Kamerasensor detektierten Sichtbeeinträchtigung erfolgen kann. Je nach atmosphärischen Bedingungen oder lokaler Verschmutzung der Windschutzscheibe kann beispielsweise eine besonders intensive Nass- oder Trockenreinigung erfolgen.The respective intensities and detection confidence levels can be taken into account, so that cleaning can take place in accordance with the impairment of vision detected by the camera sensor. Depending on the atmospheric conditions or local soiling of the windshield, for example, particularly intensive wet or dry cleaning can take place.

Nach einer weiteren Ausführungsform wird mindestens eine durch atmosphärische Einflüsse verursachte Beeinträchtigung der Transparenz der Glasscheibe des Fahrzeugs ermittelt. Dabei können direkte und indirekte Beeinträchtigungen der Transparenz der Glasscheibe durch Wetter bzw. Witterungseinflüsse ermittelt werden. Die atmosphärischen Einflüsse können dabei eine Quelle von Verschmutzungen oder Verminderungen der Durchsicht bzw. Transparenz der Glasscheibe sein.According to a further embodiment, at least one impairment of the transparency of the glass pane of the vehicle caused by atmospheric influences is determined. In this way, direct and indirect impairments of the transparency of the glass pane due to weather or weather influences can be determined. The atmospheric influences can be a source of soiling or a reduction in the view or transparency of the glass pane.

Als mögliche atmosphärische Einflüsse können beispielsweise Regen, Schnee, Sandsturm, Staubwolken, Hagel und dergleichen durch den Detektionsalgorithmus berücksichtigt werden.As possible atmospheric influences, for example rain, snow, sandstorm, dust clouds, hail and the like can be taken into account by the detection algorithm.

Neben den witterungsbedingt verursachten Verminderungen der Transparenz der Glasscheibe können auch lokale Verschmutzungseffekte in einer reduzierten Transparenz der Glasscheibe resultieren. Beispielsweise können Regentropfen auf der Glasscheibe, geringfügig oder nicht lichtdurchlässige Verschmutzungen, Insektenreste auf der Glasscheibe, Vereisungen der Glasscheibe, Beschlagen der Glasscheibe und dergleichen als lokale Verschmutzungseffekte detektiert bei der Ermittlung der Beeinträchtigung der Transparenz berücksichtigt werden.In addition to the weather-related reductions in the transparency of the glass pane, local pollution effects can also result in a reduced transparency of the glass pane. For example, raindrops on the glass pane, slightly or non-translucent dirt, insect remains on the glass pane, icing on the glass pane, fogging of the glass pane and the like can be detected as local pollution effects when determining the impairment of transparency.

Gemäß einem weiteren Ausführungsbeispiel wird mindestens eine durch Verkehrsteilnehmer, Insekten, Tierexkremente, Abfall und/oder lose Blätter verursachte Beeinträchtigung der Transparenz der Glasscheibe des Fahrzeugs ermittelt. Durch diese Maßnahme kann die Reinigungsfunktion durch die Reinigungseinheit besonders umfangreich ausgestaltet sein und eine Vielzahl von Effekten berücksichtigen, welche die Transparenz der Glasscheibe beeinträchtigen. Anschließend kann eine hierfür vorgesehene Reinigungseinheit des Fahrzeugs aktiviert werden, um eine Reinigungsfunktion auszuführen und die Transparenz der Glasscheibe zu verbessern.According to a further exemplary embodiment, at least one impairment of the transparency of the glass pane of the vehicle caused by road users, insects, animal excrement, rubbish and / or loose leaves is determined. As a result of this measure, the cleaning function can be designed to be particularly extensive by the cleaning unit and take into account a large number of effects which impair the transparency of the glass pane. A cleaning unit of the vehicle provided for this purpose can then be activated in order to carry out a cleaning function and to improve the transparency of the glass pane.

Dabei erfolgt eine Einordnung in mindestens eine Beeinträchtigungsklasse von mehreren möglichen Beeinträchtigungsklassen. Für den jeweils detektierten atmosphärischen Effekt oder eine ermittelte lokale Verschmutzung kann somit beispielsweise zwischen einem Trockenreinigungssignal und einem Nassreinigungssignal unterschieden werden, um entsprechende Reinigungseinheiten des Fahrzeugs anzusteuern.There is a classification into at least one impairment class out of several possible impairment classes. For the respectively detected atmospheric effect or an ascertained local pollution, a distinction can thus be made, for example, between a dry cleaning signal and a wet cleaning signal in order to control corresponding cleaning units of the vehicle.

Beispielsweise können die Beeinträchtigungsklassen in atmosphärische Einflüsse und lokale Verschmutzungseffekte aufgeteilt werden. Es können atmosphärische Einflüsse bzw. Witterungsverhältnisse, wie beispielsweise Regen, Schnee, Hagel, Staub, Nebel und dergleichen in Form von Beeinträchtigungsklassen ermittelt werden.For example, the impairment classes can be divided into atmospheric influences and local pollution effects. Atmospheric influences or weather conditions such as rain, snow, hail, dust, fog and the like can be determined in the form of impairment classes.

Als lokale Verschmutzungseffekte ausgestaltete Beeinträchtigungsklassen können beispielsweise Wassertropfen auf der Glasscheibe, Schmutzpartikel auf der Glasscheibe, Insektenreste auf der Glasscheibe, Vereisung der Glasscheibe, Dampf auf bzw. Beschlagen der Glasscheibe und dergleichen ermittelt werden.Impairment classes designed as local pollution effects can include, for example, water droplets on the glass pane, dirt particles on the glass pane, insect remains on the glass pane, icing of the glass pane, steam on or off. Fogging of the glass pane and the like can be determined.

Je nach ermittelter Beeinträchtigungsklasse kann eine hierfür optimierte Reinigungseinheit durch das Steuergerät aktiviert werden. Der Detektionsalgorithmus kann hierbei eine Zuordnung in entsprechende Beeinträchtigungsklassen basierend auf der Auswertung der empfangenen Messdaten realisieren. Die jeweiligen Beeinträchtigungsklassen können im Vorfeld klassifiziert bzw. definiert worden sein.Depending on the impairment class determined, a cleaning unit optimized for this can be activated by the control device. The detection algorithm can realize an assignment to corresponding impairment classes based on the evaluation of the received measurement data. The respective impairment classes can be classified or defined in advance.

Gemäß einem weiteren Ausführungsbeispiel wird die mindestens eine Beeinträchtigung der Transparenz der Glasscheibe in mindestens zwei Intensitätsstufen ermittelt, wobei die Intensitätsstufen eine Gewichtung aufweisen, welche von einer Sensorart abhängig ist. Abhängig von der Genauigkeit oder Zuverlässigkeit der einzelnen Signale bzw. Messdaten und den Systemanforderungen, können die jeweiligen Messdaten bzw. Messdatensätze von unterschiedlichen Sensoren unterschiedlich gewichtet und fusioniert bzw. kombiniert werden. Beispielsweise kann die Berücksichtigung von Messdaten des Regen-Licht-Sensors entfallen, wenn die durch den Kamerasensor ermittelten Messdaten mit einer hohen Güte bzw. Qualität ermittelt wurden. Eine derartige Gewichtung zu Gunsten des Kamerasensors kann beispielsweise bei einem besonders hohen Signal-zu-Rausch-Verhältnis des Kamerasensors erfolgen.According to a further exemplary embodiment, the at least one impairment of the transparency of the glass pane is determined in at least two intensity levels, the intensity levels having a weighting which is dependent on a type of sensor. Depending on the accuracy or reliability of the individual signals or measurement data and the system requirements, the respective measurement data or measurement data records from different sensors can be weighted and merged or combined differently. For example, measurement data from the rain / light sensor can be omitted if the measurement data determined by the camera sensor were determined with a high level of quality. Such a weighting in favor of the camera sensor can take place, for example, in the case of a particularly high signal-to-noise ratio of the camera sensor.

Beispielsweise kann eine Scheibenheizung mit unterschiedlicher Stromstärke betrieben werden, um unterschiedliche Intensitätsstufen zu berücksichtigen. Eine Scheibenwischanlage kann mit einer variablen Wischgeschwindigkeit und/oder einem variablen Wischintervall je nach Intensitätsstufe aktiviert werden. Bei einer Nassreinigung kann beispielsweise die Menge und Geschwindigkeit des aufgebrachten Wassers variiert werden, um den unterschiedlichen Verschmutzungsklassen gerecht zu werden. Entsprechend kann ein Heizgebläse mit einer variablen Drehzahl und Heizleistung aktiviert werden, um eine Stufe der Beeinträchtigung der Transparenz entsprechend der ermittelten Intensitätsstufe zu beseitigen.For example, a window heater can be operated with different amperages in order to take into account different intensity levels. A windshield wiper system can be activated with a variable wiping speed and / or a variable wiping interval depending on the intensity level. In the case of wet cleaning, for example, the amount and speed of the water applied can be varied in order to do justice to the different pollution classes. Correspondingly, a heater fan with a variable speed and heating power can be activated in order to remove a level of impairment of transparency in accordance with the determined intensity level.

Nach einer weiteren Ausführungsform wird der Detektionsalgorithmus in Form eines neuronalen Netzes ausgeführt, um die mindestens eine Beeinträchtigung der Transparenz der Glasscheibe des Fahrzeugs zu ermitteln, wobei das neuronale Netz auf Grundlage eines Datensatzes zwecks Klassifizierung von Beeinträchtigungen der Transparenz im Vorfeld trainiert wird. Neben den einzelnen Beeinträchtigungsklassen können auch Intensitätsstufen ausgegeben werden, welche einen Einfluss auf eine Intensität bzw. Stärke der veranlassen Reinigungsfunktion durch die Reinigungseinheit haben.According to a further embodiment, the detection algorithm is executed in the form of a neural network in order to determine the at least one impairment of the transparency of the glass pane of the vehicle, the neural network being trained in advance on the basis of a data set for the purpose of classifying impairments of transparency. In addition to the individual impairment classes, intensity levels can also be output which have an influence on an intensity or strength of the cleaning function initiated by the cleaning unit.

Eine mögliche Umsetzung des Detektionsalgorithmus kann auf sogenannten Convolutional Neural Networks bzw. CNNs basieren, die auf Grundlage eines entsprechenden Datensatzes zum Zweck der Klassifizierung der atmosphärischen Phänomene oder lokaler Verschmutzungen trainiert werden. Dabei kann insbesondere eine Einordnung der empfangenen Messdaten in unterschiedliche Beeinträchtigungsklassen und Intensitätsstufen mithilfe des neuronalen Netzes erfolgen.A possible implementation of the detection algorithm can be based on so-called convolutional neural networks or CNNs, which are trained on the basis of a corresponding data set for the purpose of classifying atmospheric phenomena or local pollution. In particular, the received measurement data can be classified into different impairment classes and intensity levels with the aid of the neural network.

Beispielsweise kann ein bereits für andere Funktionen des Fahrzeugs eingesetztes neuronales Netz bei einem Anlernen und einer Verwendung um die genannten Funktionen erweitert werden.For example, a neural network that is already used for other functions of the vehicle can be expanded to include the functions mentioned when it is taught in and used.

Alternativ oder zusätzlich können zumindest Teile des Detektionsalgorithmus mittels klassischer Algorithmen der Video- oder Signalverarbeitung umgesetzt werden.Alternatively or additionally, at least parts of the detection algorithm can be implemented using classic video or signal processing algorithms.

Gemäß einem weiteren Ausführungsbeispiel werden basierend auf den empfangenen Messdaten des Kamerasensors Witterungsverhältnisse in einem Umfeld des Fahrzeugs ermittelt. Hierdurch können Quellen der Beeinträchtigung der Transparenz der Glasscheibe festgestellt und bei der Ansteuerung der Reinigungseinheit berücksichtigt werden. Die Witterungsverhältnisse können hierbei durch das Auswerten der Messdaten, welche außerhalb bzw. hinter der Glasscheibe ermittelt werden, bestimmt werden. Ein Glasscheibenabschnitt kann somit innerhalb des Abtastbereichs des mindestens einen Kamerasensors liegen.According to a further exemplary embodiment, weather conditions in an area around the vehicle are determined based on the received measurement data from the camera sensor. In this way, sources of impairment of the transparency of the glass pane can be determined and taken into account when activating the cleaning unit. The weather conditions can be determined by evaluating the measurement data that are determined outside or behind the glass pane. A glass pane section can thus lie within the scanning range of the at least one camera sensor.

Hierdurch kann eine Ansteuerung unterschiedlicher Freihaltefunktionen bzw. Reinigungsfunktionen durch die Reinigungseinheit in Kombination mit dem Detektionsalgorithmus zur Steigerung der Leistungsfähigkeit von automatisierten Ansteuerungen der Scheibenwischer eingesetzt werden.In this way, the cleaning unit in combination with the detection algorithm can control different hold-open functions or cleaning functions to increase the performance of automated controls for the windshield wipers.

Im Folgenden werden anhand von stark vereinfachten schematischen Darstellungen bevorzugte Ausführungsbeispiele der Erfindung näher erläutert. Hierbei zeigen

  • 1 eine perspektivische Darstellung einer Glasscheibe eines Fahrzeugs mit mindestens einem Sensor zum Veranschaulichen eines Verfahrens gemäß einer Ausführungsform, und
  • 2 ein schematisches Ablaufdiagramm zum Veranschaulichen des Verfahrens gemäß einer Ausführungsform.
In the following, preferred exemplary embodiments of the invention are explained in more detail on the basis of greatly simplified schematic representations. Show here
  • 1 a perspective illustration of a glass pane of a vehicle with at least one sensor for illustrating a method according to an embodiment, and
  • 2 a schematic flow diagram to illustrate the method according to an embodiment.

Die 1 zeigt eine perspektivische Darstellung einer Glasscheibe 2 eines Fahrzeugs 1 mit mindestens einem Sensor 4, 6, 8 zum veranschaulichen eines in der 2 veranschaulichten Verfahrens 10 gemäß einer Ausführungsform.the 1 shows a perspective view of a pane of glass 2 of a vehicle 1 with at least one sensor 4th , 6th , 8th to illustrate one in the 2 illustrated procedure 10 according to one embodiment.

Die Glasscheibe 2 ist beispielsweise als eine Windschutzscheibe des Fahrzeugs 1 ausgestaltet.The pane of glass 2 is for example as a windshield of the vehicle 1 designed.

Dabei ist beispielhaft ein Bereich der Glasscheibe 2 an einen Rückspiegel des Fahrzeugs 1 dargestellt. Das Fahrzeug 1 kann gemäß der BASt Norm als ein assistiert, teilautomatisiert, hochautomatisiert und/oder vollautomatisiert bzw. fahrerlos betreibbares Fahrzeug ausgestaltet sein.One area of the glass pane is an example here 2 to a rearview mirror of the vehicle 1 shown. The vehicle 1 can be designed according to the BASt standard as an assisted, partially automated, highly automated and / or fully automated or driverless vehicle.

Dabei sind mehrere Sensoren 4, 6, 8 an der Glasscheibe angeordnet. Die Sensoren 4, 6, 8 sind derart mit einem Steuergerät 12 gekoppelt, dass dieser die ermittelten Messdaten der Sensoren 4, 6, 8 empfangen und auswerten kann.There are several sensors 4th , 6th , 8th arranged on the glass pane. The sensors 4th , 6th , 8th are such with a control unit 12th coupled that this the determined measurement data of the sensors 4th , 6th , 8th can receive and evaluate.

Beispielsweise können ein Regen-Licht-Sensor 4, ein Kamerasensor 6 und ein Radarsensor 8 bei der Durchführung des Verfahrens 10 durch das Steuergerät 12 berücksichtigt werden.For example, a rain-light sensor 4th , a camera sensor 6th and a radar sensor 8th in carrying out the procedure 10 through the control unit 12th must be taken into account.

Darüber hinaus können nicht dargestellte LIDAR-Sensoren oder Ultraschallsensoren zur Verwendung durch das Steuergerät 12 vorgesehen sein.In addition, LIDAR sensors or ultrasonic sensors (not shown) can be used by the control unit 12th be provided.

In der 2 ist ein schematisches Ablaufdiagramm zum veranschaulichen des Verfahrens 10 gemäß einer Ausführungsform dargestellt. Dabei kann es Verfahren 10 bei allen Fahrzeugen eingesetzt werden, welche einen Kamerasensor 6 und ein ausreichend leistungsfähiges Steuergerät 12 aufweisen, um einen Detektionsalgorithmus auszuführen.In the 2 Figure 3 is a schematic flow chart to illustrate the method 10 shown according to one embodiment. There can be procedures 10 can be used in all vehicles that have a camera sensor 6th and a sufficiently powerful control unit 12th have to perform a detection algorithm.

In einem ersten Schritt 14 werden Messdaten der Sensoren 4, 6, 8 vom Steuergerät 12 empfangen und ausgewertet. Im dargestellten Ausführungsbeispiel werden Messdaten von unterschiedlichen Sensoren 4, 6, 8 verwertet.In a first step 14th are measurement data from the sensors 4th , 6th , 8th from the control unit 12th received and evaluated. In the exemplary embodiment shown, measurement data are obtained from different sensors 4th , 6th , 8th recovered.

Die Messdaten des Kamerasensors 6 und die Messdaten des weiteren Sensors 8, wie beispielsweise Radarsensors, werden durch unterschiedliche Detektionsalgorithmen 16, 18 verarbeitet, um mindestens eine Beeinträchtigung der Transparenz der Glasscheibe 2 des Fahrzeugs 1 zu ermitteln.The measurement data of the camera sensor 6th and the measurement data of the further sensor 8th , such as radar sensors, are determined by different detection algorithms 16 , 18th processed to at least compromise the transparency of the pane of glass 2 of the vehicle 1 to investigate.

Dabei kann ein erster Detektionsalgorithmus 16 in Form eines neuronalen Netzes ausgestaltet sein, um die Messdaten des Kamerasensors auszuwerten. Dabei kann eine Bildauswertung basierend auf einem maschinellen Lernverfahren realisiert werden. Das neuronale Netz des Detektionsalgorithmus 16 kann hierbei im Vorfeld mit einem entsprechenden Trainingsdatensatz gelernt worden sein. Insbesondere kann das neuronale Netz basierend auf den empfangenen Messdaten eine Einordnung in lokale Verschmutzungseffekte und/oder atmosphärische Effekte umsetzen und mindestens eine hierfür vorgesehene Reinigungseinheit des Fahrzeugs 1 aktiviert.A first detection algorithm 16 be designed in the form of a neural network in order to evaluate the measurement data of the camera sensor. An image evaluation based on a machine learning process can be implemented. The neural network of the detection algorithm 16 can have been learned in advance with a corresponding training data set. In particular, based on the received measurement data, the neural network can convert a classification into local pollution effects and / or atmospheric effects and at least one cleaning unit of the vehicle provided for this purpose 1 activated.

Ein zweiter Detektionsalgorithmus 18 kann die empfangenen Messdaten des Radarsensors 8 verarbeiten. Der zweite Detektionsalgorithmus 18 kann hierbei als ein statisches Auswertungsprogramm ausgestaltet sein.A second detection algorithm 18th can read the measurement data received from the radar sensor 8th to process. The second detection algorithm 18th can be designed as a static evaluation program.

Analog hierzu können Messdaten des Regen-Licht-Sensors 4 verarbeitet werden, um eine Niederschlagsmenge festzustellen und einen Intensitätsgrad einer Trockenreinigung der Glasscheibe 2 zu bestimmen. Bei einer Trockenreinigung werden ausschließlich Scheibenwischer des Fahrzeugs 1 angesteuert.Analogous to this, measurement data from the rain / light sensor 4th processed to determine an amount of precipitation and an intensity level of dry cleaning of the glass pane 2 to determine. During dry cleaning, only the vehicle's windscreen wipers are used 1 controlled.

Insbesondere können die Ergebnisse der Detektionsalgorithmen 16, 18 zum Ermitteln 20 von mindestens einer Beeinträchtigung der Durchsicht bzw. Transparenz der Glasscheibe 2 des Fahrzeugs 1 eingesetzt werden.In particular, the results of the detection algorithms 16 , 18th to determine 20th of at least one impairment of the view or transparency of the glass pane 2 of the vehicle 1 can be used.

In einem weiteren Schritt 22 wird abhängig von der ermittelten Beeinträchtigung der Transparenz der Glasscheibe 2 mindestens eine Reinigungseinheit zumindest temporär aktiviert. Dies kann im Rahmen eine Sensordatenfusion erfolgen.In a further step 22nd depends on the determined impairment of the transparency of the glass pane 2 at least one cleaning unit activated at least temporarily. This can be done in the context of a sensor data fusion.

Beispielsweise können Scheibenwischer des Fahrzeugs 1 und eine Intensität bzw. Geschwindigkeit der Scheibenwischer als eine Reinigungseinheit aktiviert 24 werden.For example, the vehicle's windshield wipers 1 and an intensity or speed of the windshield wipers can be activated 24 as a cleaning unit.

Alternativ oder zusätzlich können Scheibenwischerdüsen zum Aufbringen einer Reinigungsflüssigkeit als eine weitere Reinigungseinheit betätigt 26 werden.Alternatively or additionally, windshield wiper nozzles can be actuated 26 as a further cleaning unit for applying a cleaning fluid.

Darüber hinaus können bei einer als beschlagene Glasscheibe 2 festgestellten Beeinträchtigung der Transparenz ein Heizgebläse und/oder eine Glasscheibenheizung angesteuert 28 werden.In addition, one can act as a misted glass pane 2 If the transparency is impaired, a fan heater and / or a glass pane heater can be controlled 28.

Durch diese Maßnahme kann die Beeinträchtigung der Transparenz der Glasscheibe 2 beseitigt oder zumindest verringert werden. Somit kann die Transparenz der Glasscheibe 2 für einen Fahrer des Fahrzeugs 1 erhöht werden.This measure can impair the transparency of the glass pane 2 eliminated or at least reduced. Thus, the transparency of the glass pane 2 for a driver of the vehicle 1 increase.

Hierdurch können zusätzliche Reinigungseinheiten eingesetzt bzw. aktiviert, oder die Zuverlässigkeit bestehender Freihaltefunktionen der Glasscheibe 2 verbessert werden, indem eine automatische Ansteuerung der Reinigungskomponenten des Fahrzeugs 1 erfolgt.As a result, additional cleaning units can be used or activated, or the reliability of existing free-keeping functions of the glass pane 2 can be improved by an automatic control of the cleaning components of the vehicle 1 he follows.

Claims (11)

Verfahren (10) zum Aktivieren (22) von mindestens einer Reinigungseinheit (24, 26, 28) eines Fahrzeugs (1) durch ein Steuergerät (12), wobei - von mindestens einem Kamerasensor (6) ermittelte Messdaten empfangen und ausgewertet werden, - mindestens eine Beeinträchtigung einer Transparenz einer Glasscheibe (2) des Fahrzeugs (1), wie beispielsweise einer Windschutzscheibe, durch Anwenden von mindestens einem Detektionsalgorithmus (16, 18) auf die empfangenen Messdaten ermittelt wird und die mindestens eine Beeinträchtigung der Transparenz in mindestens eine Beeinträchtigungsklasse eingeordnet wird und - abhängig von der eingeordneten Beeinträchtigungsklasse die mindestens eine Reinigungseinheit (24, 26, 28) zumindest temporär aktiviert (22) wird.Method (10) for activating (22) at least one cleaning unit (24, 26, 28) of a vehicle (1) by a control device (12), wherein - Measurement data determined by at least one camera sensor (6) are received and evaluated, Measurement data is determined and the at least one impairment of transparency is classified in at least one impairment class and - depending on the classified impairment class, the at least one cleaning unit (24, 26, 28) is at least temporarily activated (22). Verfahren (10) nach Anspruch 1, wobei von mindestens einem Regen-Licht-Sensor (4) und/oder von mindestens einem Fahrassistenzsensor (8) ermittelte Messdaten empfangen und bei der Auswertung durch das Steuergerät (12) mit den Messdaten des Kamerasensors (6) verarbeitet werden.Method (10) according to Claim 1 , whereby measurement data determined by at least one rain / light sensor (4) and / or by at least one driver assistance sensor (8) are received and processed with the measurement data of the camera sensor (6) during the evaluation by the control device (12). Verfahren (10) nach Anspruch 1 oder 2, wobei als die mindestens eine Reinigungseinheit (24, 26, 28) eine Scheibenwischanlage, eine Frontscheibenheizung, eine Heckscheibenheizung, eine Seitenspiegelheizung, ein Frontscheiben-Heizgebläse (28) und/oder mindestens eine Spritzwasserdüse (26) aktiviert wird.Method (10) according to Claim 1 or 2 , whereby a windshield wiper system, a front window heater, a rear window heater, a side mirror heater, a front window heater fan (28) and / or at least one spray water nozzle (26) is activated as the at least one cleaning unit (24, 26, 28). Verfahren (10) nach einem der Ansprüche 1 bis 3, wobei mindestens eine durch atmosphärische Einflüsse verursachte Beeinträchtigung der Transparenz der Glasscheibe (2) des Fahrzeugs (1) ermittelt wird.Method (10) according to one of the Claims 1 until 3 whereby at least one impairment of the transparency of the glass pane (2) of the vehicle (1) caused by atmospheric influences is determined. Verfahren (10) nach einem der Ansprüche 1 bis 4, wobei mindestens eine durch Verkehrsteilnehmer, Insekten, Tierexkremente, Abfall und/oder lose Blätter verursachte Beeinträchtigung der Transparenz der Glasscheibe (2) des Fahrzeugs (1) ermittelt wird.Method (10) according to one of the Claims 1 until 4th whereby at least one impairment of the transparency of the glass pane (2) of the vehicle (1) caused by road users, insects, animal excrement, waste and / or loose leaves is determined. Verfahren (10) nach einem der Ansprüche 1 bis 4, wobei die mindestens eine Beeinträchtigung der Transparenz der Glasscheibe (2) in mindestens zwei Intensitätsstufen ermittelt wird.Method (10) according to one of the Claims 1 until 4th , wherein the at least one impairment of the transparency of the glass pane (2) is determined in at least two intensity levels. Verfahren (10) nach einem der Ansprüche 1 bis 6, wobei der Detektionsalgorithmus (16) in Form eines neuronalen Netzes ausgeführt wird, um die mindestens eine Beeinträchtigung der Transparenz der Glasscheibe (2) des Fahrzeugs (1) zu ermitteln, wobei das neuronale Netz auf Grundlage eines Datensatzes zwecks Klassifizierung von Beeinträchtigungen der Transparenz im Vorfeld trainiert wird.Method (10) according to one of the Claims 1 until 6th , wherein the detection algorithm (16) is executed in the form of a neural network in order to determine the at least one impairment of the transparency of the glass pane (2) of the vehicle (1), the neural network based on a data set for the purpose of classifying impairments of the transparency in Training is carried out in advance. Verfahren (10) nach einem der Ansprüche 1 bis 7, wobei basierend auf den empfangenen Messdaten des Kamerasensors (6) Witterungsverhältnisse in einem Umfeld des Fahrzeugs (1) ermittelt werden.Method (10) according to one of the Claims 1 until 7th , wherein, based on the received measurement data from the camera sensor (6), weather conditions in the surroundings of the vehicle (1) are determined. Steuergerät (12), wobei das Steuergerät (12) dazu eingerichtet ist, das Verfahren (10) gemäß einem der Ansprüche 1 bis 8 auszuführen.Control device (12), wherein the control device (12) is set up to carry out the method (10) according to one of the Claims 1 until 8th to execute. Computerprogramm, welches Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer oder ein Steuergerät (12) diesen veranlassen, das Verfahren (10) gemäß einem der Ansprüche 1 bis 8 auszuführen.Computer program which comprises commands which, when the computer program is executed by a computer or a control device (12), cause the computer or a control device (12) to execute the method (10) according to one of the Claims 1 until 8th to execute. Maschinenlesbares Speichermedium, auf welchem das Computerprogramm gemäß Anspruch 10 gespeichert ist.Machine-readable storage medium on which the computer program according to Claim 10 is stored.
DE102020209205.2A 2020-07-22 2020-07-22 Camera-based control of vehicle cleaning functions Active DE102020209205B3 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102020209205.2A DE102020209205B3 (en) 2020-07-22 2020-07-22 Camera-based control of vehicle cleaning functions

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020209205.2A DE102020209205B3 (en) 2020-07-22 2020-07-22 Camera-based control of vehicle cleaning functions

Publications (1)

Publication Number Publication Date
DE102020209205B3 true DE102020209205B3 (en) 2021-11-18

Family

ID=78280802

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020209205.2A Active DE102020209205B3 (en) 2020-07-22 2020-07-22 Camera-based control of vehicle cleaning functions

Country Status (1)

Country Link
DE (1) DE102020209205B3 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114779851A (en) * 2022-04-01 2022-07-22 江苏启达机电有限公司 Unmanned aerial vehicle heating temperature control system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003029757A2 (en) 2001-10-04 2003-04-10 Gentex Corporation Moisture sensor and windshield fog detector

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003029757A2 (en) 2001-10-04 2003-04-10 Gentex Corporation Moisture sensor and windshield fog detector

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Wikipedia – die freie Enzyklopädie, „Künstliches neuronales Netz", Version vom 11.07.2020, URL: https://de.wikipedia.org/wiki/KC3%BCnstliches_neuronales_Netz (abgerufen am 10.03.2021)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114779851A (en) * 2022-04-01 2022-07-22 江苏启达机电有限公司 Unmanned aerial vehicle heating temperature control system

Similar Documents

Publication Publication Date Title
EP1159170B1 (en) Device for detecting objects on a windscreen of a motor vehicle
DE102014226358B4 (en) Apparatus and method for detecting surface pollution of a vehicle
DE102005004802B4 (en) Windscreen wiper control apparatus and method for automatic windscreen wiping in vehicles
EP2558336B1 (en) Method and device for assisting a driver while driving a vehicle by detecting weather-related visibility limitations
DE102014212777B4 (en) Method and device for automatic control of a windshield wiper
DE102016211864A1 (en) Single body rain sensor with reflection sensor for detecting an external object
WO2012171737A1 (en) Method and apparatus for identifying directional structures on a window of a vehicle
DE10201522A1 (en) Method and device for detecting visual impairments in image sensor systems
EP1674356A1 (en) Method and device for a combined signal evaluation of a rain sensor and a camera
DE102016011994B4 (en) Method for controlling the operation of a windshield wiper device of a motor vehicle and associated motor vehicle
DE102020209205B3 (en) Camera-based control of vehicle cleaning functions
WO2022128014A1 (en) Correction of images from a panoramic-view camera system in the case of rain, incident light and contamination
DE102017217072B4 (en) Method for detecting a weather condition in an area surrounding a motor vehicle, and control device and motor vehicle
DE10316794A1 (en) Rain sensor for road vehicle windscreen has camera looking forward through windscreen to observe raindrops and connected to transmission module and picture evaluation circuit
DE102016211866A1 (en) Rain sensor with a frost detection function
DE102008037266A1 (en) Device for automatic cleaning of head light of motor vehicle e.g. passenger car, has sensor unit for producing signal based on light distribution, and evaluation unit for activating cleaning unit for headlight based on signal
DE102016212716A1 (en) CONTROL DEVICE AND METHOD
DE102018100805A1 (en) Cleaning device for cleaning a translucent front element of an optical sensor for a motor vehicle, arrangement and method
DE102023001699A1 (en) Transparency determining device for a window pane of a vehicle
EP4264565A1 (en) Correction of images from a camera in case of rain, incident light and contamination
DE10230200A1 (en) Method and device for the detection of objects located on a surface of a transparent element
DE102018212542B4 (en) Method for controlling a heating device associated with a laser scanner
DE19855041A1 (en) Device for the detection of particles on a windshield
DE102022105303A1 (en) Cleaning device, roof module and method for cleaning a viewing area of a motor vehicle
DE102023112476B3 (en) Camera device for detecting the environment, vehicle with such a camera device and associated operating method

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final