EP3784534B1 - Reinigung von umfeldsensoren eines kraftfahrzeugs - Google Patents

Reinigung von umfeldsensoren eines kraftfahrzeugs Download PDF

Info

Publication number
EP3784534B1
EP3784534B1 EP19722018.9A EP19722018A EP3784534B1 EP 3784534 B1 EP3784534 B1 EP 3784534B1 EP 19722018 A EP19722018 A EP 19722018A EP 3784534 B1 EP3784534 B1 EP 3784534B1
Authority
EP
European Patent Office
Prior art keywords
sensor
cause
information
data quality
environmental
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP19722018.9A
Other languages
English (en)
French (fr)
Other versions
EP3784534A1 (de
Inventor
Dimitri PYVOVAR
Christian LOTTERMANN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of EP3784534A1 publication Critical patent/EP3784534A1/de
Application granted granted Critical
Publication of EP3784534B1 publication Critical patent/EP3784534B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0006—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means to keep optical surfaces clean, e.g. by preventing or removing dirt, stains, contamination, condensation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S2007/4975—Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen
    • G01S2007/4977—Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen including means to prevent or remove the obstruction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93275—Sensor installation details in the bumper area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93276—Sensor installation details in the windshield area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93277—Sensor installation details in the lights
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4039—Means for monitoring or calibrating of parts of a radar system of sensor or antenna obstruction, e.g. dirt- or ice-coating
    • G01S7/4043—Means for monitoring or calibrating of parts of a radar system of sensor or antenna obstruction, e.g. dirt- or ice-coating including means to prevent or remove the obstruction

Definitions

  • the invention relates to a system for cleaning environmental sensors of a motor vehicle, which differ from one another in the measurement principles they use to acquire environmental information, having at least one treatment device for removing contamination from the environmental sensor and at least one sensor electronics system connected to the environmental sensor, for each environmental sensor each sensor electronics system is set up to monitor a data quality of sensor data generated by the environment sensor connected to it, to assign a specific cause to this deterioration from various possible causes if the data quality deteriorates, and to generate an information signal that contains information about the specific cause containing contamination. Furthermore, the invention relates to a motor vehicle with such a system.
  • the invention relates to a method for cleaning at least two environment sensors of a motor vehicle, which differ from one another in the measurement principles they use to acquire information about the environment, with a data quality of sensor data generated by the respective environment sensor being monitored for each environment sensor. if the data quality deteriorates, a specific cause from various possible causes is assigned to this deterioration and an information signal is generated which contains information about the specific cause of the contamination.
  • the environmental information can be detected using environmental sensors that are arranged on the motor vehicle and can use different measurement principles to detect environmental information. For example, environment sensors in the form of cameras, LiDAR sensors, RADAR sensors and the like can be used, also in various combinations with one another.
  • the field of view of a sensor surface of a surroundings sensor can be partially or completely covered or contaminated with foreign substances or the like.
  • the sensor surface can be contaminated by particles and/or liquids thrown up by the motor vehicle itself or by vehicles driving ahead while the motor vehicle is being driven, by snow, ice or the like, particularly in autumn, winter and spring.
  • This inevitably leads to a deterioration in the data quality of the sensor data generated by the surroundings sensor.
  • the deterioration in data quality can lead to a significant impairment of the recognition functions. This can lead, for example, to a malfunction or to a driver assistance function being switched off when it is not necessary, such as a freeway assistant, distance control or the like.
  • contamination detection and image detection algorithms are installed in conventional sensor units or their sensor electronics. These algorithms can detect a partial or complete covering of the sensor surface by its contamination and (depending on the sensor) a classification of the respective contamination based on the sensor data with deteriorated data quality carry out, with the concealment or deteriorated data quality being assigned a specific cause from various possible causes. However, it turns out that such a classification is partially flawed.
  • a heating system can be arranged on a sensor surface, in particular in order to remove ice, condensate or the like from the sensor surface by heat treatment of the latter.
  • a heating system can have a heating wire that can be energized and is attached in the area of the sensor surface.
  • an environment sensor can be combined with a cleaning system, which can have at least one washing water spray nozzle for the environment sensor, which can treat the sensor surface with a water jet and thereby clean it. This cleaning principle is analogous to a headlight cleaning system.
  • DE 10 2016 218 331 A1 discloses a washing water dosing device for a motor vehicle, by means of which a wide variety of sensors provided on a motor vehicle can be cleaned and thus kept operational.
  • U.S. 2015/0172582 A1 discloses a device for monitoring a vehicle environment with a sensor.
  • a lens washer is driven by a lens condition decision unit as needed.
  • DE 10 2016 212 716 A1 discloses a control device and a method in which a computing device is designed to compare detected vehicle information based on the vehicle information that has been determined by means of a further detection device.
  • the availability-increasing measures are controlled automatically and as needed directly by the surroundings sensor or the sensor electronics connected thereto or by a central unit connected to the surroundings sensor.
  • the availability-increasing measures are activated as soon as it has been determined by the sensor electronics or the central unit that a specified level of contamination of the respective environment sensor or a specified level of deterioration in the data quality of the sensor data generated by the environment sensor is present, and a Classification of the contamination or deterioration in data quality has taken place according to the external environmental influences mentioned above.
  • the contamination detection and image recognition algorithms which are usually carried out directly in the sensor electronics combined with an environment sensor, the causes of the respective contamination of the environment sensors or the deterioration of the data quality of the Sensor data generated by the environmental sensor are not always recognized correctly. For example, in a camera system that optically records the environmental information, the presence of fog can be incorrectly evaluated as salt contamination of the environmental sensor.
  • One object of the invention is to reduce as far as possible the occurrence of false triggering of availability-increasing measures with which the availability of surroundings sensors of a motor vehicle can be increased.
  • a system for cleaning surroundings sensors of a motor vehicle which differ from one another in the measuring principles they use to acquire surroundings information, has at least one treatment device for removing contamination from the surroundings sensor and at least one with the surroundings sensor for each surroundings sensor connected sensor electronics, with each sensor electronics being set up to monitor a data quality of sensor data generated by the environment sensor connected to it, to assign a specific cause from various possible causes to this deterioration in the event of a deterioration in the data quality and to generate an information signal that contains information on the specific cause of the contamination.
  • the system has at least one electronic evaluation system connected to the sensor electronics, which is set up to check the causes according to the information signals for their respective plausibility and to control the treatment devices depending on the most plausible cause.
  • the causes according to the information signals are checked for their respective plausibility in that the causes determined by two or more, in particular all, sensor electronics are evaluated or compared with one another by means of the central evaluation electronics in order to determine which cause is the most plausible on the basis of the information signals present is.
  • the treatment devices can be controlled depending on the most plausible cause, for example activated individually or together, instead of conventional individual control of treatment devices taking place regardless of whether the cause of the deterioration in data quality determined individually using sensor electronics is plausible or not.
  • the occurrence of false triggering of the measures that increase availability, namely the measures carried out with the treatment devices can be largely reduced by a central plausibility check of the causes determined by two or more electronic sensor systems.
  • a cleaning liquid provided for the corresponding treatment in particular water with or without additives, can be saved, for example in the case of a treatment device in the form of a cleaning system for treating the sensor surface of the respective environmental sensor.
  • a treatment device in the form of a cleaning system for treating the sensor surface of the respective environmental sensor.
  • the treatment device is designed as a heating unit for heating a sensor surface of the respective environment sensor, the erroneous occurrence of heating cycles and thus the electrical energy consumption of the system can be reduced.
  • the central evaluation electronics receive the causes determined by the individual sensor electronics for the respective deterioration in the data quality or information on this and determine the most plausible cause on the basis of this information and possibly other vehicle data.
  • the information generated in the individual sensor electronics namely the given data quality of the respective environment sensor and the cause of this data quality, is transmitted to the central evaluation electronics.
  • central and combined information about the most plausible cause for example the most plausible environmental condition in the area surrounding the motor vehicle, is generated from the information from the individual sensor electronics. This can ensure that the actual cause of the given data quality is identified with a higher probability. If the data quality detection of an individual sensor electronics supplies a different, in particular incorrect, cause for the deterioration in the data quality as the most plausible cause, the incorrect cause can be checked for plausibility by the central evaluation electronics and, if necessary, changed.
  • a triggering of an availability-increasing measure due to an incorrectly identified cause of a deterioration in the data quality of the respective environmental sensor can be largely prevented.
  • the motor vehicle is in dense fog, for example, the following causes for deterioration in the data quality can be indicated by the individual sensor electronics.
  • Sensor electronics of an environment sensor installed on the front of the motor vehicle in the form of a LiDAR sensor can conclude from the given data quality that the cause of the deterioration in data quality is a Salt contamination of the environment sensor with a probability of 60%.
  • further sensor electronics of an environment sensor installed on the front of the motor vehicle in the form of a camera arranged on the inside of a windshield can conclude from the given data quality that the cause of the deterioration in data quality is the presence of fog with a probability of 80%.
  • further sensor electronics of an environment sensor installed on the front of the motor vehicle in the form of a camera arranged on the front of the vehicle can conclude from the given data quality that the cause of the deterioration in data quality is the presence of fog with a probability of 90%.
  • the central evaluation electronics decide that the most probable cause for the deterioration in the data quality of the surroundings sensors is fog.
  • the central evaluation electronics can be used to select an appropriate availability-increasing measure instead of an incorrect availability-increasing measure, for example, instead of cleaning when there is a fine mist, the respective surroundings sensor can be heated.
  • Each sensor electronics is able to determine the respective deterioration in the data quality of the data generated by the respective environment sensor and to determine the cause of this deterioration from various possible causes.
  • a cause for a deterioration in the data quality can be, for example, fog, snow or rain in the vicinity of the motor vehicle.
  • a cause for a deterioration in the data quality can be the presence of salt, ice or the like on the respective surroundings sensor.
  • the determination of the cause of the deterioration in data quality can be incorrect.
  • the system according to the invention for cleaning surroundings sensors of the motor vehicle can clean the respective surroundings sensor using a cleaning liquid, compressed air, ultrasound and/or heating of the surroundings sensor.
  • the individual treatment facilities are designed accordingly for this purpose.
  • a surroundings sensor of the system according to the invention can be in the form of a camera, a LiDAR sensor or a RADAR sensor, for example.
  • an environment sensor can be an FIR sensor.
  • the system according to the invention can have any combination of these sensor types, in which at least two surroundings sensors differ from one another in the measurement principles they use.
  • the central evaluation electronics can be designed as a separate structural unit. Alternatively, the central evaluation electronics can be realized by a software implementation in existing vehicle electronics.
  • each sensor electronics is set up to determine probabilities for the existence of the various possible causes based on the deterioration in the data quality of the environment sensor assigned to it, to select the cause with the highest probability and to generate an information signal that contains information about the cause with the highest probability and information on the probability of the cause with the highest probability. Taking into account the probabilities of the causes determined by the sensor electronics enables an improved check of the plausibility of these causes and a more precise location of the cause with the highest plausibility.
  • At least one surroundings sensor is advantageously a LiDAR sensor, a RADAR sensor or a camera.
  • the LiDAR sensor and/or the RADAR sensor can be in the area of a radiator grille on a vehicle front of the motor vehicle are arranged.
  • the camera can be arranged on an inside of a windscreen or on the front of the vehicle.
  • At least one treatment device is a liquid spray device or a heating device.
  • the liquid spray device can have at least one liquid reservoir, at least one nozzle for applying a jet of liquid to the surroundings sensor and at least one pump that can be controlled with the evaluation electronics for pumping liquid from the liquid reservoir to the nozzle.
  • the heating device can have at least one heating wire or resistance wire and at least one switch which can be controlled by the evaluation electronics and via which the heating wire can be connected to an electrical energy source of the motor vehicle.
  • at least one treatment device can carry out another measure that increases the availability of the surroundings sensor, for example cleaning the surroundings sensor using ultrasound, compressed air or the like.
  • a motor vehicle according to the invention has at least one system according to one of the above-mentioned configurations or a combination of at least two of these configurations with one another.
  • the advantages mentioned above in relation to the system are correspondingly associated with the motor vehicle.
  • the motor vehicle can be equipped, for example, with a function for carrying out a semi-autonomous or autonomous driving operation, for the implementation of which the system is used or the information obtained with it is used.
  • a data quality of sensor data generated by the respective surroundings sensor is monitored for each surroundings sensor in the event of a deterioration the data quality of this deterioration a certain Cause assigned from various possible causes and generates an information signal containing information on the specific cause of the contamination.
  • the causes are checked for their respective plausibility according to the information signals and the environmental sensors are cleaned depending on the most plausible cause.
  • the system can be used according to one of the above-mentioned configurations or a combination of at least two of these configurations with one another to carry out the method.
  • FIG 1 shows a schematic representation of an exemplary embodiment of a motor vehicle 1 according to the invention, which has three surroundings sensors 2, 3 and 4 that record surroundings information in the forward direction of travel.
  • Surroundings sensor 2 is on an inside of a windshield, not shown of the motor vehicle 1 arranged camera, the environment sensor 3 is arranged at a vehicle front camera and environment sensor 4 is arranged at the vehicle front LiDAR sensor.
  • Surroundings sensors 2 and 4 or 3 and 4 differ from one another in the measurement principles they use to acquire surrounding information.
  • the motor vehicle 1 has a system 5 for cleaning the surroundings sensors 2, 3 and 4.
  • the system 5 has a treatment device 6 for removing contamination from the respective environment sensor 2, 3 or 4 and sensor electronics 7 connected to the respective environment sensor 2, 3 or 4.
  • At least one treatment device 6 is a liquid spray device or a heating device.
  • Each sensor electronics 7 is set up to monitor a data quality of sensor data generated by the environment sensor 2, 3 or 4 connected to it, to assign a specific cause to this deterioration from various possible causes if the data quality deteriorates and to generate an information signal , which contains information on the specific cause of the contamination.
  • each sensor electronics unit 7 can be set up to use the deterioration in the data quality of the environment sensor 2, 3 or 4 assigned to it to determine probabilities for the existence of the various possible causes, to select the cause with the highest probability and to generate an information signal that contains information about the cause with the highest probability and information on the probability of the cause with the highest probability.
  • the system 5 has evaluation electronics 8 connected to the sensor electronics 7, which are set up to check the causes according to the information signals for their respective plausibility and to control the treatment devices 6 depending on the most plausible cause.
  • the system 5 has a global cleaning logic 9 to which the evaluation electronics 8 supplies information on the most plausible cause of the deterioration in data quality and via which the evaluation electronics 8 controls the treatment devices 6 .
  • figure 2 shows a flowchart of an exemplary embodiment of a method according to the invention for cleaning at least two surroundings sensors (not shown) of a motor vehicle (not shown), which differ from one another in the measuring principles they use to acquire information about the surroundings.
  • step 10 monitoring of a data quality of sensor data generated by the respective environment sensor is started for each environment sensor.
  • step 20 a check is made as to whether or not the data quality of the sensor data has deteriorated by a predetermined extent. If the data quality of the sensor data has deteriorated by a predetermined extent, in step 30 the deterioration in the data quality is assigned a specific cause from various possible causes.
  • step 40 an information signal is generated which contains information on the determined cause of the contamination.
  • the causes are checked for their respective plausibility based on the information signals.
  • step 60 the surroundings sensors are cleaned depending on the most plausible cause. Data quality monitoring can then continue.
  • step 30 probabilities for the existence of the various possible causes can be determined on the basis of the deterioration in the data quality of the respective environment sensor.
  • step 30 the cause with the highest probability can be selected.
  • step 40 an information signal may be generated that includes information about the most likely cause and information about the most likely cause.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Description

  • Die Erfindung betrifft ein System zum Reinigen von Umfeldsensoren eines Kraftfahrzeugs, die sich in von ihnen jeweilig zum Erfassen von Umfeldinformationen eingesetzten Messprinzipien voneinander unterscheiden, aufweisend pro Umfeldsensor wenigstens eine Behandlungseinrichtung zum Entfernen einer Verunreinigung von dem Umfeldsensor und wenigstens eine mit dem Umfeldsensor verbundene Sensorelektronik, wobei jede Sensorelektronik eingerichtet ist, eine Datenqualität von Sensordaten, die von dem mit ihr verbundenen Umfeldsensor erzeugt werden, zu überwachen, bei einer Verschlechterung der Datenqualität dieser Verschlechterung eine bestimmte Ursache aus verschiedenen möglichen Ursachen zuzuordnen und ein Informationssignal zu erzeugen, das eine Information zur bestimmten Ursache der Verunreinigung enthält. Des Weiteren betrifft die Erfindung ein Kraftfahrzeug mit einem solchen System.
  • Zudem betrifft die Erfindung ein Verfahren zum Reinigen von wenigstens zwei Umfeldsensoren eines Kraftfahrzeugs, die sich in von ihnen jeweilig zum Erfassen von Umfeldinformationen eingesetzten Messprinzipien voneinander unterscheiden, wobei für jeden Umfeldsensor eine Datenqualität von Sensordaten, die von dem jeweiligen Umfeldsensor erzeugt werden, überwacht wird, bei einer Verschlechterung der Datenqualität dieser Verschlechterung eine bestimmte Ursache aus verschiedenen möglichen Ursachen zugeordnet wird und ein Informationssignal erzeugt wird, das eine Information zur bestimmten Ursache der Verunreinigung enthält.
  • Es ist bekannt, ein Kraftfahrzeug mit einem System zum Ermitteln von Umfeldinformationen zu einem Umfeld des Kraftfahrzeugs auszustatten. Insbesondere aktuelle und künftige automatisierte Fahrfunktionen nutzen entsprechend gewonnene Umfeldinformationen zur Realisierung eines teilautonomen oder autonomen Fahrbetriebs. Aber auch anderweitige Fahrassistenzsysteme können auf solche Umfeldinformationen zugreifen. Die Umfeldinformationen können mittels Umfeldsensoren erfasst werden, die an dem Kraftfahrzeug angeordnet sind und zur Erfassung von Umfeldinformationen verschiedene Messprinzipien einsetzen können. Beispielsweise können Umfeldsensoren in Form von Kameras, LiDAR-Sensoren, RADAR-Sensoren und dergleichen verwendet werden, auch in verschiedener Kombination miteinander.
  • Durch unterschiedliche Umwelteinflüsse kann das Sichtfeld einer Sensoroberfläche eines Umfeldsensors teilweise oder vollständig mit Fremdstoffen oder dergleichen belegt bzw. verunreinigt sein. Beispielsweise kann die Sensoroberfläche durch im Fahrbetrieb des Kraftfahrzeugs durch das Kraftfahrzeug selbst oder durch vorausfahrende Fahrzeuge aufgewirbelte Partikel und/oder Flüssigkeiten, durch Schnee, durch Eis oder dergleichen, insbesondere im Herbst, Winter und Frühjahr, verunreinigt werden. Dies führt zwangsläufig zu einer Verschlechterung der Datenqualität der von dem Umfeldsensor erzeugten Sensordaten. Bei einer aus einem Umfeldsensor und einer Sensorelektronik gebildeten Sensoreinheit, bei der eine Verarbeitung der Sensordaten individuell mittels der Sensorelektronik erfolgt, um Erkennungsfunktionen, wie beispielsweise eine Objekterkennung, eine Hinderniserkennung oder eine Fahrbahnerkennung, sensornah zu realisieren, kann die Verschlechterung der Datenqualität zu einer signifikanten Beeinträchtigung der Erkennungsfunktionen führen. Dies kann beispielsweise zu einem Fehlverhalten oder einem nicht erforderlichen Abschalten einer Fahrerassistenzfunktion führen, wie beispielsweise einem Autobahnassistenten, einer Abstandsregelung oder dergleichen.
  • Zusätzlich zu den Erkennungsfunktionen sind in herkömmlichen Sensoreinheiten bzw. deren Sensorelektroniken sogenannte Verunreinigungserkennungs- und Bilderkennungsalgorithmen installiert. Diese Algorithmen können eine teilweise und vollständige Verdeckung der Sensoroberfläche durch deren Verunreinigung erkennen und (sensorabhängig) eine Klassifikation der jeweiligen Verunreinigung auf Basis der Sensordaten mit verschlechterter Datenqualität durchführen, wobei der Verdeckung bzw. verschlechterten Datenqualität eine bestimmte Ursache aus verschiedenen möglichen Ursachen zugeordnet wird. Es zeigt sich jedoch, dass eine solche Klassifizierung teilweise fehlerbehaftet ist.
  • Um die Verfügbarkeit der durch die Umwelteinflüsse beeinträchtigten Umfeldsensoren zu steigern, ist es bekannt, die Umfeldsensoren mit verfügbarkeitserhöhenden Maßnahmen zu kombinieren. Beispielsweise kann an einer Sensoroberfläche ein Heizsysteme angeordnet sein, insbesondere um Eis, Kondensat oder dergleichen durch eine Wärmebehandlung der Sensoroberfläche von dieser zu entfernen. Ein solches Heizsystem kann einen bestrombaren Heizdraht aufweisen, der im Bereich der Sensoroberfläche angebracht ist. Des Weiteren kann ein Umfeldsensor mit einem Reinigungssystem kombiniert sein, das für den Umfeldsensor wenigstens eine Waschwasserspritzdüse aufweisen kann, die die Sensoroberfläche mit einem Wasserstrahl behandeln und hierdurch reinigen kann. Dieses Reinigungsprinzip ist analog zu einer Scheinwerferreinigungsanlage.
  • DE 10 2016 218 331 A1 offenbart eine Waschwasserdosiervorrichtung für ein Kraftfahrzeug, mittels welcher verschiedenste, an einem Kraftfahrzeug vorgesehene Sensoren gereinigt und somit betriebsbereit gehalten werden können.
  • US 2015/0172582 A1 offenbart eine Einrichtung zur Überwachung einer Fahrzeugumgebung mit einem Sensor. Eine Linsenwascheinrichtung wird von einer Linsenzustandsentscheidungseinheit angesteuert, sofern Bedarf besteht.
  • DE 10 2016 212 716 A1 offenbart eine Steuervorrichtung und ein Verfahren, bei welchen eine Recheneinrichtung dazu ausgebildet ist, erfasste Fahrzeuginformationen basierend auf den Fahrzeuginformationen, welche mittels einer weiteren Erfassungseinrichtung ermittelt worden sind, zu vergleichen.
  • Es wird herkömmlich davon ausgegangen, dass die verfügbarkeitserhöhenden Maßnahmen direkt vom Umfeldsensor bzw. der damit verbundenen Sensorelektronik oder von einer mit dem Umfeldsensor verbundenen zentralen Einheit bedarfsmäßig und automatisiert angesteuert werden. Eine Ansteuerung der verfügbarkeitserhöhenden Maßnahmen findet dann statt, sobald mittels der Sensorelektronik bzw. der zentralen Einheit festgestellt worden ist, dass ein vorgegebenes Ausmaß einer Verunreinigung des jeweiligen Umfeldsensors bzw. ein vorgegebenes Ausmaß einer Verschlechterung der Datenqualität der von dem Umfeldsensor erzeugten Sensordaten vorliegt, und eine Klassifizierung der Verunreinigung bzw. Datenqualitätsverschlechterung entsprechend den oben genannten äußeren Umwelteinflüssen stattgefunden hat.
  • Durch die herkömmlich meist direkt in der mit einem Umfeldsensor kombinierten Sensorelektronik ausgeführten Verunreinigungserkennungs- und Bilderkennungsalgorithmen können die Ursachen für die jeweilige Verunreinigung der Umfeldsensoren bzw. die Verschlechterung der Datenqualität der von dem Umfeldsensor erzeugten Sensordaten nicht immer korrekt erkannt werden. Beispielsweise kann bei einem Kamerasystem, das die Umfeldinformationen optisch aufnimmt, das Vorhandensein von Nebel fälschlicherweise kann als Salzverunreinigung des Umfeldsensors bewertet werden.
  • Durch eine hohe Falscherkennungsrate der Verunreinigungserkennung bzw. Datenqualitätserkennung kann es vorkommen, dass verfügbarkeitserhöhende Maßnahmen zu falschen Zeitpunkten oder zu oft angesteuert werden. Beispielsweise kann bei Nebel ein Reinigungssystem zum Beaufschlagen eines Umfeldsensors mit Waschwasser fälschlicherweise eingeschaltet werden, wenn die Verunreinigungserkennung fälschlicherweise eine tatsächlich nicht vorliegende Salzverunreinigung des Umfeldsensors meldet. Dies führt zu einem erhöhten Verbrauch der verfügbarkeitserhöhenden Maßnahmen, nämlich einem erhöhten Waschwasserverbrauch bei einem fälschlicherweise angesteuerten Reinigungssystem und einem erhöhten elektrischen Energieverbrauch bei einem fälschlicherweise angesteuerten Umfeldsensor-Heizsystem.
  • Eine Aufgabe der Erfindung ist es, ein Auftreten von Falschauslösungen von verfügbarkeitserhöhenden Maßnahmen, mit denen die Verfügbarkeit von Umfeldsensoren eines Kraftfahrzeugs steigerbar ist, weitestgehend zu reduzieren.
  • Diese Aufgabe wird durch die unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen sind in den abhängigen Patentansprüchen, der nachfolgenden Beschreibung und den Figuren wiedergegeben, wobei diese Ausgestaltungen jeweils für sich genommen oder in Kombination von wenigstens zwei dieser Ausgestaltungen miteinander einen weiterbildenden oder vorteilhaften Aspekt der Erfindung darstellen können.
  • Ein erfindungsgemäßes System zum Reinigen von Umfeldsensoren eines Kraftfahrzeugs, die sich in von ihnen jeweilig zum Erfassen von Umfeldinformationen eingesetzten Messprinzipien voneinander unterscheiden, weist pro Umfeldsensor wenigstens eine Behandlungseinrichtung zum Entfernen einer Verunreinigung von dem Umfeldsensor und wenigstens eine mit dem Umfeldsensor verbundene Sensorelektronik auf, wobei jede Sensorelektronik eingerichtet ist, eine Datenqualität von Sensordaten, die von dem mit ihr verbundenen Umfeldsensor erzeugt werden, zu überwachen, bei einer Verschlechterung der Datenqualität dieser Verschlechterung eine bestimmte Ursache aus verschiedenen möglichen Ursachen zuzuordnen und ein Informationssignal zu erzeugen, das eine Information zur bestimmten Ursache der Verunreinigung enthält. Zudem weist das System wenigstens eine mit den Sensorelektroniken verbundene Auswertungselektronik auf, die eingerichtet ist, die Ursachen gemäß den Informationssignalen auf ihre jeweilige Plausibilität zu prüfen und die Behandlungseinrichtungen in Abhängigkeit der plausibelsten Ursache anzusteuern.
  • Erfindungsgemäß werden die Ursachen gemäß den Informationssignalen auf ihre jeweilige Plausibilität geprüft, indem die von zwei oder mehreren, insbesondere allen, Sensorelektroniken ermittelten Ursachen mittels der zentralen Auswertungselektronik ausgewertet bzw. miteinander verglichen werden, um zu ermitteln, welche Ursache auf Basis der vorliegenden Informationssignale am plausibelsten ist. Dadurch können die Behandlungseinrichtungen in Abhängigkeit der plausibelsten Ursache angesteuert, beispielsweise einzeln oder gemeinsam aktiviert, werden, statt dass eine herkömmliche individuelle Ansteuerung von Behandlungseinrichtungen unabhängig davon erfolgt, ob die individuell mittels einer Sensorelektronik ermittelte Ursache der Verschlechterung der Datenqualität plausibel ist oder nicht. Hierdurch kann das Auftreten von Falschauslösungen der verfügbarkeitserhöhenden Maßnahmen, nämlich der mit den Behandlungseinrichtungen durchgeführten Maßnahmen, durch eine zentrale Plausibilisierung der von zwei oder mehreren Sensorelektroniken ermittelten Ursachen weitestgehend reduziert werden.
  • Durch die erfindungsgemäße Reduzierung des Auftretens von Falschauslösungen der verfügbarkeitserhöhenden Maßnahmen, kann beispielsweise im Falle einer Behandlungseinrichtung in Form eines Reinigungssystems zum Behandeln der Sensoroberfläche des jeweiligen Umfeldsensors eine zum entsprechenden Behandeln vorgesehene Reinigungsflüssigkeit, insbesondere Wasser mit oder ohne Zusatzmittel, eingespart werden. Hiermit geht eine potentielle Reduzierung der Größe eines Reinigungsflüssigkeitstanks einher, was mit einer Reduzierung des Fahrzeuggewichts verbunden ist. Ist die Behandlungseinrichtung hingegen als Heizeinheit zum Heizen einer Sensoroberfläche des jeweiligen Umfeldsensors ausgebildet, kann das fälschliche Auftreten von Heizzyklen und somit der elektrische Energieverbrauch des Systems reduziert werden.
  • Die zentrale Auswertungselektronik empfängt die von den einzelnen Sensorelektroniken ermittelten Ursachen für die jeweilige Verschlechterung der Datenqualität bzw. Informationen hierzu und ermittelt auf Basis dieser Informationen, und gegebenenfalls weiterer Fahrzeugdaten, die plausibelste Ursache. Dazu werden die in den einzelnen Sensorelektroniken erzeugten Informationen, nämlich die gegebene Datenqualität des jeweiligen Umfeldsensors und die Ursache für diese Datenqualität, an die zentrale Auswertungselektronik übertragen. Mit der zentralen Auswertungselektronik wird aus den Informationen der einzelnen Sensorelektroniken eine zentrale und fusionierte Information über die plausibelste Ursache, beispielsweise die plausibelste Umweltbedingung in der Umgebung des Kraftfahrzeugs, erzeugt. Hierdurch kann gewährleistet werden, dass die tatsächliche Ursache für die jeweils gegebene Datenqualität mit höherer Wahrscheinlichkeit erkannt wird. Falls die Datenqualitätserkennung einer einzelnen Sensorelektronik eine andere, insbesondere falsche, Ursache für die Verschlechterung der Datenqualität als die plausibelste Ursache liefert, kann die falsche Ursache durch die zentrale Auswertungselektronik plausibilisiert und gegebenenfalls geändert werden.
  • Mit der Erfindung kann folglich ein Auslösen einer verfügbarkeitserhöhenden Maßnahme aufgrund einer falsch erkannten Ursache einer Verschlechterung der Datenqualität des jeweiligen Umfeldsensors weitestgehend verhindert werden. Befindet sich das Kraftfahrzeug beispielsweise im dichten Nebel, können beispielsweise die folgenden Ursachen für Verschlechterungen der Datenqualität von den einzelnen Sensorelektroniken angegeben werden. Eine Sensorelektronik eines frontseitig am Kraftfahrzeug verbauten Umfeldsensors in Form eines LiDAR-Sensors kann aus der gegebenen Datenqualität darauf schließen, dass als Ursache für die Verschlechterung der Datenqualität eine Salzverschmutzung des Umfeldsensors mit einer Wahrscheinlichkeit von 60% vorliegt. Gleichzeitig kann eine weitere Sensorelektronik eines frontseitig am Kraftfahrzeug verbauten Umfeldsensors in Form einer an einer Innenseite einer Frontscheibe angeordneten Kamera aus der gegebenen Datenqualität darauf schließen, dass als Ursache für die Verschlechterung der Datenqualität das Vorliegen von Nebel mit einer Wahrscheinlichkeit von 80% verantwortlich ist. Gleichzeitig kann eine weitere Sensorelektronik eines frontseitig am Kraftfahrzeug verbauten Umfeldsensors in Form einer an einer Fahrzeugfront angeordneten Kamera aus der gegebenen Datenqualität darauf schließen, dass als Ursache für die Verschlechterung der Datenqualität das Vorliegen von Nebel mit einer Wahrscheinlichkeit von 90% verantwortlich ist. Die zentrale Auswertungselektronik entscheidet auf Basis dieser Informationen, dass die wahrscheinlichste Ursache für die Verschlechterung der Datenqualität der Umfeldsensoren Nebel ist. Eine etwaige Reinigung des LiDAR-Sensors mittels eines Reinigungssystems, die durch eine herkömmliche reine sensorelektronikbasierte Entscheidung durchgeführt worden wäre, wird unterbunden. In einer vorteilhaften Ausgestaltung kann mittels der zentralen Auswertungselektronik statt einer falschen verfügbarkeitserhöhenden Maßnahme eine zweckmäßige verfügbarkeitserhöhende Maßnahme ausgewählt werden, beispielsweise kann statt der Reinigung bei feinem Nebel eine Beheizung des jeweiligen Umfeldsensors erfolgen.
  • Jede Sensorelektronik ist in der Lage, die jeweilig gegebene Verschlechterung der Datenqualität der von dem jeweiligen Umfeldsensor erzeugten Daten zu ermitteln und die Ursache für diese Verschlechterung aus verschiedenen möglichen Ursachen zu ermitteln. Eine Ursache für eine Verschlechterung der Datenqualität kann beispielsweise Nebel, Schnee oder Regen im Umfeld des Kraftfahrzeugs sein. Des Weiteren kann eine Ursache für eine Verschlechterung der Datenqualität das Vorhandensein von Salz, Eis oder dergleichen an dem jeweiligen Umfeldsensor sein. Die Ermittlung der Ursache für die Verschlechterung der Datenqualität kann aber, wie oben beschrieben, fehlerhaft sein.
  • Das erfindungsgemäße System zum Reinigen von Umfeldsensoren des Kraftfahrzeugs kann je nach den Gegebenheiten eine Reinigung des jeweiligen Umfeldsensors mittels einer Reinigungsflüssigkeit, mittels Druckluft, mittels Ultraschall und/oder mittels einer Beheizung des Umfeldsensors durchführen. Hierzu sind die einzelnen Behandlungseinrichtungen entsprechend ausgebildet.
  • Ein Umfeldsensor des erfindungsgemäßen Systems kann beispielsweise in Form einer Kamera, eines LiDAR-Sensors oder eines RADAR-Sensors gegeben sein. Alternativ kann ein Umfeldsensor ein FIR-Sensor sein. Das erfindungsgemäße System kann irgendeine Kombination dieser Sensortypen aufweisen, bei der sich wenigstens zwei Umfeldsensoren in den von ihnen jeweilig eingesetzten Messprinzipien voneinander unterscheiden.
  • Die zentrale Auswertungselektronik kann als separate Baueinheit ausgebildet sein. Alternativ kann die zentrale Auswertungselektronik durch eine Software-Implementierung in eine vorhandene Fahrzeugelektronik realisiert sein.
  • Gemäß einer vorteilhaften Ausgestaltung ist jede Sensorelektronik eingerichtet ist, anhand der Verschlechterung der Datenqualität des ihr zugeordneten Umfeldsensors Wahrscheinlichkeiten zum Vorliegen der verschiedenen möglichen Ursachen zu ermitteln, diejenige Ursache mit der höchsten Wahrscheinlichkeit auszuwählen und ein Informationssignal zu erzeugen, das eine Information zur Ursache mit der höchsten Wahrscheinlichkeit und eine Information zur Wahrscheinlichkeit der Ursache mit der höchsten Wahrscheinlichkeit enthält. Die Berücksichtigung der Wahrscheinlichkeiten der von den Sensorelektroniken ermittelten Ursachen macht eine verbesserte Prüfung der Plausibilität dieser Ursachen und ein exakteres Auffinden der Ursache mit der höchsten Plausibilität möglich.
  • Vorteilhafterweise ist wenigstens ein Umfeldsensor ein LiDAR-Sensor, ein RADAR-Sensor oder eine Kamera. Der LiDAR-Sensor und/oder der RADAR-Sensor können bzw. kann im Bereich eines Kühlergrills an einer Fahrzeugfront des Kraftfahrzeugs angeordnet werden. Die Kamera kann an einer Innenseite einer Frontscheibe oder an der Fahrzeugfront angeordnet werden.
  • Es ist des Weiteren von Vorteil, wenn wenigstens eine Behandlungseinrichtung eine Flüssigkeitsspritzeinrichtung oder eine Heizeinrichtung ist. Die Flüssigkeitsspritzeinrichtung kann wenigstens ein Flüssigkeitsreservoir, wenigstens eine Düse zum Beaufschlagen des Umfeldsensors mit einem Flüssigkeitsstrahl und wenigstens eine mit der Auswertungselektronik ansteuerbare Pumpe zum Pumpen von Flüssigkeit von dem Flüssigkeitsreservoir zu der Düse aufweisen. Die Heizeinrichtung kann wenigstens einen Heizdraht bzw. Widerstandsdraht und wenigstens einen mit der Auswertungselektronik ansteuerbaren Schalter aufweisen, über den der Heizdraht mit einer elektrischen Energiequelle des Kraftfahrzeugs verbindbar ist. Alternativ kann wenigstens eine Behandlungseinrichtung eine andere die Verfügbarkeit des Umfeldsensors erhöhende Maßnahme durchführen, beispielsweise eine Reinigung des Umfeldsensors mittels Ultraschall, Druckluft oder dergleichen durchführen.
  • Ein erfindungsgemäßes Kraftfahrzeug weist wenigstens ein System nach einer der oben genannten Ausgestaltungen oder einer Kombination von wenigstens zwei dieser Ausgestaltungen miteinander auf.
  • Mit dem Kraftfahrzeug sind die oben mit Bezug auf das System genannten Vorteile entsprechend verbunden. Das Kraftfahrzeug kann beispielsweise mit einer Funktion zum Durchführen eines teilautonomen oder autonomen Fahrbetriebs ausgestattet sein, zu deren Realisierung das System verwendet wird bzw. die damit gewonnenen Informationen verwendet werden.
  • Bei einem erfindungsgemäßen Verfahren zum Reinigen von wenigstens zwei Umfeldsensoren eines Kraftfahrzeugs, die sich in von ihnen jeweilig zum Erfassen von Umfeldinformationen eingesetzten Messprinzipien voneinander unterscheiden, wird für jeden Umfeldsensor eine Datenqualität von Sensordaten, die von dem jeweiligen Umfeldsensor erzeugt werden, überwacht, bei einer Verschlechterung der Datenqualität dieser Verschlechterung eine bestimmte Ursache aus verschiedenen möglichen Ursachen zugeordnet und ein Informationssignal erzeugt, das eine Information zur bestimmten Ursache der Verunreinigung enthält. Zudem werden die Ursachen gemäß den Informationssignalen auf ihre jeweilige Plausibilität geprüft und es erfolgt die Reinigung der Umfeldsensoren in Abhängigkeit der plausibelsten Ursache.
  • Mit dem Verfahren sind die oben mit Bezug auf das System genannten Vorteile entsprechend verbunden. Insbesondere kann das System gemäß einer der oben genannten Ausgestaltungen oder einer Kombination von wenigstens zwei dieser Ausgestaltungen miteinander zur Durchführung des Verfahrens verwendet werden.
  • Gemäß einer vorteilhaften Ausgestaltung ist vorgesehen, dass anhand der Verschlechterung der Datenqualität des jeweiligen Umfeldsensors Wahrscheinlichkeiten zum Vorliegen der verschiedenen möglichen Ursachen ermittelt werden, diejenige Ursache mit der höchsten Wahrscheinlichkeit ausgewählt werden und ein Informationssignal erzeugt wird, das eine Information zur Ursache mit der höchsten Wahrscheinlichkeit und eine Information zur Wahrscheinlichkeit der Ursache mit der höchsten Wahrscheinlichkeit enthält. Mit dieser Ausgestaltung sind die oben mit Bezug auf die entsprechende Ausgestaltung des Systems genannten Vorteile entsprechend verbunden.
  • Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung und den Figuren. Es zeigen:
    • Figur 1
    eine schematische Darstellung eines Ausführungsbeispiels für ein erfindungsgemäßes Kraftfahrzeug 1; und
    Figur 2
    ein Ablaufdiagramm eines Ausführungsbeispiels für ein erfindungsgemäßes Verfahren.
  • Figur 1 zeigt eine schematische Darstellung eines Ausführungsbeispiels für ein erfindungsgemäßes Kraftfahrzeug 1, das drei in Vorwärtsfahrrichtung Umfeldinformationen erfassende Umfeldsensoren 2, 3 und 4 aufweist. Der Umfeldsensor 2 ist eine an einer Innenseite einer nicht gezeigten Frontscheibe des Kraftfahrzeugs 1 angeordnete Kamera, der Umfeldsensor 3 ist eine an einer Fahrzeugfront angeordnete Kamera und der Umfeldsensor 4 ist ein an der Fahrzeugfront angeordneter LiDAR-Sensor. Die Umfeldsensoren 2 und 4 bzw. 3 und 4 unterscheiden sich in von ihnen jeweilig zum Erfassen von Umfeldinformationen eingesetzten Messprinzipien voneinander.
  • Das Kraftfahrzeug 1 weist ein System 5 zum Reinigen der Umfeldsensoren 2, 3 und 4 auf. Das System 5 weist pro Umfeldsensor 2, 3 bzw. 4 eine Behandlungseinrichtung 6 zum Entfernen einer Verunreinigung von dem jeweiligen Umfeldsensor 2, 3 bzw. 4 und eine mit dem jeweiligen Umfeldsensor 2, 3 bzw. 4 verbundene Sensorelektronik 7 auf. Wenigstens eine Behandlungseinrichtung 6 ist eine Flüssigkeitsspritzeinrichtung oder eine Heizeinrichtung.
  • Jede Sensorelektronik 7 ist eingerichtet, eine Datenqualität von Sensordaten, die von dem mit ihr verbundenen Umfeldsensor 2, 3 bzw. 4 erzeugt werden, zu überwachen, bei einer Verschlechterung der Datenqualität dieser Verschlechterung eine bestimmte Ursache aus verschiedenen möglichen Ursachen zuzuordnen und ein Informationssignal zu erzeugen, das eine Information zur bestimmten Ursache der Verunreinigung enthält.
  • Zudem kann jede Sensorelektronik 7 eingerichtet sein, anhand der Verschlechterung der Datenqualität des ihr zugeordneten Umfeldsensors 2, 3 bzw. 4 Wahrscheinlichkeiten zum Vorliegen der verschiedenen möglichen Ursachen zu ermitteln, diejenige Ursache mit der höchsten Wahrscheinlichkeit auszuwählen und ein Informationssignal zu erzeugen, das eine Information zur Ursache mit der höchsten Wahrscheinlichkeit und eine Information zur Wahrscheinlichkeit der Ursache mit der höchsten Wahrscheinlichkeit enthält.
  • Des Weiteren weist das System 5 eine mit den Sensorelektroniken 7 verbundene Auswertungselektronik 8 auf, die eingerichtet ist, die Ursachen gemäß den Informationssignalen auf ihre jeweilige Plausibilität zu prüfen und die Behandlungseinrichtungen 6 in Abhängigkeit der plausibelsten Ursache anzusteuern.
  • Ferner weist das System 5 eine globale Reinigungslogik 9 auf, der die Auswertungselektronik 8 eine Information zur plausibelsten Ursache der Datenqualitätsverschlechterung zuführt und über die die Auswertungselektronik 8 die Behandlungseinrichtungen 6 ansteuert.
  • Figur 2 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels für ein erfindungsgemäßes Verfahren zum Reinigen von wenigstens zwei nicht gezeigten Umfeldsensoren eines nicht gezeigten Kraftfahrzeugs, die sich in von ihnen jeweilig zum Erfassen von Umfeldinformationen eingesetzten Messprinzipien voneinander unterscheiden.
  • In Schritt 10 wird für jeden Umfeldsensor eine Überwachung einer Datenqualität von Sensordaten, die von dem jeweiligen Umfeldsensor erzeugt werden, gestartet. In Schritt 20 wird geprüft, ob eine Verschlechterung der Datenqualität der Sensordaten um ein vorgegebenes Ausmaß gegeben ist oder nicht. Ist eine Verschlechterung der Datenqualität der Sensordaten um ein vorgegebenes Ausmaß gegeben, wird in Schritt 30 der Verschlechterung der Datenqualität eine bestimmte Ursache aus verschiedenen möglichen Ursachen zugeordnet. In Schritt 40 wird ein Informationssignal erzeugt, das eine Information zur bestimmten Ursache der Verunreinigung enthält. In Schritt 50 werden die Ursachen gemäß den Informationssignalen auf ihre jeweilige Plausibilität geprüft. In Schritt 60 erfolgt die Reinigung der Umfeldsensoren in Abhängigkeit der plausibelsten Ursache. Anschließend kann die Überwachung der Datenqualität fortgesetzt werden.
  • In Schritt 30 können anhand der Verschlechterung der Datenqualität des jeweiligen Umfeldsensors Wahrscheinlichkeiten zum Vorliegen der verschiedenen möglichen Ursachen ermittelt werden. Zudem kann in Schritt 30 diejenige Ursache mit der höchsten Wahrscheinlichkeit ausgewählt werden. In Schritt 40 kann ein Informationssignal erzeugt werden, das eine Information zur Ursache mit der höchsten Wahrscheinlichkeit und eine Information zur Wahrscheinlichkeit der Ursache mit der höchsten Wahrscheinlichkeit enthält.
    • Bezugszeichenliste:
    • 1
    Kraftfahrzeug
    2
    Umfeldsensor
    3
    Umfeldsensor
    4
    Umfeldsensor
    5
    System
    6
    Behandlungseinrichtung
    7
    Sensorelektronik
    8
    Auswertungselektronik
    9
    globale Reinigungslogik
    10
    Verfahrensschritt
    20
    Verfahrensschritt
    30
    Verfahrensschritt
    40
    Verfahrensschritt
    50
    Verfahrensschritt
    60
    Verfahrensschritt

Claims (7)

  1. System (5) zum Reinigen von Umfeldsensoren (2, 3, 4) eines Kraftfahrzeugs (1), die sich in von ihnen jeweilig zum Erfassen von Umfeldinformationen eingesetzten Messprinzipien voneinander unterscheiden, aufweisend pro Umfeldsensor (2, 3, 4) wenigstens eine Behandlungseinrichtung (6) zum Entfernen einer Verunreinigung von dem Umfeldsensor (2, 3, 4) und wenigstens eine mit dem Umfeldsensor (2, 3, 4) verbundene Sensorelektronik (7), dadurch gekennzeichnet, dass jede Sensorelektronik (7) eingerichtet ist, eine Datenqualität von Sensordaten, die von dem mit ihr verbundenen Umfeldsensor (2, 3, 4) erzeugt werden, zu überwachen, bei einer Verschlechterung der Datenqualität dieser Verschlechterung eine bestimmte Ursache aus verschiedenen möglichen Ursachen zuzuordnen und ein Informationssignal zu erzeugen, das eine Information zur bestimmten Ursache der Verunreinigung enthält, ferner gekennzeichnet durch wenigstens eine mit den Sensorelektroniken (7) verbundene Auswertungselektronik (9), die eingerichtet ist, die Ursachen gemäß den Informationssignalen auf ihre jeweilige Plausibilität zu prüfen und die Behandlungseinrichtungen (6) in Abhängigkeit der plausibelsten Ursache anzusteuern.
  2. System (5) nach Anspruch 1, dadurch gekennzeichnet, dass jede Sensorelektronik (7) eingerichtet ist, anhand der Verschlechterung der Datenqualität des ihr zugeordneten Umfeldsensors (2, 3, 4) Wahrscheinlichkeiten zum Vorliegen der verschiedenen möglichen Ursachen zu ermitteln, diejenige Ursache mit der höchsten Wahrscheinlichkeit auszuwählen und ein Informationssignal zu erzeugen, das eine Information zur Ursache mit der höchsten Wahrscheinlichkeit und eine Information zur Wahrscheinlichkeit der Ursache mit der höchsten Wahrscheinlichkeit enthält.
  3. System (5) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass wenigstens ein Umfeldsensor (2, 3, 4) ein LiDAR-Sensor, ein RADAR-Sensor oder eine Kamera ist.
  4. System (5) nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass wenigstens eine Behandlungseinrichtung (6) eine Flüssigkeitsspritzeinrichtung oder eine Heizeinrichtung ist.
  5. Kraftfahrzeug (1), gekennzeichnet durch wenigstens ein System (5) nach einem der Ansprüche 1 bis 4.
  6. Verfahren zum Reinigen von wenigstens zwei Umfeldsensoren (2, 3, 4) eines Kraftfahrzeugs (1), die sich in von ihnen jeweilig zum Erfassen von Umfeldinformationen eingesetzten Messprinzipien voneinander unterscheiden, dadurch gekennzeichnet, dass für jeden Umfeldsensor (2, 3, 4) eine Datenqualität von Sensordaten, die von dem jeweiligen Umfeldsensor (2, 3, 4) erzeugt werden, überwacht wird, bei einer Verschlechterung der Datenqualität dieser Verschlechterung eine bestimmte Ursache aus verschiedenen möglichen Ursachen zugeordnet wird und ein Informationssignal erzeugt wird, das eine Information zur bestimmten Ursache der Verunreinigung enthält, und dass die Ursachen gemäß den Informationssignalen auf ihre jeweilige Plausibilität geprüft werden und die Reinigung der Umfeldsensoren (2, 3, 4) in Abhängigkeit der plausibelsten Ursache erfolgt.
  7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass anhand der Verschlechterung der Datenqualität des jeweiligen Umfeldsensors (2, 3, 4) Wahrscheinlichkeiten zum Vorliegen der verschiedenen möglichen Ursachen ermittelt werden, diejenige Ursache mit der höchsten Wahrscheinlichkeit ausgewählt werden und ein Informationssignal erzeugt wird, das eine Information zur Ursache mit der höchsten Wahrscheinlichkeit und eine Information zur Wahrscheinlichkeit der Ursache mit der höchsten Wahrscheinlichkeit enthält.
EP19722018.9A 2018-04-25 2019-04-24 Reinigung von umfeldsensoren eines kraftfahrzeugs Active EP3784534B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018206384.2A DE102018206384A1 (de) 2018-04-25 2018-04-25 Reinigung von Umfeldsensoren eines Kraftfahrzeugs
PCT/EP2019/060528 WO2019207002A1 (de) 2018-04-25 2019-04-24 Reinigung von umfeldsensoren eines kraftfahrzeugs

Publications (2)

Publication Number Publication Date
EP3784534A1 EP3784534A1 (de) 2021-03-03
EP3784534B1 true EP3784534B1 (de) 2022-02-23

Family

ID=66429328

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19722018.9A Active EP3784534B1 (de) 2018-04-25 2019-04-24 Reinigung von umfeldsensoren eines kraftfahrzeugs

Country Status (3)

Country Link
EP (1) EP3784534B1 (de)
DE (1) DE102018206384A1 (de)
WO (1) WO2019207002A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3105772A1 (fr) * 2019-12-27 2021-07-02 Valeo Systèmes D’Essuyage Dispositif de nettoyage d’organe optique de véhicule automobile, et procede de mise en œuvre d’un tel dispositif
DE102020107739B3 (de) * 2020-03-20 2021-06-02 Webasto SE Fahrzeugdach mit Umfeldsensor und Reinigungseinrichtung
EP4411412A4 (de) * 2021-09-29 2025-01-15 Koito Manufacturing Co., Ltd. Fahrzeugsensorvorrichtung

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE29516779U1 (de) * 1995-10-24 1996-01-11 Docter Optic Wetzlar GmbH, 35641 Schöffengrund Vorrichtung zur Feststellung der Lichtdurchlässigkeit von lichtdurchlässigen Scheiben
DE10048033A1 (de) * 2000-09-26 2002-05-23 Siemens Ag Reinigungsanlage für eine Scheibe und Verfahren zur Reinigung einer Scheibe
DE102005050025B4 (de) * 2005-10-19 2014-03-06 Hella Kgaa Hueck & Co. Scheibenwaschvorrichtung für eine Abschlussscheibe
DE102008008656A1 (de) * 2008-02-11 2009-08-13 Huf Hülsbeck & Fürst Gmbh & Co. Kg Kamerasystem für ein Kraftfahrzeug mit einer Kameraeinheit
CN104395156B (zh) * 2012-07-03 2017-02-22 歌乐株式会社 车辆周围监视装置
DE102012222126B4 (de) * 2012-12-04 2020-06-04 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ansteuern einer Reinigungsvorrichtung für eine Fahrzeugkamera, Verfahren zum Reinigen einer Fahrzeugkamera und Kamerasystem für ein Fahrzeug
DE102014200097A1 (de) * 2014-01-08 2015-07-09 Volkswagen Aktiengesellschaft Eine mit einer Reinigungsvorrichtung ausgestattete optische Sensorvorrichtung für ein Kraftfahrzeug sowie ein hiermit ausgestattetes Kraftfahrzeug
DE102014200219B4 (de) * 2014-01-09 2025-02-13 Continental Autonomous Mobility Germany GmbH Vorrichtung zur Reinigung eines optischen Elements eines Kamerasystems
DE102014004172A1 (de) * 2014-03-22 2014-09-18 Daimler Ag Schutzvorrichtung für eine Kamera eines Kraftwagens
DE102014015914A1 (de) * 2014-04-09 2015-10-15 Huf Hülsbeck & Fürst Gmbh & Co. Kg Kraftfahrzeugtürgriffeinheit mit Kamera
DE102014015993B4 (de) * 2014-10-28 2021-01-07 Audi Ag Kraftfahrzeug mit wenigstens einer Reinigungsvorrichtung für wenigstens eine Komponente des Kraftfahrzeugs und Verfahren zum Betreiben einer Reinigungsvorrichtung für wenigstens eine Komponente eines Kraftfahrzeugs
US9731688B2 (en) * 2014-10-31 2017-08-15 Waymo Llc Passive wiper system
DE102015210469A1 (de) * 2015-06-08 2016-12-08 Bombardier Transportation Gmbh Anordnung zum optischen Erfassen einer Umgebung eines Fahrzeugs, insbesondere eines Schienenfahrzeugs oder eines Busses, Fahrzeug mit der Anordnung und Verfahren zum Betreiben der Anordnung
DE102016212716A1 (de) * 2016-07-13 2018-01-18 Conti Temic Microelectronic Gmbh Steuervorrichtung und verfahren
DE102016218331A1 (de) * 2016-09-23 2018-03-29 Bayerische Motoren Werke Aktiengesellschaft Waschwasserdosiervorrichtung für ein Kraftfahrzeug, hiermit ausgestattetes Reinigungssystem sowie hiermit ausgestattetes Kraftfahrzeug
US10023110B1 (en) * 2017-04-21 2018-07-17 Ford Global Technologies, Llc Vehicle badge sensor assembly
US20180354469A1 (en) * 2017-06-08 2018-12-13 Ford Global Technologies, Llc Cleaning vehicle sensors

Also Published As

Publication number Publication date
DE102018206384A1 (de) 2019-10-31
WO2019207002A1 (de) 2019-10-31
EP3784534A1 (de) 2021-03-03

Similar Documents

Publication Publication Date Title
WO2018177484A1 (de) Verfahren und system zur vorhersage von sensorsignalen eines fahrzeugs
EP3784534B1 (de) Reinigung von umfeldsensoren eines kraftfahrzeugs
WO2012152268A2 (de) Redudante objektdetektion für fahrerassistenzsysteme
DE102015107392A1 (de) Verfahren zum Erfassen eines Objekts in einer Umgebung eines Kraftfahrzeugs anhand von fusionierten Sensordaten, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102009045661A1 (de) Verfahren zur Bestimmung wenigstens eines befahrbaren Bereichs in der, insbesondere für die Fahrzeugführung relevanten Umgebung eines Kraftfahrzeugs
DE102015107391A1 (de) Verfahren zum Steuern einer Funktionseinrichtung eines Kraftfahrzeugs anhand von fusionierten Sensordaten, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102018121312A1 (de) Verfahren zum teilautomatisierten Betreiben eines Fahrzeugs und Fahrerassistenzsystem
DE102010049216A1 (de) Verfahren zum Betrieb einer an einem Fahrzeug angeordneten Kamera
DE102022128082A1 (de) Selbstreinigendes Sensorsystem eines Kraftfahrzeugs
EP2885181B1 (de) Verfahren zur überwachung eines toten winkels und fahrassistenzsystem
WO2019020245A1 (de) VERFAHREN ZUM STEUERN WENIGSTENS EINER WASCHVORRICHTUNG WENIGSTENS EINES AN EINER AUßENKONTUR EINES FAHRZEUGS ANGEORDNETEN SENSORS
DE102022105303A1 (de) Reinigungseinrichtung, Dachmodul und Verfahren zum Reinigen eines Durchsichtsbereiches eines Kraftfahrzeugs
DE102014107358A1 (de) Vorrichtung und Verfahren zum Erfassen von Nässe auf einer Fahrbahn
DE102020207444B4 (de) Verfahren zur Beseitigung von äußeren Verschmutzungen an einem Fahrzeug und Fahrzeug mit einer Vorrichtung zur Beseitigung solcher Verschmutzungen
DE102017115473A1 (de) Verfahren zum Steuern einer Funktionseinrichtung eines Fahrerassistenzsystems in einem Kraftfahrzeug, Steuereinrichtung, Fahrerassistenzsystem und Kraftfahrzeug
DE102020110730A1 (de) Verfahren und Vorrichtung zur Erhöhung der Verfügbarkeit einer automatisierten Fahrfunktion oder eines Fahrerassistenzsystems
DE102012202481A1 (de) Verfahren für ein Assistenzsystem eines Fahrzeugs
DE102021201522A1 (de) Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers
DE102018003789A1 (de) Verfahren zur Vermeidung eines Steinschlags in einer Glasscheibe eines Fahrzeugs
EP1736384B1 (de) Vorrichtung und Verfahren zum Betreiben einer Sensoranordnung in einem Kraftfahrzeug
DE102025100108B3 (de) Fahrzeugflotte und Verfahren zu deren Betrieb
DE102021116807B4 (de) Verfahren zum Betreiben einer Scheibenwischeinrichtung eines Kraftfahrzeugs, Steuereinrichtung, und Kraftfahrzeug
DE102015105366A1 (de) Fahrerassistenzvorrichtung
DE102019008079A1 (de) Verfahren zum Erkennen mindestens eines Objekts in einem Fahrbereich eines Fahrzeugs, Vorrichtung eingerichtet zum Druchführen eines solchen Verfahrens, und Fahrzeug mit einer solchen Vorrichtung
DE102019117398A1 (de) Verfahren zum Überprüfen einer Reinigungsvorrichtung zum Reinigen zumindest eines Umfeldsensors einer Sensorvorrichtung eines Fahrzeugs, Recheneinrichtung sowie System

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20200917

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20211111

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502019003500

Country of ref document: DE

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1470232

Country of ref document: AT

Kind code of ref document: T

Effective date: 20220315

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20220223

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220223

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220223

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220623

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220523

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220223

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220223

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220223

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220223

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220523

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220223

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220223

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220524

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220223

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220623

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220223

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220223

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220223

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220223

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220223

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220223

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502019003500

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220223

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20220430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220223

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220424

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220430

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220430

26N No opposition filed

Effective date: 20221124

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220223

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220424

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230502

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220223

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220223

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220223

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20190424

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220223

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 1470232

Country of ref document: AT

Kind code of ref document: T

Effective date: 20240424

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20250408

Year of fee payment: 7

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20250422

Year of fee payment: 7

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240424

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220223

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20260324

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20260410

Year of fee payment: 5