EP2788917A1 - Verfahren zur auswertung von bilddaten einer fahrzeugkamera unter berücksichtigung von informationen über regen - Google Patents

Verfahren zur auswertung von bilddaten einer fahrzeugkamera unter berücksichtigung von informationen über regen

Info

Publication number
EP2788917A1
EP2788917A1 EP12805925.0A EP12805925A EP2788917A1 EP 2788917 A1 EP2788917 A1 EP 2788917A1 EP 12805925 A EP12805925 A EP 12805925A EP 2788917 A1 EP2788917 A1 EP 2788917A1
Authority
EP
European Patent Office
Prior art keywords
image data
information
evaluation
vehicle camera
rain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP12805925.0A
Other languages
English (en)
French (fr)
Inventor
Matthias Strauss
Matthias Komar
Stefan Hegemann
Dieter KRÖKEL
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Teves AG and Co OHG
Aumovio Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Continental Teves AG and Co OHG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH, Continental Teves AG and Co OHG filed Critical Conti Temic Microelectronic GmbH
Publication of EP2788917A1 publication Critical patent/EP2788917A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision

Definitions

  • the invention relates to a method for evaluating image data of a vehicle camera, which is used in particular in a driver assistance system.
  • rain sensors and light sensors are integrated to control windshield wipers or light.
  • cameras are integrated as a basis for assistance or comfort functions, is increasingly transferred to perform the rain or light detection also with the camera.
  • WO 2010/072198 A1 a rain detection with the help of a camera is described, which is used simultaneously for automotive driver assistance functions.
  • Rain detection is a bifocal optics used, which images a portion of the windshield sharp on a portion of the image sensor of the camera.
  • EP 2057583 B1 shows a camera-based
  • Driver assistance function for the automatic lighting control of headlamps which distinguishes vehicle lights of preceding or oncoming vehicles from reflectors.
  • the headlamps of the own vehicle can be controlled so automatically that dazzling of drivers of preceding and oncoming vehicles is prevented.
  • the range and distribution of the lighting through the headlights can be adapted accordingly to preceding and oncoming vehicles.
  • Object of the present invention is to meet these difficulties.
  • a basic idea of the invention is to use information from a rain or light sensor system to adapt assistant and object recognition functions from data of a vehicle camera accordingly.
  • An inventive method for evaluating image data (or a method for object recognition by means of) a vehicle camera provides that information about raindrops on a pane and / or information about detected lighting conditions in the field of vision of the vehicle camera in the evaluation of the image data (or recognition of objects ).
  • Information about raindrops is in particular their number and size, whereby also hailstones, snowflakes, ice crystals and dirt particles are regarded as raindrops in the sense of the claimed invention.
  • Information about detected lighting conditions are in particular ambient brightness (eg day / night, tunnel passage), whereby individual light sources such as street lamps or vehicle lights may be part of the detected lighting conditions.
  • the information is determined from the image data. That is, the vehicle camera also serves as a rain and / or light sensor, e.g. in a partial region of the image sensor as shown in WO 2010/072198 A1. The detection of rain and / or light conditions is now for the (further) evaluation of image data or object recognition for
  • At least one criterion eg a threshold value
  • at least one criterion for detecting edges in the image from the image data can be varied depending on the information (about raindrops on the pane and / or detected light conditions in the field of vision of the vehicle camera).
  • edge-based evaluation methods should be adjusted in their thresholds. Accordingly, several parameterizations can be provided depending on the weather situation and used depending on the detected weather conditions.
  • a quality criterion of the image data can be derived from the information, which is taken into account in the evaluation of the image data.
  • individual assistance functions can be completely switched off if the quality of the sensor signals is no longer sufficient, ie, if a minimum quality criterion of the image data is undershot.
  • assistance functions that provide a cruise control are limited in the maximum controllable speed.
  • a distance control (ACC) in heavy rain at higher speeds can no longer be activated and this is communicated to the driver.
  • the maximum activatable or controllable speed is preferably determined as a function of a quality criterion of the image data.
  • a "blockage detection” can be performed. When it rains i. d. R. the windscreen wipers on. These can cover image areas. In this case, tracking of objects in successive frames of an image sequence (object tracking) can be made more stable against dropouts of individual images. This means that objects can be classified as valid over several cycles, even if individual measurements are missing.
  • this also applies to a water surge detection, because even here objects may not be seen on individual images of a sequence of images.
  • advantageously already safely triggered functions can remain active and a triggering of new functions can be prevented.
  • vehicle rear fronts can be detected and classified with the camera.
  • the recognition works first edge-based.
  • the first step is to look for basic properties in the image such as rear lights, vehicle contours, or a shadow under the vehicle.
  • the headlight recognition can then be considered even more, because due to the darkness hardly any other properties are visible. Especially the lighting plays a decisive role in the number and quality of the measuring points.
  • the illumination limit can be used as a detection limit for safe detection of unlit objects in the vehicle environment.
  • the classification of the detected vehicles can also be adapted in their parameters or in the manner of execution to the weather situation. So special classifiers can be used for different weather conditions.
  • the signal qualities provided by the camera or other weather-dependent sensors such as e.g. Lidar or PMD (Photonic Mixing Device) delivered objects are better assessed, so in particular a quality criterion of the image data from the information on rain or light conditions can be derived.
  • Lidar or PMD Photonic Mixing Device
  • Classification algorithms can also be adapted to the extraction of color information.
  • line markers often appear as a black line on a light background, regardless of their own color (yellow / white). With this knowledge, line marker recognition algorithms can be made more robust.
  • Another possibility is to use the vehicle lighting (low beam, high beam,
  • Fog lights accordingly activate / adapt to get possibly remaining color information.
  • Preference may also special lamps that dazzle little but have the appropriate light temperature, additionally attached to the vehicle and activated.
  • For highly automated driving up to autonomous driving it is of particular interest how far into the future (or way in the direction of travel) a defined signal security can be guaranteed. Thus, highly automated systems can adjust the driving speed accordingly. A faster driving would then be possible only manually.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera. Informationen über Regentropfen auf einer Scheibe im Sichtbereich der Fahrzeugkamera werden bei der Auswertung der Bilddaten berücksichtigt.

Description

Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera unter Berücksichtigung von Informationen über Regen
Die Erfindung betrifft ein Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera, das insbesondere bei einem Fahrerassistenzsystem zum Einsatz kommt.
In vielen Fahrzeugen sind heute schon Regensensoren und Lichtsensoren integriert, um Scheibenwischer bzw. Licht anzusteuern. Da es immer mehr Fahrzeuge gibt, in die auch Kameras als Basis für Assistenz- oder Komfortfunktionen integriert sind, wird zunehmend dazu übergegangen, die Regen- bzw. Lichterkennung ebenfalls mit der Kamera durchzuführen .
In der WO 2010/072198 A1 wird eine Regenerkennung mit Hilfe einer Kamera beschrieben, die gleichzeitig für automotive Fahrerassistenzfunktionen eingesetzt wird. Zur
Regenerkennung wird eine bifokale Optik genutzt, die einen Teilbereich der Windschutzscheibe scharf auf einen Teilbereich des Bildsensors der Kamera abbildet.
EP 2057583 Bl zeigt eine kamerabasierte
Fahrerassistenzfunktion zur automatischen Lichtsteuerung von Frontscheinwerfern, die Fahrzeuglichter vorausfahrender oder entgegenkommender Fahrzeuge von Reflektoren unterscheidet. Dadurch können die Frontscheinwerfer des eigenen Fahrzeugs derart automatische gesteuert werden, dass eine Blendung von Fahrern vorausfahrender und entgegenkommender Fahrzeuge verhindert wird. Reichweite und Verteilung der Beleuchtung durch die Frontscheinwerfer können entsprechend an vorausfahrende und entgegenkommende Fahrzeuge angepasst werden.
Schwierigkeiten entstehen bei kamerabasierten
Fahrerassistenzfunktionen durch Umwelteinflüsse wie Regen oder Dunkelheit bei Nacht, die die Abbildungsqualität der Kamera deutlich beeinträchtigen können.
Aufgabe der vorliegenden Erfindung ist es, diesen Schwierigkeiten zu begegnen.
Eine Grundidee der Erfindung liegt darin, Informationen aus einer Regen- bzw. Lichtsensorik zu nutzen, um Assistenz- und Objekterkennungsfunktionen aus Daten einer Fahrzeugkamera entsprechend anzupassen.
Ein erfindungsgemäßes Verfahren zur Auswertung von Bilddaten (bzw. ein Verfahren zur Objekterkennung mittels) einer Fahrzeugkamera sieht vor, dass Informationen über Regentropfen auf einer Scheibe und/oder Informationen über erkannte Lichtverhältnisse im Sichtbereich der Fahrzeugkamera bei der Auswertung der Bilddaten (bzw. Erkennung von Objekten) berücksichtigt werden.
Informationen über Regentropfen sind insbesondere deren Anzahl und Größe, wobei auch Hagelkörner, Schneeflocken, Eiskristalle und Schmutzpartikel als Regentropfen im Sinne der beanspruchten Erfindung angesehen werden. Informationen über erkannte Lichtverhältnisse sind insbesondere Umgebungshelligkeit (z.B. Tag/Nacht, Tunneldurchfahrt) , wobei auch einzelne Lichtquellen wie beispielsweise Straßenlampen oder Fahrzeuglichter Bestandteil der erkannten Lichtverhältnisse sein können.
Vorteile werden darin gesehen, dass die Auswertung von Bilddaten bzw. die Erkennung von Objekten durch die Berücksichtigung der Informationen über Regentropfen bzw. Lichtverhältnisse zuverlässiger wird. Die
Erkennungssicherheiten von Objekten können dadurch besser abgeschätzt werden, so dass schwierige Situationen trotzdem vom Kamerasystem gemeistert werden können.
Gemäß einer bevorzugten Ausführungsform werden die Informationen (Regentropfen bzw. Lichtverhältnisse) aus den Bilddaten ermittelt werden. Das heißt die Fahrzeugkamera dient zugleich als Regen- und/oder Lichtsensor, z.B. in einem Teilbereich des Bildsensors wie in WO 2010/072198 A1 gezeigt. Die Erkennung von Regen und/oder Lichtverhältnissen wird nun für die (weitere) Auswertung von Bilddaten oder Objekterkennung für
Fahrerassistenzfunktionen berücksichtigt .
Dadurch kann insbesondere die Auswirkung von Regen und/oder Licht auf Kamerafunktionen besser abgeschätzt werden, da dieselbe Kamera die Wetter-/Lichtsituation direkt erkennt und die sich ergebenden Sichteigenschaften somit am besten abgeschätzt werden kann. Vorteilhaft kann bei der Auswertung der Bilddaten mindestens ein Kriterium (z.B. ein Schwellwert) zu einer Erkennung von Kanten im Bild aus den Bilddaten von den Informationen (über Regentropfen auf der Scheibe und/oder erkannte Lichtverhältnisse im Sichtbereich der Fahrzeugkamera) abhängig variiert werden kann.
Aus einer erkannten Regenstärke kann beispielsweise die Beeinflussung der von der Kamera gesehenen Kanten (Hell /Dunkel oder Farbübergange) abgeschätzt werden. Bei Regen fallen diese Kantenübergänge meist weicher aus, was bedeutet, dass der Gradient der Kante weniger steil ist als das ohne Regen der Fall wäre. Entsprechend sollten also kantenbasierte Auswertungserfahren in ihren Schwellwerten angepasst werden. Entsprechend können mehrere Parametrierungen, je nach Wettersituation vorgesehen werden und je nach detektierter Wetterlage genutzt werden.
Insbesondere kann aus den Informationen ein Gütekriterium der Bilddaten abgeleitet wird, das bei der Auswertung der Bilddaten berücksichtigt wird.
Bevorzugt können ab einer gewissen Regenstärke einzelne Assistenzfunktionen ganz abgeschaltet werden, wenn die Qualität der Sensorsignale nicht mehr ausreichend ist, wenn also ein minimales Gütekriterium der Bilddaten unterschritten wird.
Vorteilhaft werden Assistenzfunktionen, die eine Geschwindigkeitsregelung vorsehen, in der maximal regelbaren Geschwindigkeit begrenzt. So könnte insbesondere eine Abstandsregelung (ACC) bei starkem Regen bei höheren Geschwindigkeiten nicht mehr aktivierbar sein und dies dem Fahrer auch mitgeteilt werden. Die maximal aktivierbare oder regelbare Geschwindigkeit wird vorzugsweise in Abhängigkeit eines Gütekriteriums der Bilddaten bestimmt.
Gemäß einer vorteilhaften Ausführungsform kann eine "blockage detection" (Blockiererkennung) durchgeführt werden. Bei Regen sind i. d. R. die Scheibenwischer an. Diese können Bildbereiche überdecken. In diesem Fall kann ein Verfolgen von Objekten in aufeinanderfolgenden Bildern einer Bildfolge (Objekttracking) stabiler gegenüber Ausfällen einzelner Bilder gemacht werden. So können Objekte auch über mehrere Zyklen als valide eingestuft werden, auch wenn einzelne Messungen fehlen.
Bevorzugt gilt das auch für eine Wasserschwallerkennung, denn auch hier sind Objekte unter Umständen auf einzelnen Bildern einer Bilderfolge nicht mehr zu erkennen. Bei einem erkannten Wasserschwall können vorteilhaft bereits sicher ausgelöste Funktionen weiterhin aktiv bleiben und ein Auslösen neuer Funktionen unterbunden werden.
Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
Im Folgenden wird die Erfindung anhand von Ausführungsbeispielen näher erläutert. Mit der Kamera können z.B. Fahrzeugrückfronten erkannt und klassifiziert werden. Die Erkennung funktioniert zunächst kantenbasiert .
Im ersten Schritt wird nach grundlegenden Eigenschaften im Bild gesucht wie Rückscheinwerfern, Fahrzeugkonturen, oder einem Schatten unter dem Fahrzeug.
Da bei Regen meist keine Fahrzeugschatten vorhanden sind, kann hier z.B. größerer Wert auf die Scheinwerfer oder Kantenerkennung gelegt werden.
Bei Nacht kann die Scheinwerfererkennung dann noch stärker berücksichtigt werden, da aufgrund der Dunkelheit kaum noch andere Eigenschaften sichtbar sind. Gerade die Beleuchtung spielt eine maßgebliche Rolle bei der Anzahl und Qualität der Messpunkte.
Bei Nacht ist generell die Sichtweite einiger Funktionen praktisch auf die Scheinwerferleuchtweite begrenzt. Hier kann die Beleuchtungsgrenze als Erkennungsgrenze für sicheres Erkennen von unbeleuchteten Objekten in der Fahrzeugumgebung genutzt werden.
Im folgenden Schritt kann die Klassifikation der erkannten Fahrzeuge kann ebenfalls in ihren Parametern oder in der Ausführungsweise an die Wettersituation angepasst werden. So können spezielle Klassifikatoren für verschiedene Wetterbedingungen herangezogen werden.
Es ist hierzu beispielsweise möglich unterschiedliche Klassifikationsalgorithmen/-parameter für verschiedene Wettersituationen zu entwickeln. Auch hier wird dann der Klassifikationsalgorithmus verwendet, der für die Entsprechenden Umgebungsverhältnisse (Regen/Licht) trainiert wurde.
Entsprechend der Wettersituation können auch einzelne Erkennungsalgorithmen ausgeschaltet und anderen mehr vertraut werden.
Desweiteren können die Signalqualitäten, der von der Kamera oder anderen wetterabhängigen Sensoren wie z.B. Lidar oder PMD (Photonic Mixing Device) gelieferten Objekte besser eingeschätzt werden, so kann insbesondere ein Gütekriterium der Bilddaten aus den Informationen zu Regen- bzw. Lichtverhältnissen abgeleitet werden.
Neben der Kantenerkennung und den
Klassifikationsalgorithmen kann auch die Gewinnung von Farbinformationen angepasst werden.
So erscheinen Linienmarkierung bei Nacht und Regen beispielsweise oft als schwarze Linie auf hellem Grund und das sogar unabhängig von ihrer eigenen Farbe (Gelb / Weiß) . Mit diesem Wissen, können Algorithmen zur Linienmarkierungserkennung robuster ausgelegt werden.
Eine andere Möglichkeit besteht darin, die Fahrzeugbeleuchtung (Abblendlicht, Fernlicht,
Nebelscheinwerfer) entsprechend zu aktivieren/adaptieren, um möglicherweise noch verbleibende Farbinformationen zu erhalten. Bevorzugt können auch spezielle Lampen, die wenig blenden aber die entsprechende Lichttemperatur haben, zusätzlich am Fahrzeug angebracht und aktiviert werden. Für hoch automatisiertes Fahren bis hin zum autonomen Fahren ist von besonderem Interesse, wie weit in die Zukunft (bzw. Weg in Fahrtrichtung) eine definierte Signalsicherheit gewährleistet werden kann. Somit können hoch automatisierte Systeme die Fahrtgeschwindigkeit entsprechend anpassen. Eine zügigere Fahrweise wäre dann nur manuell möglich.

Claims

Patentansprüche
1. Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera, bei dem Informationen über Regentropfen auf einer Scheibe im Sichtbereich der Fahrzeugkamera bei der Auswertung der Bilddaten berücksichtigt werden.
2. Verfahren nach Anspruch 1, wobei Informationen über Lichtverhältnisse bei der Auswertung der Bilddaten berücksichtigt werden.
3. Verfahren nach Anspruch 1 oder 2, wobei die Informationen aus den Bilddaten der Fahrzeugkamera ermittelt werden.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei bei der Auswertung der Bilddaten mindestens ein Kriterium zu einer Erkennung von Kanten im Bild aus den Bilddaten in Abhängigkeit von den Informationen variiert werden kann.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei bei der Auswertung der Bilddaten in Abhängigkeit von den Informationen eine Klassifikation von Objekten durchgeführt wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei aus den Informationen ein Gütekriterium der Bilddaten abgeleitet wird, das bei der Auswertung der Bilddaten berücksichtigt wird.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei aus den Informationen über Regentropfen auf der Scheibe im Sichtbereich der Fahrzeugkamera ein Wasserschwall erkannt und bei der Auswertung der Bilddaten berücksichtigt wird.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei aus den Informationen über Regentropfen auf der Scheibe im Sichtbereich der Fahrzeugkamera bei der Auswertung der Bilddaten berücksichtigt wird, dass Scheibenwischer bei einzelnen Bildern einer Bilderfolge Bildbereiche überdecken können.
9. Verfahren nach einem der Ansprüche 6 bis 8, wobei eine Abschaltung von Fahrerassistenzfunktionen vorgenommen wird, wenn ein minimales Gütekriterium der Bilddaten nicht mehr gegeben ist.
10. Verfahren nach einem der Ansprüche 6 bis 9, wobei eine Geschwindigkeitsbegrenzung einer Abstandsfolgeregelung vorgenommen wird in Abhängigkeit des aus den Bilddaten abgeleiteten Gütekriteriums.
EP12805925.0A 2011-12-05 2012-11-16 Verfahren zur auswertung von bilddaten einer fahrzeugkamera unter berücksichtigung von informationen über regen Withdrawn EP2788917A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011056051A DE102011056051A1 (de) 2011-12-05 2011-12-05 Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera unter Berücksichtigung von Informationen über Regen
PCT/DE2012/100350 WO2013083120A1 (de) 2011-12-05 2012-11-16 Verfahren zur auswertung von bilddaten einer fahrzeugkamera unter berücksichtigung von informationen über regen

Publications (1)

Publication Number Publication Date
EP2788917A1 true EP2788917A1 (de) 2014-10-15

Family

ID=47429482

Family Applications (1)

Application Number Title Priority Date Filing Date
EP12805925.0A Withdrawn EP2788917A1 (de) 2011-12-05 2012-11-16 Verfahren zur auswertung von bilddaten einer fahrzeugkamera unter berücksichtigung von informationen über regen

Country Status (5)

Country Link
US (1) US9508015B2 (de)
EP (1) EP2788917A1 (de)
JP (1) JP2015510155A (de)
DE (2) DE102011056051A1 (de)
WO (1) WO2013083120A1 (de)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011103302A1 (de) 2011-06-03 2012-12-06 Conti Temic Microelectronic Gmbh Kamerasystem für ein Fahrzeug
DE102012215287A1 (de) * 2012-08-29 2014-05-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Fahrzeugs
DE102014209629A1 (de) * 2014-05-21 2015-11-26 Conti Temic Microelectronic Gmbh Verfahren und Fahrerassistenzsystem zur Umfeldüberwachung eines Fahrzeugs
KR102368812B1 (ko) * 2015-06-29 2022-02-28 엘지전자 주식회사 차량 운전 보조 방법 및 차량
CN112970029B (zh) * 2018-09-13 2024-06-07 辉达公司 用于自主机器应用中传感器视盲检测的深度神经网络处理
WO2020112213A2 (en) * 2018-09-13 2020-06-04 Nvidia Corporation Deep neural network processing for sensor blindness detection in autonomous machine applications
DE102018218733B4 (de) 2018-10-31 2025-03-13 Robert Bosch Gmbh Verfahren zur Unterstützung einer kamerabasierten Umfelderkennung eines Fortbewegungsmittels mittels einer Strassennässeinformation eines ersten Ultraschallsensors
DE102020106377A1 (de) 2020-03-09 2021-09-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Assistenzsystems, sowie Assistenzsystem
CN112414665B (zh) * 2020-09-30 2023-06-09 中汽研（天津）汽车工程研究院有限公司 用于车辆侧窗雨水视野管理性能的风洞试验及评价方法
DE102020215859A1 (de) 2020-12-15 2022-06-15 Conti Temic Microelectronic Gmbh Korrektur von Bildern einer Kamera bei Regen, Lichteinfall und Verschmutzung
DE102020215860A1 (de) 2020-12-15 2022-06-15 Conti Temic Microelectronic Gmbh Korrektur von Bildern eines Rundumsichtkamerasystems bei Regen, Lichteinfall und Verschmutzung
US12570282B2 (en) 2021-09-29 2026-03-10 Nvidia Corporation Visibility distance estimation using deep learning in autonomous machine applications
US20230115240A1 (en) * 2021-10-13 2023-04-13 Arriver Software Llc Advanced driver-assistance systems feature activation control using digital map and on-board sensing to confirm safe vehicle operation
US12555385B2 (en) 2021-12-02 2026-02-17 Nvidia Corporation Deep learning based operational domain verification using camera-based inputs for autonomous systems and applications
US12614122B2 (en) 2021-12-30 2026-04-28 Y.E. Hub Armenia LLC Method and a system of determining LiDAR data degradation degree

Family Cites Families (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4417385A1 (de) 1994-05-18 1995-11-23 Vdo Schindling Anordnung zur Steuerung eines Scheibenwischers, insbesondere für Kraftfahrzeuge
EP0691534B1 (de) 1994-07-06 2001-12-12 Volkswagen Aktiengesellschaft Verfahren zur Ermittlung der Sichtweite, insbesondere für die Bewegung eines Kraftfahrzeuges
JPH0830898A (ja) 1994-07-20 1996-02-02 Fujitsu Ltd 画像解析装置
DE19504606C2 (de) 1995-02-11 1999-01-07 Kostal Leopold Gmbh & Co Kg Optoelektronische Einrichtung zur Erfassung von auf der Außenseite einer transparenten Scheibe sich ablagerndem Niederschlag
JPH09189533A (ja) 1996-01-11 1997-07-22 Tokai Rika Co Ltd 付着物センサ及び付着物感応ワイパ
EP0879158B1 (de) 1996-02-13 1999-07-28 Marquardt GmbH Optischer sensor
JPH1090188A (ja) 1996-09-13 1998-04-10 Mitsuba Corp 画像認識装置
US6681163B2 (en) * 2001-10-04 2004-01-20 Gentex Corporation Moisture sensor and windshield fog detector
US5923027A (en) 1997-09-16 1999-07-13 Gentex Corporation Moisture sensor and windshield fog detector using an image sensor
DE19740364A1 (de) 1997-09-13 1999-03-25 Bosch Gmbh Robert Vorrichtung und Verfahren zum Betreiben eines Regensensors
DE19749331A1 (de) 1997-11-07 1999-05-20 Kostal Leopold Gmbh & Co Kg Verfahren zum Detektieren von auf einer Windschutzscheibe befindlichen Objekten sowie Vorrichtung
DE19803694C1 (de) 1998-01-30 1999-04-22 Kostal Leopold Gmbh & Co Kg Verfahren zum Detektieren von auf einer lichtdurchlässigen Scheibe befindlichen Objekten sowie Vorrichtung
DE19861428B4 (de) 1998-03-17 2008-01-10 Robert Bosch Gmbh Optischer Sensor
DE19909987C2 (de) 1999-03-06 2003-04-10 Kostal Leopold Gmbh & Co Kg Anordnung zum Detektieren von auf einer Windschutzscheibe eines Kraftfahrzeuges befindlichen Objekten
JP2001160146A (ja) 1999-12-01 2001-06-12 Matsushita Electric Ind Co Ltd 画像認識方法および画像認識装置
JP4414054B2 (ja) * 2000-03-27 2010-02-10 本田技研工業株式会社 物体認識装置
US6392218B1 (en) 2000-04-07 2002-05-21 Iteris, Inc. Vehicle rain sensor
FR2810605B1 (fr) 2000-06-22 2002-09-20 Valeo Systemes Dessuyage Equipement de commande automatique de nettoyage d'une surface de plaque presentant des etats de salissure varies, et procede de mise en oeuvre
US6614043B2 (en) 2001-04-16 2003-09-02 Valeo Electrical Systems, Inc. Imaging rain sensor illumination positioning system
US6617564B2 (en) 2001-10-04 2003-09-09 Gentex Corporation Moisture sensor utilizing stereo imaging with an image sensor
DE10201522A1 (de) 2002-01-17 2003-07-31 Bosch Gmbh Robert Verfahren und Vorrichtung zur Erkennung von Sichtbehinderungen bei Bildsensorsystemen
DE10301468B4 (de) * 2002-01-18 2010-08-05 Honda Giken Kogyo K.K. Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs
JP3641250B2 (ja) 2002-04-23 2005-04-20 三菱電機株式会社 透光体表面の異物検出装置
DE10219788C1 (de) * 2002-05-03 2003-11-13 Bosch Gmbh Robert Verfahren und Vorrichtung zur Sichtweitenmessung mit Bildsensorsystemen
JP2005531752A (ja) 2002-05-18 2005-10-20 エルモス セミコンダクタ アーゲー 雨検出装置
DE10230200A1 (de) 2002-07-05 2004-01-22 Robert Bosch Gmbh Verfahren und Vorrichtung zur Detektion von auf einer Oberfläche eines transparenten Elements sich befindenden Objekten
US8180099B2 (en) 2002-07-16 2012-05-15 Trw Limited Rain detection apparatus and method
DE10303047A1 (de) 2003-01-24 2004-08-05 Daimlerchrysler Ag Verfahren und Vorrichtung zur Sichtverbesserung und zur Bestimmung der Wettersituation
DE10303046A1 (de) 2003-01-24 2004-10-21 Daimlerchrysler Ag Verfahren und Vorrichtung zur quantitativen Abschätzung der Sichtweite in Fahrzeugen
DE10316794A1 (de) 2003-04-11 2004-11-11 Audi Ag Regensensor und Verfahren zum Erkennen von Feuchtigkeit auf der Windschutzscheibe eines Kraftfahrzeugs
WO2004106858A1 (ja) * 2003-05-29 2004-12-09 Olympus Corporation ステレオカメラシステム及びステレオ光学モジュール
JP4326999B2 (ja) 2003-08-12 2009-09-09 株式会社日立製作所 画像処理システム
JP2005225250A (ja) 2004-02-10 2005-08-25 Murakami Corp 車載用監視装置
JP2005233728A (ja) 2004-02-18 2005-09-02 Denso Corp 光センサ装置
US7458976B2 (en) 2005-03-02 2008-12-02 Advanced Medical Optics, Inc. Devices and methods for storing, loading, and delivering an intraocular lens
DE102004015040A1 (de) 2004-03-26 2005-10-13 Robert Bosch Gmbh Kamera in einem Kraftfahrzeug
JP2005292544A (ja) 2004-04-01 2005-10-20 Matsushita Electric Ind Co Ltd 焦点調整機構
JP3934119B2 (ja) 2004-06-14 2007-06-20 本田技研工業株式会社 車両周辺監視装置
DE102004037871B4 (de) 2004-08-04 2006-10-12 Siemens Ag Optisches Modul für ein den Außenvorraum in Fahrtrichtung eines Kraftfahrzeuges erfassendes Assistenzsystem
WO2006024247A1 (de) 2004-09-03 2006-03-09 Adc Automotive Distance Control Systems Gmbh Verfahren zur detektion von niederschlag auf einer scheibe
JP4241561B2 (ja) 2004-09-28 2009-03-18 株式会社デンソー 雨滴検出装置
JP2006184844A (ja) 2004-12-03 2006-07-13 Tochigi Nikon Corp 結像光学系及びこれを用いた撮像装置
DE102005004513A1 (de) 2005-01-31 2006-03-09 Daimlerchrysler Ag Detektion von Niederschlägen auf Oberflächen, insbesondere auf der Oberfläche der Windschutzscheibe eines Kraftfahrzeuges
JP4479532B2 (ja) 2005-02-17 2010-06-09 株式会社デンソー 夜間画像による霧検出装置
US7660517B2 (en) 2005-03-16 2010-02-09 The Trustees Of Columbia University In The City Of New York Systems and methods for reducing rain effects in images
US7253898B2 (en) 2005-03-31 2007-08-07 Hitachi, Ltd. System for detecting droplets on a translucent surface
JP4353127B2 (ja) 2005-04-11 2009-10-28 株式会社デンソー レインセンサ
DE102005035812A1 (de) 2005-07-27 2007-02-08 Adc Automotive Distance Control Systems Gmbh Verfahren zur Erkennung von Verschmutzungen auf einer transparenten Scheibe
US7804980B2 (en) * 2005-08-24 2010-09-28 Denso Corporation Environment recognition device
DE602005004544T2 (de) 2005-09-19 2008-04-30 CRF Società Consortile per Azioni, Orbassano Multifunktioneller optischer Sensor mit einer an Mikrolinsen gekoppelten Matrix von Photodetektoren
DE102006008274B4 (de) 2006-02-22 2021-11-25 Continental Automotive Gmbh Kraftfahrzeug mit einer optischen Erfassungsvorrichtung und Verfahren zum Betreiben eines Kraftfahrzeugs
JP5022609B2 (ja) * 2006-02-27 2012-09-12 日立オートモティブシステムズ株式会社 撮像環境認識装置
DE102006010671A1 (de) 2006-03-08 2007-09-13 Leopold Kostal Gmbh & Co. Kg Kameraanordnung für ein Kraftfahrzeug
US20070216768A1 (en) 2006-03-14 2007-09-20 Ford Global Technologies, Llc Device and method for outwardly looking ir camera mounted inside vehicles particularly suited for pre-crash sensing and pedestrian detection
JP4668838B2 (ja) 2006-05-16 2011-04-13 株式会社日本自動車部品総合研究所 雨滴検出装置およびワイパー制御装置
FR2901218B1 (fr) 2006-05-22 2009-02-13 Valeo Vision Sa Procede de detection de pluie sur un parebrise
FR2908527B1 (fr) 2006-11-15 2009-01-16 Valeo Vision Sa Capteur photosensible dans le domaine automobile
DE102006055908A1 (de) 2006-11-27 2008-05-29 Adc Automotive Distance Control Systems Gmbh Verfahren zur automatischen Fernlichtsteuerung
JP4654208B2 (ja) * 2007-02-13 2011-03-16 日立オートモティブシステムズ株式会社 車載用走行環境認識装置
CN101861542B (zh) 2007-08-04 2016-04-20 全视技术有限公司 多区域成像系统
US7889086B2 (en) 2007-09-28 2011-02-15 Hella Kgaa Camera arrangement in a motor vehicle
JP4930316B2 (ja) 2007-10-05 2012-05-16 株式会社デンソー 雨滴量検出装置およびそれを用いたワイパ制御装置、ヘッドライト制御装置
DE502007004154D1 (de) 2007-11-21 2010-07-29 Delphi Tech Inc Optisches Modul
DE102007061725A1 (de) 2007-12-20 2009-06-25 Robert Bosch Gmbh Verfahren zur Plausibilitätsprüfung wenigstens eines Lichtdetektors einer Fahrlichtassistenzvorrichtung eines Kraftfahrzeugs
EP2277751A2 (de) 2008-04-21 2011-01-26 Fsc Co., Ltd. Regentropfensensor
DE102008001679A1 (de) * 2008-05-09 2009-11-12 Robert Bosch Gmbh Verfahren und Vorrichtung zur Verarbeitung von aufgenommenen Bildinformationen aus einem Fahrzeug
JP5359175B2 (ja) 2008-10-16 2013-12-04 株式会社デンソー 視界状態検知装置および視界確保装置
DE102008043737A1 (de) 2008-11-14 2010-05-20 Robert Bosch Gmbh Vorrichtung und Verfahren zur Detektion von Regentropfen auf einer Scheibe
DE102008062977A1 (de) 2008-12-23 2010-06-24 Adc Automotive Distance Control Systems Gmbh Optisches Modul mit multifokaler Optik zur Erfassung von Fern- und Nahbereich in einem Bild
DE102009000003A1 (de) 2009-01-02 2010-07-08 Robert Bosch Gmbh Kameraanordnung zur Erfassung eines Scheibenzustandes einer Fahrzeugscheibe
DE102009000005A1 (de) 2009-01-02 2010-07-08 Robert Bosch Gmbh Kameraanordnung und Verfahren zur Erfassung einer Fahrzeugumgebung
DE102009000004A1 (de) 2009-01-02 2010-07-08 Robert Bosch Gmbh Kameraanordnung für ein Kraftfahrzeug und Kraftfahrzeug mit einer Kameraanordnung
JP5216010B2 (ja) 2009-01-20 2013-06-19 本田技研工業株式会社 ウインドシールド上の雨滴を同定するための方法及び装置
US8466960B2 (en) 2009-02-16 2013-06-18 Ricoh Company, Ltd. Liquid droplet recognition apparatus, raindrop recognition apparatus, and on-vehicle monitoring apparatus
EP2230496A1 (de) * 2009-03-16 2010-09-22 Autoliv Development AB Verfahren und System zum automatischen Detektieren von vor einem Fahrzeug befindlichen Objekten
DE112010001879A5 (de) 2009-07-06 2012-10-11 Conti Temic Microelectronic Gmbh Optisches Modul zur gleichzeitigen Fokussierung auf zwei Sichtbereiche
KR20110060495A (ko) 2009-11-30 2011-06-08 동양기전 주식회사 광 산란을 이용한 레인 센서
FR2956236B1 (fr) 2010-02-09 2012-11-30 France Etat Ponts Chaussees Procede et dispositif de detection de gouttes dans une image numerique; programme d'ordinateur pour la mise en oeuvre de ce procede.
JP5016073B2 (ja) 2010-02-12 2012-09-05 株式会社デンソー 白線認識装置
US8362453B2 (en) 2010-02-24 2013-01-29 Niles Co., Ltd. Rain sensor
JP5944405B2 (ja) 2010-11-30 2016-07-05 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ カメラ及び照明による窓ガラス上の雨滴の検出
US8700299B2 (en) * 2011-02-24 2014-04-15 Mitsubishi Electric Corporation Navigation device, recommended speed arithmetic device, and recommended speed presentation device
DE102011103302A1 (de) 2011-06-03 2012-12-06 Conti Temic Microelectronic Gmbh Kamerasystem für ein Fahrzeug
JP5561333B2 (ja) 2011-11-02 2014-07-30 株式会社リコー 画像処理装置、撮像方法、プログラムおよび車両
DE102012200200B4 (de) 2012-01-09 2020-09-17 Robert Bosch Gmbh Kamerasystem, insbesondere für ein Fahrzeug, sowie ein Fahrzeug
DE102014209197B4 (de) 2014-05-15 2024-09-19 Continental Autonomous Mobility Germany GmbH Vorrichtung und Verfahren zum Erkennen von Niederschlag für ein Kraftfahrzeug

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2013083120A1 *

Also Published As

Publication number Publication date
JP2015510155A (ja) 2015-04-02
US9508015B2 (en) 2016-11-29
WO2013083120A1 (de) 2013-06-13
US20150220792A1 (en) 2015-08-06
DE102011056051A1 (de) 2013-06-06
DE112012005077A5 (de) 2014-09-04

Similar Documents

Publication Publication Date Title
EP2788917A1 (de) Verfahren zur auswertung von bilddaten einer fahrzeugkamera unter berücksichtigung von informationen über regen
DE102011088130B4 (de) Verfahren und Vorrichtung zur Erkennung einer Bremssituation
EP2864157B1 (de) Verfahren zur automatischen anpassung einer fahrzeugbeleuchtung an eine umgebung des fahrzeugs, beleuchtungsvorrichtung und fahrzeug mit beleuchtung
DE102014214097B4 (de) Verfahren und Vorrichtung zum Steuern einer Lichtaussendung zumindest eines Scheinwerfers eines Fahrzeugs
DE102014212162A1 (de) Frontscheinwerfersteuerungsvorrichtung
DE102012209810A1 (de) Verfahren und Steuergerät zur Erkennung einer Wetterbedingung in einem Umfeld eines Fahrzeugs
EP2748035B1 (de) Verfahren und steuergerät zum anpassen einer leuchtstärke zumindest eines scheinwerfers eines fahrzeugs
DE102011077038A1 (de) Verfahren und Vorrichtung zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs
DE102009039179A1 (de) Scheinwerfersteuervorrichtung und Fahrzeugscheinwerfer mit Scheinwerfersteuervorrichtung
DE102012209514A1 (de) Verfahren und Vorrichtung zur Detektion einer Sichtbeeinträchtigung einer Scheibe
DE102013226760A1 (de) Verfahren und Vorrichtung zur Erkennung von Objektreflexionen
EP1757485A1 (de) Verfahren zur Steuerung der Leuchtweite der Scheinwerfer eines Kraftfahrzeuges
DE102015003960A1 (de) Verfahren zum Bestimmen einer Sichtweite für ein Fahrzeug bei Nebel
DE112010006014T5 (de) Umweltschätzungsvorrichtung und Fahrzeugsteuerungssystem
DE102011081362A1 (de) Verfahren und Vorrichtung zur Ermittlung eines Oberflächenzustands einer von einem Fahrzeug befahrenen oder zu befahrenden Fahrbahn
DE212013000187U1 (de) System Abbildung einer Aussenszene durch Verwendung eines anwendungsspezifischen Bildsensors
DE102004061831A1 (de) Verfahren und Vorrichtung zur kombinierten Auswertung der Signale eines Regensensors und einer Kamera
CN104276076B (zh) 一种智能车前灯系统
DE10104734A1 (de) Verfahren zur Steuerung technischer Einrichtungen auf Grundlage von Bilddaten
DE102013022050A1 (de) Verfahren zum Verfolgen eines Zielfahrzeugs, insbesondere eines Motorrads, mittels eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102013002320B4 (de) Verfahren und Vorrichtung zur Unterstützung eines Fahrzeugführers nach einer Blendung im Straßenverkehr
CN111376820A (zh) 一种车灯自动控制系统
DE102012010888B4 (de) Verfahren zur Steuerung eines Kraftfahrzeugbremslichts und ein Kraftfahrzeug
KR100660561B1 (ko) 비전기반 지능형 스마트 와이퍼 시스템 및 그 제어방법
EP2748759A1 (de) Verfahren und vorrichtung zum erkennen von störobjekten in der umgebungsluft eines fahrzeugs

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20140707

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: CONTI TEMIC MICROELECTRONIC GMBH

Owner name: CONTINENTAL TEVES AG & CO. OHG

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

18W Application withdrawn

Effective date: 20190219