EP4684372A1 - Diverse redundanz zur absicherung von fahrzeugkameras - Google Patents

Diverse redundanz zur absicherung von fahrzeugkameras

Info

Publication number
EP4684372A1
EP4684372A1 EP24714830.7A EP24714830A EP4684372A1 EP 4684372 A1 EP4684372 A1 EP 4684372A1 EP 24714830 A EP24714830 A EP 24714830A EP 4684372 A1 EP4684372 A1 EP 4684372A1
Authority
EP
European Patent Office
Prior art keywords
event
image
camera
computing unit
format
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP24714830.7A
Other languages
English (en)
French (fr)
Inventor
Alexander Hanuschkin
Christian Herzog
Felix Ehret
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Mercedes Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes Benz Group AG filed Critical Mercedes Benz Group AG
Publication of EP4684372A1 publication Critical patent/EP4684372A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras

Definitions

  • the invention relates to a system for a vehicle for visual environment detection, as well as a vehicle with such a system.
  • An event-based camera also known as a neuromorphic camera, silicon retina or dynamic vision sensor (abbreviated to "DVS"), comprises an image sensor that reacts to local changes in brightness.
  • Event-based cameras do not capture images with a shutter like frame-based cameras. Instead, pixels of an event-based camera are asynchronous and independent. They basically remain silent, but react independently of one another to changes in brightness in the environment of the event-based camera. To do this, each pixel stores a reference brightness and compares it with the new brightness level.
  • WO 2022/258430 A1 relates to a method for characterizing a dynamic image sensor, DVS, comprising: converting individual images of a scene generated by an image sensor into events of the scene based on conversion parameters characterizing the DVS;
  • the object of the invention is to make visual environment detection of an automated vehicle safer.
  • a first aspect of the invention relates to a system for a vehicle for visual environment detection, comprising a frame-based camera for generating a camera image and an event-based camera for generating event-based image information, and comprising a computing unit which is designed to generate an event image from image information of the event-based camera, and to transform at least one of the camera image and the event image for a common point in time of environment detection by the frame-based camera and by the event-based camera in such a way that the camera image and the event image associated with the point in time of environment detection are in a common format, and to check the camera image and the event image in the common format for deviations from one another. to compare and to determine the existence of an error if a measure of deviations above a given comparison condition is exceeded.
  • Sensor elements of the event-based camera initially provide image information. This is then converted into a respective event image. This conversion can take place in the event-based camera itself if it is appropriately equipped and has the necessary computing power - in this case, a computing module of the event-based camera is part of the computing unit. However, this conversion can also take place in the computing unit implemented encapsulated by the event-based camera in its function as a central control device.
  • the computing unit is designed to generate an event image from image information of the event-based camera.
  • the respective "event images” are temporally aggregated event information (e.g. a histogram of all events or a temporal average of the events over a certain period of time for each pixel of the event-based camera, the polarity of the last event of each pixel, etc.).
  • incoming image information with events in particular are aggregated temporally and/or locally to form the respective event images, whereby local aggregation is an aggregation of events for individual pixel positions or regions around a pixel position and temporal aggregation can weight and take into account the time difference of the event to the current point in time, e.g.
  • a histogram can be created for each pixel of the event-based camera (e.g. 5 events at position xi, yi in the last 5 seconds), whereby the events of the event-based camera are summed up over a fixed period of time dt (possibly weighted in time) and thus an event image is generated in the journals dt.
  • a temporal aggregation can be the number of all events of the event-based camera (e.g.
  • a spatial aggregation can be the number of all events of the event-based camera at a position of the sensor of the event-based camera or a region of the sensor at the current time to.
  • a function/map trained and used with machine learning methods to aggregate a number of recent events and their times on each pixel.
  • visual environment detection also includes visual interior detection of a vehicle interior.
  • two different systems are used for the visual detection of the surroundings of an automated vehicle, namely an event-based camera and a frame-based camera, which enable the same or at least similar functions for the automated vehicle (e.g. object detection, gesture recognition, etc.) and can thus be designed redundantly.
  • the event-based camera typically processes local relative light intensity changes directly and asynchronously, which are aggregated to form the event images.
  • the frame-based camera e.g. CCD, APS
  • CCD, APS typically processes the information about the light intensities on the sensor on an image or frame basis with a fixed or adaptive frame rate.
  • Mutual function monitoring of the other camera system is possible, however, since the sensor information can be mutually translated or mapped, at least approximately.
  • the combination of a frame-based camera and an event-based camera not only provides redundancy through the use of different systems, but also fundamentally differs system properties with regard to the application on a vehicle.
  • the event-based camera has a higher temporal resolution and a lower latency and a higher bandwidth (the so-called "dynamic range"), i.e.
  • situations with lighting conditions that are difficult for frame-based cameras to cover such as driving through tunnels, driving at night, driving in bright sunshine on an ice lake and a blinding sun, can be easily recorded by the event-based camera.
  • the frame-based camera is mainly used in lighting conditions that are good for this camera, and that the event-based camera is used to ensure functionality in lighting conditions that are bad for the frame-based camera or when there are fast objects (a relatively high time resolution of the event-based camera can be used here).
  • both camera systems are largely redundant, but also complement each other in the peripheral areas of their performance capabilities.
  • the common format is the format of the camera image
  • the computing unit is designed to transform the event image into the format of the camera image
  • the common format is the format of the event image
  • the computing unit is designed to transform the camera image into the format of the event image
  • an aggregated event image of the event-based camera is generated from a sequence of camera images of the frame-based camera by means of a corresponding transformation.
  • machine learning methods e.g. by using a "convolutional neural network", abbreviated to CNN
  • CNN convolutional neural network
  • a model is learned using training data from the camera images from a frame-based camera installed in the vehicle and the aggregated event image of the event-based camera installed in the vehicle using supervised learning.
  • a mapping using a method known in the field for converting camera images using logarithmic scaling of the image intensity information, difference formation and threshold exceedance can be used and serve as a starting point for training the CNN, for example.
  • generic models i.e. based on the types of frame-based / event-based cameras installed in the vehicle and their intended orientations in the vehicle, can be created during the development of the vehicle.
  • These generic models can be retrained in the user's vehicle, i.e. individualized, to take into account or map variations in the cameras and the orientation of the cameras, i.e. the individual cameras installed in the vehicle and possibly slightly deviating from the intended camera specification and orientation.
  • event-based cameras typically process local relative light intensity changes directly and send these information packets to the corresponding modules of the computing unit.
  • incoming events from the event-based camera are aggregated temporally and/or locally to form event images.
  • Frame-based cameras e.g. of the "Charged Coupled Device” (CCD) or "Active Pixel Sensor” (APS) type
  • CCD Charge Coupled Device
  • APS Active Pixel Sensor
  • the computing unit is designed to carry out two comparisons for deviations by means of transformation into two different common formats, wherein the first common format is the format of the camera image, and wherein the second common format is the format of the event image, wherein the computing unit is designed to determine the presence of an error case in the case of a) when at least one measure for the deviations of the comparisons exceeds the predetermined comparison condition, or alternatively b) when an average of the measures for the deviations over the predetermined comparison condition, weighted across the comparisons, is exceeded.
  • the computing unit is designed to adapt the weightings of the weighted mean in the case of application of b) to the quality of the respective transformation used.
  • the predetermined comparison condition comprises a limit value.
  • the predetermined comparison condition comprises a context-dependent limit value, wherein the computing unit is designed to determine the level of the limit value depending on the situation.
  • the threshold values are context-dependent in order to take into account, for example, the poorer dynamic range of the frame-based camera, e.g. the threshold value is set higher in the dark than in daylight.
  • the comparison condition preferably comprises a respective sub-threshold value for each pixel individually, so that inaccuracies at the sensor edges or in areas with different detection ranges FOV (abbreviation for "field of view") of the event-based camera and the frame-based camera can be taken into account, e.g. by setting the respective sub-threshold value of a pixel to infinity when the FOV does not overlap.
  • FOV abbreviation for "field of view
  • the computing unit is designed to carry out a pairwise comparison of pixel information when comparing for deviations in order to be able to detect pixel errors and/or contamination of the frame-based camera and/or the event-based camera.
  • the computing unit is designed to i) control an output unit of the vehicle to output a warning to the driver or user of the vehicle when the presence of an error is determined, and/or ii) control a vehicle subsystem using the respective camera image and/or the respective event image to switch off or switch to an emergency control program.
  • the computing unit is designed to determine a mean square deviation of individual pixels and/or deviations in a limited local spread, e.g. weighted with a 2D Gaussian distribution centered around the individual pixels, for comparing the deviations.
  • the computing unit is designed to generate a first artificial neural network for the transformation, and in the case of the transformation of the event image into the format of the camera image, to apply a second artificial neural network for the transformation.
  • the computing unit is designed to aggregate determined deviations over a predetermined period of time. This ensures that spontaneous and gradual deterioration can be distinguished and an error reaction can be adapted accordingly, for example a lower threshold value is used by the computing unit for spontaneous than for gradual deterioration.
  • the computing unit does not react to the first threshold value exceedance by detecting an error, but logs further threshold value exceedances and aggregates them (e.g. in a temporal histogram).
  • the evaluation of the aggregated information can be used to distinguish between gradual deterioration (e.g. pixel errors) and spontaneous deterioration (e.g. due to contamination), thus improving the robustness of the detection of an error.
  • a further aspect of the invention relates to a vehicle with a system as described above and below.
  • Fig. 1 A vehicle with a diversely redundant system for visual environment detection according to an embodiment of the invention.
  • the representations in the figure are schematic and not to scale.
  • Fig. 1 shows a vehicle from a bird's eye view with a system for visual environment detection, which has a frame-based camera 1 for generating a camera image and an event-based camera 3 for generating event-based image information.
  • a computing unit 5 of the vehicle generates a respective event image from the image information of the event-based camera 3. This is done at a predetermined frequency at repeated time intervals, so that a respective video is effectively generated by both the frame-based camera and the event-based camera.
  • the computing unit 5 has assembled the image information of the event-based camera into a respective event image, the computing unit 5 has an event image and a camera image available, each relating to one of many points in time of the continued detection of the vehicle's environment.
  • the computing unit 5 transforms the camera image and/or the event image so that both are in a comparable format. In the example of Fig. 1, this may be done twice and in both directions, so that the camera image is transformed once so that the camera image is in the format of the event image, and the event image is also transformed so that it is in the format of the camera image. This enables the computing unit 5 to compare the original event image with the camera image transformed into the format of the event image in a first comparison and the original camera image with the event image transformed into the format of the camera image in a second comparison for deviations from each other.
  • Different sensor systems (frame-based camera and event-based camera) are thus used systematically to collect data from the environment detection in various redundant ways, and these differently collected data are checked against each other bidirectionally and pixel by pixel. If a measure for the deviations of the pixels exceeds a predetermined comparison condition, the presence of an error is determined and, depending on which vehicle subsystem uses the visual environment detection, an appropriate reaction is initiated.
  • a simple warning can be issued to the vehicle driver; for safety-critical systems, in addition to the warning, an emergency control mode of the vehicle subsystem used can be activated.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein System für ein Fahrzeug zur visuellen Umfelderfassung, aufweisend eine Frambasierende Kamera (1) zur Erzeugung eines Kamerabildes und eine Eventbasierende Kamera (3) zur Erzeugung von Eventbasierenden Bildinformationen, und aufweisend eine Recheneinheit (5), die dazu ausgeführt ist, aus Bildinformationen der Event-basierenden Kamera (3) ein Eventbild zu erzeugen, sowie dazu, für einen gemeinsamen Zeitpunkt einer Umfelderfassung durch die Frame- basierende Kamera (1) und die Event-basierende Kamera (3) zumindest eines aus Kamerabild und Eventbild so zu transformieren, dass das Kamerabild und das bezüglich des Zeitpunkts der Umfelderfassung zugehörige Eventbild in einem gemeinsamen Format vorliegen, und dazu, Kamerabild und Eventbild im gemeinsamen Format auf Abweichungen voneinander zu vergleichen und beim Überschreiten eines Maßes für die Abweichungen über eine vorgegebene Vergleichsbedingung das Vorliegen eines Fehlerfalls zu ermitteln.

Description

Diverse Redundanz zur Absicherung von Fahrzeugkameras
Die Erfindung betrifft ein System für ein Fahrzeug zur visuellen Umfelderfassung, sowie ein Fahrzeug mit einem solchen System.
Die folgenden Informationen sind allgemein bekannter Stand der Technik im Fachumfeld spezieller Kameras, und bedürfen daher keiner Zitierung eines bestimmten Dokuments aus dem Stand der Technik: Es sind Frame-basierende Kameras und Event-basierende Kameras bekannt. Eine Event-basierende Kamera, auch bekannt als neuromorphe Kamera (engl. "neuromorphic camera"), Silizium-Netzhaut (engl. "silicon retina") oder dynamischer Bild-Sensor (engl. "dynamic vision sensor", abgekürzt "DVS"), umfasst einen Bildsensor, der auf lokale Helligkeitsänderungen reagiert. Event-basierende Kameras erfassen keine Bilder mit einem Verschluss (engl. "Shutter") wie die Frame-basierenden Kameras. Stattdessen sind Pixel einer Event-basierenden Kamera asynchron und unabhängig. Sie bleiben grundsätzlich stumm, reagieren aber unabhängig voneinander auf Helligkeitsänderungen im Umfeld der Event-basierenden Kamera. Dafür speichert jedes Pixel eine Referenzhelligkeit und vergleicht sie mit der jeweils neuen Helligkeitsstufe. Wenn der Helligkeitsunterschied einen Schwellenwert überschreitet, setzt dieses Pixel seinen Referenzpegele auf den neuen Helligkeitswert und generiert ein Ereignis, das sogenannte "Event". Die Event-basierenden Kameras verarbeiten lokale relative Lichtintensitätsänderungen daher direkt und senden diese Informationspakete als Events an die daran angeschlossenen Steuergeräte. Hier können diese zeitlich und/oder örtlich zu sogenannten Eventbildern aggregiert werden. Die Event-basierenden Kameras liefern typischerweise im Gegensatz zu Frame-basierenden Kameras nur binäre Information über relative Lichtintensitätsänderungen wobei optional noch die Information der Änderungsrichtung, d.h. ein Ansteigen oder Absinken der relative Lichtintensitätsänderungen, als sogenannte Polarität vorliegt haben aber im Vergleich zu Frame-basierenden Kameras eine tendenziell höhere zeitliche Auflösung und einen typischerweise höheren Dynamikbereich. Dadurch lassen sich Objektbewegungen in ihrem Umfeld sehr genau verfolgen. Die WO 2022/258430 A1 betrifft in diesem Zusammenhang ein Verfahren zum Charakterisieren eines dynamischen Bildsensors, DVS, umfassend: Umwandeln von Einzelbildern einer Szene, die von einem Bildsensor erzeugt werden, in Ereignisse der Szene, basierend auf Umwandlungsparametern, die den DVS charakterisieren;
Bestimmen einer Differenz zwischen den konvertierten Ereignissen und Ereignissen, die der durch das DVS erkannten Szene entsprechen; und Anpassen der Umwandlungsparameter, um die Differenz zwischen den umgewandelten und den detektierten Ereignissen zu reduzieren.
Die eingangs erwähnten Eigenschaften von Event-basierenden Kameras insbesondere im Hinblick auf im Stand der Technik zumeist verwendete Frame-basierende Kameras können für Anwendungen des automatisierten Fahrens insbesondere von Fahrzeugen im öffentlichen Straßenverkehr genutzt werden, um eine zweckdienliche Umfelderfassung auszuführen. Pixelfehler und/oder lokale Verschmutzung von nach außen gerichteten Fahrzeugkameras können jedoch Fahrzeugfunktionen, insbesondere Fahrerassistenzsysteme sowie (teil-)autonome Fahrfunktionen, negativ beeinflussen, da dann die Sensorinformationen der Fahrzeugkameras ggf. in den angeschlossenen Steuergeräten falsch oder zumindest fehlerhaft ausgewertet werden können.
Aufgabe der Erfindung ist es, eine visuelle Umfelderfassung eines automatisierten Fahrzeugs sicherer zu gestalten.
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
Ein erster Aspekt der Erfindung betrifft ein System für ein Fahrzeug zur visuellen Umfelderfassung, aufweisend eine Frame-basierende Kamera zur Erzeugung eines Kamerabildes und eine Event-basierende Kamera zur Erzeugung von Event-basierenden Bildinformationen, und aufweisend eine Recheneinheit, die dazu ausgeführt ist, aus Bildinformationen der Event-basierenden Kamera ein Eventbild zu erzeugen, sowie dazu, für einen gemeinsamen Zeitpunkt einer Umfelderfassung durch die Frame-basierende Kamera und durch die Event-basierende Kamera zumindest eines aus Kamerabild und Eventbild so zu transformieren, dass das Kamerabild und das bezüglich des Zeitpunkts der Umfelderfassung zugehörige Eventbild in einem gemeinsamen Format vorliegen, und dazu, Kamerabild und Eventbild im gemeinsamen Format auf Abweichungen voneinander zu vergleichen und beim Überschreiten eines Maßes für die Abweichungen über eine vorgegebene Vergleichsbedingung das Vorliegen eines Fehlerfalls zu ermitteln.
Sensorelemente der Event-basierenden Kamera liefern zunächst Bildinformationen. Diese werden in ein jeweiliges Eventbild überführt. Diese Überführung kann in der Eventbasierenden Kamera selbst erfolgen, wenn diese entsprechend ausgestattet ist und über entsprechende Rechenleistung verfügt - dann ist ein Rechenmodul der Eventbasierenden Kamera Teil der Recheneinheit. Diese Überführung kann jedoch auch in der von der Event-basierenden Kamera gekapselt implementierten Recheneinheit in ihrer Funktion als zentrales Steuergerät erfolgen.
Die Recheneinheit ist dazu ausgeführt, aus Bildinformationen der Event-basierenden Kamera ein Eventbild zu erzeugen. Im Allgemeinen handelt es sich bei den jeweiligen „Eventbildern“ um zeitlich aggregierte Eventinformationen (z.B. ein Histogramm aller Events oder ein zeitlicher Mittelwert der Events über einen bestimmten Zeitraum für jedes Pixel der Event-basierenden Kamera, die Polarität des letzten Events jedes Pixel, usw.). In der Recheneinheit werden hierfür insbesondere ankommende Bildinformationen mit Events zeitlich und/oder örtlich zu den jeweiligen Eventbildern aggregiert, wobei es sich bei der örtlichen Aggregation um eine Aggregation von Events für einzelne Pixelpositionen oder Regionen um eine Pixelposition herum handelt und bei der zeitlichen Aggregation die Zeitdifferenz des Events zum aktuellen Zeitpunkt to z.B. mit exponentiellem zeitlichem Gedächtnisverlust (beispielsweise sogenannten "eligibility traces"), etc. gewichtet und berücksichtigt werden kann. Beispielsweise kann bei einer zeitlich-örtlichen Aggregation ein Histogramm für jeden Pixel der Event-basierenden Kamera erstellt werden (z.B. 5 Events auf Position xi, yi in den letzten 5 Sekunden), wobei die Events der Event-basierenden Kamera über einen festen Zeitraum dt (ggf. zeitlich gewichtet) aufsummiert werden und somit in den Zeitschriften dt ein Eventbild generiert wird. Beispielsweise kann eine zeitliche Aggregation die Anzahl aller Events der Event-basierenden Kamera (z.B. 128 Events in den letzten 5 Sekunden) sein, wobei die Events der Event-basierenden Kamera über einen festen Zeitraum dt (ggf. zeitlich gewichtet) erfasst werden. Beispielsweise kann eine örtliche Aggregation die Anzahl aller Events der Event-basierenden Kamera an einer Position des Sensors der Event- basierenden Kamera oder einer Region des Sensors zum gegenwärtigen Zeitpunkt to sein. Des Weiteren kann bei einer zeitlich-örtlichen Aggregation eine Funktion/Abbildung mit Methoden des maschinellen Lernens antrainiert und genutzt werden, um auf jedem Pixel eine Anzahl letzten Events und deren Zeitpunkte zu aggregieren.
Unter den Begriff der visuellen Umfelderfassung soll im Rahmen dieser Schrift auch die visuelle Innenraumerfassung bzgl. eines Fahrzeuginnenraums fallen.
Erfindungsgemäß werden zwei verschiedenartige Systeme zur visuellen Umfelderfassung eines automatisierten Fahrzeugs, nämlich eine Event-basierende Kamera und eine Frame-basierende Kamera verwendet, welche gleiche oder zumindest gleichartige Funktionen für das automatisierte Fahrzeug ermöglichen (z.B. Objektdetektion, Gestenerkennung, etc.) und somit redundant ausgelegt sein können. Die Event- basierende-Kamera verarbeitet typischerweise lokale relative Lichtintensitätsänderungen direkt und asynchron, die zu den Event-Bildern aggregiert werden. Die Frame-basierende Kamera (z.B. CCD, APS) dagegen verarbeitet typischerweise die Informationen über die Lichtintensitäten auf dem Sensor bild- bzw. framebasiert mit einer festen oder adaptiven Framerate. Die wechselseitige Funktionsüberwachung des jeweils anderen Kamerasystems ist jedoch möglich, da die Sensorinformationen wechselseitig, zumindest annäherungsweise, übersetzt bzw. abgebildet werden können.
Es ist eine vorteilhafte Wirkung der Erfindung, dass Unsicherheiten wie Pixelfehler und/oder lokale Verschmutzungen und somit Einschränkungen in der visuellen Umfelderfassung eines Fahrzeuges durch diverse Redundanz frühzeitig erkannt und abgeschwächt werden kann, indem durch den Einsatz unterschiedlicher (sogenannter "diverser") visueller Umfelderfassungs-Methoden ein zugehöriges Umfelderfassungssystem abgesichert wird. Es erfolgt somit eine Erhöhung der Verkehrssicherheit durch wechselseitige redundante Absicherung von Kameras mit systemisch unterschiedlichen Sensoreigenschaften. Der besondere Vorteil der wechselseitigen Überwachung einer Frame-basierenden Kamera und einer Eventbasierenden Kamera liegt im Vorliegen von diverser Redundanz, welche im Gegensatz zu identischer Redundanz eine deutlich gesteigerte Sicherheit aufweist. Identische Redundanz würde vorliegen, würden beispielsweise zwei Frame-basierende Kameras oder zwei Event-basierende Kameras verwendet werden und deren Ergebnisse miteinander verglichen werden. Dies würde zwar eine einfachere Implementierung ermöglichen, da keine Transformation zwischen den verschiedenartigen Sensorergebnissen notwendig wäre, gerade aber die Verschiedenartigkeit wird in der diversen Redundanz ausgenutzt, um in systemisch unterschiedlicher Herangehensweise visuell die Umgebung und/oder den Innenraum des Fahrzeugs zu erfassen, und damit systembedingte Fehler einer der Sensorarten besser erkennen zu können. Speziell bei der Kombination einer Frame-basierenden Kamera und einer Event-basierenden Kamera liegt nicht nur Redundanz durch Verwendung verschiedenartiger Systeme vor, es unterscheiden sich hierbei auch grundlegend Systemeigenschaften bezüglich der Anwendung an einem Fahrzeug, so hat z.B. die Event-basierenden Kamera eine höhere zeitliche Auflösung und eine kleinere Latenz und eine höhere Bandbreite (die sogenannte "Dynamic Range"), d.h. im vorliegenden Fall der Anwendung für die Umfelderkennung für ein Fahrzeug werden Situationen mit für Frame-basierenden Kameras schwer abzudeckenden Belichtungsverhältnissen, wie beispielsweise Tunnelfahrten, Fahrten in der Nacht, Fahrten bei strahlendem Sonnenschein auf einem Eissee und eine blendende Sonne durch die Event-basierende Kamera gut erfassbar.
Mögliche Verwendungen für die somit abgesicherten visuellen Informationen über die Umgebung und /oder den Innenraum des Fahrzeugs sind:
- Objekterkennung und Objektdetektion;
- Semantische Segmentation der Umgebung (Pixelgenaue Zuordnung von Objektidentität, z.B. Fahrzeug, Straße, Baum, ... zu einem jeweiligen Pixel)
- Tiefenbestimmung (Bildbasiertes Abschätzen der Distanz zu Objekten vor dem Fahrzeug)
- Fahrerüberwachung (Liedschlag, Pupillen, Blickrichtung, etc.);
Es kann zudem vorgesehen werden, dass die Frame-basierende Kamera bei für diese Kamera guten Lichtverhältnissen hauptsächlich verwendet wird und die Event-basierende Kamera zur Absicherung der Funktionalität bei für die Frame-basierende Kamera schlechten Lichtverhältnissen oder schnellen Objekten (hier kann eine relativ gesehen hohe Zeitauflösung der Event-basierenden Kamera genutzt werden), eingesetzt wird. In diesem Szenario sind beide Kamerasysteme auch in weiten Teilen redundant, ergänzen sich jedoch zusätzlich in den Randbereichen der Leistungsfähigkeiten.
Gemäß einer vorteilhaften Ausführungsform ist das gemeinsame Format das Format des Kamerabildes, und die Recheneinheit ist dazu ausgeführt, das Eventbild in das Format des Kamerabildes zu transformieren, oder, das gemeinsame Format ist das Format des Eventbildes, und die Recheneinheit ist dazu ausgeführt, das Kamerabild in das Format des Eventbildes zu transformieren.
Vorteilhaft wird aus einer Sequenz von Kamerabildern der Frame-basierenden Kamera ein aggregiertes Event-Bild der Event-basierenden Kamera mittels einer entsprechenden Transformation erzeugt.
Insbesondere können mit Methoden des maschinellen Lernens (z.B. mittels der Anwendung eines "convolutional neural networks", abgekürzt CNN) individuelle Modelle gelernt werden, welche das Kamerabild bzw. die Sequenz von Kamerabildern einer im Fahrzeug verbauten Frame-basierenden Kamera in das aggregierte Event-Bild der im Fahrzeug verbauten Event-basierten Kamera abbilden. Hierzu wird ein Modell mit Trainingsdaten der Kamerabilder einer im Fahrzeug verbauten Frame-basierenden Kamera und aggregierte Event-Bild der im Fahrzeug verbauten Event-basierten Kamera mittels überwachtem Lernen (engl. supervised learning) gelernt. Alternativ oder zusätzlich kann eine Abbildung mit im Fach bekanntes Verfahren zur Umwandlung von Kamerabildern mittels logarithmischer Skalierung der Bildintensitätsinformationen, Differenzenbildung und Schwellwertüberschreitung verwendet werden und beispielsweise dem Training des CNN als Ausgangspunkt dienen.
Außerdem können generische Modelle, d.h. auf die im Fahrzeug verbauten Typen der Frame-basierenden / Event-basierenden Kamera und deren vorgesehenen Ausrichtungen im Fahrzeug während der Entwicklung des Fahrzeuges erstellt werden. Diese generischen Modelle können im Fahrzeug des Nutzers nachtrainiert, d.h. individualisiert werden, um Variationen der Kameras und Ausrichtung der Kameras, d.h. der individuellen im Fahrzeug verbauten und ggf. leicht von der vorgesehenen Kameraspezifikation und Ausrichtung abweichende Kameras, zu berücksichtigen bzw. abzubilden.
Es ist außerdem möglich, aus aggregierten Eventbildern der Event-basierten Kamera ein oder mehrere Kamerabilder (wie von der Frame-basierenden Kamera) mittels einer entsprechend anderen Transformation zu erzeugen. Diese rückwärtigen Umwandlungen zur Transformation eines Eventbildes in ein Kamerabild einer Frame-basierenden Kamera sind ebenfalls im Stand der Technik bekannt, vergleiche beispielsweise die Veröffentlichung: Rebecq et al. “High speed and high dynamic range video with an event camera” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 43, no. 6, pp. 1964-1980, 2021.
Die Transformation der Sensorinformationen einer Event-basierenden Kamera für die Vergleichbarkeit mit den Kamerabildern der Frame-basierenden Kamera erfolgt beispielhaft hierbei wie folgt: Wie eingangs erwähnt verarbeiten Event-basierende Kameras lokale relative Lichtintensitätsänderungen typischerweise direkt und senden diese Informationspakete weiter an die entsprechenden Module der Recheneinheit. In der Recheneinheit werden insbesondere, wie oben erläutert, ankommende Events der Eventbasierenden Kamera zeitlich und/oder örtlich zu Event-Bildern aggregiert. Framebasierende Kameras (z.B. nach dem Typ "Charged Coupled Device" (CCD) oder "Active Pixel Sensor" (APS)) verarbeiten die Informationen über die Lichtintensitäten auf dem Sensor bild- bzw. framebasiert mit einer festen oder ggf. adaptiven Framerate. Während der Exposition des einfallenden Lichtes auf diesen Sensor werden lokale Lichtintensitäten gemessen und über diesen Zeitraum integriert. Damit ist eine wechselseitige Funktionsüberwachung der jeweils anderen Kamera möglich, da die Sensorinformationen wechselseitig, zumindest näherungsweise, übersetzt bzw. abgebildet werden können. Somit sind beide Richtungen der gegenseitigen Umwandlung möglich.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, zwei Vergleiche auf Abweichungen mittels Transformation in zwei unterschiedliche gemeinsame Formate durchzuführen, wobei das erste gemeinsame Format das Format des Kamerabildes ist, und wobei das zweite gemeinsame Format das Format des Eventbildes ist, wobei die Recheneinheit dazu ausgeführt ist, das Vorliegen eines Fehlerfalls zu ermitteln im Falle von a) beim Überschreiten zumindest eines Maßes für die Abweichungen der Vergleiche über die vorgegebene Vergleichsbedingung, oder alternativ b) beim Überschreiten eines über die Vergleiche gewichteten Mittels der Maße für die Abweichungen über die vorgegebene Vergleichsbedingung.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, die Gewichtungen des gewichteten Mittels im Falle der Anwendung von b) an die Güte der jeweiligen verwendeten Transformation anzupassen.
Gemäß einer weiteren vorteilhaften Ausführungsform umfasst die vorgegebene Vergleichsbedingung einen Grenzwert. Gemäß einer weiteren vorteilhaften Ausführungsform umfasst die vorgegebene Vergleichsbedingung einen kontextabhängigen Grenzwert, wobei die Recheneinheit dazu ausgeführt ist, situationsabhängig die Höhe des Grenzwerts zu bestimmen.
Bevorzugt sind die Schwellwerte kontextabhängig, um beispielsweise den schlechteren dynamischen Bereich der Frame-basierenden Kamera mit zu berücksichtigen, z.B. wird der Schwellwert bei Dunkelheit höher gewählt als bei Tageslicht.
Weiterhin bevorzugt umfasst die Vergleichsbedingung einen jeweiligen Sub-Schwellwert für jedes Pixel einzeln, sodass Ungenauigkeiten an den Sensorrändern oder in Bereichen mit unterschiedlichem Erfassungsbereich FOV (Abkürzung für "field of view") der Eventbasierenden Kamera und der Frame-basierenden Kamera berücksichtigt werden können, indem z.B. der jeweilige Sub-Schwellwert eines Pixels bei nicht überlappendem FOV auf unendlich gesetzt wird.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, beim Vergleich auf Abweichungen einen paarweisen Vergleich von Pixel- Informationen durchzuführen, um Pixelfehler und/oder Verschmutzungen der Frame- basierenden Kamera und/oder der Event-basierenden Kamera detektieren zu können.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, beim ermittelten Vorliegen eines Fehlerfalls i) eine Ausgabeeinheit des Fahrzeugs zum Ausgeben einer Warnung an den Fahrer oder Anwender des Fahrzeugs anzusteuern, und/oder ii) ein das jeweilige Kamerabild und/oder das jeweilige Eventbild verwendendes Fahrzeugsubsystem zum Abschalten oder Umschalten auf ein Notsteuerprogramm anzusteuern.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, zum Vergleich der Abweichungen eine mittlere quadratische Abweichung einzelner Pixel und/oder Abweichungen in einer begrenzten lokalen Ausbreitung, z.B. gewichtet mit einer 2D Gauß-Verteilung zentriert um die einzelnen Pixel, zu ermitteln.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, im Falle der Transformation des Kamerabildes der Frame-basierenden Kamera in das Format des Eventbildes für die Transformation ein erstes künstliches neuronales Netz für die Transformation anzuwenden, und im Falle der Transformation des Eventbildes in das Format des Kamerabildes für die Transformation ein zweites künstliches neuronales Netz anzuwenden.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, ermittelte Abweichungen über eine vorgegebene Zeitdauer zu aggregieren. Hiermit wird erreicht, dass spontane und schleichende Verschlechterungen unterscheidbar sind und dementsprechend eine Fehlerreaktion angepasst werden kann, bspw. ein niedrigerer Schwellwert bei spontaner als bei schleichender Verschlechterung von der Recheneinheit verwendet wird.
Bevorzugt wird von der Recheneinheit nicht bei einer ersten Schwellwertüberschreitung mit einer Erkennung eines Fehlerfalls reagiert, sondern weitere Schwellwertüberschreitungen protokolliert und (z.B. in einem zeitlichen Histogramm) aggregiert. Aus der Auswertung der aggregierten Informationen können schleichende Verschlechterungen (z.B. Pixelfehler) oder spontane Verschlechterungen (z.B. durch Verschmutzung) unterschieden werden, und damit die Robustheit der Erkennung eines Fehlerfalls verbessert werden.
Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug mit einem System wie oben und im Folgenden beschrieben.
Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Fahrzeugs ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit dem vorgeschlagenen System vorstehend gemachten Ausführungen.
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
Es zeigt:
Fig. 1 : Ein Fahrzeug mit einem divers redundant abgesicherten System zur visuellen Umfelderfassung gemäß einem Ausführungsbeispiel der Erfindung. Die Darstellungen in der Figur sind schematisch und nicht maßstäblich.
Fig. 1 zeigt ein Fahrzeug aus der Vogelperspektive mit einem System zur visuellen Umfelderfassung, welches eine Frame-basierende Kamera 1 zur Erzeugung eines Kamerabildes und eine Event-basierende Kamera 3 zur Erzeugung von Eventbasierenden Bildinformationen aufweist. Eine Recheneinheit 5 des Fahrzeugs erzeugt aus den Bildinformationen der Event-basierenden Kamera 3 ein jeweiliges Eventbild. Dies erfolgt mit einer vorgegebenen Frequenz in wiederholten Zeitabständen, sodass effektiv ein jeweiliges Video sowohl von der Frame-basierenden Kamera als auch von der Eventbasierenden Kamera erzeugt werden. Nachdem von der Recheneinheit 5 die Bildinformationen der Event-basierenden Kamera in ein jeweiliges Eventbild zusammengesetzt wurden, stehen der Recheneinheit 5 ein Eventbild und ein Kamerabild jeweils bezüglich eines jeweiligen aus vielen Zeitpunkten der fortgeführten Umfelderfassung des Fahrzeugs zur Verfügung. Im folgenden Schritt wird von der Recheneinheit 5 das Kamerabild und/oder das Eventbild so transformiert, dass beide in einem vergleichbaren Format vorliegen. Im Beispiel der Fig. 1 möge dies zweifach und in beide Richtungen erfolgen, sodass einmal das Kamerabild so transformiert wird, dass das Kamerabild im Format des Eventbildes vorliegt, und außerdem das Eventbild so transformiert wird, dass es im Format des Kamerabilds vorliegt. Somit wird es der Recheneinheit 5 ermöglicht, das originale Eventbild mit dem in das Format des Eventbildes transformierten Kamerabild in einem ersten Vergleich und das originale Kamerabild mit dem in das Format des Kamerabilds transformierten Eventbild in einem zweiten Vergleich auf Abweichungen zueinander zu vergleichen. Es werden somit systemisch verschiedene Sensorsysteme (Frame-basierende Kamera und Eventbasierende Kamera) zur divers redundanten Erhebung von Daten der Umfelderfassung verwendet, sowie diese verschiedenartig erhobenen Daten bidirektional und pixelweise gegeneinander geprüft. Beim Überschreiten eines Maßes für die Abweichungen der Pixel über eine vorgegebene Vergleichsbedingung wird das Vorliegen eines Fehlerfalls ermittelt, und abhängig davon, welches Fahrzeugsubsystem auf die visuelle Umgebungserfassung Rückgriff nimmt, eine entsprechende Reaktion eingeleitet. Bei nicht sicherheitskritischen Fahrzeugsubsystemen kann dem Fahrer des Fahrzeugs eine schlichte Warnung ausgegeben werden, bei sicherheitskritischen Systemen zusätzlich zur Warnung noch ein Notsteuermodus des verwendenden Fahrzeugsubsystems aktiviert werden. Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Beschreibung, definiert wird.

Claims

Patentansprüche
1 . System für ein Fahrzeug zur visuellen Umfelderfassung, aufweisend eine Framebasierende Kamera (1) zur Erzeugung eines Kamerabildes und eine Eventbasierende Kamera (3) zur Erzeugung von Event-basierenden Bildinformationen, und aufweisend eine Recheneinheit (5), die dazu ausgeführt ist, aus Bildinformationen der Event-basierenden Kamera (3) ein Eventbild zu erzeugen, sowie dazu, für einen gemeinsamen Zeitpunkt einer Umfelderfassung durch die Frame-basierende Kamera (1) und die Event-basierende Kamera (3) zumindest eines aus Kamerabild und Eventbild so zu transformieren, dass das Kamerabild und das bezüglich des Zeitpunkts der Umfelderfassung zugehörige Eventbild in einem gemeinsamen Format vorliegen, und dazu, Kamerabild und Eventbild im gemeinsamen Format auf Abweichungen voneinander zu vergleichen und beim Überschreiten eines Maßes für die Abweichungen über eine vorgegebene Vergleichsbedingung das Vorliegen eines Fehlerfalls zu ermitteln.
2. System nach Anspruch 1 , wobei das gemeinsame Format das Format des Kamerabildes ist, und die Recheneinheit (5) dazu ausgeführt ist, das Eventbild in das Format des Kamerabildes zu transformieren, oder, wobei das gemeinsame Format das Format des Eventbildes ist, und die Recheneinheit (5) dazu ausgeführt ist, das Kamerabild in das Format des Eventbildes zu transformieren.
3. System nach Anspruch 1 , wobei die Recheneinheit (5) dazu ausgeführt ist, zwei Vergleiche auf Abweichungen mittels Transformation in zwei unterschiedliche gemeinsame Formate durchzuführen, wobei das erste gemeinsame Format das Format des Kamerabildes ist, und wobei das zweite gemeinsame Format das Format des Eventbildes ist, wobei die Recheneinheit (5) dazu ausgeführt ist, das Vorliegen eines Fehlerfalls zu ermitteln im Falle von a) beim Überschreiten zumindest eines Maßes für die Abweichungen der Vergleiche über die vorgegebene Vergleichsbedingung, oder alterna- tiv b) beim Überschreiten eines über die Vergleiche gewichteten Mittels der Maße für die Abweichungen über die vorgegebene Vergleichsbedingung.
4. System nach einem der vorhergehenden Ansprüche, wobei die vorgegebene Vergleichsbedingung einen kontextabhängigen Grenzwert umfasst, wobei die Recheneinheit (5) dazu ausgeführt ist, situationsabhängig die Höhe des Grenzwerts zu bestimmen.
5. System nach einem der vorhergehenden Ansprüche, wobei die Recheneinheit (5) dazu ausgeführt ist, beim Vergleich auf Abweichungen einen paarweisen Vergleich von Pixel-Informationen durchzuführen, um Pixelfehler und/oder Verschmutzungen der Frame-basierenden Kamera (1) und/oder der Event-basierenden Kamera (3) detektieren zu können.
6. System nach einem der vorhergehenden Ansprüche, wobei die Recheneinheit (5) dazu ausgeführt ist, beim ermittelten Vorliegen eines Fehlerfalls i) eine Ausgabeeinheit des Fahrzeugs zum Ausgeben einer Warnung an den Fahrer oder Anwender des Fahrzeugs anzusteuern, und/oder ii) ein das jeweilige Kamerabild und/oder das jeweilige Eventbild verwendendes Fahrzeugsubsystem zum Abschalten oder Umschalten auf ein Notsteuerprogramm anzusteuern.
7. System nach einem der vorhergehenden Ansprüche, wobei die Recheneinheit (5) dazu ausgeführt ist, zum Vergleich der Abweichungen eine mittlere quadratische Abweichung einzelner Pixel und/oder Abweichungen in einer begrenzten lokalen Ausbreitung zu ermitteln.
8. System nach einem der vorhergehenden Ansprüche, wobei die Recheneinheit (5) dazu ausgeführt ist, im Falle der Transformation des Kamerabildes der Frame-basierenden Kamera (1) in das Format des Eventbildes für die Transformation ein erstes künstliches neuronales Netz für die Transformation anzuwenden, und im Falle der Transformation des Eventbildes in das Format des Kamerabildes für die Transformation ein zweites künstliches neuronales Netz anzuwenden.
9. System nach einem der vorhergehenden Ansprüche, wobei die Recheneinheit (5) dazu ausgeführt ist, ermittelte Abweichungen über eine vorgegebene Zeitdauer zu aggregieren.
10. Fahrzeug mit einem System nach einem der vorhergehenden Ansprüche.
EP24714830.7A 2023-03-23 2024-03-15 Diverse redundanz zur absicherung von fahrzeugkameras Pending EP4684372A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023001144.4A DE102023001144A1 (de) 2023-03-23 2023-03-23 Diverse Redundanz zur Absicherung von Fahrzeugkameras
PCT/EP2024/057067 WO2024194216A1 (de) 2023-03-23 2024-03-15 Diverse redundanz zur absicherung von fahrzeugkameras

Publications (1)

Publication Number Publication Date
EP4684372A1 true EP4684372A1 (de) 2026-01-28

Family

ID=90545106

Family Applications (1)

Application Number Title Priority Date Filing Date
EP24714830.7A Pending EP4684372A1 (de) 2023-03-23 2024-03-15 Diverse redundanz zur absicherung von fahrzeugkameras

Country Status (6)

Country Link
EP (1) EP4684372A1 (de)
JP (1) JP2026508782A (de)
KR (1) KR20250154450A (de)
CN (1) CN121079724A (de)
DE (1) DE102023001144A1 (de)
WO (1) WO2024194216A1 (de)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102584501B1 (ko) * 2018-10-05 2023-10-04 삼성전자주식회사 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치
US11588957B2 (en) * 2020-06-24 2023-02-21 Baidu Usa Llc Dirty monocular camera detection methods for autonomous driving vehicle
CN112215794B (zh) * 2020-09-01 2022-09-20 北京中科慧眼科技有限公司 一种双目adas摄像头脏污检测的方法及装置
US11987264B2 (en) * 2021-03-31 2024-05-21 Wipro Limited Method and system for recognizing activities in surrounding environment for controlling navigation of autonomous vehicle
US12549868B2 (en) 2021-06-10 2026-02-10 Sony Group Corporation Method and apparatus for characterizing a dynamic vision sensor
CN114913239B (zh) * 2022-04-06 2024-06-18 清华大学 一种事件相机传感器与rgb相机联合标定方法和装置

Also Published As

Publication number Publication date
WO2024194216A1 (de) 2024-09-26
DE102023001144A1 (de) 2024-09-26
JP2026508782A (ja) 2026-03-12
CN121079724A (zh) 2025-12-05
KR20250154450A (ko) 2025-10-28

Similar Documents

Publication Publication Date Title
DE112013007129B4 (de) Bewegungstrajektorienvorhersagevorrichtung und Bewegungstrajektorienvorhersageverfahren
DE60032973T2 (de) Stereo-Fahrzeugüberwachungsgerät mit Fehlersicherheits-Funktion
DE102018222720B4 (de) Überwachung von auf neuronalen Netzwerken basierten Fahrfunktionen
DE102020215860A1 (de) Korrektur von Bildern eines Rundumsichtkamerasystems bei Regen, Lichteinfall und Verschmutzung
DE102017122964A1 (de) Fahrzeugspiegelsystem
DE102012223481A1 (de) Vorrichtung und Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs
DE112020002319T5 (de) Bilderkennungsvorrichtung und bilderkennungsverfahren
DE102019204892A1 (de) Verfahren und Steuergerät zum Erkennen einer Müdigkeit eines Fahrers für ein Fahrassistenzsystem für ein Fahrzeug
EP3677019B1 (de) Verfahren und vorrichtung zur vorhersehbaren belichtungssteuerung zumindest einer ersten fahrzeugkamera
DE102012215465A1 (de) Verfahren und Informationssystem zum Filtern von Objektinformationen
EP4102486B1 (de) Verfahren zum steuern einer flugbewegung eines fluggeräts sowie fluggerät
WO2017102150A1 (de) Verfahren zum bewerten einer durch zumindest einen sensor eines fahrzeugs erfassten gefahrensituation, verfahren zum steuern einer wiedergabe einer gefahrenwarnung und verfahren zum wiedergeben einer gefahrenwarnung
EP1575808A1 (de) Bildgeber
WO2018233933A1 (de) Vorrichtung und verfahren zum mobilen erfassen von wetterinformationen
EP4684372A1 (de) Diverse redundanz zur absicherung von fahrzeugkameras
DE102019212829A1 (de) Automatisierte Erkennung eines anormalen Verhaltens eines Verkehrsteilnehmers
DE102019106258A1 (de) Insassenüberwachungsvorrichtung
DE102018207220A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Detektieren eines Berechnungsfehlers oder einer Fehlfunktion
DE102023005203A1 (de) Verfahren zur Sensorfusion
DE102023004655B4 (de) Hybride Stereovision mit Event- und Frame-Kameras in einem Fahrzeug
EP2060109A1 (de) Verfahren und vorrichtung zur erkennung von defekten pixeln eines bildaufnahmesensors, vorzugsweise in einem fahrerassistenzsystem
DE102020130886B4 (de) Verfahren, System und Computerprogrammprodukt zur Erkennung von Bewegungen des Fahrzeugsaufbaus bei einem Kraftfahrzeug
DE112022000239T5 (de) Bilderzeugungsvorrichtung, Robotersteuerungsvorrichtung und Computerprogramm
DE112022001328T5 (de) Bildverarbeitungsvorrichtung und bildverarbeitungsverfahren
DE102014218027A1 (de) Vorrichtungen zur Bilderfassung im Bereich eines Kraftfahrzeugs

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250801

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR