DE102023002181B3 - Adaptive filter chain for displaying a model of the environment in a vehicle - Google Patents

Adaptive filter chain for displaying a model of the environment in a vehicle Download PDF

Info

Publication number
DE102023002181B3
DE102023002181B3 DE102023002181.4A DE102023002181A DE102023002181B3 DE 102023002181 B3 DE102023002181 B3 DE 102023002181B3 DE 102023002181 A DE102023002181 A DE 102023002181A DE 102023002181 B3 DE102023002181 B3 DE 102023002181B3
Authority
DE
Germany
Prior art keywords
filter
vehicle
unit
display unit
deviation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102023002181.4A
Other languages
German (de)
Inventor
Christian Schneider
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Mercedes Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes Benz Group AG filed Critical Mercedes Benz Group AG
Priority to DE102023002181.4A priority Critical patent/DE102023002181B3/en
Application granted granted Critical
Publication of DE102023002181B3 publication Critical patent/DE102023002181B3/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein System zum Anzeigen von Informationen über Objekte in der Umgebung eines Fahrzeugs, wobei eine Recheneinheit (5) mittels einer Fahrerbeobachtungskamera (3) Fahrer-Blickrichtungen unter Bezug auf die Umgebung ermittelt und prüft, ob damit ein Objekt der Umgebung verfolgt wird, und im positiven Fall eine Abweichung zwischen dem Verlauf der auf das verfolgte Objekt gerichteten Blickrichtungen mit einem Positions-Verlauf nach den Daten einer Umfeld-Sensoreinheit (1) in einem Projektionsbild ermittelt und zur Minimierung der Abweichung einen Filterparameter eines zur Anzeige des verfolgten Objekts auf die Sensordaten anzuwendenden Filters anpasst, sowie die Anzeigeeinheit (7) zum gefilterten Anzeigen der zeitabhängigen Position des verfolgten Objekts ansteuert.The invention relates to a system for displaying information about objects in the surroundings of a vehicle, wherein a computing unit (5) uses a driver observation camera (3) to determine driver viewing directions with reference to the surroundings and checks whether an object in the surroundings is being tracked, and in the positive case, a deviation between the course of the viewing directions directed at the tracked object is determined with a position course according to the data of an environment sensor unit (1) in a projection image and, in order to minimize the deviation, a filter parameter for displaying the tracked object is applied to the Sensor data adapts the filter to be applied, and controls the display unit (7) for filtered display of the time-dependent position of the tracked object.

Description

Die Erfindung betrifft ein System zum Anzeigen von Informationen über Objekte in der Umgebung eines Fahrzeugs, ein Fahrzeug mit einem solchen System, sowie ein Verfahren zum Anzeigen von Informationen über Objekte in der Umgebung eines Fahrzeugs.The invention relates to a system for displaying information about objects in the surroundings of a vehicle, a vehicle with such a system, and a method for displaying information about objects in the surroundings of a vehicle.

Im Stand der Technik ist es bekannt, ein aus Sensordaten gewonnenes Umfeldmodell zur Nachvollziehung von Sensordaten über Objekte im Umfeld als Bild zu erzeugen und zu rendern, und auf einer Anzeigevorrichtung anzuzeigen.It is known in the prior art to generate and render an environment model obtained from sensor data for the purpose of understanding sensor data about objects in the environment as an image and to display it on a display device.

Die DE 10 2021 201 065 A1 betrifft in diesem Zusammenhang ein Verfahren zum Anzeigen eines Umfeldmodells einer Umgebung eines Kraftfahrzeugs mittels eines Umfelderfassungssystems des Kraftfahrzeugs, bei welchem mittels zumindest einer Erfassungseinrichtung des Umfelderfassungssystems die Umgebung des Kraftfahrzeugs erfasst wird und die erfasste Umgebung grafisch auf einer Anzeigeeinrichtung des Umfelderfassungssystems als das Umfeldmodell angezeigt wird, wobei im Umfeldmodell eine Mehrspurigkeit einer Fahrbahn, auf welcher sich das Kraftfahrzeug befindet und welche zumindest zwei in gleicher Richtung befahrbare Spuren aufweist, angezeigt wird, wobei von einer kraftfahrzeugexternen elektronischen Recheneinrichtung Schwarmdaten mittels einer Schwarmdatenempfangseinrichtung des Umfelderfassungssystems empfangen werden, wobei auf Basis der Schwarmdaten die Mehrspurigkeit der Fahrbahn erkannt und angezeigt wird.The DE 10 2021 201 065 A1 In this context, relates to a method for displaying an environment model of an environment of a motor vehicle by means of an environment detection system of the motor vehicle, in which the environment of the motor vehicle is detected by means of at least one detection device of the environment detection system and the detected environment is displayed graphically on a display device of the environment detection system as the environment model, wherein in the environment model a multi-lane structure of a road on which the motor vehicle is located and which has at least two lanes that can be driven in the same direction is displayed, with swarm data being received from an electronic computing device external to the motor vehicle by means of a swarm data receiving device of the environment detection system, the multi-lane nature being based on the swarm data the road is recognized and displayed.

Die DE 10 2018 112 345 A1 betrifft ferner ein Verfahren zur Erzeugung von Hochdynamikbereich-Bildern mit einem HDR-Kamerasystem, wobei das Verfahren umfasst ein Aufnehmen einer Vielzahl von Kamerabelichtungen mit einer Kamera des HDR-Kamerasystems, ein Erzeugen eines ersten HDR-Bilds aus einem ersten Unter-Satz der Vielzahl von Kamerabelichtungen, wobei jede Kamerabelichtung des ersten Unter-Satzes einen unterschiedlichen Belichtungswert aufweist, und ein Erzeugen eines zweiten HDR-Bilds aus einem zweiten Unter-Satz der Vielzahl von Kamerabelichtungen, wobei der zweite Unter-Satz zumindest eine Belichtung aus dem ersten Unter-Satz und zumindest eine zusätzliche Belichtung, die vor kürzerer Zeit als die Belichtungen des ersten Unter-Satzes aufgenommen wurde, umfasst, wobei jede Belichtung des zweiten Unter-Satzes einen unterschiedlichen Belichtungswert aufweist.The DE 10 2018 112 345 A1 further relates to a method for generating high dynamic range images with an HDR camera system, the method comprising recording a plurality of camera exposures with a camera of the HDR camera system, generating a first HDR image from a first subset of the plurality camera exposures, each camera exposure of the first subset having a different exposure value, and generating a second HDR image from a second subset of the plurality of camera exposures, the second subset having at least one exposure from the first subset and at least one additional exposure taken more recently than the exposures of the first subset, each exposure of the second subset having a different exposure value.

Eine Sensoreinheit im Fahrzeug weist dabei typischerweise den Zweck auf, Daten für ein Fahrerassistenzsystem zu gewinnen. Dies erfolgt im Rahmen der Umfeldperzeption, welche die primäre Aufgabe hat, Daten für Fahrerassistenzsysteme wie Fahrfunktionen oder Parkfunktionen des Fahrzeugs zu erzeugen. Dementsprechend sind die Sensordaten primär für solche Fahrerassistenzsysteme geeignet, nicht jedoch damit unbedingt auch optimal für eine Visualisierung eines Umfeldmodells mit bewegten und/oder statischen Objekten in der Umgebung um das Fahrzeug, welches mithilfe dieser Daten der Sensoreinheit ermittelt wird. Ein solches Umfeldmodell kann dabei beispielsweise aus den Daten der Sensoreinheit direkt bzw. mithilfe des Ergebnisses einer statischen oder dynamischen Sensordatenfusion erzeugt werden. Dieses Vorgehen wird auch genannt „Navistenz“. Dabei werden typischerweise ADAS (kurz für „advanced driver assistance system“) Sensordaten und Navigationsdaten auf einem zentralen Bildschirm dem Fahrer zur Anzeige gebracht.A sensor unit in the vehicle typically has the purpose of obtaining data for a driver assistance system. This takes place as part of environmental perception, which has the primary task of generating data for driver assistance systems such as driving functions or parking functions of the vehicle. Accordingly, the sensor data is primarily suitable for such driver assistance systems, but is not necessarily optimal for visualizing an environment model with moving and/or static objects in the environment around the vehicle, which is determined using this data from the sensor unit. Such an environment model can be generated, for example, from the data from the sensor unit directly or using the result of a static or dynamic sensor data fusion. This procedure is also called “navigation”. Typically, ADAS (short for “advanced driver assistance system”) sensor data and navigation data are displayed to the driver on a central screen.

Die Visualisierung des Umfeldmodells dient insbesondere dem Zweck, das Verhalten eines solchen Fahrerassistenzsystems für den Fahrer nachvollziehbar zu machen, während sich die Visualisierung selbst jedoch primär auf die Daten im Perzeptionskanal des Fahrzeugs stützt, welcher eine Vielzahl von Sensoren des Fahrzeugs einzeln oder in Datenfusion miteinander kombiniert verwenden kann. Wegen der oben genannten zum Teil vorliegenden mangelnden Geeignetheit der Daten über das Umfeldmodell zur Visualisierung können jedoch die visualisieren Daten einen hohen zeitlichen Jiitter oder einen räumlichen Offset aufweisen, jeweils mit der Folge einer räumlichen Instabilität eines angezeigten Objekts relativ zur Umgebung - für den betrachtenden Fahrer kann ein solches Verhalten durch wackelnde Objekte in der Darstellung in Erscheinung treten und störend wirken. Die Qualität der Objekterkennung kann stark von der Objektklasse (vor allem bei datengetriebenen Ansätzen) und den jeweiligen Umgebungsbedingungen abhängen. Es bietet sich daher zur Bereinigung des Verhaltens der Objekte bezüglich ihrer Position in ihrer Darstellung an, eine Filterkette zu verwenden (beispielsweise Boxfilter über mehrere Frames, oder Kalman Filter).The visualization of the environment model serves the particular purpose of making the behavior of such a driver assistance system comprehensible for the driver, while the visualization itself is primarily based on the data in the perception channel of the vehicle, which combines a large number of sensors of the vehicle individually or in data fusion can use. However, due to the above-mentioned partial lack of suitability of the data via the environment model for visualization, the visualized data can have a high temporal jitter or a spatial offset, each with the result of a spatial instability of a displayed object relative to the environment - for the viewing driver Such behavior can appear in the display through wobbling objects and can be disruptive. The quality of object detection can depend heavily on the object class (especially in data-driven approaches) and the respective environmental conditions. It is therefore advisable to use a filter chain to clean up the behavior of the objects with regard to their position in their representation (e.g. box filter over several frames, or Kalman filter).

Die Störungen bzw. das Rauschen und Artefakte in der Visualisierung durch Filterschleifen zu entfernen ist tendenziell aufwändig. Dieser Ansatz führt ferner dazu, dass unabhängig von der Sensorgüte und den Umgebungsbedingungen der Filter sämtliche Objekte gleich filtert - und dies wiederum kann zu einer zu starken oder zu einer zu geringen Filterung der darzustellenden Objekte bezüglich ihrer Position führen. Eine solche Filterkette mit nicht optimalen Parametern kann sogar dazu führen, dass Objekte in der Visualisierung träge erscheinen. Dieser Effekt tritt insbesondere dann ein, wenn zeitliche Filter mit festen Fensterbreiten auf die Daten angewendet werden. Hierdurch weisen die Daten mitunter eine zeitliche Stabilität auf, wirken aber gleichermaßen für die Visualisierung träge. Es entsteht dementsprechend ein Zielkonflikt zwischen Artefaktbereinigung und realitätsgetreuer Anzeige auf einer Anzeigeeinheit.Removing the interference or noise and artifacts in the visualization using filter loops tends to be time-consuming. This approach also means that, regardless of the sensor quality and the environmental conditions, the filter filters all objects equally - and this in turn can lead to too strong or too little filtering of the objects to be displayed with regard to their position. Such a filter chain with sub-optimal parameters can even cause objects to appear sluggish in the visualization. This effect occurs in particular when temporal filters with fixed window widths are applied to the data. As a result, the data sometimes has a temporal stability, but has the same effect ßen for visualization sluggish. Accordingly, a conflict of objectives arises between artifact cleanup and realistic display on a display unit.

Aufgabe der Erfindung ist es, eine Filterung von anzuzeigenden Informationen über Objekte in ihrer Lage in einem Umfeldmodell zu verbessem.The object of the invention is to improve the filtering of information to be displayed about objects in their position in an environment model.

Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.The invention results from the features of the independent claims. Advantageous further developments and refinements are the subject of the dependent claims.

Ein erster Aspekt der Erfindung betrifft ein System zum Anzeigen von Informationen über Objekte in der Umgebung eines Fahrzeugs, aufweisend eine Sensoreinheit zum Ermitteln von Sensordaten über die Objekte, eine Fahrerbeobachtungskamera, eine Recheneinheit und eine Anzeigeeinheit, wobei die Recheneinheit dazu ausgeführt ist, mittels der Daten der Fahrerbeobachtungskamera eine jeweils aktuelle Blickrichtung des Fahrers zu ermitteln, die jeweilige Blickrichtung auf ein betrachtetes Ziel in der Umgebung zu beziehen, und einen Verlauf der betrachteten Ziele daraufhin zu prüfen, ob i) die Blickrichtungen während eines vorgegebenen Zeitraums ein Objekt der Umgebung verfolgen, und ob ii) das verfolgte Objekt einem mit der Sensoreinheit erfassten und an der Anzeigeeinheit darzustellenden Objekt während des vorgegebenen Zeitraums entspricht, und wenn i) und ii) vorliegen, eine Abweichung zwischen dem Verlauf der auf das verfolgte Objekt gerichteten Blickrichtungen mit einem mittels der Sensoreinheit auf Basis der Sensordaten ermittelten Positions-Verlauf des jeweiligen Objekts in einem sich für die Ermittlung der Abweichung eignenden gemeinsamen Projektionsbild zu ermitteln und zumindest einen Filterparameter eines zur Anzeige des verfolgten Objekts auf die Sensordaten anzuwendenden Filters so anzupassen, dass der durch die Anwendung des Filters auf der Anzeigeeinheit anzuzeigende Positions-Verlauf des jeweiligen Objekts so geändert wird, dass die Abweichung verringert wird, sowie die Anzeigeeinheit anschließend so anzusteuern, dass die zeitabhängige Position des angezeigten verfolgten Objekts auf der Anzeigeeinheit durch den angepassten Filterparameter bestimmt wird.A first aspect of the invention relates to a system for displaying information about objects in the surroundings of a vehicle, comprising a sensor unit for determining sensor data about the objects, a driver observation camera, a computing unit and a display unit, the computing unit being designed to use the data the driver observation camera to determine a current viewing direction of the driver, to relate the respective viewing direction to a viewed target in the environment, and to check a course of the viewed targets to determine whether i) the viewing directions track an object in the environment during a predetermined period of time, and whether ii) the tracked object corresponds to an object detected with the sensor unit and to be displayed on the display unit during the predetermined period of time, and if i) and ii) are present, a deviation between the course of the viewing directions directed at the tracked object with an object using the sensor unit Based on the sensor data, to determine the position profile of the respective object in a common projection image suitable for determining the deviation and to adapt at least one filter parameter of a filter to be applied to the sensor data to display the tracked object in such a way that the application of the filter on the The position history of the respective object to be displayed in the display unit is changed so that the deviation is reduced, and the display unit is then controlled in such a way that the time-dependent position of the displayed tracked object on the display unit is determined by the adapted filter parameter.

Die Aufgabe der Erfindung wird insbesondere dadurch gelöst, dass Augenbewegungen des Fahrers beobachtet werden und herangezogen werden, um die dadurch zur Verfügung stehenden Informationen mit denen aus dem Umfeld-Perzeptionskanal des Fahrzeugs zu kombinieren und zu harmonisieren. In anderen Worten werden die aus der Sensoreinheit gewonnenen Daten zur Anzeige von dynamischen und/oder statischen Objekten bezüglich der Umgebung des Fahrzeugs durch relevante Informationen aus den Augenbewegungen und daraus ableitbaren Blickrichtungen des Fahrers gestützt.The object of the invention is achieved in particular in that the driver's eye movements are observed and used in order to combine and harmonize the information thereby available with that from the environment perception channel of the vehicle. In other words, the data obtained from the sensor unit for displaying dynamic and/or static objects in relation to the vehicle's surroundings is supported by relevant information from the driver's eye movements and the viewing directions of the driver that can be derived from them.

Insbesondere erfolgt diese Stützung dadurch, dass ein oder mehrere Parameter eines oder mehrerer Filter, welche insbesondere eine dynamische Bandbreite des einen oder mehrerer Filter bestimmt, als Optimierungsvariable dient, um einen Positions-Verlauf eines durch Blicke verfolgten Objekts für die Anzeige zu optimieren; dies erfolgt insbesondere so, dass dieser Positions-Verlauf eines durch Blicke verfolgten Objekts der Blick-Trajektorie im Bezug auf die Umgebung des Fahrzeugs und damit idealerweise dem Objekt selbst folgt. Dass dieses Folgeverhalten sich so ergibt, ist dem Wert des zumindest einen Filterparameters zuzurechnen, welcher entsprechend optimiert wird.In particular, this support is provided in that one or more parameters of one or more filters, which in particular determine a dynamic bandwidth of the one or more filters, serve as an optimization variable in order to optimize a position profile of an object tracked by gaze for the display; This is done in particular in such a way that this position progression of an object being tracked by gaze follows the gaze trajectory in relation to the surroundings of the vehicle and thus ideally the object itself. The fact that this subsequent behavior results in this way can be attributed to the value of the at least one filter parameter, which is optimized accordingly.

Es ist dabei prinzipiell unerheblich, ob ein Filterparameter eines oder mehrerer Filter angepasst wird, ob ein oder mehrere Filter verwendet werden, sowie ob viele Filterparameter eines Filters oder Filterparameter mehrerer Filter angepasst werden. Ausschlaggebend ist lediglich der Umstand, dass das Verhalten einer angewendeten Filterkette wie oben und im Folgenden erläutert angepasst wird. Als Filter kann insbesondere ein Kalmanfilter verwendet werden. Beispiele für verschiedene Filterparameter sind ein Filterfenster und die Filterfunktion.In principle, it is irrelevant whether a filter parameter of one or more filters is adjusted, whether one or more filters are used, and whether many filter parameters of a filter or filter parameters of several filters are adjusted. The only decisive factor is the fact that the behavior of an applied filter chain is adjusted as explained above and below. A Kalman filter in particular can be used as a filter. Examples of different filter parameters are a filter window and the filter function.

Die Fahrerbeobachtungskamera erfasst unmittelbar die Augenbewegungen. Aus den Augenbewegungen kann eine Blickrichtung eines jeweiligen Auges ermittelt werden, womit auch der Fokus bekannt ist. Um die Blickrichtungen des Fahrers der Umgebung zuordnen zu können, ist ein entsprechend kompatibles Datenformat mit den Informationen aus der Sensoreinheit notwendig. Dies wird mittels des Projektionsbilds erreicht, in dem insbesondere die Informationen der Sensoreinheit über die Umgebung auf dieses bevorzugt zweidimensionale Projektionsbild abgebildet werden, und die Blickrichtungen entsprechenden Koordinaten in diesem Projektionsbild zugeordnet werden. Mit dem Projektionsbild ist damit eine gemeinsame Basis zum Vergleich der Informationen der Sensoreinheit über die Umgebung sowie die Blickrichtungen in die Umgebung geschaffen.The driver observation camera immediately records eye movements. From the eye movements, the direction of gaze of each eye can be determined, which also means the focus is known. In order to be able to assign the driver's viewing directions to the surroundings, a correspondingly compatible data format with the information from the sensor unit is necessary. This is achieved by means of the projection image, in which in particular the information from the sensor unit about the environment is mapped onto this preferably two-dimensional projection image, and the viewing directions are assigned to corresponding coordinates in this projection image. The projection image creates a common basis for comparing the information from the sensor unit about the environment and the viewing directions into the environment.

Als Projektionsbild wird bevorzugt ein sogenanntes „Range Image“ verwendet (dieses ist im Wesentlichen das Ergebnis einer Projektion einer 3D Umgebung auf eine 2D Ebene). Es können somit unmittelbare geometrische Vergleiche angestellt werden, welche Bahnen die Blickrichtungen des Fahrers in der Umgebung überstreichen, oder welchem gegenüber der übrigen Umgebung sich bewegenden Objekt sie folgen, und welche Informationen der Sensoreinheit bezüglich dieser Bahnen bzw. Objekte vorliegen.A so-called “range image” is preferably used as the projection image (this is essentially the result of a projection of a 3D environment onto a 2D plane). Direct geometric comparisons can therefore be made as to which paths the driver's line of sight covers in the environment, or which object they follow in relation to the rest of the environment, and which information tions of the sensor unit regarding these paths or objects are present.

Es wird dabei insbesondere von der Recheneinheit auf Basis dieser Blickrichtungen des Fahrers ermittelt, ob der Fahrer über einen vorgegebenen Zeitraum hin ein Objekt mit seinen Blicken verfolgt, d. h. über den vorgegebenen Zeitraum es fokussiert und seine Blickrichtung dem Objekt folgt. Die Recheneinheit stellt damit sicher, dass der Fahrer ein bewegliches Objekt konstant über eine längere Zeit beobachtet und fokussiert. Die Überprüfung findet insbesondere dadurch statt, dass ein Bereich um ein festes Fenster auf dem Projektionsbild wie einem „Range Image“ bestimmt wird. Ist der Bereich wiederkehrend konstant, kann davon ausgegangen werden, dass die gleiche objektbezogene Position fokussiert wird. Daraus kann ein Spline eines beweglichen Objekts auf der 2D Ebene des Projektionsbilds wie eines „Range Images“ abgeleitet werden. Ein jeweiliger Spline wird dann als Referenzspline genutzt, um den zumindest einen Filterparameter anzupassen.In particular, the computing unit determines, based on the driver's viewing directions, whether the driver is following an object with his gaze over a predetermined period of time, i.e. H. over the specified period of time it focuses and its line of sight follows the object. The computing unit thus ensures that the driver constantly observes and focuses on a moving object over a longer period of time. The check takes place in particular by determining an area around a fixed window on the projection image, such as a “range image”. If the area is constantly constant, it can be assumed that the same object-related position is focused. From this, a spline of a moving object on the 2D plane of the projection image such as a “range image” can be derived. A respective spline is then used as a reference spline to adjust the at least one filter parameter.

Mit der Erfüllung dieser Voraussetzungen liegen relevante Informationen auf Basis der erfassten Augenbewegungen des Fahrers vor, welche zum weiteren Vorgehen weiterverwendet werden können. Es wird daher noch geprüft, ob das von den Blicken des Fahrers verfolgte Objekt auch mit ausreichend Informationen der Sensoreinheit erfasst wurde, und dieses Objekt an einer Anzeigeeinheit des Fahrzeugs, insbesondere einem zentralen Bildschirm im Innenraum des Fahrzeugs, so angezeigt werden soll, dass sich der Fahrer gemäß der Anzeigeeinheit ein räumliches Abbild der Umgebung mithilfe dem auf der Anzeigeeinheit dargestellten Umgebungsmodell machen könnte.If these requirements are met, relevant information based on the driver's eye movements is available, which can be used for further action. It is therefore still being checked whether the object followed by the driver's gaze was also detected with sufficient information from the sensor unit, and this object should be displayed on a display unit of the vehicle, in particular a central screen in the interior of the vehicle, in such a way that the According to the display unit, the driver could make a spatial image of the environment using the environmental model displayed on the display unit.

Sind diese Bedingungen erfüllt, wird nach dem oben beschriebenen Verfahren fortgefahren, nach dem im Projektionsbild eine geometrische Abweichung der Bahn des verfolgten Objekts gemäß den Daten aus der Fahrerbeobachtungskamera und dem Position-Verlauf gemäß der Sensoreinheit verglichen werden. Die Trajektorie eines relativ zur Umgebung bewegten Objekts im 3D Raum kann durch die Sensoreinheit aufgezeichnet und mittels des Filters angepasst werden. Jene aktualisierte Filterkette wird nun bevorzugt in das Projektionsbild projiziert und mit dem Referenzspline verglichen. Die resultierende Abweichung kann beispielsweise als die orthogonale L2 Distanz definiert werden.If these conditions are met, the procedure described above continues, according to which a geometric deviation of the path of the tracked object is compared in the projection image according to the data from the driver observation camera and the position history according to the sensor unit. The trajectory of an object moving relative to the environment in 3D space can be recorded by the sensor unit and adjusted using the filter. That updated filter chain is now preferably projected into the projection image and compared with the reference spline. The resulting deviation can be defined, for example, as the orthogonal L2 distance.

Das Ziel der darauf folgenden Optimierung ist insbesondere die Minimierung jener Abweichung. Der zumindest eine Filterparameter wird dabei so angepasst, dass sich der Positions-Verlauf gemäß der Sensoreinheit an die verfolgte Trajektorie gemäß Blickverhalten des Fahrers anpasst. Damit ist ein verbesserter Filterparameter-Wert erhalten, und der Positions-Verlauf des Objekts kann zuverlässiger und realitätsnäher auf der Anzeigeeinheit dargestellt werden. Ist das entsprechende Minimum oder das Abbruchkriterium erreicht, wird die Optimierung beendet und das zugrunde liegende Filterset genutzt, um für einen entsprechenden Zeitraum die ADAS Perzeptions-Daten zu filtern und der Visualisierung zur Verfügung zu stellen.The aim of the subsequent optimization is, in particular, to minimize that deviation. The at least one filter parameter is adjusted so that the position profile according to the sensor unit adapts to the tracked trajectory according to the driver's gaze behavior. This results in an improved filter parameter value and the position history of the object can be displayed more reliably and more realistically on the display unit. If the corresponding minimum or the termination criterion is reached, the optimization is ended and the underlying filter set is used to filter the ADAS perception data for a corresponding period of time and make it available to the visualization.

Das Objekt, welches mit dem Filter mit dem zu ändernden Filterparameter zur Anzeige auf der Anzeige in seinem Verlauf beaufschlagt wird, ist insbesondere ein dynamisches Objekt, d. h. ein gegenüber der übrigen Umgebung bewegtes Objekt, wie ein weiterer Verkehrsteilnehmer. Gerade weitere Verkehrsteilnehmer bestimmen maßgeblich über das Verhalten eines Fahrerassistenzsystems, insbesondere wenn dieses reaktiv tätig wird, d. h. eine Reaktion auf den umgebenden Verkehr ausübt. Gerade solche Reaktionen sind für den Fahrer des Fahrzeugs von Interesse, sie nachzuvollziehen, wofür das Umfeldmodell mit den insbesondere bewegten Objekten in der Umgebung des Fahrzeugs an der Anzeigeeinheit dargestellt wird.The object, which is acted upon by the filter with the filter parameter to be changed for display on the display in its course, is in particular a dynamic object, i.e. H. an object that moves relative to the rest of the environment, such as another road user. Other road users in particular have a decisive influence on the behavior of a driver assistance system, especially if it acts reactively, i.e. H. reacts to the surrounding traffic. It is precisely such reactions that are of interest to the driver of the vehicle in order to understand them, for which the environment model with the particular moving objects in the area surrounding the vehicle is displayed on the display unit.

Eine Optimierungsschleife kann entweder in vorgegebenen Zeitabständen initialisiert werden oder aber an die Verfügbarkeit des Referenzsplines geknüpft werden; letzteres ist vor allem in ländlichen Umgebungen vorteilhaft. Ebenso ist eine Kopplung an ein Perzeptions-Gütemaß denkbar. Eine laufende Wiederholung der Optimierung ist typischerweise notwendig, da die Qualität der Sensordaten stark schwanken kann und unter Umständen abhängig vom Verschmutzungsgrad der Sensoren, der jeweiligen Lichtsituation oder Wetterverhältnissen sein kann.An optimization loop can either be initialized at specified time intervals or linked to the availability of the reference spline; the latter is particularly advantageous in rural environments. A link to a perception quality measure is also conceivable. Continuous repetition of the optimization is typically necessary because the quality of the sensor data can fluctuate greatly and may depend on the degree of contamination of the sensors, the respective lighting situation or weather conditions.

Vorteilhafte Wirkungen der Erfindung sind, dass durch die adaptive Anpassung der Assistenzvisualisierung die Objekte in der Umgebung natürlicher auf der Anzeigeeinheit dargestellt werden, und dies unabhängig von Licht und Wetterverhältnissen. Werden bewegte Objekte in der Umgebung des Fahrzeugs dargestellt, können diese außerdem unabhängig von der statischen Szenerie verbessert dargestellt werden. Das beschriebene System und Verfahren kann zudem eine Vielzahl von Filterparameter in der Optimierung anpassen, und ist unabhängig von der konkreten Verwendung von Sensortypen in der Sensoreinheit, sowie ob diese miteinander fusioniert werden. Einzelne Sensoren der Sensoreinheit können beispielsweise sein: Kamera, Radar, Lidar.Advantageous effects of the invention are that the objects in the environment are displayed more naturally on the display unit through the adaptive adjustment of the assistance visualization, regardless of light and weather conditions. If moving objects are displayed in the area surrounding the vehicle, they can also be displayed in an improved manner regardless of the static scenery. The system and method described can also adapt a large number of filter parameters in the optimization and is independent of the specific use of sensor types in the sensor unit and whether they are merged with one another. Individual sensors of the sensor unit can be, for example: camera, radar, lidar.

Gemäß einer vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, zur Ermittlung der Abweichung Daten der Sensoreinheit in ein zweidimensionales Projektionsbild zu projizieren, und die Blickrichtungen den Koordinaten des Projektionsbilds zuzuordnen, sodass der Verlauf der betrachteten Ziele der Blickrichtungen im Projektionsbild und der Positions-Verlauf eines jeweiligen Objekts im Projektionsbild auf gleiche normierte Positionen der Umgebung bezogen sind und somit eine jeweilige direkte geometrische Differenz zur Bestimmung der Abweichung ermittelt werden kann.According to an advantageous embodiment, the computing unit is designed to project data from the sensor unit into a two-dimensional projection image to determine the deviation, and the To assign viewing directions to the coordinates of the projection image, so that the course of the viewed targets of the viewing directions in the projection image and the position progression of a respective object in the projection image are related to the same standardized positions in the environment and thus a respective direct geometric difference can be determined to determine the deviation.

Die geometrische Differenz wird bevorzugt als L2-Distanz berechnet, besonders bevorzugt als für einen jeweiligen Zeitpunkt gültiges Integral der Abstände zwischen dem Spline der fokussierten Blickpunkte auf dem verfolgten Objekt und dem auf dasselbe Referenz-Projektionsbild bezogenen Bahnverlauf des Objekts gegenüber der Umgebung gemäß der Sensordaten.The geometric difference is preferably calculated as an L2 distance, particularly preferably as an integral valid for a respective point in time of the distances between the spline of the focused viewpoints on the tracked object and the path of the object relative to the environment based on the same reference projection image according to the sensor data.

Gemäß einer weiteren vorteilhaften Ausführungsform umfasst der Filter zumindest einen der folgenden: Kalmanfilter, Boxfilter, Tiefpassfilter, gleitender-Mittelwert-Filter.According to a further advantageous embodiment, the filter comprises at least one of the following: Kalman filter, box filter, low-pass filter, moving average filter.

Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, ein jeweiliges Objekt, welches von der Sensoreinheit erfasst wird, zu klassifizieren, und abhängig vom Ergebnis der Klassifikation zur Darstellung des jeweiligen Objekts auf der Anzeigeeinheit klassenabhängig jeweils spezielle Filterparameter zu ermitteln und anzuwenden.According to a further advantageous embodiment, the computing unit is designed to classify a respective object that is detected by the sensor unit and, depending on the result of the classification, to determine and apply specific filter parameters in a class-dependent manner to display the respective object on the display unit.

Verschiedene Klassen, in die insbesondere gegenüber der Umgebung bewegte Objekte eingeteilt werden können, sind beispielhaft: Fahrradfahrer, Personenkraftwagen, Lastkraftwagen, Fußgänger.Different classes into which objects that move in particular relative to the environment can be divided are, for example: cyclists, cars, trucks, pedestrians.

Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, den vorgegebenen Zeitraum abhängig von der Klassifikation des jeweiligen Objekts und/oder abhängig von der Entfernung des jeweiligen Objekts zum Fahrzeug zu bestimmen.According to a further advantageous embodiment, the computing unit is designed to determine the predetermined period of time depending on the classification of the respective object and/or depending on the distance of the respective object from the vehicle.

Gemäß einer weiteren vorteilhaften Ausführungsform weist das System weiterhin ein Kommunikationsmodul auf, wobei die Recheneinheit dazu ausgeführt ist, mittels des Kommunikationsmoduls an einen zentralen Rechner oder an einen weiteren Verkehrsteilnehmer, insbesondere einen weiteren Verkehrsteilnehmer in der gleichen Klasse wie das Fahrzeug, den zumindest einen angepassten Filterparameter zu übermitteln.According to a further advantageous embodiment, the system further has a communication module, wherein the computing unit is designed to send the at least one adapted filter parameter to a central computer or to another road user, in particular another road user in the same class as the vehicle, by means of the communication module to transmit.

Die Klasseneinteilung des eigenen Fahrzeugs kann dabei erfolgen wie die Klassifikation der anderen Verkehrsteilnehmer. So können insbesondere die jeweiligen durch Optimierung ermittelten Filterparameter nur an weitere Personenkraftwagen weitergegeben werden, wenn das eigene Fahrzeug ein Personenkraftwagen ist.The classification of your own vehicle can be done in the same way as the classification of other road users. In particular, the respective filter parameters determined through optimization can only be passed on to other passenger cars if your own vehicle is a passenger car.

Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit zur Prüfung ausgeführt, ob die Blickrichtungen während des vorgegebenen Zeitraums ein Objekt der Umgebung verfolgen, und dazu, auszuwerten, ob die Ziele der Blickrichtungen zumindest während des vorgegebenen Zeitraums innerhalb eines in die Umgebung des Fahrzeugs projizierten flächigen Bereichs um ein jeweiliges Objekt liegen.According to a further advantageous embodiment, the computing unit is designed to check whether the viewing directions track an object in the environment during the predetermined period of time, and to evaluate whether the targets of the viewing directions are within a flat area projected into the surroundings of the vehicle at least during the predetermined period of time lie around a respective object.

Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, die Größe des flächigen Bereichs abhängig von der Entfernung des jeweiligen Objekts zum Fahrzeug zu bestimmen.According to a further advantageous embodiment, the computing unit is designed to determine the size of the flat area depending on the distance of the respective object from the vehicle.

Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit zur Prüfung ausgeführt, ob das verfolgte Objekt einem mit der Sensoreinheit erfassten und an der Anzeigeeinheit darzustellenden Objekt während des vorgegebenen Zeitraums entspricht, und dazu, einen bildanalytischen Ähnlichkeitsvergleich, insbesondere eine Ermittlung eines „structural similarity index measure“, auszuführen.According to a further advantageous embodiment, the computing unit is designed to check whether the tracked object corresponds to an object detected with the sensor unit and to be displayed on the display unit during the predetermined period of time, and to carry out an image-analytical similarity comparison, in particular a determination of a “structural similarity index measure”. , to execute.

Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug mit einem System wie oben und im Folgenden beschrieben. Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Fahrzeugs ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit dem vorgeschlagenen System vorstehend gemachten Ausführungen.Another aspect of the invention relates to a vehicle with a system as described above and below. Advantages and preferred developments of the proposed vehicle result from an analogous and meaningful transmission of the statements made above in connection with the proposed system.

Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zum Anzeigen von Informationen über Objekte in der Umgebung eines Fahrzeugs, aufweisend die Schritte:

  • - Ermitteln von Sensordaten über die Objekte durch eine Sensoreinheit des Fahrzeugs, und jeweils durch eine Recheneinheit:
  • - Ermitteln mittels der Daten einer Fahrerbeobachtungskamera des Fahrzeugs einer jeweils aktuellen Blickrichtung des Fahrers;
  • - Beziehen der jeweiligen Blickrichtung auf ein betrachtetes Ziel in der Umgebung, und Prüfen eines Verlaufs der betrachteten Ziele daraufhin, ob i) die Blickrichtungen während eines vorgegebenen Zeitraums ein Objekt der Umgebung verfolgen, und ob ii) das verfolgte Objekt einem mit der Sensoreinheit erfassten und an der Anzeigeeinheit darzustellenden Objekt während des vorgegebenen Zeitraums entspricht, und wenn i) und ii) vorliegen:
  • - Ermitteln einer Abweichung zwischen dem Verlauf der auf das verfolgte Objekt gerichteten Blickrichtungen mit einem mittels der Sensoreinheit auf Basis der Sensordaten ermittelten Positions-Verlauf des jeweiligen Objekts in einem sich für die Ermittlung der Abweichung eignenden gemeinsamen Projektionsbild;
  • - Anpassen zumindest eines Filterparameters eines zur Anzeige des verfolgten Objekts auf die Sensordaten anzuwendenden Filters so, dass der durch die Anwendung des Filters auf der Anzeigeeinheit anzuzeigende Positions-Verlauf des jeweiligen Objekts so geändert wird, dass die Abweichung verringert wird; und anschließendes
  • - Ansteuern der Anzeigeeinheit so, dass die zeitabhängige Position des angezeigten verfolgten Objekts auf der Anzeigeeinheit durch den angepassten Filterparameter bestimmt wird.
A further aspect of the invention relates to a method for displaying information about objects in the surroundings of a vehicle, comprising the steps:
  • - Determination of sensor data about the objects by a sensor unit of the vehicle, and in each case by a computing unit:
  • - Determining the driver's current viewing direction using the data from a driver observation camera of the vehicle;
  • - Relating the respective viewing direction to a viewed target in the environment, and checking a course of the viewed targets to determine whether i) the viewing directions track an object in the environment during a predetermined period of time, and whether ii) the tracked object corresponds to one detected with the sensor unit and corresponds to the object to be displayed on the display unit during the specified period of time, and if i) and ii) are present:
  • - Determining a deviation between the course of the viewing directions directed at the tracked object with a position profile of the respective object determined by the sensor unit on the basis of the sensor data in a common projection image suitable for determining the deviation;
  • - Adjusting at least one filter parameter of a filter to be applied to the sensor data to display the tracked object so that the position history of the respective object to be displayed on the display unit by applying the filter is changed so that the deviation is reduced; and subsequent
  • - Controlling the display unit in such a way that the time-dependent position of the displayed tracked object on the display unit is determined by the adapted filter parameter.

Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Verfahrens ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit dem vorgeschlagenen System vorstehend gemachten Ausführungen.Advantages and preferred developments of the proposed method result from an analogous and meaningful transfer of the statements made above in connection with the proposed system.

Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.Further advantages, features and details emerge from the following description, in which at least one exemplary embodiment is described in detail - if necessary with reference to the drawing. Identical, similar and/or functionally identical parts are provided with the same reference numerals.

Es zeigen:

  • 1: Ein System in einem Fahrzeug zum Anzeigen von Informationen über Objekte in der Umgebung des Fahrzeugs gemäß einem Ausführungsbeispiel der Erfindung.
  • 2: Ein Verfahren zum Anzeigen von Informationen über Objekte in der Umgebung eines Fahrzeugs gemäß einem Ausführungsbeispiel der Erfindung.
Show it:
  • 1 : A system in a vehicle for displaying information about objects in the vehicle's surroundings according to an embodiment of the invention.
  • 2 : A method for displaying information about objects in the surroundings of a vehicle according to an embodiment of the invention.

Die Darstellungen in den Figuren sind schematisch und nicht maßstäblich.The representations in the figures are schematic and not to scale.

1 zeigt einen Ausschnitt eines Fahrzeug mit einem System zum Anzeigen von Informationen über Objekte in der Umgebung des Fahrzeugs. Das Fahrzeug weist als Teil des Systems eine Sensoreinheit 1 zum Erfassen von Sensordaten über die Umgebung des Fahrzeugs auf. In diesen Sensordaten werden daher auch entsprechende Informationen über bewegte Objekte wie weitere Verkehrsteilnehmer aufgenommen, welche sich in der erfassbaren Umgebung des Fahrzeugs befinden. Die Sensordaten dienen in erster Linie dazu, ein Fahrerassistenzsystem oder ein automatisches Fahrsteuerungssystem des Fahrzeugs mit jeweils aktuellen Informationen über die Umgebung und den darin auftretenden Verkehrsteilnehmern zu versorgen, sodass dieses entsprechende Reaktionen ausführen kann. Damit für den Fahrer des Fahrzeugs die Reaktionen nachvollziehbarer werden, werden die Daten über die Verkehrsteilnehmer an einer Anzeigeeinheit 7 des Fahrzeugs dargestellt und zwar so, dass reale Bewegungen der echten Verkehrsteilnehmer durch Bewegungen der Repräsentationen dieser Verkehrsteilnehmer auf der Anzeigeeinheit 7 abgebildet werden. Da die Sensordaten mit besonderer Eignung für die Verwendung in dem Fahrerassistenzsystem oder dem automatischen Fahrsteuerungssystem des Fahrzeugs konzipiert sind, nicht jedoch unbedingt für die Eignung zur Darstellung auf einer Anzeigeeinheit 7, werden ein oder mehrere Filter verwendet, um diese Sensordaten mit den Informationen über die weiteren Verkehrsteilnehmer und deren zeitlichen Positionsverlauf anzupassen, sodass ein realitätsnaher und glatter Positionsverlauf dieser Bewegungen der weiteren Verkehrsteilnehmer auf der Anzeigeeinheit 7 erreicht wird. Dieser zumindest eine Filter weist zumindest einen Filterparameter auf, und die Anwendung des Filters sowie die Ansteuerung der Anzeigeeinheit 7 wird durch eine Recheneinheit 5 des Systems, insbesondere aber nicht zwingend im Fahrzeug angeordnet, übernommen. Da ein im Voraus bestimmter Filterparameter nicht für alle Situationen optimal sein kann, wird vorteilhaft auf das Verhalten des Fahrers zurückgegriffen, wo dieses relevante Informationen enthält, um die Anzeige eines Positions-Verlaufs eines weiteren Verkehrsteilnehmers in der Umgebung des Fahrzeugs verbessern zu können. Dafür wird mittels einer Fahrerbeobachtungskamera 3 der zeitliche Verlauf von Blickrichtungen des Fahrers in die Umgebung erfasst, und die Blickrichtungen auf ein solches Projektionsbild der jeweils aktuellen Umgebung abgebildet, in welches auch die von der Sensoreinheit 1 erfassten Informationen abgebildet werden. Der Positionsverlauf, der durch das Streifen der Blickrichtungen über die Umgebung von der Recheneinheit 5 ermittelt wird, und der von der Sensoreinheit 1 ermittelte Positionsverlauf eines weiteren Verkehrsteilnehmers, ebenfalls abgebildet in das Projektionsbild, werden von der Recheneinheit 5 dann verglichen, wenn von der Recheneinheit 5 bereits ermittelt wurde, dass ein fokussierter Blickpunkt auf einem weiteren Verkehrsteilnehmer über einen vorgegebenen Zeitraum gehalten wird, was in der 1 als schwarzer ausgefüllter Kreis innerhalb eines rechteckigen definierten Bereichs um den weiteren Verkehrsteilnehmer skizziert ist. Der rechteckige definierte Bereich wird mittels der Sensordaten der Sensoreinheit 1 als derjenige Bereich definiert, welcher sich körperfest mit dem weiteren Verkehrsteilnehmer mitbewegt, und innerhalb dessen der Fokus der Blickrichtungen des Fahrers über einen vorgegebenen Zeitraum liegen muss, sodass von der Recheneinheit 5 erkannt werden kann, dass der Fahrer das Objekt für den vorgegebenen Zeitraum tatsächlich verfolgt. Ist dies der Fall, liegen nutzbare Informationen vor, um das Nachverfolgen des weiteren Verkehrsteilnehmers durch den Fahrer mit seinen Blicken ausnutzen zu können, um den Filter zu optimieren. Der Filterparameter wird dabei so optimiert, dass die Abweichung der mittels der Sensordaten der Sensoreinheit 1 berechneten Bewegungsdaten des weiteren Verkehrsteilnehmers möglichst denen entsprechen, die durch eine Verfolgung mit den Blickrichtungen des Fahrers des weiteren Verkehrsteilnehmers berechnet werden. Dementsprechend wird der Filterparameter angepasst und der so erhaltene Filterparameter dazu verwendet, die Bewegungsbahn des weiteren Verkehrsteilnehmers auf der Anzeigeeinheit 7 darzustellen. Weitere Details sind im Verfahren der 2 angegeben. 1 shows a section of a vehicle with a system for displaying information about objects in the area surrounding the vehicle. As part of the system, the vehicle has a sensor unit 1 for acquiring sensor data about the surroundings of the vehicle. This sensor data therefore also records corresponding information about moving objects such as other road users who are in the detectable surroundings of the vehicle. The sensor data is primarily used to provide a driver assistance system or an automatic driving control system of the vehicle with current information about the environment and the road users in it, so that it can carry out appropriate reactions. In order to make the reactions more understandable for the driver of the vehicle, the data about the road users is displayed on a display unit 7 of the vehicle in such a way that real movements of the real road users are depicted on the display unit 7 by movements of the representations of these road users. Since the sensor data is designed with particular suitability for use in the driver assistance system or the automatic driving control system of the vehicle, but not necessarily for suitability for display on a display unit 7, one or more filters are used to combine this sensor data with the information about the further To adapt road users and their position progression over time, so that a realistic and smooth position progression of these movements of other road users on the display unit 7 is achieved. This at least one filter has at least one filter parameter, and the application of the filter as well as the control of the display unit 7 is carried out by a computing unit 5 of the system, in particular but not necessarily arranged in the vehicle. Since a predetermined filter parameter cannot be optimal for all situations, the driver's behavior is advantageously used, where this contains relevant information, in order to be able to improve the display of a position history of another road user in the vicinity of the vehicle. For this purpose, the time course of the driver's viewing directions into the environment is recorded using a driver observation camera 3, and the viewing directions are mapped onto a projection image of the current environment, in which the information recorded by the sensor unit 1 is also mapped. The position profile, which is determined by the computing unit 5 by scanning the viewing directions over the surroundings, and the position profile of another road user determined by the sensor unit 1, also shown in the projection image, are compared by the computing unit 5 when by the computing unit 5 It has already been determined that a focused point of view is maintained on another road user over a predetermined period of time, which is in the 1 is outlined as a black filled circle within a rectangular defined area around the other road user. The rectangular defined area is defined by means of the sensor data from the sensor unit 1 as the area which moves along with the other road user in a body-fixed manner, and within which the focus of the driver's viewing directions over a predetermined must be within a certain period of time so that the computing unit 5 can recognize that the driver is actually tracking the object for the specified period of time. If this is the case, there is usable information to be able to exploit the driver's tracking of other road users with his gaze in order to optimize the filter. The filter parameter is optimized in such a way that the deviation of the movement data of the other road user calculated using the sensor data of the sensor unit 1 corresponds as far as possible to that which is calculated by tracking with the viewing directions of the driver of the other road user. Accordingly, the filter parameter is adjusted and the filter parameter obtained in this way is used to display the movement path of the other road user on the display unit 7. Further details are in the procedure 2 specified.

2 zeigt ein entsprechendes Verfahren zum Anzeigen von Informationen über Objekte in der Umgebung eines Fahrzeugs, welches in einem System, wie in der 1 beschrieben, ablaufen kann. In einem ersten Schritt des Verfahrens erfolgt ein Ermitteln S1 von Sensordaten über die Objekte durch eine Sensoreinheit 1 des Fahrzeugs zur Umfeldbeobachtung, hierbei können Kameras, Radar, Lidar, Ultraschallabstandssensoren und weitere typische Sensoren zum Einsatz kommen. Die Recheneinheit 5 ermittelt S2 mittels der Daten einer Fahrerbeobachtungskamera 3 des Fahrzeugs eine jeweils aktuelle Blickrichtung des Fahrers und bezieht S3 die jeweilige Blickrichtung auf ein betrachtetes Ziel in der Umgebung, indem ein Projektionsbild in Form eines sogenannten „Range Image“ bereitgestellt wird und eine Detektion der Fahrerblickrichtung auf dem zuvor abgeleiteten „Range Image“ erfolgt. Ferner erfolgt ein Prüfen eines Verlaufs der betrachteten Ziele daraufhin, ob i) die Blickrichtungen während eines vorgegebenen Zeitraums ein Objekt der Umgebung verfolgen, und ob ii) das verfolgte Objekt einem mit der Sensoreinheit 1 erfassten und an der Anzeigeeinheit 7 darzustellenden Objekt während des vorgegebenen Zeitraums entspricht. Prüfung ii) erfolgt durch die Bestimmung einer Korrespondenz zwischen dem fokussiertem Objekt durch den Fahrer und dem aus den Sensordaten abgeleiteten Objekt im 3D Raum mittels „structural similarity index measurement“, abgekürzt „SSIM“, der mit einem vorgegebene Grenzwert verglichen wird. Die Deckungsgleichheit wird anhand definierter Fehlermetriken geprüft. Dafür erfolgt eine wiederkehrende Bestimmung des Fahrerfokus um über mehrere Frames einen Referenzspline des Objekts auf Basis der Daten der Fahrerbeobachtungskamera 3 abzuleiten. Die Ableitung des Referenzsplines erfolgt aus den fokussierten „Range Images“. Schließlich folgt das Ermitteln S4 einer Abweichung zwischen dem Referenzspline auf Basis des Verlaufs der auf das verfolgte Objekt gerichteten Blickrichtungen, mit einem mittels der Sensoreinheit 1 auf Basis der Sensordaten ermittelten Positions-Verlauf des jeweiligen Objekts mit jeweiligen Bezügen auf das Projektionsbild; schließlich folgt das Anpassen S5 des zumindest einen Filterparameters zur Anzeige des vom Fahrer mit seinen Blicken angesehenen Verkehrsteilnehmers vor ihm mit dem auf die Sensordaten anzuwendenden Filter so, dass der durch die Anwendung des Filters auf der Anzeigeeinheit 7 anzuzeigende Positions-Verlauf des jeweiligen Objekts wie des Verkehrsteilnehmers aus 1 so geändert wird, dass die Abweichung verringert wird. Hierauf erfolgt das Ansteuern S6 der Anzeigeeinheit 7 so, dass tatsächlich die zeitabhängige Position des angezeigten verfolgten Objekts auf der Anzeigeeinheit 7 durch den angepassten Filterparameter bestimmt und angezeigt wird. 2 shows a corresponding method for displaying information about objects in the surroundings of a vehicle, which is in a system such as in the 1 described, can take place. In a first step of the method, sensor data S1 about the objects is determined by a sensor unit 1 of the vehicle for observing the surroundings; cameras, radar, lidar, ultrasonic distance sensors and other typical sensors can be used here. The computing unit 5 determines S2 a current viewing direction of the driver using the data from a driver observation camera 3 of the vehicle and relates S3 the respective viewing direction to an observed target in the environment by providing a projection image in the form of a so-called “range image” and detecting the The driver's line of sight is based on the previously derived “range image”. Furthermore, a course of the viewed targets is checked to see whether i) the viewing directions track an object in the environment during a predetermined period of time, and whether ii) the tracked object corresponds to an object detected with the sensor unit 1 and to be displayed on the display unit 7 during the predetermined period of time corresponds. Test ii) is carried out by determining a correspondence between the focused object by the driver and the object derived from the sensor data in 3D space using “structural similarity index measurement”, abbreviated “SSIM”, which is compared with a predetermined limit value. Congruence is checked using defined error metrics. For this purpose, the driver focus is determined repeatedly in order to derive a reference spline of the object based on the data from the driver observation camera 3 over several frames. The reference spline is derived from the focused “range images”. Finally, the determination S4 follows a deviation between the reference spline based on the course of the viewing directions directed at the tracked object, with a position course of the respective object determined by the sensor unit 1 on the basis of the sensor data with respective references to the projection image; Finally, the adjustment S5 of the at least one filter parameter for displaying the road user in front of him, which the driver looks at with his eyes, follows with the filter to be applied to the sensor data in such a way that the position profile of the respective object to be displayed on the display unit 7 through the application of the filter is as follows road user 1 is changed so that the deviation is reduced. The display unit 7 is then controlled S6 in such a way that the time-dependent position of the displayed tracked object on the display unit 7 is actually determined and displayed by the adapted filter parameter.

Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Beschreibung, definiert wird.Although the invention has been illustrated and explained in detail by preferred embodiments, the invention is not limited by the examples disclosed and other variations may be derived therefrom by those skilled in the art without departing from the scope of the invention. It is therefore clear that a large number of possible variations exist. It is also to be understood that exemplary embodiments are truly examples only and should not be construed in any way as limiting the scope, application, or configuration of the invention. Rather, the preceding description and the description of the figures enable the person skilled in the art to concretely implement the exemplary embodiments, whereby the person skilled in the art can make a variety of changes with knowledge of the disclosed inventive concept, for example with regard to the function or the arrangement of individual elements mentioned in an exemplary embodiment, without departing from the scope of protection defined by the claims and their legal equivalents, such as further explanations in the description.

BezugszeichenlisteReference symbol list

11
SensoreinheitSensor unit
33
FahrerbeobachtungskameraDriver observation camera
55
RecheneinheitComputing unit
77
Anzeigeeinheit Display unit
S1S1
ErmittelnDetermine
S2S2
ErmittelnDetermine
S3S3
BeziehenRelate
S4S4
ErmittelnDetermine
S5S5
AnpassenAdjust
S6S6
AnsteuernControl

Claims (11)

System zum Anzeigen von Informationen über Objekte in der Umgebung eines Fahrzeugs, aufweisend eine Sensoreinheit (1) zum Ermitteln von Sensordaten über die Objekte, eine Fahrerbeobachtungskamera (3), eine Recheneinheit (5) und eine Anzeigeeinheit (7), wobei die Recheneinheit (5) dazu ausgeführt ist, mittels der Daten der Fahrerbeobachtungskamera (3) eine jeweils aktuelle Blickrichtung des Fahrers zu ermitteln, die jeweilige Blickrichtung auf ein betrachtetes Ziel in der Umgebung zu beziehen, und einen Verlauf der betrachteten Ziele daraufhin zu prüfen, ob i) die Blickrichtungen während eines vorgegebenen Zeitraums ein Objekt der Umgebung verfolgen, und ob ii) das verfolgte Objekt einem mit der Sensoreinheit (1) erfassten und an der Anzeigeeinheit (7) darzustellenden Objekt während des vorgegebenen Zeitraums entspricht, und wenn i) und ii) vorliegen, eine Abweichung zwischen dem Verlauf der auf das verfolgte Objekt gerichteten Blickrichtungen mit einem mittels der Sensoreinheit (1) auf Basis der Sensordaten ermittelten Positions-Verlauf des jeweiligen Objekts in einem sich für die Ermittlung der Abweichung eignenden gemeinsamen Projektionsbild zu ermitteln und zumindest einen Filterparameter eines zur Anzeige des verfolgten Objekts auf die Sensordaten anzuwendenden Filters so anzupassen, dass der durch die Anwendung des Filters auf der Anzeigeeinheit (7) anzuzeigende Positions-Verlauf des jeweiligen Objekts so geändert wird, dass die Abweichung verringert wird, sowie die Anzeigeeinheit (7) anschließend so anzusteuern, dass die zeitabhängige Position des angezeigten verfolgten Objekts auf der Anzeigeeinheit (7) durch den angepassten Filterparameter bestimmt wird.System for displaying information about objects in the surroundings of a vehicle, comprising a sensor unit (1) for determining sensor data about the objects, a driver observation camera (3), a computing unit (5) and a display unit (7), wherein the computing unit (5 ) is designed to use the data from the driver observation camera (3) to determine the driver's current viewing direction, to relate the respective viewing direction to a viewed target in the environment, and to check a course of the viewed targets to determine whether i) the viewing directions track an object in the environment during a predetermined period of time, and whether ii) the tracked object corresponds to an object detected by the sensor unit (1) and to be displayed on the display unit (7) during the predetermined period of time, and if i) and ii) are present, an Deviation between the course of the viewing directions directed at the tracked object with a position course of the respective object determined by the sensor unit (1) on the basis of the sensor data in a common projection image suitable for determining the deviation and at least one filter parameter for display to adapt the filter to be applied to the sensor data of the tracked object in such a way that the position profile of the respective object to be displayed on the display unit (7) by applying the filter is changed in such a way that the deviation is reduced, and then to control the display unit (7) in this way that the time-dependent position of the displayed tracked object on the display unit (7) is determined by the adapted filter parameter. System nach Anspruch 1, wobei die Recheneinheit (5) dazu ausgeführt ist, zur Ermittlung der Abweichung Sensordaten der Sensoreinheit (1) in ein zweidimensionales Projektionsbild zu projizieren, und die Blickrichtungen den Koordinaten des Projektionsbilds zuzuordnen, sodass der Verlauf der betrachteten Ziele der Blickrichtungen im Projektionsbild und der Positions-Verlauf eines jeweiligen Objekts im Projektionsbild auf gleiche normierte Positionen der Umgebung bezogen sind und somit eine jeweilige direkte geometrische Differenz zur Bestimmung der Abweichung ermittelt werden kann.System after Claim 1 , wherein the computing unit (5) is designed to project sensor data from the sensor unit (1) into a two-dimensional projection image to determine the deviation, and to assign the viewing directions to the coordinates of the projection image, so that the course of the viewed targets of the viewing directions in the projection image and the position -The course of a respective object in the projection image is related to the same standardized positions in the environment and thus a respective direct geometric difference can be determined to determine the deviation. System nach einem der vorhergehenden Ansprüche, wobei der Filter zumindest einen der folgenden umfasst: Kalmanfilter, Boxfilter, Tiefpassfilter, gleitender-Mittelwert-Filter.System according to one of the preceding claims, wherein the filter comprises at least one of the following: Kalman filter, box filter, low-pass filter, moving average filter. System nach einem der vorhergehenden Ansprüche, wobei die Recheneinheit (5) dazu ausgeführt ist, ein jeweiliges Objekt, welches von der Sensoreinheit (1) erfasst wird, zu klassifizieren, und abhängig vom Ergebnis der Klassifikation zur Darstellung des jeweiligen Objekts auf der Anzeigeeinheit (7) klassenabhängig jeweils spezielle Filterparameter zu ermitteln und anzuwenden.System according to one of the preceding claims, wherein the computing unit (5) is designed to classify a respective object which is detected by the sensor unit (1) and, depending on the result of the classification, to display the respective object on the display unit (7 ) to determine and apply special filter parameters depending on the class. System nach Anspruch 4, wobei die Recheneinheit (5) dazu ausgeführt ist, den vorgegebenen Zeitraum abhängig von der Klassifikation des jeweiligen Objekts und/oder abhängig von der Entfernung des jeweiligen Objekts zum Fahrzeug zu bestimmen.System after Claim 4 , wherein the computing unit (5) is designed to determine the predetermined period of time depending on the classification of the respective object and / or depending on the distance of the respective object to the vehicle. System nach einem der vorhergehenden Ansprüche, weiterhin aufweisend ein Kommunikationsmodul, wobei die Recheneinheit (5) dazu ausgeführt ist, mittels des Kommunikationsmoduls an einen zentralen Rechner oder an einen weiteren Verkehrsteilnehmer, insbesondere einen weiteren Verkehrsteilnehmer in der gleichen Klasse wie das Fahrzeug mit dem System, den zumindest einen angepassten Filterparameter zu übermitteln.System according to one of the preceding claims, further comprising a communication module, wherein the computing unit (5) is designed to communicate by means of the communication module to a central computer or to another road user, in particular another road user in the same class as the vehicle with the system, to transmit the at least one adapted filter parameter. System nach einem der vorhergehenden Ansprüche, wobei die Recheneinheit (5) zur Prüfung ausgeführt ist, ob die Blickrichtungen während des vorgegebenen Zeitraums ein Objekt der Umgebung verfolgen, und dazu, auszuwerten, ob die Ziele der Blickrichtungen zumindest während des vorgegebenen Zeitraums innerhalb eines in die Umgebung des Fahrzeugs projizierten flächigen Bereichs um ein jeweiliges Objekt liegen.System according to one of the preceding claims, wherein the computing unit (5) is designed to check whether the viewing directions track an object in the environment during the predetermined period of time, and to evaluate whether the goals of the viewing directions are at least during the predetermined period of time within one in the Surroundings of the vehicle projected flat area around a respective object. System nach Anspruch 7, wobei die Recheneinheit (5) dazu ausgeführt ist, die Größe des flächigen Bereichs abhängig von der Entfernung des jeweiligen Objekts zum Fahrzeug zu bestimmen.System after Claim 7 , wherein the computing unit (5) is designed to determine the size of the flat area depending on the distance of the respective object to the vehicle. System nach einem der vorhergehenden Ansprüche, wobei die Recheneinheit (5) zur Prüfung ausgeführt ist, ob das verfolgte Objekt einem mit der Sensoreinheit (1) erfassten und an der Anzeigeeinheit (7) darzustellenden Objekt während des vorgegebenen Zeitraums entspricht, und dazu, einen bildanalytischen Ähnlichkeitsvergleich, insbesondere eine Ermittlung eines „structural similarity index measure“, auszuführen.System according to one of the preceding claims, wherein the computing unit (5) is designed to check whether the tracked object corresponds to an object detected with the sensor unit (1) and to be displayed on the display unit (7) during the predetermined period of time, and for this purpose, an image analytical To carry out a similarity comparison, in particular a determination of a “structural similarity index measure”. Fahrzeug mit einem System nach einem der vorhergehenden Ansprüche.Vehicle with a system according to one of the preceding claims. Verfahren zum Anzeigen von Informationen über Objekte in der Umgebung eines Fahrzeugs, aufweisend die Schritte: - Ermitteln (S1) von Sensordaten über die Objekte durch eine Sensoreinheit (1) des Fahrzeugs; und jeweils durch eine Recheneinheit (5): - Ermitteln (S2) mittels der Daten einer Fahrerbeobachtungskamera (3) des Fahrzeugs einer jeweils aktuellen Blickrichtung des Fahrers; - Beziehen (S3) der jeweiligen Blickrichtung auf ein betrachtetes Ziel in der Umgebung, und Prüfen eines Verlaufs der betrachteten Ziele daraufhin, ob i) die Blickrichtungen während eines vorgegebenen Zeitraums ein Objekt der Umgebung verfolgen, und ob ii) das verfolgte Objekt einem mit der Sensoreinheit (1) erfassten und an der Anzeigeeinheit (7) darzustellenden Objekt während des vorgegebenen Zeitraums entspricht, und wenn i) und ii) vorliegen: - Ermitteln (S4) einer Abweichung zwischen dem Verlauf der auf das verfolgte Objekt gerichteten Blickrichtungen mit einem mittels der Sensoreinheit (1) auf Basis der Sensordaten ermittelten Positions-Verlauf des jeweiligen Objekts in einem sich für die Ermittlung der Abweichung eignenden gemeinsamen Projektionsbild; - Anpassen (S5) zumindest eines Filterparameters eines zur Anzeige des verfolgten Objekts auf die Sensordaten anzuwendenden Filters so, dass der durch die Anwendung des Filters auf der Anzeigeeinheit (7) anzuzeigende Positions-Verlauf des jeweiligen Objekts so geändert wird, dass die Abweichung verringert wird; und anschließendes - Ansteuern (S6) der Anzeigeeinheit (7) so, dass die zeitabhängige Position des angezeigten verfolgten Objekts auf der Anzeigeeinheit (7) durch den angepassten Filterparameter bestimmt wird.Method for displaying information about objects in the surroundings of a vehicle, comprising the steps: - determining (S1) sensor data about the objects by a sensor unit (1) of the vehicle; and each by a computing unit (5): - Determining (S2) a current viewing direction of the driver using the data from a driver observation camera (3) of the vehicle; - Relating (S3) the respective viewing direction to a viewed target in the environment, and checking a course of the viewed targets to determine whether i) the viewing directions track an object in the environment during a predetermined period of time, and whether ii) the tracked object corresponds to the Sensor unit (1) detected and on the display unit (7) corresponds to the object to be displayed during the specified period of time, and if i) and ii) are present: - Determining (S4) a deviation between the course of the viewing directions directed at the tracked object with a means of Sensor unit (1) determines the position profile of the respective object on the basis of the sensor data in a common projection image suitable for determining the deviation; - Adjusting (S5) at least one filter parameter of a filter to be applied to the sensor data to display the tracked object so that the position profile of the respective object to be displayed on the display unit (7) by applying the filter is changed in such a way that the deviation is reduced ; and then - controlling (S6) the display unit (7) so that the time-dependent position of the displayed tracked object on the display unit (7) is determined by the adapted filter parameter.
DE102023002181.4A 2023-05-30 2023-05-30 Adaptive filter chain for displaying a model of the environment in a vehicle Active DE102023002181B3 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102023002181.4A DE102023002181B3 (en) 2023-05-30 2023-05-30 Adaptive filter chain for displaying a model of the environment in a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102023002181.4A DE102023002181B3 (en) 2023-05-30 2023-05-30 Adaptive filter chain for displaying a model of the environment in a vehicle

Publications (1)

Publication Number Publication Date
DE102023002181B3 true DE102023002181B3 (en) 2024-03-14

Family

ID=90055099

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102023002181.4A Active DE102023002181B3 (en) 2023-05-30 2023-05-30 Adaptive filter chain for displaying a model of the environment in a vehicle

Country Status (1)

Country Link
DE (1) DE102023002181B3 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018112345A1 (en) 2017-05-25 2018-11-29 Denso International America, Inc. Vehicle camera system
DE102021201065A1 (en) 2021-02-04 2022-08-04 Volkswagen Aktiengesellschaft Method for displaying an environment model of an environment of a motor vehicle, and environment detection system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018112345A1 (en) 2017-05-25 2018-11-29 Denso International America, Inc. Vehicle camera system
DE102021201065A1 (en) 2021-02-04 2022-08-04 Volkswagen Aktiengesellschaft Method for displaying an environment model of an environment of a motor vehicle, and environment detection system

Similar Documents

Publication Publication Date Title
EP2623374B1 (en) Vision system for commercial vehicles for the display of the statutory fields of view of a main mirror and a wide-angle mirror
DE102012025322B4 (en) Motor vehicle with camera monitor system
DE102016219455A1 (en) Motor vehicle, method and active infrastructure for checking an environment detection of a motor vehicle
DE102005039103A1 (en) Procedure for recording a traffic area
EP1418444A1 (en) Method for determining the yaw rate of a vehicle
WO2021239323A1 (en) Method for identifying image artifacts, controller for carrying out such a method, identifying device comprising such a controller, and motor vehicle comprising such an identifying device
DE102006037600B4 (en) Method for the resolution-dependent representation of the environment of a motor vehicle
DE102008026876A1 (en) Stereo camera system and method for determining at least one calibration error of a stereo camera system
DE102012015282B4 (en) Method for detecting a covered state of an image capturing device of a motor vehicle, camera system and motor vehicle
EP2996327B1 (en) Surround view system for vehicles with attachments
DE102019116058A1 (en) METHOD AND DEVICE FOR DETECTING OBJECTS IN CAMERA BLIND ZONES
DE102016216962B3 (en) Method and control unit for tracking a picture detail
DE102011082881A1 (en) Method for representing surroundings of vehicle e.g. motor vehicle e.g. car, involves transforming primary image information into secondary image information corresponding to panoramic view using spatial information
DE102023002181B3 (en) Adaptive filter chain for displaying a model of the environment in a vehicle
DE102019102672A1 (en) INTERSENSORY LEARNING
DE102017210415B4 (en) A method for providing an image mask for the delineation of a region of interest in a camera image of an environment camera of a motor vehicle and control device, environment camera and motor vehicle
EP3073446A1 (en) Method for representing the surroundings of a vehicle
DE102014018364A1 (en) Device and method for assisting a driver of a vehicle, in particular a utility vehicle
DE102014209863A1 (en) Method and device for operating a stereo camera for a vehicle and stereo camera for a vehicle
EP3833576B1 (en) Surveillance camera system
DE102015217717A1 (en) A vehicle camera system and method for displaying images on a vehicle display of a vehicle
DE102017100669A1 (en) Method for detecting an environmental region of a motor vehicle with adaptation of a region of interest as a function of a trailer, computing device, camera system and motor vehicle
DE102005002636A1 (en) Video data processing method for camera system, involves applying coordinate transformation to camera image for obtaining transformed camera image, where transformation transfers camera coordinate system to destination coordinate system
DE102015210870A1 (en) Apparatus and method for capturing an image of a vehicle environment
DE102019102423A1 (en) Method for live annotation of sensor data

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R018 Grant decision by examination section/examining division