DE102023002181B3 - Adaptive filter chain for displaying a model of the environment in a vehicle - Google Patents
Adaptive filter chain for displaying a model of the environment in a vehicle Download PDFInfo
- Publication number
- DE102023002181B3 DE102023002181B3 DE102023002181.4A DE102023002181A DE102023002181B3 DE 102023002181 B3 DE102023002181 B3 DE 102023002181B3 DE 102023002181 A DE102023002181 A DE 102023002181A DE 102023002181 B3 DE102023002181 B3 DE 102023002181B3
- Authority
- DE
- Germany
- Prior art keywords
- filter
- vehicle
- unit
- display unit
- deviation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003044 adaptive effect Effects 0.000 title description 2
- 230000036962 time dependent Effects 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 14
- 230000002829 reductive effect Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 238000012800 visualization Methods 0.000 description 8
- 238000005457 optimization Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 230000004424 eye movement Effects 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0965—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Atmospheric Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
Die Erfindung betrifft ein System zum Anzeigen von Informationen über Objekte in der Umgebung eines Fahrzeugs, wobei eine Recheneinheit (5) mittels einer Fahrerbeobachtungskamera (3) Fahrer-Blickrichtungen unter Bezug auf die Umgebung ermittelt und prüft, ob damit ein Objekt der Umgebung verfolgt wird, und im positiven Fall eine Abweichung zwischen dem Verlauf der auf das verfolgte Objekt gerichteten Blickrichtungen mit einem Positions-Verlauf nach den Daten einer Umfeld-Sensoreinheit (1) in einem Projektionsbild ermittelt und zur Minimierung der Abweichung einen Filterparameter eines zur Anzeige des verfolgten Objekts auf die Sensordaten anzuwendenden Filters anpasst, sowie die Anzeigeeinheit (7) zum gefilterten Anzeigen der zeitabhängigen Position des verfolgten Objekts ansteuert.The invention relates to a system for displaying information about objects in the surroundings of a vehicle, wherein a computing unit (5) uses a driver observation camera (3) to determine driver viewing directions with reference to the surroundings and checks whether an object in the surroundings is being tracked, and in the positive case, a deviation between the course of the viewing directions directed at the tracked object is determined with a position course according to the data of an environment sensor unit (1) in a projection image and, in order to minimize the deviation, a filter parameter for displaying the tracked object is applied to the Sensor data adapts the filter to be applied, and controls the display unit (7) for filtered display of the time-dependent position of the tracked object.
Description
Die Erfindung betrifft ein System zum Anzeigen von Informationen über Objekte in der Umgebung eines Fahrzeugs, ein Fahrzeug mit einem solchen System, sowie ein Verfahren zum Anzeigen von Informationen über Objekte in der Umgebung eines Fahrzeugs.The invention relates to a system for displaying information about objects in the surroundings of a vehicle, a vehicle with such a system, and a method for displaying information about objects in the surroundings of a vehicle.
Im Stand der Technik ist es bekannt, ein aus Sensordaten gewonnenes Umfeldmodell zur Nachvollziehung von Sensordaten über Objekte im Umfeld als Bild zu erzeugen und zu rendern, und auf einer Anzeigevorrichtung anzuzeigen.It is known in the prior art to generate and render an environment model obtained from sensor data for the purpose of understanding sensor data about objects in the environment as an image and to display it on a display device.
Die
Die
Eine Sensoreinheit im Fahrzeug weist dabei typischerweise den Zweck auf, Daten für ein Fahrerassistenzsystem zu gewinnen. Dies erfolgt im Rahmen der Umfeldperzeption, welche die primäre Aufgabe hat, Daten für Fahrerassistenzsysteme wie Fahrfunktionen oder Parkfunktionen des Fahrzeugs zu erzeugen. Dementsprechend sind die Sensordaten primär für solche Fahrerassistenzsysteme geeignet, nicht jedoch damit unbedingt auch optimal für eine Visualisierung eines Umfeldmodells mit bewegten und/oder statischen Objekten in der Umgebung um das Fahrzeug, welches mithilfe dieser Daten der Sensoreinheit ermittelt wird. Ein solches Umfeldmodell kann dabei beispielsweise aus den Daten der Sensoreinheit direkt bzw. mithilfe des Ergebnisses einer statischen oder dynamischen Sensordatenfusion erzeugt werden. Dieses Vorgehen wird auch genannt „Navistenz“. Dabei werden typischerweise ADAS (kurz für „advanced driver assistance system“) Sensordaten und Navigationsdaten auf einem zentralen Bildschirm dem Fahrer zur Anzeige gebracht.A sensor unit in the vehicle typically has the purpose of obtaining data for a driver assistance system. This takes place as part of environmental perception, which has the primary task of generating data for driver assistance systems such as driving functions or parking functions of the vehicle. Accordingly, the sensor data is primarily suitable for such driver assistance systems, but is not necessarily optimal for visualizing an environment model with moving and/or static objects in the environment around the vehicle, which is determined using this data from the sensor unit. Such an environment model can be generated, for example, from the data from the sensor unit directly or using the result of a static or dynamic sensor data fusion. This procedure is also called “navigation”. Typically, ADAS (short for “advanced driver assistance system”) sensor data and navigation data are displayed to the driver on a central screen.
Die Visualisierung des Umfeldmodells dient insbesondere dem Zweck, das Verhalten eines solchen Fahrerassistenzsystems für den Fahrer nachvollziehbar zu machen, während sich die Visualisierung selbst jedoch primär auf die Daten im Perzeptionskanal des Fahrzeugs stützt, welcher eine Vielzahl von Sensoren des Fahrzeugs einzeln oder in Datenfusion miteinander kombiniert verwenden kann. Wegen der oben genannten zum Teil vorliegenden mangelnden Geeignetheit der Daten über das Umfeldmodell zur Visualisierung können jedoch die visualisieren Daten einen hohen zeitlichen Jiitter oder einen räumlichen Offset aufweisen, jeweils mit der Folge einer räumlichen Instabilität eines angezeigten Objekts relativ zur Umgebung - für den betrachtenden Fahrer kann ein solches Verhalten durch wackelnde Objekte in der Darstellung in Erscheinung treten und störend wirken. Die Qualität der Objekterkennung kann stark von der Objektklasse (vor allem bei datengetriebenen Ansätzen) und den jeweiligen Umgebungsbedingungen abhängen. Es bietet sich daher zur Bereinigung des Verhaltens der Objekte bezüglich ihrer Position in ihrer Darstellung an, eine Filterkette zu verwenden (beispielsweise Boxfilter über mehrere Frames, oder Kalman Filter).The visualization of the environment model serves the particular purpose of making the behavior of such a driver assistance system comprehensible for the driver, while the visualization itself is primarily based on the data in the perception channel of the vehicle, which combines a large number of sensors of the vehicle individually or in data fusion can use. However, due to the above-mentioned partial lack of suitability of the data via the environment model for visualization, the visualized data can have a high temporal jitter or a spatial offset, each with the result of a spatial instability of a displayed object relative to the environment - for the viewing driver Such behavior can appear in the display through wobbling objects and can be disruptive. The quality of object detection can depend heavily on the object class (especially in data-driven approaches) and the respective environmental conditions. It is therefore advisable to use a filter chain to clean up the behavior of the objects with regard to their position in their representation (e.g. box filter over several frames, or Kalman filter).
Die Störungen bzw. das Rauschen und Artefakte in der Visualisierung durch Filterschleifen zu entfernen ist tendenziell aufwändig. Dieser Ansatz führt ferner dazu, dass unabhängig von der Sensorgüte und den Umgebungsbedingungen der Filter sämtliche Objekte gleich filtert - und dies wiederum kann zu einer zu starken oder zu einer zu geringen Filterung der darzustellenden Objekte bezüglich ihrer Position führen. Eine solche Filterkette mit nicht optimalen Parametern kann sogar dazu führen, dass Objekte in der Visualisierung träge erscheinen. Dieser Effekt tritt insbesondere dann ein, wenn zeitliche Filter mit festen Fensterbreiten auf die Daten angewendet werden. Hierdurch weisen die Daten mitunter eine zeitliche Stabilität auf, wirken aber gleichermaßen für die Visualisierung träge. Es entsteht dementsprechend ein Zielkonflikt zwischen Artefaktbereinigung und realitätsgetreuer Anzeige auf einer Anzeigeeinheit.Removing the interference or noise and artifacts in the visualization using filter loops tends to be time-consuming. This approach also means that, regardless of the sensor quality and the environmental conditions, the filter filters all objects equally - and this in turn can lead to too strong or too little filtering of the objects to be displayed with regard to their position. Such a filter chain with sub-optimal parameters can even cause objects to appear sluggish in the visualization. This effect occurs in particular when temporal filters with fixed window widths are applied to the data. As a result, the data sometimes has a temporal stability, but has the same effect ßen for visualization sluggish. Accordingly, a conflict of objectives arises between artifact cleanup and realistic display on a display unit.
Aufgabe der Erfindung ist es, eine Filterung von anzuzeigenden Informationen über Objekte in ihrer Lage in einem Umfeldmodell zu verbessem.The object of the invention is to improve the filtering of information to be displayed about objects in their position in an environment model.
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.The invention results from the features of the independent claims. Advantageous further developments and refinements are the subject of the dependent claims.
Ein erster Aspekt der Erfindung betrifft ein System zum Anzeigen von Informationen über Objekte in der Umgebung eines Fahrzeugs, aufweisend eine Sensoreinheit zum Ermitteln von Sensordaten über die Objekte, eine Fahrerbeobachtungskamera, eine Recheneinheit und eine Anzeigeeinheit, wobei die Recheneinheit dazu ausgeführt ist, mittels der Daten der Fahrerbeobachtungskamera eine jeweils aktuelle Blickrichtung des Fahrers zu ermitteln, die jeweilige Blickrichtung auf ein betrachtetes Ziel in der Umgebung zu beziehen, und einen Verlauf der betrachteten Ziele daraufhin zu prüfen, ob i) die Blickrichtungen während eines vorgegebenen Zeitraums ein Objekt der Umgebung verfolgen, und ob ii) das verfolgte Objekt einem mit der Sensoreinheit erfassten und an der Anzeigeeinheit darzustellenden Objekt während des vorgegebenen Zeitraums entspricht, und wenn i) und ii) vorliegen, eine Abweichung zwischen dem Verlauf der auf das verfolgte Objekt gerichteten Blickrichtungen mit einem mittels der Sensoreinheit auf Basis der Sensordaten ermittelten Positions-Verlauf des jeweiligen Objekts in einem sich für die Ermittlung der Abweichung eignenden gemeinsamen Projektionsbild zu ermitteln und zumindest einen Filterparameter eines zur Anzeige des verfolgten Objekts auf die Sensordaten anzuwendenden Filters so anzupassen, dass der durch die Anwendung des Filters auf der Anzeigeeinheit anzuzeigende Positions-Verlauf des jeweiligen Objekts so geändert wird, dass die Abweichung verringert wird, sowie die Anzeigeeinheit anschließend so anzusteuern, dass die zeitabhängige Position des angezeigten verfolgten Objekts auf der Anzeigeeinheit durch den angepassten Filterparameter bestimmt wird.A first aspect of the invention relates to a system for displaying information about objects in the surroundings of a vehicle, comprising a sensor unit for determining sensor data about the objects, a driver observation camera, a computing unit and a display unit, the computing unit being designed to use the data the driver observation camera to determine a current viewing direction of the driver, to relate the respective viewing direction to a viewed target in the environment, and to check a course of the viewed targets to determine whether i) the viewing directions track an object in the environment during a predetermined period of time, and whether ii) the tracked object corresponds to an object detected with the sensor unit and to be displayed on the display unit during the predetermined period of time, and if i) and ii) are present, a deviation between the course of the viewing directions directed at the tracked object with an object using the sensor unit Based on the sensor data, to determine the position profile of the respective object in a common projection image suitable for determining the deviation and to adapt at least one filter parameter of a filter to be applied to the sensor data to display the tracked object in such a way that the application of the filter on the The position history of the respective object to be displayed in the display unit is changed so that the deviation is reduced, and the display unit is then controlled in such a way that the time-dependent position of the displayed tracked object on the display unit is determined by the adapted filter parameter.
Die Aufgabe der Erfindung wird insbesondere dadurch gelöst, dass Augenbewegungen des Fahrers beobachtet werden und herangezogen werden, um die dadurch zur Verfügung stehenden Informationen mit denen aus dem Umfeld-Perzeptionskanal des Fahrzeugs zu kombinieren und zu harmonisieren. In anderen Worten werden die aus der Sensoreinheit gewonnenen Daten zur Anzeige von dynamischen und/oder statischen Objekten bezüglich der Umgebung des Fahrzeugs durch relevante Informationen aus den Augenbewegungen und daraus ableitbaren Blickrichtungen des Fahrers gestützt.The object of the invention is achieved in particular in that the driver's eye movements are observed and used in order to combine and harmonize the information thereby available with that from the environment perception channel of the vehicle. In other words, the data obtained from the sensor unit for displaying dynamic and/or static objects in relation to the vehicle's surroundings is supported by relevant information from the driver's eye movements and the viewing directions of the driver that can be derived from them.
Insbesondere erfolgt diese Stützung dadurch, dass ein oder mehrere Parameter eines oder mehrerer Filter, welche insbesondere eine dynamische Bandbreite des einen oder mehrerer Filter bestimmt, als Optimierungsvariable dient, um einen Positions-Verlauf eines durch Blicke verfolgten Objekts für die Anzeige zu optimieren; dies erfolgt insbesondere so, dass dieser Positions-Verlauf eines durch Blicke verfolgten Objekts der Blick-Trajektorie im Bezug auf die Umgebung des Fahrzeugs und damit idealerweise dem Objekt selbst folgt. Dass dieses Folgeverhalten sich so ergibt, ist dem Wert des zumindest einen Filterparameters zuzurechnen, welcher entsprechend optimiert wird.In particular, this support is provided in that one or more parameters of one or more filters, which in particular determine a dynamic bandwidth of the one or more filters, serve as an optimization variable in order to optimize a position profile of an object tracked by gaze for the display; This is done in particular in such a way that this position progression of an object being tracked by gaze follows the gaze trajectory in relation to the surroundings of the vehicle and thus ideally the object itself. The fact that this subsequent behavior results in this way can be attributed to the value of the at least one filter parameter, which is optimized accordingly.
Es ist dabei prinzipiell unerheblich, ob ein Filterparameter eines oder mehrerer Filter angepasst wird, ob ein oder mehrere Filter verwendet werden, sowie ob viele Filterparameter eines Filters oder Filterparameter mehrerer Filter angepasst werden. Ausschlaggebend ist lediglich der Umstand, dass das Verhalten einer angewendeten Filterkette wie oben und im Folgenden erläutert angepasst wird. Als Filter kann insbesondere ein Kalmanfilter verwendet werden. Beispiele für verschiedene Filterparameter sind ein Filterfenster und die Filterfunktion.In principle, it is irrelevant whether a filter parameter of one or more filters is adjusted, whether one or more filters are used, and whether many filter parameters of a filter or filter parameters of several filters are adjusted. The only decisive factor is the fact that the behavior of an applied filter chain is adjusted as explained above and below. A Kalman filter in particular can be used as a filter. Examples of different filter parameters are a filter window and the filter function.
Die Fahrerbeobachtungskamera erfasst unmittelbar die Augenbewegungen. Aus den Augenbewegungen kann eine Blickrichtung eines jeweiligen Auges ermittelt werden, womit auch der Fokus bekannt ist. Um die Blickrichtungen des Fahrers der Umgebung zuordnen zu können, ist ein entsprechend kompatibles Datenformat mit den Informationen aus der Sensoreinheit notwendig. Dies wird mittels des Projektionsbilds erreicht, in dem insbesondere die Informationen der Sensoreinheit über die Umgebung auf dieses bevorzugt zweidimensionale Projektionsbild abgebildet werden, und die Blickrichtungen entsprechenden Koordinaten in diesem Projektionsbild zugeordnet werden. Mit dem Projektionsbild ist damit eine gemeinsame Basis zum Vergleich der Informationen der Sensoreinheit über die Umgebung sowie die Blickrichtungen in die Umgebung geschaffen.The driver observation camera immediately records eye movements. From the eye movements, the direction of gaze of each eye can be determined, which also means the focus is known. In order to be able to assign the driver's viewing directions to the surroundings, a correspondingly compatible data format with the information from the sensor unit is necessary. This is achieved by means of the projection image, in which in particular the information from the sensor unit about the environment is mapped onto this preferably two-dimensional projection image, and the viewing directions are assigned to corresponding coordinates in this projection image. The projection image creates a common basis for comparing the information from the sensor unit about the environment and the viewing directions into the environment.
Als Projektionsbild wird bevorzugt ein sogenanntes „Range Image“ verwendet (dieses ist im Wesentlichen das Ergebnis einer Projektion einer 3D Umgebung auf eine 2D Ebene). Es können somit unmittelbare geometrische Vergleiche angestellt werden, welche Bahnen die Blickrichtungen des Fahrers in der Umgebung überstreichen, oder welchem gegenüber der übrigen Umgebung sich bewegenden Objekt sie folgen, und welche Informationen der Sensoreinheit bezüglich dieser Bahnen bzw. Objekte vorliegen.A so-called “range image” is preferably used as the projection image (this is essentially the result of a projection of a 3D environment onto a 2D plane). Direct geometric comparisons can therefore be made as to which paths the driver's line of sight covers in the environment, or which object they follow in relation to the rest of the environment, and which information tions of the sensor unit regarding these paths or objects are present.
Es wird dabei insbesondere von der Recheneinheit auf Basis dieser Blickrichtungen des Fahrers ermittelt, ob der Fahrer über einen vorgegebenen Zeitraum hin ein Objekt mit seinen Blicken verfolgt, d. h. über den vorgegebenen Zeitraum es fokussiert und seine Blickrichtung dem Objekt folgt. Die Recheneinheit stellt damit sicher, dass der Fahrer ein bewegliches Objekt konstant über eine längere Zeit beobachtet und fokussiert. Die Überprüfung findet insbesondere dadurch statt, dass ein Bereich um ein festes Fenster auf dem Projektionsbild wie einem „Range Image“ bestimmt wird. Ist der Bereich wiederkehrend konstant, kann davon ausgegangen werden, dass die gleiche objektbezogene Position fokussiert wird. Daraus kann ein Spline eines beweglichen Objekts auf der 2D Ebene des Projektionsbilds wie eines „Range Images“ abgeleitet werden. Ein jeweiliger Spline wird dann als Referenzspline genutzt, um den zumindest einen Filterparameter anzupassen.In particular, the computing unit determines, based on the driver's viewing directions, whether the driver is following an object with his gaze over a predetermined period of time, i.e. H. over the specified period of time it focuses and its line of sight follows the object. The computing unit thus ensures that the driver constantly observes and focuses on a moving object over a longer period of time. The check takes place in particular by determining an area around a fixed window on the projection image, such as a “range image”. If the area is constantly constant, it can be assumed that the same object-related position is focused. From this, a spline of a moving object on the 2D plane of the projection image such as a “range image” can be derived. A respective spline is then used as a reference spline to adjust the at least one filter parameter.
Mit der Erfüllung dieser Voraussetzungen liegen relevante Informationen auf Basis der erfassten Augenbewegungen des Fahrers vor, welche zum weiteren Vorgehen weiterverwendet werden können. Es wird daher noch geprüft, ob das von den Blicken des Fahrers verfolgte Objekt auch mit ausreichend Informationen der Sensoreinheit erfasst wurde, und dieses Objekt an einer Anzeigeeinheit des Fahrzeugs, insbesondere einem zentralen Bildschirm im Innenraum des Fahrzeugs, so angezeigt werden soll, dass sich der Fahrer gemäß der Anzeigeeinheit ein räumliches Abbild der Umgebung mithilfe dem auf der Anzeigeeinheit dargestellten Umgebungsmodell machen könnte.If these requirements are met, relevant information based on the driver's eye movements is available, which can be used for further action. It is therefore still being checked whether the object followed by the driver's gaze was also detected with sufficient information from the sensor unit, and this object should be displayed on a display unit of the vehicle, in particular a central screen in the interior of the vehicle, in such a way that the According to the display unit, the driver could make a spatial image of the environment using the environmental model displayed on the display unit.
Sind diese Bedingungen erfüllt, wird nach dem oben beschriebenen Verfahren fortgefahren, nach dem im Projektionsbild eine geometrische Abweichung der Bahn des verfolgten Objekts gemäß den Daten aus der Fahrerbeobachtungskamera und dem Position-Verlauf gemäß der Sensoreinheit verglichen werden. Die Trajektorie eines relativ zur Umgebung bewegten Objekts im 3D Raum kann durch die Sensoreinheit aufgezeichnet und mittels des Filters angepasst werden. Jene aktualisierte Filterkette wird nun bevorzugt in das Projektionsbild projiziert und mit dem Referenzspline verglichen. Die resultierende Abweichung kann beispielsweise als die orthogonale L2 Distanz definiert werden.If these conditions are met, the procedure described above continues, according to which a geometric deviation of the path of the tracked object is compared in the projection image according to the data from the driver observation camera and the position history according to the sensor unit. The trajectory of an object moving relative to the environment in 3D space can be recorded by the sensor unit and adjusted using the filter. That updated filter chain is now preferably projected into the projection image and compared with the reference spline. The resulting deviation can be defined, for example, as the orthogonal L2 distance.
Das Ziel der darauf folgenden Optimierung ist insbesondere die Minimierung jener Abweichung. Der zumindest eine Filterparameter wird dabei so angepasst, dass sich der Positions-Verlauf gemäß der Sensoreinheit an die verfolgte Trajektorie gemäß Blickverhalten des Fahrers anpasst. Damit ist ein verbesserter Filterparameter-Wert erhalten, und der Positions-Verlauf des Objekts kann zuverlässiger und realitätsnäher auf der Anzeigeeinheit dargestellt werden. Ist das entsprechende Minimum oder das Abbruchkriterium erreicht, wird die Optimierung beendet und das zugrunde liegende Filterset genutzt, um für einen entsprechenden Zeitraum die ADAS Perzeptions-Daten zu filtern und der Visualisierung zur Verfügung zu stellen.The aim of the subsequent optimization is, in particular, to minimize that deviation. The at least one filter parameter is adjusted so that the position profile according to the sensor unit adapts to the tracked trajectory according to the driver's gaze behavior. This results in an improved filter parameter value and the position history of the object can be displayed more reliably and more realistically on the display unit. If the corresponding minimum or the termination criterion is reached, the optimization is ended and the underlying filter set is used to filter the ADAS perception data for a corresponding period of time and make it available to the visualization.
Das Objekt, welches mit dem Filter mit dem zu ändernden Filterparameter zur Anzeige auf der Anzeige in seinem Verlauf beaufschlagt wird, ist insbesondere ein dynamisches Objekt, d. h. ein gegenüber der übrigen Umgebung bewegtes Objekt, wie ein weiterer Verkehrsteilnehmer. Gerade weitere Verkehrsteilnehmer bestimmen maßgeblich über das Verhalten eines Fahrerassistenzsystems, insbesondere wenn dieses reaktiv tätig wird, d. h. eine Reaktion auf den umgebenden Verkehr ausübt. Gerade solche Reaktionen sind für den Fahrer des Fahrzeugs von Interesse, sie nachzuvollziehen, wofür das Umfeldmodell mit den insbesondere bewegten Objekten in der Umgebung des Fahrzeugs an der Anzeigeeinheit dargestellt wird.The object, which is acted upon by the filter with the filter parameter to be changed for display on the display in its course, is in particular a dynamic object, i.e. H. an object that moves relative to the rest of the environment, such as another road user. Other road users in particular have a decisive influence on the behavior of a driver assistance system, especially if it acts reactively, i.e. H. reacts to the surrounding traffic. It is precisely such reactions that are of interest to the driver of the vehicle in order to understand them, for which the environment model with the particular moving objects in the area surrounding the vehicle is displayed on the display unit.
Eine Optimierungsschleife kann entweder in vorgegebenen Zeitabständen initialisiert werden oder aber an die Verfügbarkeit des Referenzsplines geknüpft werden; letzteres ist vor allem in ländlichen Umgebungen vorteilhaft. Ebenso ist eine Kopplung an ein Perzeptions-Gütemaß denkbar. Eine laufende Wiederholung der Optimierung ist typischerweise notwendig, da die Qualität der Sensordaten stark schwanken kann und unter Umständen abhängig vom Verschmutzungsgrad der Sensoren, der jeweiligen Lichtsituation oder Wetterverhältnissen sein kann.An optimization loop can either be initialized at specified time intervals or linked to the availability of the reference spline; the latter is particularly advantageous in rural environments. A link to a perception quality measure is also conceivable. Continuous repetition of the optimization is typically necessary because the quality of the sensor data can fluctuate greatly and may depend on the degree of contamination of the sensors, the respective lighting situation or weather conditions.
Vorteilhafte Wirkungen der Erfindung sind, dass durch die adaptive Anpassung der Assistenzvisualisierung die Objekte in der Umgebung natürlicher auf der Anzeigeeinheit dargestellt werden, und dies unabhängig von Licht und Wetterverhältnissen. Werden bewegte Objekte in der Umgebung des Fahrzeugs dargestellt, können diese außerdem unabhängig von der statischen Szenerie verbessert dargestellt werden. Das beschriebene System und Verfahren kann zudem eine Vielzahl von Filterparameter in der Optimierung anpassen, und ist unabhängig von der konkreten Verwendung von Sensortypen in der Sensoreinheit, sowie ob diese miteinander fusioniert werden. Einzelne Sensoren der Sensoreinheit können beispielsweise sein: Kamera, Radar, Lidar.Advantageous effects of the invention are that the objects in the environment are displayed more naturally on the display unit through the adaptive adjustment of the assistance visualization, regardless of light and weather conditions. If moving objects are displayed in the area surrounding the vehicle, they can also be displayed in an improved manner regardless of the static scenery. The system and method described can also adapt a large number of filter parameters in the optimization and is independent of the specific use of sensor types in the sensor unit and whether they are merged with one another. Individual sensors of the sensor unit can be, for example: camera, radar, lidar.
Gemäß einer vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, zur Ermittlung der Abweichung Daten der Sensoreinheit in ein zweidimensionales Projektionsbild zu projizieren, und die Blickrichtungen den Koordinaten des Projektionsbilds zuzuordnen, sodass der Verlauf der betrachteten Ziele der Blickrichtungen im Projektionsbild und der Positions-Verlauf eines jeweiligen Objekts im Projektionsbild auf gleiche normierte Positionen der Umgebung bezogen sind und somit eine jeweilige direkte geometrische Differenz zur Bestimmung der Abweichung ermittelt werden kann.According to an advantageous embodiment, the computing unit is designed to project data from the sensor unit into a two-dimensional projection image to determine the deviation, and the To assign viewing directions to the coordinates of the projection image, so that the course of the viewed targets of the viewing directions in the projection image and the position progression of a respective object in the projection image are related to the same standardized positions in the environment and thus a respective direct geometric difference can be determined to determine the deviation.
Die geometrische Differenz wird bevorzugt als L2-Distanz berechnet, besonders bevorzugt als für einen jeweiligen Zeitpunkt gültiges Integral der Abstände zwischen dem Spline der fokussierten Blickpunkte auf dem verfolgten Objekt und dem auf dasselbe Referenz-Projektionsbild bezogenen Bahnverlauf des Objekts gegenüber der Umgebung gemäß der Sensordaten.The geometric difference is preferably calculated as an L2 distance, particularly preferably as an integral valid for a respective point in time of the distances between the spline of the focused viewpoints on the tracked object and the path of the object relative to the environment based on the same reference projection image according to the sensor data.
Gemäß einer weiteren vorteilhaften Ausführungsform umfasst der Filter zumindest einen der folgenden: Kalmanfilter, Boxfilter, Tiefpassfilter, gleitender-Mittelwert-Filter.According to a further advantageous embodiment, the filter comprises at least one of the following: Kalman filter, box filter, low-pass filter, moving average filter.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, ein jeweiliges Objekt, welches von der Sensoreinheit erfasst wird, zu klassifizieren, und abhängig vom Ergebnis der Klassifikation zur Darstellung des jeweiligen Objekts auf der Anzeigeeinheit klassenabhängig jeweils spezielle Filterparameter zu ermitteln und anzuwenden.According to a further advantageous embodiment, the computing unit is designed to classify a respective object that is detected by the sensor unit and, depending on the result of the classification, to determine and apply specific filter parameters in a class-dependent manner to display the respective object on the display unit.
Verschiedene Klassen, in die insbesondere gegenüber der Umgebung bewegte Objekte eingeteilt werden können, sind beispielhaft: Fahrradfahrer, Personenkraftwagen, Lastkraftwagen, Fußgänger.Different classes into which objects that move in particular relative to the environment can be divided are, for example: cyclists, cars, trucks, pedestrians.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, den vorgegebenen Zeitraum abhängig von der Klassifikation des jeweiligen Objekts und/oder abhängig von der Entfernung des jeweiligen Objekts zum Fahrzeug zu bestimmen.According to a further advantageous embodiment, the computing unit is designed to determine the predetermined period of time depending on the classification of the respective object and/or depending on the distance of the respective object from the vehicle.
Gemäß einer weiteren vorteilhaften Ausführungsform weist das System weiterhin ein Kommunikationsmodul auf, wobei die Recheneinheit dazu ausgeführt ist, mittels des Kommunikationsmoduls an einen zentralen Rechner oder an einen weiteren Verkehrsteilnehmer, insbesondere einen weiteren Verkehrsteilnehmer in der gleichen Klasse wie das Fahrzeug, den zumindest einen angepassten Filterparameter zu übermitteln.According to a further advantageous embodiment, the system further has a communication module, wherein the computing unit is designed to send the at least one adapted filter parameter to a central computer or to another road user, in particular another road user in the same class as the vehicle, by means of the communication module to transmit.
Die Klasseneinteilung des eigenen Fahrzeugs kann dabei erfolgen wie die Klassifikation der anderen Verkehrsteilnehmer. So können insbesondere die jeweiligen durch Optimierung ermittelten Filterparameter nur an weitere Personenkraftwagen weitergegeben werden, wenn das eigene Fahrzeug ein Personenkraftwagen ist.The classification of your own vehicle can be done in the same way as the classification of other road users. In particular, the respective filter parameters determined through optimization can only be passed on to other passenger cars if your own vehicle is a passenger car.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit zur Prüfung ausgeführt, ob die Blickrichtungen während des vorgegebenen Zeitraums ein Objekt der Umgebung verfolgen, und dazu, auszuwerten, ob die Ziele der Blickrichtungen zumindest während des vorgegebenen Zeitraums innerhalb eines in die Umgebung des Fahrzeugs projizierten flächigen Bereichs um ein jeweiliges Objekt liegen.According to a further advantageous embodiment, the computing unit is designed to check whether the viewing directions track an object in the environment during the predetermined period of time, and to evaluate whether the targets of the viewing directions are within a flat area projected into the surroundings of the vehicle at least during the predetermined period of time lie around a respective object.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, die Größe des flächigen Bereichs abhängig von der Entfernung des jeweiligen Objekts zum Fahrzeug zu bestimmen.According to a further advantageous embodiment, the computing unit is designed to determine the size of the flat area depending on the distance of the respective object from the vehicle.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit zur Prüfung ausgeführt, ob das verfolgte Objekt einem mit der Sensoreinheit erfassten und an der Anzeigeeinheit darzustellenden Objekt während des vorgegebenen Zeitraums entspricht, und dazu, einen bildanalytischen Ähnlichkeitsvergleich, insbesondere eine Ermittlung eines „structural similarity index measure“, auszuführen.According to a further advantageous embodiment, the computing unit is designed to check whether the tracked object corresponds to an object detected with the sensor unit and to be displayed on the display unit during the predetermined period of time, and to carry out an image-analytical similarity comparison, in particular a determination of a “structural similarity index measure”. , to execute.
Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug mit einem System wie oben und im Folgenden beschrieben. Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Fahrzeugs ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit dem vorgeschlagenen System vorstehend gemachten Ausführungen.Another aspect of the invention relates to a vehicle with a system as described above and below. Advantages and preferred developments of the proposed vehicle result from an analogous and meaningful transmission of the statements made above in connection with the proposed system.
Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zum Anzeigen von Informationen über Objekte in der Umgebung eines Fahrzeugs, aufweisend die Schritte:
- - Ermitteln von Sensordaten über die Objekte durch eine Sensoreinheit des Fahrzeugs, und jeweils durch eine Recheneinheit:
- - Ermitteln mittels der Daten einer Fahrerbeobachtungskamera des Fahrzeugs einer jeweils aktuellen Blickrichtung des Fahrers;
- - Beziehen der jeweiligen Blickrichtung auf ein betrachtetes Ziel in der Umgebung, und Prüfen eines Verlaufs der betrachteten Ziele daraufhin, ob i) die Blickrichtungen während eines vorgegebenen Zeitraums ein Objekt der Umgebung verfolgen, und ob ii) das verfolgte Objekt einem mit der Sensoreinheit erfassten und an der Anzeigeeinheit darzustellenden Objekt während des vorgegebenen Zeitraums entspricht, und wenn i) und ii) vorliegen:
- - Ermitteln einer Abweichung zwischen dem Verlauf der auf das verfolgte Objekt gerichteten Blickrichtungen mit einem mittels der Sensoreinheit auf Basis der Sensordaten ermittelten Positions-Verlauf des jeweiligen Objekts in einem sich für die Ermittlung der Abweichung eignenden gemeinsamen Projektionsbild;
- - Anpassen zumindest eines Filterparameters eines zur Anzeige des verfolgten Objekts auf die Sensordaten anzuwendenden Filters so, dass der durch die Anwendung des Filters auf der Anzeigeeinheit anzuzeigende Positions-Verlauf des jeweiligen Objekts so geändert wird, dass die Abweichung verringert wird; und anschließendes
- - Ansteuern der Anzeigeeinheit so, dass die zeitabhängige Position des angezeigten verfolgten Objekts auf der Anzeigeeinheit durch den angepassten Filterparameter bestimmt wird.
- - Determination of sensor data about the objects by a sensor unit of the vehicle, and in each case by a computing unit:
- - Determining the driver's current viewing direction using the data from a driver observation camera of the vehicle;
- - Relating the respective viewing direction to a viewed target in the environment, and checking a course of the viewed targets to determine whether i) the viewing directions track an object in the environment during a predetermined period of time, and whether ii) the tracked object corresponds to one detected with the sensor unit and corresponds to the object to be displayed on the display unit during the specified period of time, and if i) and ii) are present:
- - Determining a deviation between the course of the viewing directions directed at the tracked object with a position profile of the respective object determined by the sensor unit on the basis of the sensor data in a common projection image suitable for determining the deviation;
- - Adjusting at least one filter parameter of a filter to be applied to the sensor data to display the tracked object so that the position history of the respective object to be displayed on the display unit by applying the filter is changed so that the deviation is reduced; and subsequent
- - Controlling the display unit in such a way that the time-dependent position of the displayed tracked object on the display unit is determined by the adapted filter parameter.
Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Verfahrens ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit dem vorgeschlagenen System vorstehend gemachten Ausführungen.Advantages and preferred developments of the proposed method result from an analogous and meaningful transfer of the statements made above in connection with the proposed system.
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.Further advantages, features and details emerge from the following description, in which at least one exemplary embodiment is described in detail - if necessary with reference to the drawing. Identical, similar and/or functionally identical parts are provided with the same reference numerals.
Es zeigen:
-
1 : Ein System in einem Fahrzeug zum Anzeigen von Informationen über Objekte in der Umgebung des Fahrzeugs gemäß einem Ausführungsbeispiel der Erfindung. -
2 : Ein Verfahren zum Anzeigen von Informationen über Objekte in der Umgebung eines Fahrzeugs gemäß einem Ausführungsbeispiel der Erfindung.
-
1 : A system in a vehicle for displaying information about objects in the vehicle's surroundings according to an embodiment of the invention. -
2 : A method for displaying information about objects in the surroundings of a vehicle according to an embodiment of the invention.
Die Darstellungen in den Figuren sind schematisch und nicht maßstäblich.The representations in the figures are schematic and not to scale.
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Beschreibung, definiert wird.Although the invention has been illustrated and explained in detail by preferred embodiments, the invention is not limited by the examples disclosed and other variations may be derived therefrom by those skilled in the art without departing from the scope of the invention. It is therefore clear that a large number of possible variations exist. It is also to be understood that exemplary embodiments are truly examples only and should not be construed in any way as limiting the scope, application, or configuration of the invention. Rather, the preceding description and the description of the figures enable the person skilled in the art to concretely implement the exemplary embodiments, whereby the person skilled in the art can make a variety of changes with knowledge of the disclosed inventive concept, for example with regard to the function or the arrangement of individual elements mentioned in an exemplary embodiment, without departing from the scope of protection defined by the claims and their legal equivalents, such as further explanations in the description.
BezugszeichenlisteReference symbol list
- 11
- SensoreinheitSensor unit
- 33
- FahrerbeobachtungskameraDriver observation camera
- 55
- RecheneinheitComputing unit
- 77
- Anzeigeeinheit Display unit
- S1S1
- ErmittelnDetermine
- S2S2
- ErmittelnDetermine
- S3S3
- BeziehenRelate
- S4S4
- ErmittelnDetermine
- S5S5
- AnpassenAdjust
- S6S6
- AnsteuernControl
Claims (11)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102023002181.4A DE102023002181B3 (en) | 2023-05-30 | 2023-05-30 | Adaptive filter chain for displaying a model of the environment in a vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102023002181.4A DE102023002181B3 (en) | 2023-05-30 | 2023-05-30 | Adaptive filter chain for displaying a model of the environment in a vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102023002181B3 true DE102023002181B3 (en) | 2024-03-14 |
Family
ID=90055099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102023002181.4A Active DE102023002181B3 (en) | 2023-05-30 | 2023-05-30 | Adaptive filter chain for displaying a model of the environment in a vehicle |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102023002181B3 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018112345A1 (en) | 2017-05-25 | 2018-11-29 | Denso International America, Inc. | Vehicle camera system |
DE102021201065A1 (en) | 2021-02-04 | 2022-08-04 | Volkswagen Aktiengesellschaft | Method for displaying an environment model of an environment of a motor vehicle, and environment detection system |
-
2023
- 2023-05-30 DE DE102023002181.4A patent/DE102023002181B3/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018112345A1 (en) | 2017-05-25 | 2018-11-29 | Denso International America, Inc. | Vehicle camera system |
DE102021201065A1 (en) | 2021-02-04 | 2022-08-04 | Volkswagen Aktiengesellschaft | Method for displaying an environment model of an environment of a motor vehicle, and environment detection system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2623374B1 (en) | Vision system for commercial vehicles for the display of the statutory fields of view of a main mirror and a wide-angle mirror | |
DE102012025322B4 (en) | Motor vehicle with camera monitor system | |
DE102016219455A1 (en) | Motor vehicle, method and active infrastructure for checking an environment detection of a motor vehicle | |
DE102005039103A1 (en) | Procedure for recording a traffic area | |
EP1418444A1 (en) | Method for determining the yaw rate of a vehicle | |
WO2021239323A1 (en) | Method for identifying image artifacts, controller for carrying out such a method, identifying device comprising such a controller, and motor vehicle comprising such an identifying device | |
DE102006037600B4 (en) | Method for the resolution-dependent representation of the environment of a motor vehicle | |
DE102008026876A1 (en) | Stereo camera system and method for determining at least one calibration error of a stereo camera system | |
DE102012015282B4 (en) | Method for detecting a covered state of an image capturing device of a motor vehicle, camera system and motor vehicle | |
EP2996327B1 (en) | Surround view system for vehicles with attachments | |
DE102019116058A1 (en) | METHOD AND DEVICE FOR DETECTING OBJECTS IN CAMERA BLIND ZONES | |
DE102016216962B3 (en) | Method and control unit for tracking a picture detail | |
DE102011082881A1 (en) | Method for representing surroundings of vehicle e.g. motor vehicle e.g. car, involves transforming primary image information into secondary image information corresponding to panoramic view using spatial information | |
DE102023002181B3 (en) | Adaptive filter chain for displaying a model of the environment in a vehicle | |
DE102019102672A1 (en) | INTERSENSORY LEARNING | |
DE102017210415B4 (en) | A method for providing an image mask for the delineation of a region of interest in a camera image of an environment camera of a motor vehicle and control device, environment camera and motor vehicle | |
EP3073446A1 (en) | Method for representing the surroundings of a vehicle | |
DE102014018364A1 (en) | Device and method for assisting a driver of a vehicle, in particular a utility vehicle | |
DE102014209863A1 (en) | Method and device for operating a stereo camera for a vehicle and stereo camera for a vehicle | |
EP3833576B1 (en) | Surveillance camera system | |
DE102015217717A1 (en) | A vehicle camera system and method for displaying images on a vehicle display of a vehicle | |
DE102017100669A1 (en) | Method for detecting an environmental region of a motor vehicle with adaptation of a region of interest as a function of a trailer, computing device, camera system and motor vehicle | |
DE102005002636A1 (en) | Video data processing method for camera system, involves applying coordinate transformation to camera image for obtaining transformed camera image, where transformation transfers camera coordinate system to destination coordinate system | |
DE102015210870A1 (en) | Apparatus and method for capturing an image of a vehicle environment | |
DE102019102423A1 (en) | Method for live annotation of sensor data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R018 | Grant decision by examination section/examining division |