DE102020110417A1 - Method and system for assisting a driver - Google Patents
Method and system for assisting a driver Download PDFInfo
- Publication number
- DE102020110417A1 DE102020110417A1 DE102020110417.0A DE102020110417A DE102020110417A1 DE 102020110417 A1 DE102020110417 A1 DE 102020110417A1 DE 102020110417 A DE102020110417 A DE 102020110417A DE 102020110417 A1 DE102020110417 A1 DE 102020110417A1
- Authority
- DE
- Germany
- Prior art keywords
- driver
- map
- computing unit
- degree
- distraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
- G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9323—Alternative operation using light waves
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Traffic Control Systems (AREA)
Abstract
Gemäß einem Verfahren zur Assistenz eines Fahrers (5) eines Fahrzeugs (1) wird ein Blickverfolgungssystem (3) dazu benutzt, eine Blickrichtung (6) des Fahrers (5) zu bestimmen. Eine Recheneinheit (4) wird dazu benutzt, einen Schnittpunkt (7) der Blickrichtung (6) mit einer virtuellen Ebene (8) zu bestimmen und den Schnittpunkt (7) während einer vordefinierten Zeitspanne zu verfolgen, eine Karte (9a, 9b, 9c, 9d), die eine Verteilung der Position des Schnittpunktes (7) während der Zeitspanne darstellt, zu bestimmen. Die Recheneinheit (4) wird auch dazu benutzt, einen Grad an kognitiver Ablenkung des Fahrers (5) basierend auf der Karte (9a, 9b, 9c, 9d) zu bestimmen und ein Ausgangssignal zu erzeugen oder zu verursachen, um den Fahrer (5) abhängig von dem bestimmten Grad an kognitiver Ablenkung zu unterstützen.According to a method for assisting a driver (5) of a vehicle (1), a gaze tracking system (3) is used to determine a gaze direction (6) of the driver (5). A computing unit (4) is used to determine an intersection (7) of the viewing direction (6) with a virtual plane (8) and to track the intersection (7) during a predefined period of time, a map (9a, 9b, 9c, 9d), which represents a distribution of the position of the intersection point (7) during the period of time. The computing unit (4) is also used to determine a degree of cognitive distraction of the driver (5) based on the map (9a, 9b, 9c, 9d) and to generate or cause an output signal to inform the driver (5) depending on the particular level of cognitive distraction.
Description
Die vorliegende Erfindung betrifft ein Verfahren zur Assistenz eines Fahrers eines Fahrzeugs, wobei ein Blickverfolgungssystem dazu benutzt wird, eine Blickrichtung des Fahrers zu bestimmen. Des Weiteren betrifft die Erfindung ein entsprechendes Fahrerassistenzsystem für ein Fahrzeug sowie ein Computerprogrammprodukt.The present invention relates to a method for assisting a driver of a vehicle, a gaze tracking system being used to determine a direction of gaze of the driver. The invention also relates to a corresponding driver assistance system for a vehicle and a computer program product.
Ablenkung eines Fahrers eines Kraftfahrzeugs kann zu schweren Unfällen führen. Dabei kann die Ablenkung verschiedene Formen annehmen. Wenn zum Beispiel der Fahrer die Augen von der Fahrbahn abwendet, kann dies als visuelle Ablenkung betrachtet werden, und wenn der Fahrer die Hände vom Lenkrad nimmt, kann dies als eine manuelle Ablenkung des Fahrers betrachtet werden. Zusätzlich kann es zu kognitiver Ablenkung kommen, wobei der Fahrer seine gedankliche Aufmerksamkeit von der Fahraufgabe weg richtet.Distraction of a driver of a motor vehicle can lead to serious accidents. The distraction can take various forms. For example, if the driver takes their eyes off the road it can be considered a visual distraction and if the driver takes their hands off the steering wheel it can be considered a manual distraction of the driver. In addition, there can be cognitive distraction, whereby the driver directs his mental attention away from the driving task.
Bestehende Ansätze zur Ablenkungsdetektion beinhalten Sensoren, die erkennen, wenn der Fahrer die Hände vom Steuer nimmt, oder verwenden einen Augenverfolger, um zu erkennen, wenn der Fahrer den Blick von der Fahrbahn nimmt.Existing approaches to distraction detection include sensors that detect when the driver takes their hands off the wheel or use an eye tracker to detect when the driver is looking away from the road.
Zum Beispiel beschreibt Dokument
Bekannte Ansätze sind jedoch nicht dazu imstande, kognitive Ablenkung in zuverlässiger Weise zu berücksichtigen, da kognitive Ablenkung nicht notwendigerweise damit korreliert ist, dass der Fahrer seinen Blick auf die Fahrbahn richtet oder von dieser abwendet, oder damit, dass der Fahrer die Hände am Lenkrad hat oder nicht.However, known approaches are unable to reliably take into account cognitive distraction, since cognitive distraction is not necessarily correlated with the fact that the driver directs his gaze to or from the roadway, or with the fact that the driver has his hands on the steering wheel or not.
Es ist daher Aufgabe der vorliegenden Erfindung, ein verbessertes Konzept zur Assistenz eines Fahrers eines Fahrzeugs bereitzustellen, welches ein Unfallrisiko aufgrund von kognitiver Ablenkung des Fahrers reduziert.It is therefore the object of the present invention to provide an improved concept for assisting a driver of a vehicle which reduces the risk of an accident due to cognitive distraction of the driver.
Diese Aufgabe wird gelöst durch den Gegenstand der unabhängigen Ansprüche. Weitere Ausführungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.This problem is solved by the subject matter of the independent claims. Further designs and preferred embodiments are the subject of the dependent claims.
Das verbesserte Konzept basiert auf der Idee, den Blick des Fahrers über eine Zeitspanne zu verfolgen und den Grad an kognitiver Ablenkung basierend auf einer Karte zu bestimmen, die die Verteilung eines Schnittpunkts der Blickrichtung mit einer virtuellen Ebene vor dem Fahrer während der Zeitspanne darstellt.The improved concept is based on the idea of tracking the driver's gaze over a period of time and determining the degree of cognitive distraction based on a map that shows the distribution of an intersection of the line of sight with a virtual plane in front of the driver during the period of time.
Gemäß dem verbesserten Konzept wird ein Verfahren zur Assistenz eines Fahrers eines Fahrzeugs bereitgestellt. Ein Blickverfolgungssystem wird dazu benutzt, eine Blickrichtung des Fahrers zu bestimmen, und eine Recheneinheit, insbesondere des Fahrzeugs, wird dazu benutzt, einen Schnittpunkt der Blickrichtung mit einer virtuellen Ebene zu bestimmen und die Blickrichtung und dadurch den Schnittpunkt während einer vordefinierten Zeitspanne, insbesondere einer Messzeitspanne oder Erfassungszeitspanne, zu verfolgen. Die Recheneinheit wird dazu benutzt, eine Karte zu bestimmen, die eine Verteilung der Position des Schnittpunkts auf der virtuellen Ebene während der Zeitspanne darstellt. Die Recheneinheit wird dazu benutzt, einen Grad an kognitiver Ablenkung des Fahrers basierend auf der Karte zu bestimmen und ein Ausgangssignal zu erzeugen oder zu verursachen, um den Fahrer abhängig von dem bestimmten Grad an kognitiver Ablenkung zu unterstützen.According to the improved concept, a method for assisting a driver of a vehicle is provided. A gaze tracking system is used to determine the driver's gaze direction, and a computing unit, in particular the vehicle, is used to determine an intersection of the direction of gaze with a virtual plane and the direction of gaze and thereby the intersection point during a predefined period of time, in particular a measurement period or acquisition time span. The arithmetic unit is used to determine a map which represents a distribution of the position of the intersection point on the virtual plane during the period of time. The computing unit is used to determine a degree of cognitive distraction of the driver based on the map and to generate or cause an output signal in order to support the driver depending on the determined degree of cognitive distraction.
Das Blickverfolgungssystem kann zum Beispiel einen Infrarotsensor oder eine Infrarotkamera beinhalten, wobei eine potenzielle Position des Kopfes oder der Augen des Fahrers sich in einem Sichtfeld der Kamera oder des Sensor befinden. Infrarotstrahlung, die von einem Infrarotemitter des Blickverfolgungssystems ausgesendet wird, wird von den Augen des Fahrers abhängig von der Blickrichtung teilweise reflektiert. Auf diese Weise kann das Blickverfolgungssystem die Blickrichtung bestimmen.The gaze tracking system can include, for example, an infrared sensor or an infrared camera, with a potential position of the head or the eyes of the driver being in a field of view of the camera or the sensor. Infrared radiation, which is emitted by an infrared emitter of the gaze tracking system, is partially reflected by the driver's eyes depending on the direction of gaze. In this way, the gaze tracking system can determine the direction of gaze.
Jedoch können auch alternative Ansätze zur Verfolgung oder Bestimmung der Blickrichtung ebenfalls anwendbar sein.However, alternative approaches to tracking or determining the line of sight may also be applicable.
Die Blickrichtung kann zum Beispiel als eine gerade Linie verstanden werden, die durch einen Blickrichtungsvektor definiert ist.The viewing direction can be understood, for example, as a straight line that is defined by a viewing direction vector.
Um den Schnittpunkt während der Zeitspanne zu verfolgen, wird die Blickrichtung zum Beispiel wiederholt mit einer vordefinierten Frequenz bestimmt, zum Beispiel in der Größenordnung von mehreren zehn Millisekunden, beispielsweise etwa 50 ms, und der Schnittpunkt wird für jede Wiederholung bestimmt. Die Positionen des Schnittpunktes können während der Zeitspanne gespeichert oder zwischengespeichert werden, um die Karte zu bestimmen.In order to track the point of intersection during the period of time, for example, the viewing direction is determined repeatedly at a predefined frequency, for example on the order of several tens of milliseconds, for example about 50 ms, and the point of intersection is determined for each repetition. The positions of the intersection point can be saved or cached during the period in order to determine the map.
Die Karte kann als eine Darstellung, insbesondere als eine Bilddarstellung, des Schnittpunktes in zwei Dimensionen, insbesondere auf der virtuellen Ebene, verstanden werden. Die Karte kann zum Beispiel die Form einer Matrix mit Einträgen haben, wobei Werte der Einträge von der Dauer oder Wahrscheinlichkeit abhängen, dass die Blickrichtung während der Zeitspanne den entsprechenden Schnittpunkt mit der virtuellen Ebene hat. Mit anderen Worten stellt die Karte eine lokale Verteilung der Blickintensität dar.The map can be understood as a representation, in particular as an image representation, of the point of intersection in two dimensions, in particular on the virtual plane. The card can, for example, have the form of a matrix with entries, with values of the entries of duration or Depend on the probability that the viewing direction has the corresponding point of intersection with the virtual plane during the period of time. In other words, the map shows a local distribution of gaze intensity.
Die Karte kann zum Beispiel visuell als eine zweidimensionale Heatmap oder Farbstufenkarte oder Graustufenkarte dargestellt werden. Mit anderen Worten kann die Karte als ein zweidimensionales Bild dargestellt werden.For example, the map can be displayed visually as a two-dimensional heat map or color level map or grayscale map. In other words, the map can be displayed as a two-dimensional image.
Das Verursachen des Ausgangssignals kann zum Beispiel das Veranlassen einer weiteren Einheit, zum Beispiel eines Betätigungselements, einer Anzeige, oder einer weiteren Recheneinheit, zur Erzeugung des Ausgangssignals beinhalten.Causing the output signal can include, for example, causing a further unit, for example an actuating element, a display, or a further computing unit, to generate the output signal.
Die virtuelle Ebene kann als eine geometrische Konstruktion einer ebenen Fläche vordefinierter Größe verstanden werden. Die virtuelle Ebene kann auch als eine virtuelle Wand oder eine imaginäre Fläche bezeichnet werden.The virtual plane can be understood as a geometric construction of a flat surface of predefined size. The virtual plane can also be referred to as a virtual wall or an imaginary surface.
Insbesondere befindet sich die virtuelle Ebene virtuell in einer vordefinierten Entfernung zu dem Blickverfolgungssystem, zum Beispiel der Kamera oder dem Sensor, oder einer potenziellen Referenzposition für den Kopf oder die Augen des Fahrers.In particular, the virtual plane is virtually at a predefined distance from the eye tracking system, for example the camera or the sensor, or a potential reference position for the head or the eyes of the driver.
Gemäß einigen Ausführungen ist eine Position und Ausrichtung der virtuellen Ebene fest mit einem Fahrzeugkoordinatensystem des Fahrzeugs oder einem Sensorkoordinatensystem des Blickverfolgungssystems verbunden. Insbesondere verändert sich die Position und Ausrichtung der virtuellen Ebene hinsichtlich des Blickverfolgungssystems oder des Fahrzeugs nicht, wenn sich die Blickrichtung des Fahrers tatsächlich geändert hat.According to some embodiments, a position and orientation of the virtual plane is permanently linked to a vehicle coordinate system of the vehicle or a sensor coordinate system of the gaze tracking system. In particular, the position and orientation of the virtual plane with regard to the gaze tracking system or the vehicle does not change if the direction of the driver's gaze has actually changed.
Zum Beispiel kann die virtuelle Ebene parallel zu einer Querachse des Fahrzeugkoordinatensystems oder des Sensorkoordinatensystems positioniert sein und kann in einem festen Winkel oder vordefinierten Winkel hinsichtlich einer Normalachse des Fahrzeugkoordinatensystems oder des Sensorkoordinatensystems positioniert sein. Der Winkel kann zum Beispiel ungefähr null Grad sein, so dass die virtuelle Ebene rechtwinklig zu einer Längsachse des Fahrzeugkoordinatensystems oder des Sensorkoordinatensystems ausgerichtet ist. Die virtuelle Ebene kann zum Beispiel in einer vordefinierten Entfernung von einem Ursprung des Fahrzeugkoordinatensystems oder des Sensorkoordinatensystems in einer Längsrichtung positioniert sein.For example, the virtual plane can be positioned parallel to a transverse axis of the vehicle coordinate system or the sensor coordinate system and can be positioned at a fixed angle or predefined angle with respect to a normal axis of the vehicle coordinate system or the sensor coordinate system. The angle can be approximately zero degrees, for example, so that the virtual plane is oriented at right angles to a longitudinal axis of the vehicle coordinate system or the sensor coordinate system. The virtual plane can, for example, be positioned at a predefined distance from an origin of the vehicle coordinate system or the sensor coordinate system in a longitudinal direction.
Mittels eines Verfahrens gemäß dem verbesserten Konzept wird die Blickdynamik direkt analysiert, um die kognitive Ablenkung des Fahrers zu identifizieren, zum Beispiel in sogenannten Tagtraumsituationen, in denen der Blick des Fahrers zwar auf die Fahrbahn gerichtet ist, jedoch die Blickdynamik nicht der gegenwärtigen Verkehrssituation oder Fahrsituation angemessen ist.Using a method according to the improved concept, the gaze dynamics is analyzed directly in order to identify the driver's cognitive distraction, for example in so-called daydream situations in which the driver's gaze is directed towards the road, but the gaze dynamics are not the current traffic situation or driving situation is appropriate.
Durch Berücksichtigung des Grades an kognitiver Ablenkung können Risikosituationen und Unfälle verhindert werden.By taking into account the degree of cognitive distraction, risky situations and accidents can be prevented.
Da eine bildbasierte Darstellung der Blickdynamik in Form der Karte benutzt wird, kann der Grad an Ablenkung oder der jeweilige kognitive Zustand des Fahrers in besonders zuverlässiger Weise bestimmt werden, zum Beispiel im Vergleich zu einer bloßen Analyse der Blickrichtung. Des Weiteren kann durch die bildbasierte Darstellung ein Algorithmus zum Analysieren der Karte zur Bestimmung des Grades an kognitiver Ablenkung weniger Daten zum Trainieren benötigen und/oder genauere Ergebnisse erzeugen.Since an image-based representation of the gaze dynamics in the form of the map is used, the degree of distraction or the respective cognitive state of the driver can be determined in a particularly reliable manner, for example in comparison to a mere analysis of the viewing direction. Furthermore, due to the image-based representation, an algorithm for analyzing the map to determine the degree of cognitive distraction can require less data for training and / or generate more precise results.
Durch Analysieren des Schnittpunktes der Blickrichtung mit einer virtuellen Ebene, kann die Bewegung der Augen des Fahrers als durch die Entfernung zwischen den Augen des Fahrers und der virtuellen Ebene vergrößert betrachtet werden. Daher können genauere Ergebnisse erzielt werden, zum Beispiel im Vergleich zu einem bloßen Verfolgen der Pupillen des Fahrers.By analyzing the intersection of the line of sight with a virtual plane, the movement of the driver's eyes can be regarded as being enlarged by the distance between the driver's eyes and the virtual plane. Therefore, more accurate results can be obtained, for example compared to merely tracking the driver's pupils.
Gemäß einigen Ausführungen des Verfahrens gemäß dem verbesserten Konzept beinhaltet das Ausgangssignal ein Warnsignal an den Fahrer.According to some implementations of the method according to the improved concept, the output signal includes a warning signal to the driver.
Gemäß einigen Ausführungen beinhaltet das Warnsignal ein visuelles Signal und/oder ein akustisches Signal und/oder ein haptisches Signal ein.According to some embodiments, the warning signal includes a visual signal and / or an acoustic signal and / or a haptic signal.
Gemäß einigen Ausführungen kann das Ausgangssignal dazu benutzt werden, zum Beispiel von einem Fahrerassistenzsystem, das die Recheneinheit beinhalten kann, um eine Maßnahme zur Risikoverringerung einzuleiten, wie etwa Begrenzen einer Höchstgeschwindigkeit des Fahrzeugs oder Steigerung eines Grades an Assistenz des Fahrers.According to some embodiments, the output signal can be used, for example by a driver assistance system, which can contain the computing unit, in order to initiate a risk reduction measure, such as for example limiting a maximum speed of the vehicle or increasing a degree of driver assistance.
Gemäß einigen Ausführungen wird die Recheneinheit dazu benutzt, einen Klassifizierungsalgorithmus, insbesondere einen trainierten Klassifizierungsalgorithmus, auf die Karte anzuwenden oder auf Daten, die basierend auf der Karte abgeleitet werden, um den Grad an kognitiver Ablenkung zu bestimmen.According to some embodiments, the computing unit is used to apply a classification algorithm, in particular a trained classification algorithm, to the map or to data derived based on the map in order to determine the degree of cognitive distraction.
Der Klassifizierungsalgorithmus kann zum Beispiel eine binäre Klassifizierung verwenden, um die kognitive Ablenkung in zwei Klassen einzuordnen, eine entsprechend einem abgelenkten Fahren und eine entsprechend einem neutralen oder nicht abgelenkten Fahren.For example, the classification algorithm can use binary classification to classify the cognitive distraction into two classes, one corresponding to distracted driving and one corresponding to neutral or undistracted driving.
Jedoch können auch mehr als zwei Klassen verwendet werden, um eine feinere Reaktion zu erlauben.However, more than two classes can be used to allow a finer response.
Gemäß einigen Ausführungen wird die Recheneinheit dazu benutzt, einen vordefinierten Satz eines oder mehrerer charakteristischer Merkmale aus der Karte zu extrahieren und einen Klassifizierungsalgorithmus, insbesondere einen trainierten Klassifizierungsalgorithmus, auf den Satz von charakteristischen Merkmalen anzuwenden.According to some embodiments, the computing unit is used to extract a predefined set of one or more characteristic features from the map and to apply a classification algorithm, in particular a trained classification algorithm, to the set of characteristic features.
Die charakteristischen Merkmale können zum Bespiel statistische Eigenschaften der Karte oder der Verteilung beinhalten, wie etwa eine Standardabweichung oder einen Maximalwert der Verteilung in einer gegebenen Richtung auf der virtuellen Ebene und so weiter.The characteristic features can include, for example, statistical properties of the map or the distribution, such as a standard deviation or a maximum value of the distribution in a given direction on the virtual plane and so on.
Der Klassifizierungsalgorithmus kann auch die Umwandlung des vordefinierten Satzes von charakteristischen Merkmalen in eine für die Klassifizierung durch den Klassifizierungsalgorithmus geeignete Form beinhalten.The classification algorithm can also include the conversion of the predefined set of characteristic features into a form suitable for classification by the classification algorithm.
Gemäß einigen Ausführungen beinhaltet der Klassifizierungsalgorithmus eine Support-Vektor-Maschine oder ein künstliches neuronales Netzwerk, zum Beispiel ein faltendes neuronales Netzwerk, CNN.According to some implementations, the classification algorithm includes a support vector machine or an artificial neural network, for example a convolutional neural network, CNN.
Diese Algorithmen haben sich als leistungsfähige Werkzeuge für die bildbasierte Klassifizierung erwiesen.These algorithms have proven to be powerful tools for image-based classification.
Gemäß einigen Ausführungen wird die Recheneinheit dazu benutzt, einen räumlichen Bereich auf der virtuellen Ebene zu bestimmen, wobei alle dem räumlichen Bereich entsprechenden Einträge der Karte Werte aufweisen, die gleich einem oder größer als ein vordefinierter Schwellwert sind. Die Recheneinheit wird dazu benutzt, den Grad an Ablenkung basierend auf dem räumlichen Bereich zu bestimmen.According to some embodiments, the processing unit is used to determine a spatial area on the virtual plane, all entries of the map corresponding to the spatial area having values that are equal to or greater than a predefined threshold value. The computing unit is used to determine the degree of distraction based on the spatial area.
Die charakteristischen Merkmale können zum Beispiel eines oder mehrere geometrische Merkmale des räumlichen Bereichs und/oder eines oder mehrere Merkmale betreffend die Form des räumlichen Bereichs betreffen. Zum Beispiel kann ein Flächeninhalt oder eine Größe in einer vordefinierten Richtung auf der virtuellen Ebene als solche Merkmale benutzt werden.The characteristic features can relate, for example, to one or more geometric features of the spatial area and / or one or more features relating to the shape of the spatial area. For example, an area or a size in a predefined direction on the virtual plane can be used as such features.
Gemäß einigen Ausführungen werden einer oder mehrere weitere räumliche Bereiche unter Verwendung der Recheneinheit bestimmt, wobei alle dem jeweiligen weiteren räumlichen Bereich entsprechenden Einträge der Karte jeweilige Werte aufweisen, die gleich einem oder größer als ein vordefinierter jeweiliger weiterer Schwellwert sind. Die Recheneinheit wird dazu benutzt, den Grad an kognitiver Ablenkung basierend auf den weiteren räumlichen Bereichen zu bestimmen.According to some embodiments, one or more further spatial areas are determined using the computing unit, all entries of the map corresponding to the respective further spatial area having respective values that are equal to or greater than a predefined respective further threshold value. The computing unit is used to determine the degree of cognitive distraction based on the further spatial areas.
Die weiteren Schwellwerte können von dem Schwellwert verschieden sein.The further threshold values can be different from the threshold value.
Gemäß einigen Ausführungen wird die Recheneinheit dazu benutzt, ein Bildmoment und/oder ein Hu-Moment basierend auf der Karte zu bestimmen. Die Recheneinheit wird dazu benutzt, den Grad an kognitiver Ablenkung basierend auf dem Bildmoment und/oder basierend auf dem Hu-Moment zu bestimmen.According to some embodiments, the computing unit is used to determine an image moment and / or a Hu moment based on the map. The computing unit is used to determine the degree of cognitive distraction based on the image moment and / or based on the Hu moment.
Das Bildmoment und/oder das Hu-Moment können als Merkmale des vordefinierten Satzes von charakteristischen Merkmalen betrachtet werden.The image moment and / or the Hu moment can be viewed as features of the predefined set of characteristic features.
Gemäß einigen Ausführungen wird die Recheneinheit dazu benutzt, den Grad an kognitiver Ablenkung mit einem vordefinierten maximalen Ablenkungswert zu vergleichen und das Ausgangssignal als ein Warnsignal zu erzeugen, wenn der Grad an kognitiver Ablenkung größer ist als der maximale Ablenkungswert.According to some embodiments, the computing unit is used to compare the degree of cognitive distraction with a predefined maximum distraction value and to generate the output signal as a warning signal if the degree of cognitive distraction is greater than the maximum distraction value.
Gemäß einigen Ausführungen wird die Recheneinheit dazu benutzt, die Blickrichtung und dadurch den Schnittpunkt während einer vordefinierten weiteren Zeitspanne zu verfolgen, wobei eine Dauer der weiteren Zeitspanne verschieden von einer Dauer der Zeitspanne ist. Die Recheneinheit wird dazu benutzt, eine weitere Karte zu bestimmen, die eine weitere Verteilung der Position des Schnittpunktes während der weiteren Zeitspanne darstellt. Die Recheneinheit wird dazu benutzt, einen weiteren Grad an kognitiver Ablenkung des Fahrers basierend auf der Karte zu bestimmen und das Ausgangssignal abhängig von dem bestimmten weiteren Grad an kognitiver Ablenkung zu erzeugen.According to some embodiments, the computing unit is used to track the viewing direction and thereby the point of intersection during a predefined further time span, a duration of the further time span being different from a duration of the time span. The arithmetic unit is used to determine a further map which represents a further distribution of the position of the intersection point during the further period of time. The computing unit is used to determine a further degree of cognitive distraction of the driver based on the map and to generate the output signal as a function of the determined further degree of cognitive distraction.
Im Allgemeinen kann die Dauer der Zeitspanne oder der weiteren Zeitspanne gemäß einer Abwägung zwischen Reaktivität und Zuverlässigkeit gewählt werden. Je kürzer die Dauer, desto höher ist die Reaktivität, aber je länger die Dauer, desto höher ist die Zuverlässigkeit.In general, the duration of the time period or the further time period can be selected according to a trade-off between reactivity and reliability. The shorter the duration, the higher the reactivity, but the longer the duration, the higher the reliability.
Durch Verfolgung der Blickrichtung und des Schnittpunktes während verschiedener Zeitspannen unterschiedlicher Dauer, und die jeweilige parallele Erzeugung der Karten und der weiteren Karten, können beide Vorteile miteinander kombiniert werden und eine hohe Reaktivität bei hoher Zuverlässigkeit erreicht werden.By following the direction of view and the point of intersection for different periods of time of different duration, and the respective parallel generation of the maps and the other maps, both advantages can be combined with one another and a high reactivity with high reliability can be achieved.
Insbesondere können sich die weitere Zeitspanne und die Zeitspanne überlappen.In particular, the further time span and the time span can overlap.
Gemäß einigen Ausführungen liegt die Dauer der Zeitspanne in dem Intervall [1 s, 30 s], vorzugsweise in dem Intervall [10 s, 20 s].According to some embodiments, the duration of the time span is in the interval [1 s, 30 s], preferably in the interval [10 s, 20 s].
Gemäß einigen Ausführungen liegt die Dauer der weiteren Zeitspanne in dem Intervall [15 s, 120 s], vorzugsweise in dem Intervall [30 s, 90 s].According to some embodiments, the duration of the further time span is in the interval [15 s, 120 s], preferably in the interval [30 s, 90 s].
Insbesondere kann die Dauer der Zeitspanne in dem Intervall [10 s, 20 s] liegen, während die Dauer der weiteren Zeitspanne in dem Intervall [30 s, 90 s] liegt. Zum Beispiel kann die Zeitspanne ungefähr 15 s sein und die weitere Zeitspanne kann ungefähr 60 s sein. In particular, the duration of the time span can lie in the interval [10 s, 20 s], while the duration of the further time span lies in the interval [30 s, 90 s]. For example, the period of time can be approximately 15 seconds and the further period of time can be approximately 60 seconds.
Gemäß einigen Ausführungen ist die weitere Zeitspanne mindestens zweimal so lang wie die Zeitspanne, vorzugsweise ist die weitere Zeitspanne mindestens viermal so lang wie die Zeitspanne.According to some embodiments, the further time span is at least twice as long as the time span, preferably the further time span is at least four times as long as the time span.
Gemäß einigen Ausführungen wird ein Umgebungssensorsystem des Fahrzeugs dazu benutzt, ein Objekt zu identifizieren, das sich in einer Umgebung des Fahrzeugs befindet, insbesondere während der Zeitspanne. Die Recheneinheit wird dazu benutzt, die Karte mit Informationen betreffend eine Position des Objekts hinsichtlich virtuellen Ebene zu ergänzen und die Recheneinheit wird dazu benutzt, den Grad an kognitiver Ablenkung basierend auf der ergänzten Karte zu bestimmen.According to some embodiments, an environment sensor system of the vehicle is used to identify an object that is located in an environment of the vehicle, in particular during the time period. The computing unit is used to supplement the map with information relating to a position of the object with regard to the virtual plane, and the computing unit is used to determine the degree of cognitive distraction based on the supplemented map.
Zum Beispiel kann die Recheneinheit ein Symbol einfügen, welches das Objekt darstellt, wie etwa eine Begrenzungsbox oder ähnliches.For example, the computing unit can insert a symbol that represents the object, such as a bounding box or the like.
Das Umgebungssensorsystem kann zum Beispiel ein weiteres Kamerasystem, ein Lidar-System, ein Radar-System und/oder ein Ultraschallsensorsystem beinhalten.The environment sensor system can include, for example, a further camera system, a lidar system, a radar system and / or an ultrasonic sensor system.
Insbesondere kann das Umgebungssensorsystem Umgebungssensordaten erzeugen, die das Objekt darstellen, und die Recheneinheit kann die Karte basierend auf den Umgebungssensordaten ergänzen.In particular, the environment sensor system can generate environment sensor data that represent the object, and the computing unit can supplement the map based on the environment sensor data.
Die Interpretation der Blickverteilung kann von weiteren Objekten in der Szene, wie anderen Fahrzeugen, Fußgängern, Verkehrszeichen und so weiter, abhängen. Dabei kann die Interpretation von der Anzahl von Objekten, ihren jeweiligen Positionen und/oder ihrer Art abhängen.The interpretation of the gaze distribution can depend on other objects in the scene, such as other vehicles, pedestrians, traffic signs and so on. The interpretation can depend on the number of objects, their respective positions and / or their type.
Folglich erlauben derartige Ausführungen eine Berücksichtigung derartiger Auswirkungen bei der Bestimmung des Grades an kognitiver Ablenkung. Insbesondere kann die Verteilung der Blickrichtung, falls es weitere Objekte in der Szene gibt, verschieden sein im Vergleich zu einer leeren Fahrbahn vor dem Fahrer. In der Folge kann eine größere Zuverlässigkeit des Verfahrens und ein verbessertes Sicherheitsniveau erreicht werden.Thus, such implementations allow such effects to be taken into account in determining the degree of cognitive distraction. In particular, the distribution of the viewing direction, if there are further objects in the scene, can be different compared to an empty lane in front of the driver. As a result, greater reliability of the method and an improved level of security can be achieved.
Gemäß dem verbesserten Konzept wird auch ein Fahrerassistenzsystem für ein Fahrzeug, insbesondere ein fortgeschrittenes Fahrerassistenzsystem ADAS, bereitgestellt. Das Fahrerassistenzsystem beinhaltet ein Blickverfolgungssystem, das dazu eingerichtet ist, eine Blickrichtung eines Fahrers eines Fahrzeugs zu bestimmen. Das Fahrerassistenzsystem beinhaltet eine Recheneinheit, die dazu eingerichtet ist, einen Schnittpunkt der Blickrichtung mit einer virtuellen Ebene zu bestimmen und den Schnittpunkt während einer vordefinierten Zeitspanne zu verfolgen. Die Recheneinheit ist dazu eingerichtet, eine Karte zu bestimmen, die eine Verteilung der Position des Schnittpunktes während der Zeitspanne darstellt, einen Grad an kognitiver Ablenkung des Fahrers basierend auf der Karte zu bestimmen und ein Ausgangssignal zu erzeugen oder zu verursachen, um den Fahrer abhängig von dem bestimmten Grad an kognitiver Ablenkung zu unterstützen.According to the improved concept, a driver assistance system for a vehicle, in particular an advanced driver assistance system ADAS, is also provided. The driver assistance system includes a gaze tracking system which is configured to determine a direction of gaze of a driver of a vehicle. The driver assistance system contains a computing unit which is set up to determine an intersection of the viewing direction with a virtual plane and to track the intersection during a predefined period of time. The arithmetic unit is set up to determine a map that represents a distribution of the position of the intersection point during the period of time, to determine a degree of cognitive distraction of the driver based on the map and to generate or cause an output signal to make the driver dependent on to support the particular level of cognitive distraction.
Das Fahrerassistenzsystem kann in manchen Ausführungen das oben hinsichtlich des Verfahrens beschriebene Umgebungssensorsystem beinhalten.In some embodiments, the driver assistance system can include the environment sensor system described above with regard to the method.
Gemäß einigen Ausführungen des Fahrerassistenzsystems beinhaltet das Blickverfolgungssystem einen Emitter, der dazu eingerichtet ist, Infrarotstrahlung in Richtung eines Auges des Fahrers auszusenden, und einen Infrarotsensor, der dazu eingerichtet ist, einen Anteil der Infrarotstrahlung zu detektieren, der von dem Auge des Fahrers reflektiert wird, und ein Sensorsignal abhängig von dem detektierten Anteil der Infrarotstrahlung zu erzeugen. Das Blickverfolgungssystem beinhaltet eine Steuereinheit, die dazu eingerichtet ist, die Blickrichtung basierend auf dem Sensorsignal zu bestimmen.According to some embodiments of the driver assistance system, the gaze tracking system includes an emitter which is set up to emit infrared radiation in the direction of an eye of the driver, and an infrared sensor which is set up to detect a portion of the infrared radiation that is reflected from the driver's eye, and to generate a sensor signal as a function of the detected portion of the infrared radiation. The gaze tracking system includes a control unit which is configured to determine the gaze direction based on the sensor signal.
Die Steuereinheit kann teilweise oder vollständig von der Recheneinheit beinhaltet sein oder kann separat implementiert sein.The control unit can be partially or completely contained by the computing unit or can be implemented separately.
Weitere Ausführungen des Fahrerassistenzsystems gemäß dem verbesserten Konzept ergeben sich aus den verschiedenen Ausführungen des Verfahrens gemäß dem verbesserten Konzept und umgekehrt. Insbesondere kann ein Fahrerassistenzsystem gemäß dem verbesserten Konzept dazu programmiert oder dazu eingerichtet sein, ein Verfahren gemäß dem verbesserten Konzept durchzuführen, oder das System führt ein derartiges Verfahren durch.Further versions of the driver assistance system in accordance with the improved concept result from the various versions of the method in accordance with the improved concept and vice versa. In particular, a driver assistance system according to the improved concept can be programmed or set up to carry out a method according to the improved concept, or the system carries out such a method.
Gemäß dem verbesserten Konzept wird auch ein Computerprogramm, das Befehle beinhaltet, bereitgestellt. Wenn die Befehle oder das Computerprogramm durch ein Fahrerassistenzsystem gemäß dem verbesserten Konzept ausgeführt werden, veranlassen die Befehle das Fahrerassistenzsystem dazu, ein Verfahren gemäß dem verbesserten Konzept durchzuführen.According to the improved concept, a computer program that includes instructions is also provided. If the commands or the computer program by a driver assistance system according to are executed according to the improved concept, the commands cause the driver assistance system to carry out a method according to the improved concept.
Gemäß dem verbesserten Konzept wird auch ein computerlesbares Speichermedium, das ein Computerprogramm gemäß dem verbesserten Konzept speichert, bereitgestellt. According to the improved concept, a computer-readable storage medium that stores a computer program according to the improved concept is also provided.
Sowohl das Computerprogramm als auch das computerlesbare Speichermedium können daher als jeweilige Computerprogrammprodukte betrachtet werden, die die Befehle beinhalten.Both the computer program and the computer-readable storage medium can therefore be viewed as respective computer program products that contain the commands.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.Further features of the invention emerge from the claims, the figures and the description of the figures. The features and combinations of features mentioned above in the description as well as the features and combinations of features mentioned below in the description of the figures and / or shown alone in the figures can be used not only in the specified combination, but also in other combinations without departing from the scope of the invention . There are thus also embodiments of the invention to be regarded as encompassed and disclosed, which are not explicitly shown and explained in the figures, but emerge and can be generated from the explained embodiments by means of separate combinations of features. Designs and combinations of features are also to be regarded as disclosed, which therefore do not have all the features of an originally formulated independent claim. In addition, designs and combinations of features, in particular through the statements set out above, are to be regarded as disclosed which go beyond the combinations of features set forth in the back-references of the claims or differ from them.
In den Figuren zeigen:
-
1 schematisch ein Fahrzeug mit einer beispielhaften Ausführung eines Fahrerassistenzsystems gemäß dem verbesserten Konzept, -
2 ein Flussdiagramm einer beispielhaften Ausführung eines Verfahrens gemäß dem verbesserten Konzept, -
3 schematisch eine virtuelle Ebene zur Verwendung in beispielhaften Ausführungen gemäß dem verbesserten Konzept, -
4 schematisch ein Bespiel einer Karte zur Verwendung in beispielhaften Ausführungen gemäß dem verbesserten Konzept, -
5 schematisch weitere Beispiele von Karten zur Verwendung in weiteren beispielhaften Ausführungen gemäß dem verbesserten Konzept, -
6 schematisch Schritte zur Erzeugung einer Karte zur Verwendung gemäß dem verbesserten Konzept, -
7 schematisch Verteilungen zur Verwendung gemäß dem verbesserten Konzept, -
8 schematisch weitere Beispiele von Karten zur Verwendung in weiteren beispielhaften Ausführungen gemäß dem verbesserten Konzept, und -
9 weitere Beispiele von Karten zur Verwendung in weiteren beispielhaften Ausführungen gemäß dem verbesserten Konzept.
-
1 schematically a vehicle with an exemplary embodiment of a driver assistance system according to the improved concept, -
2 a flowchart of an exemplary embodiment of a method according to the improved concept, -
3 schematically a virtual plane for use in exemplary embodiments according to the improved concept, -
4th schematically an example of a card for use in exemplary embodiments according to the improved concept, -
5 schematically further examples of cards for use in further exemplary embodiments according to the improved concept, -
6th schematically steps for generating a map for use according to the improved concept, -
7th schematic distributions for use according to the improved concept, -
8th schematically further examples of cards for use in further exemplary embodiments according to the improved concept, and -
9 further examples of cards for use in further exemplary embodiments according to the improved concept.
In
Das Fahrerassistenzsystem
Optional beinhaltet das Fahrerassistenzsystem
Die Funktion des Fahrerassistenzsystems
Schritt
In dem Beispiel von
Wenn andererseits die Blickrichtung
In Schritt
Es wird darauf hingewiesen, dass die Verfahrensschritte
Um die Karte zu bestimmen, bestimmt die Recheneinheit
Insbesondere kann die Karte
In den Schritten
Zum Beispiel kann während
Als ein Ergebnis des Klassifizierungsalgorithmus, wird der Grad an kognitiver Ablenkung erhalten.As a result of the classification algorithm, the degree of cognitive distraction is obtained.
Alternativ kann die Recheneinheit
Um die charakteristischen Merkmale zu extrahieren, kann ein Merkmalsextraktionsmodul der Recheneinheit
Durch Vergleichen statistischer oder geometrischer Charakteristika der Karte
In Schritt
Optional kann das Umgebungssensorsystem
Das Wissen um das Vorhandensein des weiteren Fahrzeugs lässt den Klassifizierungsalgorithmus eine breitere Heatmap erwarten, die beispielsweise zumindest einen Teil des weiteren Fahrzeugs abdecken sollte. Daher kann die Darstellung des weiteren Fahrzeugs in Schritt
Auch die Anzahl von weiteren Fahrzeugen und deren Positionen kann die erwartete Dynamik der Blickrichtung beeinflussen und kann so berücksichtigt werden.The number of other vehicles and their positions can also influence the expected dynamics of the viewing direction and can thus be taken into account.
Im Folgenden wird eine detaillierte Erklärung eines Versuchsaufbaus zur Verifizierung der Vorteile des verbesserten Konzepts mit Bezug auf
Spezifische Messungen, die die Augen betreffen, wie Blinzeln, Sakkaden, Pupillen und Fixationen, sind für die Beurteilung der kognitiven Belastung relevant. Das visuelle Abtastverhalten eines Beobachters tendiert dazu, sich während Zeiten erhöhter kognitiver Beanspruchung einzuschränken, was eine Parallele zu der Tatsache darstellt, dass geistige Aufgaben zu einer räumlichen Blickkonzentration und Beeinträchtigung der visuellen Detektion führen. Basierend auf diesem Wissen wird anstatt einem individuellen Detektieren und Analysieren aller die Augen betreffenden Bewegungen ein Ansatz beschrieben, der alle Blickaktivitäten zusammenfasst. Daher wird der Blickvektor der Augen des Fahrers auf eine imaginäre entfernte Fläche projiziert, die auch als virtuelle Ebene bezeichnet wird. Indem der zeitlichen Veränderung dieser Projektion gefolgt wird, wird eine bildbasierte Darstellung, auch als Karte bezeichnet, geschaffen. Diese Formen lassen die kognitive Belastung des Fahrers erkennen.Specific measurements that affect the eyes, such as blinking, saccades, pupils, and fixations, are relevant for assessing cognitive load. The visual scanning behavior of an observer tends to be limited during times of increased cognitive stress, which is parallel to the fact that mental tasks lead to spatial concentration and impairment of visual detection. Based on this knowledge, instead of individually detecting and analyzing all movements affecting the eyes, an approach is described which summarizes all gaze activities. Therefore, the gaze vector of the driver's eyes is projected onto an imaginary distant surface, which is also referred to as a virtual plane. By following the change in time of this projection, an image-based representation, also referred to as a map, is created. These shapes reveal the driver's cognitive load.
Insbesondere wird eine Verbindung zwischen Kurzzeitgedächtnis und Ablenkung während des Fahrens untersucht. Die Konzepte kognitive Belastung, Unaufmerksamkeit, und Ablenkung sind drei unterschiedliche Konzepte. Kognitive Belastung bezieht sich auf den Prozentsatz an benutzten Ressourcen im Arbeitsspeicher. Unaufmerksamkeit ist die Tatsache, dass der Fahrer seine Aufmerksamkeit von seiner Fahraufgabe weg auf andere sekundäre Aufgaben richtet, und Ablenkung bezieht sich auf die Beschäftigung des Fahrers mit anderen Aufgaben. Ablenkung führt zu Unaufmerksamkeit für eine bestimmte Aufgabe und dies führt zu einer hohen kognitiven Belastung. Daher wird die von der folgenden Annahme ausgegangen: Während neutralen Fahrens hat der Fahrer genügend kognitive Ressourcen, um die Umgebung zu untersuchen und führt normale Aufgaben aus, die das Fahren betreffen, wie etwa regelmäßiges Überprüfen der Spiegel, anderer Fahrzeuge, Verkehrszeichen etc. Dabei sollten vestibulookuläre Augenbewegungen (Fixationen), Sakkaden (schnelle, ballistische Bewegungen) und reibungslose Übergänge (langsamere Verfolgungsbewegungen) beobachtet werden. Wird der Fahrer jedoch während des Fahrens abgelenkt, hat der Fahrer weniger kognitive Ressourcen für die Fahraufgabe übrig. Somit hat das Blickverhalten eine geringere Reichweite. Als Ergebnis wird eine Veränderung der Augenbewegungen erwartet.In particular, a connection between short-term memory and distraction while driving is being investigated. The concepts of cognitive stress, inattention, and distraction are three different concepts. Cognitive load refers to the percentage of resources used in memory. Inattention is the fact that the driver turns his attention away from his driving task to other secondary tasks, and distraction refers to the driver being preoccupied with other tasks. Distraction leads to inattention to a certain task and this leads to a high cognitive load. Therefore, the following assumption is made: During neutral driving, the driver has enough cognitive resources to examine the environment and performs normal tasks related to driving, such as regularly checking mirrors, other vehicles, traffic signs, etc. vestibulo-ocular movements (fixations), saccades (fast, ballistic movements) and smooth transitions (slower tracking movements) can be observed. However, if the driver is distracted while driving, the driver has fewer cognitive resources left for the driving task. Thus, the gaze behavior has a shorter range. As a result, a change in eye movements is expected.
Das Versuchsprotokoll wird im Folgenden erklärt.The test protocol is explained below.
Die Versuchssitzung war aus zwei Fahrrunden auf derselben Strecke zusammengesetzt. Die erste Runde stellt die Ausgangslage dar, bei der der Fahrer die Fahraufgabe natürlich ausführte. Ihm (alle Teilnehmer waren männlich im Durchschnittsalter von 29,4 Jahren) wird gesagt, er solle sich entspannen und vorsichtig fahren. Diese Runde wird neutrales Fahren genannt und ist wichtig, um die Ausgangslage der Blickvariationen der Augen der Teilnehmer zu erlernen. Die zweite Runde wurde unmittelbar nach der ersten auf demselben Streckenabschnitt durchgeführt. Während der zweiten Runde musste der Fahrer vier sekundäre Aufgaben erfüllen, die darauf abzielten, den Fahrer kognitiv zu überlasten. Diese Runde wird abgelenktes Fahren genannt.The test session consisted of two driving laps on the same route. The first lap represents the starting position in which the driver naturally performed the driving task. He (all participants were male, mean age 29.4 years) is told to relax and drive carefully. This lap is called neutral driving and is important in order to learn the starting position of the gaze variations of the participants' eyes. The second lap was carried out immediately after the first on the same section of the route. During the second lap, the driver had to perform four secondary tasks aimed at cognitively overloading the driver. This lap is called distracted driving.
Ein wichtiger Aspekt des Versuchsprotokolls bestand darin, die Fahrbedingungen (Fahrbahn, Wetter, Verkehrsstau) zwischen den Sitzungen so ähnlich wie möglich nachzubilden, aber auch für beide Runden, die von einem einzigen Teilnehmer ausgeführt wurden. Daher wurde eine Autobahnstrecke in Frankreich als Teststrecke für jeden Teilnehmer definiert. Die Geschwindigkeitsbegrenzung auf dieser Autobahn war konstant (90 km/h) und es dauerte 22 Minuten, eine einzelne Runde auszuführen. Es wurde tagsüber zwischen 10 Uhr vormittags und 17 Uhr nachmittags gefahren, um Schwankungen hinsichtlich des Wetters und der Verkehrsbedingungen zu minimieren.An important aspect of the test protocol was to simulate the driving conditions (road surface, weather, traffic jam) as similarly as possible between sessions, but also for both laps, which were carried out by a single participant. Therefore, a motorway route in France was defined as a test route for each participant. The speed limit on this freeway was constant (90 km / h) and it took 22 minutes to complete a single lap. It was driven between 10 a.m. and 5 p.m. during the day to minimize fluctuations in weather and traffic conditions.
Ein Fachmann ist zuständig für das Versuchsprotokoll, zum Starten der sekundären Aufgaben, zum Kommentieren der Ereignisse und zum Führen des Fahrers auf der Fahrstrecke. Dieser Fachmann wird in den folgenden Abschnitten Begleiter genannt.A specialist is responsible for the test protocol, for starting the secondary tasks, for commenting on the events and for guiding the driver along the route. This specialist is referred to as a companion in the following sections.
Fünf Fahrer nahmen an dem Datensammelprotokoll teil. Alle von ihnen waren Freiwillige, die in der Autoindustrie arbeiten. Der Zweck der Fahrsitzung war ihnen jedoch nicht bewusst.Five drivers participated in the data collection protocol. All of them were volunteers working in the auto industry. However, they were unaware of the purpose of the driving session.
Das zentrale Ziel der sekundären Aufgaben war es, die geistige Arbeitsbelastung für den Fahrer zu erhöhen. In der Literatur werden die verschiedenen sekundären Aufgaben angeführt, wie etwa Klopfen mit dem Fuß (sekundäre Aufgabe) während des Lernens (primäre Aufgabe) und Aufgaben zum Messen der rhythmischen Position oder Messen der Detektionsreaktion während des Fahrens. Bei einem auf einem Fahrsimulator basierenden Experiment hatten Fahrer visuelle, manuelle, auditive, verbale und haptische sekundäre Aufgaben zu erfüllen. Ergebnisse einer Blickanalyse der Augen zeigten, dass die visuellen ORTs (Detection Response Tasks) effizienter waren als andere. In der vorliegenden Studie wurde die visuelle sekundäre Aufgabe jedoch beiseitegelassen, um die Blickmuster der Augen so neutral wie möglich zu halten. Zur Annäherung an eine natürlichere Versuchsdurchführung wurde die Aufmerksamkeit auf immersive und unterhaltsame sekundäre Aufgaben gerichtet. Die folgenden vier Spiele sind alle basierend auf der N-Back-Task-Strategie gestaltet. N-Back-Tasks sind kognitiv ablenkende Aufgaben, bei denen die Teilnehmer sich an aufeinanderfolgende Anweisungen in Erinnerung rufen müssen. Sich an diese aufeinanderfolgenden Anweisungen zu erinnern führt zu einer Zunahme der geistigen Arbeitsbelastung. Jedes Spiel wurde so gestaltet, dass es vier Minuten dauert. Nach einer Pause von einer Minute, begann das darauffolgende Spiel.The central goal of the secondary tasks was to increase the mental workload on the driver. The literature lists the various secondary tasks such as tapping the foot (secondary task) while learning (primary task) and tasks for measuring rhythmic position or measuring detection response while driving. In an experiment based on a driving simulator, drivers had visual, manual, auditory, verbal and haptic secondary tasks to perform. Results of a gaze analysis of the eyes showed that the visual ORTs (Detection Response Tasks) were more efficient than others. In the present study However, the visual secondary task was left aside in order to keep the gaze patterns of the eyes as neutral as possible. In order to approach a more natural way of performing the experiment, attention has been directed to immersive and entertaining secondary tasks. The following four games are all designed based on the N-back task strategy. N-back tasks are cognitively distracting tasks that require participants to recall consecutive instructions. Remembering these sequential instructions leads to an increase in mental workload. Each game was designed to last four minutes. After a pause of one minute, the next game began.
Das erste Spiel heißt „weder ja noch nein“. Dieses Spiel basiert auf einer Abschaffung der Wörter „ja“, „nein“ und deren Alternativen wie „yeah“ oder „oui“. Der Begleiter fragt aufeinanderfolgende Fragen, um die Teilnehmer dazu zu zwingen, diese Wörter auszusprechen.The first game is called “neither yes nor no”. This game is based on the abolition of the words “yes”, “no” and their alternatives such as “yeah” or “oui”. The companion asks successive questions to force the participants to pronounce these words.
Das zweite Spiel heißt „in meiner Truhe ist“. Es besteht darin, die Worte „in meiner Truhe ist“ zu zitieren, gefolgt von dem Namen eines Objekts. Der Teilnehmer und der Begleiter sollen abwechselnd alle vorherigen Objekte aus der Erinnerung erneut nennen und ein neues zu der Liste hinzufügen.The second game is called “is in my chest”. It consists in quoting the words “is in my chest” followed by the name of an object. The participant and the companion should take turns naming all previous objects from the memory again and adding a new one to the list.
Das dritte Spiel heißt „rate mal wer“. Der Teilnehmer denkt an eine reale oder imaginäre Figur und der Begleiter versucht, die Identität der Figur durch Befragen einer mobilen Applikatin herauszufinden. Der Teilnehmer soll die Fragen korrekt beantworten.The third game is called "guess who". The participant thinks of a real or imaginary figure and the companion tries to find out the identity of the figure by asking a mobile applicator. The participant should answer the questions correctly.
Das vierte Spiel heißt „die 21“. Der Begleiter nennt ein bis drei Zahlen in numerischer Reihenfolge, zum Beispiel 1, 2, 3, und der Fahrer folgt der Reihenfolge und nennt eine andere Anzahl an Ziffern als der Begleiter, zum Beispiel zwei Zahlen
Zur Datenerfassung werden die Position der Innenteile des Fahrzeugs, wie Innenspiegel und Instrumenteneinheit, gemessen und in einer 3D-Welt- Darstellung dargestellt, wie in
Während des Fahrens wird der Fahrer mit einer Infrarot-Rückkamera überwacht, die vor der Instrumenteneinheit platziert ist. Diese Kamera extrahiert die Kopfposition, die Position der Augen und deren Richtung. Die Kopfposition und Blickrichtung der Augen sind auch in
In
Die virtuelle Wand ist eine Fläche, die so vor dem Fahrzeug platziert ist, als ob sie eines der Innenteile des Fahrzeugs wäre. Der Schnittpunkt zwischen dieser virtuellen Wand und dem Blickvektor der Augen wird in einem gegebenen Zeitfenster verfolgt. Den Variationen des Schnittpunkts über die Fläche folgend, wird eine bildbasierte Darstellung erzeugt. Diese Darstellung, die als eine Heatmap bezeichnet werden kann, besteht aus den gesammelten Daten, die dazu benutzt werden, die kognitive Belastung des Fahrers zu detektieren.The virtual wall is a surface that is placed in front of the vehicle as if it were one of the interior parts of the vehicle. The point of intersection between this virtual wall and the gaze vector of the eyes is tracked in a given time window. Following the variations of the intersection over the area, an image-based representation is generated. This representation, which can be referred to as a heat map, consists of the collected data that is used to detect the driver's cognitive load.
Das Fahrzeug ist auch mit einer RGB-Frontkamera ausgestattet. Die Positionen und die Dimensionen der imaginären Fläche sind so eingestellt, dass der Schnittpunkt dieser Fläche mit dem Sichtfeld der Kamera und dem Gebiet, auf dem die Blickdetektion verfügbar ist, maximiert wird. Diese Kamera befindet sich im inneren Zentrum des Fahrzeugs, wohingegen der Fahrer auf dem linken Vordersitz sitzt. So scheinen die Aktivitäten des Blicks des Fahrers auf die linke Seite des Bildes auf die Überlagerungen und Heatmaps konzentriert zu sein.The vehicle is also equipped with an RGB front camera. The positions and dimensions of the imaginary surface are set to maximize the intersection of this surface with the field of view of the camera and the area where gaze detection is available. This camera is located in the inner center of the vehicle, while the driver sits in the left front seat. Thus, the activities of the driver's gaze on the left side of the image seem to be focused on the overlays and heat maps.
Die Heatmap ist eine Datenvisualisierungstechnik, die in verschiedenen Studien und Lösungen verwendet wird. Diese werden häufig verwendet, um die Gebiete, die für die Leute von Interesse sind, hervorzuheben, wir können daher mehrere Situationen daran untersuchen. Eine Heatmap, wie in
Die zeitgestempelten, unbearbeiteten Schnittpunkte in x und x zwischen den Blickvektoren der Augen und der imaginären Fläche sind die Eingabe des Erzeugers der Heatmap. Diese Daten können alle 50 ms erfasst werden, wenn der Fahrer zu der imaginären Ebene blickt. Wenn der Fahrer nicht zu der Ebene blickt, ist die Ablenkungsquelle visuell und nicht notwendigerweise kognitiv. Zum Beispiel könnte der Fahrer sein Smartphone überprüfen. Dennoch kann diese Ablenkung auch durch das vorliegende Verfahren detektiert werden.The time-stamped, unprocessed intersection points in x and x between the gaze vectors of the eyes and the imaginary surface are the input of the creator of the heatmap. This data can be acquired every 50 ms when the driver looks to the imaginary plane. If the driver is not looking at the plane, the source of distraction is visual and not necessarily cognitive. For example, the driver could check his smartphone. Nevertheless, this deflection can also be detected by the present method.
Da ein einziger Schnittpunkt nicht ausreichend aussagekräftig für das vorliegende Problem ist, werden die Punkte als ein gleitendes Fenster zwischengespeichert, wie in Tafel a) von
Merkmalskonstruktion wird auf die erzeugten Heatmaps angewendet, um die Datendimension zu reduzieren. Aus jeder Heatmap werden die folgenden Merkmalssätze basierend auf ihren Pixelintensitäten und ihrer Form extrahiert.Feature construction is applied to the generated heat maps to reduce the data dimension. The following sets of features are extracted from each heat map based on their pixel intensities and shape.
Zum Beispiel können Erscheinungsmerkmale extrahiert werden. Die Pixelintensitätsvariation einer Heatmap enthält Informationen über das von dem Fahrer überblickte Gebiet. Das Histogramm ist ein effizientes Werkzeug, um diese Datenverteilungen zu visualisieren, insbesondere wenn die Blickaktivität auf ein spezifisches Gebiet fokussiert ist oder wenn sie ein breiteres Gebiet untersucht. Während des abgelenkten Fahrens wird erwartet, dass mehr Konzentration auf höheren Intensitäten visualisiert wird und während des natürlichen Fahrens, wobei der Fahrer ein breiteres Gebiet abdecken sollte, wird erwartet, dass mehr Konzentration auf geringeren Intensitäten visualisiert wird. Daher wird ein 6-bin-Histogramm der Pixelanzahl hinsichtlich der Pixelintensität pro Heatmap erzeugt, wie in Feldern a) und b) in
Auch die geometrischen Merkmale können extrahiert werden. Außer den Pixelintensitäten, die durch Heatmap-Histogrammen ausgenutzt werden, muss auch ihre Form berücksichtigt werden. So wird die erzeugte Heatmap in Konturen gemäß dem Unterschied in den Pixelintensitäten eingeteilt: binäre große Objekte (BLOBs) wie in den Feldern von
Feld a) von
Des Weiteren können Bildmomente extrahiert werden. Die Graustufen-BLOBs werden aus Bewegungen konstruiert, die Bewegungsenergie und Bewegungshistorie beinhalten. Daher wird die Bewegungsenergie und -historie von jeder derselben untersucht. Die folgende Gleichung (1) beschreibt die berechneten Merkmale, die auf den Bildmomenten basieren, die besonders gewichtete Durchschnitte der Bildintensitäten oder eine Repräsentation der Pixelverteilung in dem Bild sind.
Für ein gegebenes Bild I(x,y), sind i und j Ganzzahlen, die die Momentenordnung definieren.For a given image I (x, y), i and j are integers that define the order of moments.
Momente sind hinsichtlich der Pixelposition in dem Bild empfindlich, wohingegen erwartet wird, dass die Formen unabhängig von ihren Positionen detektiert werden (sogenannte reguläre Momente).Moments are sensitive to the pixel position in the image, whereas the shapes are expected to be detected regardless of their positions (so-called regular moments).
Hu-Momente sind sieben besondere Bildmomente, die translationsinvariant, rotationsinvariant und skaleninvariant sind. Sie sind besondere Kombinationen der zentralen Momente bezeichnet mit h1 bis h7. Hu-Momente werden pro BLOB extrahiert.Hu moments are seven special image moments that are translation invariant, rotation invariant and scale invariant. They are special combinations of the central moments designated by h1 to h7. Hu moments are extracted per BLOB.
Auch statistische Maßzahlen können extrahiert werden. Um die Informationen über die Fahrerblickverteilung über die imaginäre Ebene zu erfassen, werden die folgenden Merkmale als statistische Maßzahlen über alle BLOBs extrahiert:
- • Standardabweichung zu x und y
- • Schwerpunktskoordinaten (falls es mehrere Konturen gibt, ihr Mittelwert)
- • Grenzen jeder Zone (Maximum und Minimum von x und x)
- • erstes Quartil, Median und drittes Quartil auf x und y
- • Fläche der Kontur
- • Umfang der Kontur
- • Standard deviation from x and y
- • Coordinates of the center of gravity (if there are several contours, their mean value)
- • Limits of each zone (maximum and minimum of x and x)
- • first quartile, median and third quartile on x and y
- • Area of the contour
- • Perimeter of the contour
Wenn der Fahrer während des gesamten gegebenen Zeitfensters nicht auf das Bild und die imaginäre Ebene blickt, könnte die Heatmap weniger relevante Daten beinhalten. Daher ist die Information, wieviel Zeit damit verbracht hat, nach vorne zu blicken, ein weiteres Merkmal, das die Qualität der Heatmap bestimmt.If the driver does not look at the image and the imaginary plane for the entire given time window, the heat map could contain less relevant data. Therefore, the information on how much time was spent looking ahead is another characteristic that determines the quality of the heat map.
Schließlich werden alle extrahierten Merkmale normiert, indem der Mittelwert entfernt wird und auf die Einheitsvarianten pro Heatmap skaliert wird.Finally, all extracted features are normalized by removing the mean value and scaling it to the unit variants per heat map.
Ein überwachter binärer Klassifizierungsalgorithmus basierend auf einer Support-Vektor-Maschine wird mit extrahierten Merkmalen trainiert. Daten, die während des neutralen Fahrens gesammelt wurden, sind als neutral annotiert worden, und Daten, die während der Anwesenheit der sekundären Aufgaben gesammelt wurden, sind als abgelenkt annotiert worden.A supervised binary classification algorithm based on a support vector machine is trained with extracted features. Data collected during the neutral driving has been annotated as neutral and data collected during the presence of the secondary tasks has been annotated as distracted.
Die Klassifizierung wird durch stratifizierte K-fache Kreuzvalidierungstechnik mit zehn Wiederholungen (K = 10) validiert. Stratifikationen versuchen sicherzustellen, dass jede Faltung repräsentativ für alle Geraden der Daten ist, was darauf abzielt sicherzustellen, dass jede Klasse gleich über die Testfaltung repräsentiert ist, und darin besteht, den Datensatz in Muster aufzuteilen.The classification is validated by a stratified K-fold cross-validation technique with ten repetitions (K = 10). Stratifications seek to ensure that each convolution is representative of all straight lines in the data, which aims to ensure that each class is equally represented across the test convolution and consists in dividing the data set into patterns.
Parallel zu den anfänglichen Erwartungen, ist die Variation der erhaltenen Formen visuell verschieden zwischen dem neutralen Fahren und dem abgelenkten Fahren, wie in
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent literature cited
- US 6496117 B2 [0004]US 6496117 B2 [0004]
Claims (15)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020110417.0A DE102020110417A1 (en) | 2020-04-16 | 2020-04-16 | Method and system for assisting a driver |
PCT/EP2021/059512 WO2021209426A1 (en) | 2020-04-16 | 2021-04-13 | Method and system for driver assistance |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020110417.0A DE102020110417A1 (en) | 2020-04-16 | 2020-04-16 | Method and system for assisting a driver |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102020110417A1 true DE102020110417A1 (en) | 2021-10-21 |
Family
ID=75497937
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102020110417.0A Pending DE102020110417A1 (en) | 2020-04-16 | 2020-04-16 | Method and system for assisting a driver |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102020110417A1 (en) |
WO (1) | WO2021209426A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116756590A (en) * | 2023-08-17 | 2023-09-15 | 天津德科智控股份有限公司 | EPS system vehicle speed signal interference identification and processing method |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11922706B2 (en) | 2022-01-17 | 2024-03-05 | Veoneer Us, Llc | Systems and methods for dynamic attention area |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6496117B2 (en) | 2001-03-30 | 2002-12-17 | Koninklijke Philips Electronics N.V. | System for monitoring a driver's attention to driving |
EP2298155A2 (en) | 2002-10-15 | 2011-03-23 | Volvo Technology Corporation | Method and arrangement for interpreting a drivers head and eye activity |
DE102017202194A1 (en) | 2017-02-13 | 2018-08-16 | Robert Bosch Gmbh | Method and device for determining a visual distraction of a driver of a vehicle |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8876535B2 (en) * | 2013-03-15 | 2014-11-04 | State Farm Mutual Automobile Insurance Company | Real-time driver observation and scoring for driver's education |
JP7290567B2 (en) * | 2016-11-07 | 2023-06-13 | ナウト,インコーポレイテッド | Systems and methods for driver distraction determination |
EP3970060A1 (en) * | 2019-06-10 | 2022-03-23 | Huawei Technologies Co., Ltd. | Driver attention detection using heat maps |
-
2020
- 2020-04-16 DE DE102020110417.0A patent/DE102020110417A1/en active Pending
-
2021
- 2021-04-13 WO PCT/EP2021/059512 patent/WO2021209426A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6496117B2 (en) | 2001-03-30 | 2002-12-17 | Koninklijke Philips Electronics N.V. | System for monitoring a driver's attention to driving |
EP2298155A2 (en) | 2002-10-15 | 2011-03-23 | Volvo Technology Corporation | Method and arrangement for interpreting a drivers head and eye activity |
DE102017202194A1 (en) | 2017-02-13 | 2018-08-16 | Robert Bosch Gmbh | Method and device for determining a visual distraction of a driver of a vehicle |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116756590A (en) * | 2023-08-17 | 2023-09-15 | 天津德科智控股份有限公司 | EPS system vehicle speed signal interference identification and processing method |
CN116756590B (en) * | 2023-08-17 | 2023-11-14 | 天津德科智控股份有限公司 | EPS system vehicle speed signal interference identification and processing method |
Also Published As
Publication number | Publication date |
---|---|
WO2021209426A1 (en) | 2021-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE112010001354B4 (en) | Motion trajectory generator | |
DE112017006567B4 (en) | SYSTEM AND METHOD FOR PROVIDING DRIVER TRAINING TO A HUMAN OCCUPANT OF AN AUTONOMOUS VEHICLE | |
EP2427855B1 (en) | Method for the presentation on the display portion of a display device of objects present in the neighborhood of a vehicle | |
DE102021114620A1 (en) | PRESENTATION OF DYNAMIC THREAT INFORMATION BASED ON THREAT AND TRAJECTORY PREDICTION | |
DE112018004561T5 (en) | VEHICLE DRIVING SUPPORT SYSTEM, VEHICLE DRIVING SUPPORT PROCEDURE AND VEHICLE DRIVING SUPPORT PROGRAM | |
DE102015007493B4 (en) | Method for training a decision algorithm and a motor vehicle used in a motor vehicle | |
DE112018000479T5 (en) | Event prediction system, event prediction method, recording medium and moving body | |
DE102018128289A1 (en) | METHOD AND DEVICE FOR AUTONOMOUS SYSTEM PERFORMANCE AND CLASSIFICATION | |
DE102019109505A1 (en) | DATA PROCESSING DEVICE, MONITORING SYSTEM, WECKSYSTEM, DATA PROCESSING METHOD AND DATA PROCESSING PROGRAM | |
WO2013072231A1 (en) | Method for fog detection | |
DE102014214514A1 (en) | Apparatus and method for exchanging data between vehicles for setting up a convoy | |
EP3392111A1 (en) | Method and device for determining a visual deflection of a driver of a vehicle | |
DE102020110417A1 (en) | Method and system for assisting a driver | |
DE102018128563A1 (en) | METHOD AND DEVICE FOR AUTONOMOUS SYSTEM PERFORMANCE AND COMPARISON | |
DE102019216206A1 (en) | Device and method for determining a U-turn strategy of an autonomous vehicle | |
DE112019007195B4 (en) | DISPLAY CONTROL DEVICE, DISPLAY CONTROL METHOD AND DISPLAY CONTROL PROGRAM | |
DE102004034532A1 (en) | Method for identifying image information in the representation of a night vision image taken with a vehicle-side image recording device and associated night vision system | |
DE102008007152B4 (en) | Method for the parameterization of the eye opening degree of a driver of a motor vehicle | |
DE112017006982T5 (en) | OPERATING SUITABILITY APPROACH, OPERATING SUITABILITY APPROACH AND OPERATING SUITABILITY ASSESSMENT PROGRAM | |
DE102018121866A1 (en) | Method for depth estimation of two-dimensional sensor data | |
DE112018007056T5 (en) | Driving assistance device, driving assistance method, and driving assistance program | |
DE102008038859A1 (en) | Human i.e. driver, perception detecting system for use in e.g. aircraft, has evaluation unit identifying reaction of human to action based on detected information, and concluding perception of relevant part of surrounding field of human | |
DE112022005813T5 (en) | AUTOMATIC CALIBRATION METHOD AND DEVICE FOR THE DISTRACTION ZONE, PASSENGER CARS AND ELECTRONIC DEVICES | |
DE102018113518A1 (en) | Vehicle driver workload management | |
DE102021208148A1 (en) | Method for monitoring the observation of a driving situation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified |