DE102022109671A1

DE102022109671A1 - VEHICLE OCCUPANT VIEW DETECTION

Info

Publication number: DE102022109671A1
Application number: DE102022109671.8A
Authority: DE
Inventors: Kyoung Min Lee; Parthasarathy Subburaj; Durga Priya Kumar; Tilak D
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2022-04-21
Filing date: 2022-04-21
Publication date: 2023-10-26

Abstract

Ein Computer beinhaltet einen Prozessor und einen Speicher, wobei der Speicher Anweisungen speichert, die durch den Prozessor ausgeführt werden können, um jeweilige Wahrscheinlichkeiten einer Richtung eines Blicks eines Fahrzeuginsassen auf jeden einer Vielzahl von Punkten in einem Bild zu bestimmen, eine Blickentfernung von einer Mitte des Bildes auf Grundlage der Wahrscheinlichkeiten zu bestimmen und, wenn bestimmt wird, dass die Blickentfernung einen Schwellenwert überschreitet, eine manuelle Steuerung mindestens einer Fahrzeugkomponente zu unterdrücken.A computer includes a processor and a memory, the memory storing instructions executable by the processor to determine respective probabilities of a direction of a vehicle occupant's gaze at each of a plurality of points in an image, a gaze distance from a center of the To determine the image based on the probabilities and, if it is determined that the viewing distance exceeds a threshold value, to suppress manual control of at least one vehicle component.

Description

TECHNISCHES GEBIETTECHNICAL FIELD

Die Offenbarung betrifft die Blickerfassung eines Insassen in einem Fahrzeug.The disclosure relates to the gaze detection of an occupant in a vehicle.

HINTERGRUNDBACKGROUND

Während des manuellen Betriebs eines Fahrzeugs betrachtet ein Insasse eine Fahrbahn, um Objekte auf der Fahrbahn zu sehen. Zum Beispiel kann der Insasse andere Fahrzeuge, Verkehrszeichen, Fahrbahnmarkierungen usw. sehen. Während des autonomen Betriebs des Fahrzeugs kann der Insasse von der Fahrbahn wegschauen und ein Computer in dem Fahrzeug kann das Fahrzeug ohne Eingabe von dem Insassen betreiben. Das Bestimmen einer Richtung, in die der Insasse schaut, stellt ein Problem für den Computer dar.During manual operation of a vehicle, an occupant views a roadway to see objects on the roadway. For example, the occupant can see other vehicles, traffic signs, road markings, etc. During autonomous operation of the vehicle, the occupant can face away from the road and a computer in the vehicle can operate the vehicle without input from the occupant. Determining a direction the occupant is facing presents a problem for the computer.

KURZDARSTELLUNGSHORT PRESENTATION

Ein System beinhaltet einen Computer, der einen Prozessor und einen Speicher beinhaltet, wobei der Speicher Anweisungen speichert, die durch den Prozessor ausgeführt werden können, um jeweilige Wahrscheinlichkeiten einer Richtung eines Blicks eines Fahrzeuginsassen auf jeden einer Vielzahl von Punkten in einem Bild zu bestimmen, Bestimmen einer Blickentfernung von einer Mitte des Bildes auf Grundlage der Wahrscheinlichkeiten und, wenn bestimmt wird, dass die Blickentfernung einen Schwellenwert überschreitet, Unterdrücken der manuellen Steuerung von mindestens einer Fahrzeugkomponente.A system includes a computer that includes a processor and a memory, the memory storing instructions executable by the processor to determine respective probabilities of a direction of a vehicle occupant's gaze at each of a plurality of points in an image a viewing distance from a center of the image based on the probabilities and, if it is determined that the viewing distance exceeds a threshold, suppressing manual control of at least one vehicle component.

Die Anweisungen können ferner Anweisungen zum Bestimmen der Blickentfernung als eine Entfernung zwischen der Mitte des Bildes und einem Blickpunkt beinhalten, wobei der Blickpunkt eine gewichtete Summe von Koordinaten von jedem der Vielzahl von Punkten ist, wobei jeder der Vielzahl von Punkten gewichtet wird durch die jeweilige Wahrscheinlichkeit der Richtung des Blicks des Insassen zu dem jeweiligen Punkt.The instructions may further include instructions for determining the viewing distance as a distance between the center of the image and a viewpoint, the viewpoint being a weighted sum of coordinates of each of the plurality of points, each of the plurality of points being weighted by the respective probability the direction of the occupant's gaze to the respective point.

Die Mitte des Bildes kann ein Ursprung eines zweidimensionalen Koordinatensystems sein, wobei jeder der Vielzahl von Punkten kann ein Satz von Koordinaten in dem zweidimensionalen Koordinatensystem sein kann, und die Anweisungen können ferner Anweisungen zum Bestimmen eines Satzes von Koordinaten des Blickpunkts als die Summe des jeweiligen Satzes von Koordinaten von jedem der Vielzahl von Punkten multipliziert mit der jeweiligen Wahrscheinlichkeit der Richtung des Blicks des Insassen zu den jeweiligen Punkten beinhalten.The center of the image may be an origin of a two-dimensional coordinate system, each of the plurality of points may be a set of coordinates in the two-dimensional coordinate system, and the instructions may further include instructions for determining a set of coordinates of the viewpoint as the sum of the respective set of coordinates of each of the plurality of points multiplied by the respective probability of the direction of the occupant's gaze to the respective points.

Die Anweisungen können ferner Anweisungen zum Sammeln einer Vielzahl von Bildern des Insassen beinhalten, zum Bestimmen jeweiliger Blickentfernungen für jedes der Vielzahl von Bildern und zum Unterdrücken einer manuellen Steuerung der mindestens einen Fahrzeugkomponente, wenn bestimmt wird, dass die jeweiligen Blickentfernungen einer zweiten Vielzahl von aufeinanderfolgenden Bildern den Schwellenwert überschreitet.The instructions may further include instructions for collecting a plurality of images of the occupant, determining respective viewing distances for each of the plurality of images, and suppressing manual control of the at least one vehicle component when determining that the respective viewing distances of a second plurality of consecutive images exceeds the threshold value.

Die Anweisungen können ferner Anweisungen beinhalten, um eine manuelle Steuerung der mindestens einen Fahrzeugkomponente zu ermöglichen, wenn bestimmt wird, dass eine Blickentfernung eines ersten Bildes den Schwellenwert überschreitet und eine Blickentfernung eines zweiten Bildes nachfolgend auf das erste Bild unter dem Schwellenwert ist.The instructions may further include instructions to enable manual control of the at least one vehicle component when it is determined that a viewing distance of a first image exceeds the threshold and a viewing distance of a second image subsequent to the first image is below the threshold.

Die Anweisungen können ferner Anweisungen beinhalten, um eine manuelle Steuerung der mindestens einen Fahrzeugkomponente zu unterdrücken, wenn bestimmt wird, dass ein Mittel der Blickentfernungen der zweiten Vielzahl von aufeinanderfolgenden Bildern den Schwellenwert überschreitet.The instructions may further include instructions to suppress manual control of the at least one vehicle component when it is determined that an average of the viewing distances of the second plurality of consecutive images exceeds the threshold.

Die Anweisungen können ferner Anweisungen beinhalten, um das Bild in ein maschinelles Lernprogramm einzugeben, das dazu trainiert ist, die jeweiligen Wahrscheinlichkeiten der Richtung des Blicks des Insassen auf jeden der Vielzahl von Punkten auszugeben.The instructions may further include instructions to input the image into a machine learning program trained to output the respective probabilities of the direction of the occupant's gaze at each of the plurality of points.

Das maschinelle Lernprogramm kann dazu trainiert werden, eine Vielzahl von Orientierungspunkten eines Gesichts des Insassen zu identifizieren und die Wahrscheinlichkeiten der Richtung des Blicks des Insassen auf Grundlage von identifizierten Orientierungspunkten auszugeben.The machine learning program may be trained to identify a plurality of landmarks of an occupant's face and output probabilities of the direction of the occupant's gaze based on identified landmarks.

Die Anweisungen können ferner Anweisungen beinhalten, um einen Kreises in das Bild einzuschreiben, wobei der Kreis einen Mittelpunkt in der Mitte des Bildes aufweist, wobei sich jeder der Vielzahl von Punkten innerhalb eines Entfernungsschwellenwerts des Kreises befindet.The instructions may further include instructions to inscribe a circle in the image, the circle having a center point at the center of the image, each of the plurality of points being within a distance threshold of the circle.

Die Anweisungen können ferner Anweisungen beinhalten, um eine Eingabe von dem Insassen anzufordern, wenn bestimmt wird, dass die Blickentfernung einen Schwellenwert überschreitet, und, wenn keine Eingabe von dem Insassen detektiert wird, eine manuelle Steuerung der mindestens einen Fahrzeugkomponente zu unterdrücken.The instructions may further include instructions to request input from the occupant when determining that the viewing distance exceeds a threshold and, if no input from the occupant is detected, to suppress manual control of the at least one vehicle component.

Die Anweisungen können ferner Anweisungen beinhalten, um das Fahrzeug in einen vollständig autonomen Modus zu überführen, wenn bestimmt wird, dass die Blickentfernung den Schwellenwert überschreitet.The instructions may further include instructions to transition the vehicle to a fully autonomous mode when it is determined that the viewing distance exceeds the threshold.

Die Anweisungen können ferner Anweisungen beinhalten, um die Richtung des Blicks des Insassen auf Grundlage von erkannten Orientierungspunkten eines Gesichts des Insassen zu bestimmen.The instructions may further include instructions to determine the direction of the occupant's gaze based on detected landmarks of an occupant's face.

Die Anweisungen können ferner Anweisungen beinhalten, um eine manuelle Steuerung der mindestens einen Fahrzeugkomponente zu unterdrücken, wenn bestimmt wird, dass die Blickentfernung den Schwellenwert überschreitet für eine abgelaufene Zeit, die einen Zeitschwellenwert überschreitet.The instructions may further include instructions to inhibit manual control of the at least one vehicle component when it is determined that the viewing distance exceeds the threshold for an elapsed time that exceeds a time threshold.

Jeder der Vielzahl von Punkten kann an einer jeweiligen Stelle in einem Innenraum des Fahrzeugs angeordnet sein, die der Insasse von einer Fahrbahn wegschaut, wenn der Insasse auf die Stelle blickt.Each of the plurality of points may be located at a respective location in an interior of the vehicle that the occupant faces away from a roadway when the occupant looks at the location.

Ein Verfahren beinhaltet das Bestimmen jeweiliger Wahrscheinlichkeiten einer Richtung eines Blicks eines Fahrzeuginsassen auf jeden einer Vielzahl von Punkten in einem Bild, Bestimmen einer Blickentfernung von einer Mitte des Bildes auf Grundlage der Wahrscheinlichkeiten und, wenn bestimmt wird, dass die Blickentfernung einen Schwellenwert überschreitet, Unterdrücken der manuellen Steuerung von mindestens einer Fahrzeugkomponente.A method includes determining respective probabilities of a direction of a vehicle occupant's gaze at each of a plurality of points in an image, determining a gaze distance from a center of the image based on the probabilities, and if the gaze distance is determined to exceed a threshold, suppressing the manual control of at least one vehicle component.

Das Verfahren kann ferner einschließen, die Blickentfernung als eine Entfernung zwischen der Mitte des Bildes und einem Blickpunkt zu bestimmen, wobei der Blickpunkt eine gewichtete Summe von Koordinaten von jedem der Vielzahl von Punkten ist, wobei jeder der Vielzahl von Punkten gewichtet wird durch die jeweilige Wahrscheinlichkeit der Richtung des Blicks des Insassen zu dem jeweiligen Punkt.The method may further include determining the viewing distance as a distance between the center of the image and a viewpoint, the viewpoint being a weighted sum of coordinates of each of the plurality of points, each of the plurality of points being weighted by the respective probability the direction of the occupant's gaze to the respective point.

Die Mitte des Bildes kann ein Ursprung eines zweidimensionalen Koordinatensystems sein, wobei jeder der Vielzahl von Punkten ein Satz von Koordinaten in dem zweidimensionalen Koordinatensystem sein kann, und das Verfahren kann ferner das Bestimmen eines Satzes von Koordinaten des Blickpunkts als die Summe des jeweiligen Satzes von Koordinaten von jedem der Vielzahl von Punkten multipliziert mit der jeweiligen Wahrscheinlichkeit der Richtung des Blicks des Insassen zu den jeweiligen Punkten beinhalten.The center of the image may be an origin of a two-dimensional coordinate system, where each of the plurality of points may be a set of coordinates in the two-dimensional coordinate system, and the method may further include determining a set of coordinates of the viewpoint as the sum of the respective set of coordinates from each of the plurality of points multiplied by the respective probability of the direction of the occupant's gaze to the respective points.

Das Verfahren kann ferner Sammeln einer Vielzahl von Bildern des Insassen beinhalten, zum Bestimmen jeweiliger Blickentfernungen für jedes der Vielzahl von Bildern und zum Unterdrücken einer manuellen Steuerung der mindestens einen Fahrzeugkomponente, wenn bestimmt wird, dass die jeweiligen Blickentfernungen einer zweiten Vielzahl von aufeinanderfolgenden Bildern den Schwellenwert überschreitet.The method may further include collecting a plurality of images of the occupant, determining respective viewing distances for each of the plurality of images, and suppressing manual control of the at least one vehicle component when determining that the respective viewing distances of a second plurality of consecutive images meet the threshold exceeds.

Das Verfahren kann ferner beinhalten, eine manuelle Steuerung der mindestens einen Fahrzeugkomponente zu ermöglichen, wenn bestimmt wird, dass eine Blickentfernung eines ersten Bildes den Schwellenwert überschreitet und eine Blickentfernung eines zweiten Bildes nachfolgend auf das erste Bild unter dem Schwellenwert ist.The method may further include enabling manual control of the at least one vehicle component when it is determined that a viewing distance of a first image exceeds the threshold and a viewing distance of a second image subsequent to the first image is below the threshold.

Das Verfahren kann ferner beinhalten, eine manuelle Steuerung der mindestens einen Fahrzeugkomponente zu unterdrücken, wenn bestimmt wird, dass ein Mittel der Blickentfernungen der zweiten Vielzahl von aufeinanderfolgenden Bildern den Schwellenwert überschreitet.The method may further include suppressing manual control of the at least one vehicle component when it is determined that an average of the viewing distances of the second plurality of consecutive images exceeds the threshold.

Die Verfahren kann ferner beinhalten, das Bild in ein maschinelles Lernprogramm einzugeben, das dazu trainiert ist, die jeweiligen Wahrscheinlichkeiten der Richtung des Blicks des Insassen auf jeden der Vielzahl von Punkten auszugeben.The method may further include inputting the image into a machine learning program trained to output the respective probabilities of the direction of the occupant's gaze at each of the plurality of points.

Das Verfahren kann ferner beinhalten, einen Kreises in das Bild einzuschreiben, wobei der Kreis einen Mittelpunkt in der Mitte des Bildes aufweist, wobei sich jeder der Vielzahl von Punkten innerhalb eines Entfernungsschwellenwerts des Kreises befindet.The method may further include inscribing a circle in the image, the circle having a center at the center of the image, each of the plurality of points being within a distance threshold of the circle.

Das Verfahren kann ferner beinhalten, eine Eingabe von dem Insassen anzufordern, wenn bestimmt wird, dass die Blickentfernung einen Schwellenwert überschreitet, und, wenn keine Eingabe von dem Insassen detektiert wird, eine manuelle Steuerung der mindestens einen Fahrzeugkomponente zu unterdrücken.The method may further include requesting input from the occupant when determining that the viewing distance exceeds a threshold and, if no input from the occupant is detected, suppressing manual control of the at least one vehicle component.

Das Verfahren kann ferner beinhalten, das Fahrzeug in einen vollständig autonomen Modus zu überführen, wenn bestimmt wird, dass die Blickentfernung den Schwellenwert überschreitet. Das Verfahren kann ferner beinhalten, die Richtung des Blicks des Insassen auf Grundlage von erkannten Orientierungspunkten eines Gesichts des Insassen zu bestimmen.The method may further include transitioning the vehicle into a fully autonomous mode when it is determined that the viewing distance exceeds the threshold. The method may further include determining the direction of the occupant's gaze based on detected landmarks of an occupant's face.

Das Verfahren kann ferner beinhalten, eine manuelle Steuerung der mindestens einen Fahrzeugkomponente zu unterdrücken, wenn bestimmt wird, dass die Blickentfernung den Schwellenwert überschreitet für eine abgelaufene Zeit, die einen Zeitschwellenwert überschreitet.The method may further include suppressing manual control of the at least one vehicle component when it is determined that the viewing distance exceeds the threshold for an elapsed time that exceeds a time threshold.

Ferner wird eine Rechenvorrichtung offenbart, die dazu programmiert ist, beliebige der vorstehenden Verfahrensschritte auszuführen. Darüber hinaus wird ein Fahrzeug offenbart, das die Rechenvorrichtung umfasst. Darüber hinaus wird ein Computerprogrammprodukt offenbart, das ein computerlesbares Medium umfasst, auf dem Anweisungen gespeichert sind, die durch einen Computerprozessor ausgeführt werden können, um beliebige der vorstehenden Verfahrensschritte auszuführen.Further disclosed is a computing device programmed to perform any of the above method steps. In addition, a vehicle that includes the computing device is disclosed. Additionally, a computer program product is disclosed that includes a computer-readable medium storing instructions executable by a computer processor to perform any of the foregoing method steps.

Um zu bestimmen, ob ein Insasse, der ein Fahrzeug bedient, von einer Fahrbahn wegschaut, kann ein Computer Bilddaten des Insassen sammeln. Der Computer kann eine Blickrichtung des Insassen unter Verwendung eines maschinellen Lernprogramms identifizieren, das dazu trainiert ist, Orientierungspunkte eines Gesichts des Insassen zu identifizieren und eine Richtung auszugeben, in die der Insasse schaut. Der Computer kann die Blickrichtung auf Grundlage von Wahrscheinlichkeiten bestimmen, dass der Insasse auf jede von einer Vielzahl von Positionen in einem Bild schaut. Wenn die Blickrichtung angibt, dass der Insasse von der Fahrbahn wegschaut, z. B. zu einer anderen Stelle in dem Fahrzeug, kann der Computer den Betrieb einer oder mehrerer Fahrzeugkomponenten in einen autonomen Modus überführen. Das heil t, wenn die Bilddaten angeben, dass der Insasse nicht auf die Fahrbahn schaut, kann der Computer das Fahrzeug autonom betreiben.To determine whether an occupant operating a vehicle is looking away from a roadway, a computer may collect image data of the occupant. The computer may identify a direction of gaze of the occupant using a machine learning program trained to identify landmarks of a face of the occupant and output a direction in which the occupant is looking. The computer can determine the direction of gaze based on probabilities that the occupant is looking at each of a variety of positions in an image. If the line of sight indicates that the occupant is looking away from the road, e.g. B. to another location in the vehicle, the computer can convert the operation of one or more vehicle components into an autonomous mode. This means that if the image data indicates that the occupant is not looking at the road, the computer can operate the vehicle autonomously.

KURZE BESCHREIBUNG DER ZEICHNUNGENBRIEF DESCRIPTION OF THE DRAWINGS

1 is a block diagram of an example system for detecting a gaze from an occupant of a vehicle.
2 is a view of an interior of the vehicle.
3 is a view of the occupant of the vehicle.
4 is a block diagram of an example process for capturing the occupant's gaze.

DETAILLIERTE BESCHREIBUNGDETAILED DESCRIPTION

1 veranschaulicht ein beispielhaftes System 100 zum Betreiben eines Fahrzeugs 105. Ein Computer 110 in dem Fahrzeug 105 ist dazu programmiert, gesammelte Daten von einem oder mehreren Sensoren 115 zu empfangen. Zum Beispiel können Fahrzeugdaten einen Standort des Fahrzeugs 105, Daten zu einer Umgebung um ein Fahrzeug herum, Daten zu einem Objekt aul erhalb des Fahrzeugs, wie etwa ein anderes Fahrzeug, usw. beinhalten. Ein Fahrzeugstandort wird in der Regel in einer herkömmlichen Form bereitgestellt, z. B. als Geokoordinaten, wie etwa Breitengrad- und Längengradkoordinaten, die über ein Navigationssystem erlangt werden, welches das globale Positionsbestimmungssystem (Global Positioning System - GPS) verwendet. Weitere Beispiele für Daten können Messungen von Fahrzeugsystemen und -komponenten beinhalten, z. B. eine Fahrzeuggeschwindigkeit, eine Fahrzeugbewegungsbahn usw. 1 illustrates an example system 100 for operating a vehicle 105. A computer 110 in the vehicle 105 is programmed to receive collected data from one or more sensors 115. For example, vehicle data may include a location of the vehicle 105, data about an environment around a vehicle, data about an object outside the vehicle such as another vehicle, etc. A vehicle location is typically provided in a conventional form, e.g. B. as geocoordinates, such as latitude and longitude coordinates, which are obtained via a navigation system that uses the Global Positioning System (GPS). Other examples of data may include measurements of vehicle systems and components, e.g. B. a vehicle speed, a vehicle trajectory, etc.

Der Computer 110 ist im Allgemeinen zur Kommunikationen über ein Fahrzeugnetzwerk programmiert, das z. B. einen herkömmlichen Fahrzeugkommunikationsbus, wie etwa einen CAN-Bus, einen LIN-Bus usw. und/oder andere drahtgebundene und/oder drahtlose Techniken, z. B. Ethernet, WIFI usw., beinhaltet. Über das Netzwerk, den Bus und/oder die anderen drahtgebundenen oder drahtlosen Mechanismen (z. B. ein drahtgebundenes oder drahtloses lokales Netzwerk in dem Fahrzeug 105) kann der Computer 110 Mitteilungen an verschiedene Vorrichtungen in einem Fahrzeug 105 übermitteln und/oder Mitteilungen von den verschiedenen Vorrichtungen empfangen, z. B. Steuerungen, Aktoren, Sensoren usw., welche die Sensoren 115 beinhalten. Alternativ oder zusätzlich kann in Fällen, bei denen der Computer 110 tatsächlich mehrere Vorrichtungen umfasst, das Fahrzeugnetzwerk zur Kommunikation zwischen Vorrichtungen verwendet werden, die in dieser Offenbarung als der Computer 110 dargestellt sind. Zum Beispiel kann der Computer 110 ein generischer Computer mit einem Prozessor und einem Speicher sein, wie vorstehend beschrieben, und/oder kann eine dedizierte elektronische Schaltung beinhalten, die eine ASIC beinhaltet, die für einen bestimmten Betrieb hergestellt ist, z. B. eine ASIC zum Verarbeiten von Sensordaten und/oder Kommunizieren der Sensordaten. In einem weiteren Beispiel kann der Computer 110 eine FPGA (Field-Programmable Gate Array - feldprogrammierbare Gateanordnung) beinhalten, die eine integrierte Schaltung ist, die so hergestellt ist, dass sie von einem Benutzer konfiguriert werden kann. In der Regel wird eine Hardware-Beschreibungssprache, wie etwa VHDL (Very High Speed Integrated Circuit Hardware Description Language - Hardware-Beschreibungssprache für integrierte Schaltungen mit sehr hoher Geschwindigkeit), in der elektronischen Ausgestaltungsautomatisierung verwendet, um digitale und Mischsignal-Systeme, wie etwa FPGA und ASIC, zu beschreiben. Zum Beispiel wird eine ASIC auf Grundlage einer vor der Herstellung bereitgestellten VHDL-Programmierung hergestellt, wohingegen logische Komponenten innerhalb eines FPGA auf Grundlage der VHDL-Programmierung konfiguriert sein können, z. B. in einem Speicher gespeichert, der elektrisch mit der FPGA-Schaltung verbunden ist. In einigen Beispielen kann eine Kombination aus Prozessor(en), ASIC(s) und/oder FPGA-Schaltungen in dem Computer 110 beinhaltet sein. Des Weiteren kann der Computer 110 zum Kommunizieren mit dem Netzwerk 125 programmiert sein, das, wie nachstehend beschrieben, verschiedene drahtgebundene und/oder drahtlose Netzwerktechnologien beinhalten kann, z. B. Mobilfunk, Bluetooth®, Bluetooth® Low Energy (BLE), drahtgebundene und/oder drahtlose Paketnetzwerke usw.The computer 110 is generally programmed to communicate over a vehicle network, e.g. B. a conventional vehicle communication bus, such as a CAN bus, a LIN bus, etc. and / or other wired and / or wireless techniques, e.g. B. Ethernet, WIFI, etc., includes. Via the network, the bus, and/or the other wired or wireless mechanisms (e.g., a wired or wireless local area network in the vehicle 105), the computer 110 may communicate with transmit messages to various devices in a vehicle 105 and/or receive messages from the various devices, e.g. B. controls, actuators, sensors, etc., which contain the sensors 115. Alternatively or additionally, in cases where the computer 110 actually includes multiple devices, the vehicle network may be used for communication between devices, depicted as the computer 110 in this disclosure. For example, computer 110 may be a generic computer with a processor and memory as described above and/or may include dedicated electronic circuitry that includes an ASIC manufactured for a specific operation, e.g. B. an ASIC for processing sensor data and/or communicating the sensor data. In another example, computer 110 may include a field-programmable gate array (FPGA), which is an integrated circuit manufactured to be configurable by a user. Typically, a hardware description language such as VHDL (Very High Speed Integrated Circuit Hardware Description Language) is used in electronic design automation to design digital and mixed-signal systems such as FPGA and ASIC. For example, an ASIC is manufactured based on VHDL programming provided prior to manufacturing, whereas logical components within an FPGA may be configured based on VHDL programming, e.g. B. stored in a memory that is electrically connected to the FPGA circuit. In some examples, a combination of processor(s), ASIC(s), and/or FPGA circuitry may be included in computer 110. Further, the computer 110 may be programmed to communicate with the network 125, which, as described below, may include various wired and/or wireless networking technologies, e.g. B. Cellular, Bluetooth®, Bluetooth® Low Energy (BLE), wired and/or wireless packet networks, etc.

Der Speicher kann von beliebiger Art sein, z. B. Festplattenlaufwerke, Festkörperlaufwerke, Server oder beliebige flüchtige oder nichtflüchtige Medien. Der Speicher kann die von den Sensoren 115 gesendeten gesammelten Daten speichern. Der Speicher kann eine von dem Computer 110 getrennte Vorrichtung sein und der Computer 110 kann durch den Speicher gespeicherte Informationen über ein Netzwerk in dem Fahrzeug 105 abrufen, z. B. über einen CAN-Bus, ein drahtloses Netzwerk usw. Alternativ oder zusätzlich dazu kann der Speicher Teil des Computers 110 sein, z. B. als ein Speicher des Computers 110.The memory can be of any type, e.g. B. Hard drives, solid state drives, servers or any volatile or non-volatile media. The memory may store the collected data sent by the sensors 115. The memory may be a separate device from the computer 110 and the computer 110 may retrieve information stored by the memory over a network in the vehicle 105, e.g. via a CAN bus, a wireless network, etc. Alternatively or additionally, the memory may be part of the computer 110, e.g. B. as a memory of the computer 110.

Die Sensoren 115 können eine Reihe von Vorrichtungen beinhalten. Zum Beispiel können verschiedene Steuerungen in einem Fahrzeug 105 als Sensoren 115 betrieben werden, um Daten über das Netzwerk oder den Bus des Fahrzeugs bereitzustellen, z. B. Daten bezüglich der Geschwindigkeit, Beschleunigung und des Standortes des Fahrzeugs, des Status von Teilsystemen und/oder Komponenten usw. Ferner könnten andere Sensoren 115 Kameras, Bewegungsmelder usw. beinhalten, d. h. die Sensoren 115, um Daten zum Auswerten einer Position einer Komponente, Auswerten einer Neigung einer Fahrbahn usw. bereitzustellen. Die Sensoren 115 könnten aul erdem ohne Einschränkung Kurzstreckenradar, Langstreckenradar, LIDAR und/oder Ultraschallwandler beinhalten.The sensors 115 may include a variety of devices. For example, various controllers in a vehicle 105 may operate as sensors 115 to provide data about the vehicle's network or bus, e.g. B. data regarding the speed, acceleration and location of the vehicle, the status of subsystems and / or components, etc. Furthermore, other sensors 115 could include cameras, motion detectors, etc., i.e. H. the sensors 115 to provide data for evaluating a position of a component, evaluating an inclination of a road, etc. The sensors 115 could also include, without limitation, short-range radar, long-range radar, LIDAR, and/or ultrasonic transducers.

Die gesammelten Daten können eine Vielzahl von Daten beinhalten, die in einem Fahrzeug 105 gesammelt wurden. Beispiele für gesammelte Daten sind vorstehend bereitgestellt und darüber hinaus werden Daten im Allgemeinen unter Verwendung eines oder mehrerer Sensoren 115 gesammelt und können zusätzlich Daten beinhalten, die anhand dieser in dem Computer 110 und/oder auf dem Server 130 berechnet werden. Im Allgemeinen können gesammelte Daten beliebige Daten beinhalten, die durch die Sensoren 115 zusammengetragen und/oder anhand solcher Daten berechnet werden können.The data collected may include a variety of data collected in a vehicle 105. Examples of collected data are provided above and, in addition, data is generally collected using one or more sensors 115 and may additionally include data calculated therefrom in the computer 110 and/or on the server 130. In general, collected data may include any data that can be gathered by the sensors 115 and/or calculated from such data.

Das Fahrzeug 105 kann eine Vielzahl von Fahrzeugkomponenten 120 beinhalten. In diesem Zusammenhang beinhaltet jede Fahrzeugkomponente 120 eine oder mehrere Hardwarekomponenten, die dazu ausgelegt sind, eine mechanische Funktion oder einen mechanischen Betrieb durchzuführen - wie etwa das Bewegen des Fahrzeugs 105, das Abbremsen oder Anhalten des Fahrzeugs 105, das Lenken des Fahrzeugs 105 usw. Nichteinschränkende Beispiele für die Komponenten 120 beinhalten eine Antriebskomponente (die z. B. eine Brennkraftmaschine und/oder einen Elektromotor usw. beinhaltet), eine Getriebekomponente, eine Lenkbaugruppe (die z. B. eines oder mehrere von einem Lenkrad, einer Zahnstange usw. beinhalten kann), eine Bremskomponente, eine Einparkunterstützungskomponente, eine Komponente für adaptive Geschwindigkeitsregelung, eine Komponente für adaptives Lenken, einen bewegbaren Sitz und dergleichen. Die Komponenten 120 können Rechenvorrichtungen beinhalten, z. B. elektronische Steuereinheiten (electric control units - ECUs) oder dergleichen und/oder Rechenvorrichtungen, wie etwa vorstehend in Bezug auf den Computer 110 beschrieben, und die gleichermal en über ein Fahrzeugnetzwerk kommunizieren.The vehicle 105 may include a variety of vehicle components 120. In this context, each vehicle component 120 includes one or more hardware components designed to perform a mechanical function or operation - such as moving the vehicle 105, braking or stopping the vehicle 105, steering the vehicle 105, etc. Non-limiting Examples of the components 120 include a drive component (which may include, for example, an internal combustion engine and/or an electric motor, etc.), a transmission component, a steering assembly (which may include, for example, one or more of a steering wheel, a steering rack, etc.). ), a braking component, a parking assistance component, an adaptive cruise control component, an adaptive steering component, a movable seat and the like. The components 120 may include computing devices, e.g. B. electronic control units (ECUs) or the like and / or computing devices, such as those described above with respect to the computer 110, and which also communicate via a vehicle network.

Ein Fahrzeug 105 kann in einem vollständig autonomen Modus, einem halbautonomen Modus oder einem nichtautonomen Modus betrieben werden. Ein vollständig autonomer Modus ist als einer definiert, in dem jedes von dem Antrieb (typischerweise über einen Antriebsstrang, der einen Elektromotor und/oder eine Brennkraftmaschine beinhaltet), der Bremsung und der Lenkung des Fahrzeugs durch den Computer 110 gesteuert wird, d. h. in „autonomem Betrieb“. Ein halbautonomer Modus ist einer, in dem mindestens eines von dem Antrieb (typischerweise über einen Antriebsstrang, der einen Elektromotor und/oder eine Brennkraftmaschine beinhaltet), der Bremsung und der Lenkung des Fahrzeugs mindestens teilweise durch den Computer 110 im Gegensatz zu einem menschlichen Bediener in „manueller“ Steuerung gesteuert wird. In einem nichtautonomen Modus, d. h. einem manuellen Modus, werden Antrieb, Bremsung und Lenkung des Fahrzeugs durch den menschlichen Bediener gesteuert. Das System 100 kann ferner ein Netzwerk 125 beinhalten, das mit einem Server 130 verbunden ist. Der Computer 110 kann ferner dazu programmiert sein, über das Netzwerk 125 mit einem oder mehreren entfernten Orten, wie etwa dem Server 130, zu kommunizieren, wobei ein solcher entfernter Ort möglicherweise einen Prozessor und einen Speicher beinhaltet. Das Netzwerk 125 stellt einen oder mehrere Mechanismen dar, durch welche ein Fahrzeugcomputer 110 mit einem entfernten Server 130 kommunizieren kann. Dementsprechend kann das Netzwerk 125 einer oder mehrere von verschiedenen drahtgebundenen oder drahtlosen Kommunikationsmechanismen sein, die eine beliebige gewünschte Kombination aus drahtgebundenen (z. B. Kabel und Faser) und/oder drahtlosen (z. B. Mobilfunk, drahtlos, Satellit, Mikrowelle und Funkfrequenz) Kommunikationsmechanismen und eine beliebige gewünschte Netzwerktopologie (oder Topologien, wenn mehrere Kommunikationsmechanismen genutzt werden) beinhalten. Beispielhafte Kommunikationsnetzwerke beinhalten drahtlose Kommunikationsnetzwerke (z. B. unter Verwendung von Bluetooth®, Bluetooth® Low Energy (BLE), IEEE 802.11, Fahrzeug-zu-Fahrzeug (V2V), wie etwa dedizierte Nahbereichskommunikation (Dedicated Sort Range Communications - DSRC) usw.), lokale Netzwerke (local area network - LAN) und/oder Weitverkehrsnetzwerke (wide area networks - WAN), die das Internet beinhalten, die Datenkommunikationsdienste bereitstellen.A vehicle 105 may operate in a fully autonomous mode, a semi-autonomous mode, or a non-autonomous mode. A fully autonomous mode is defined as one in which each of the vehicle's propulsion (typically via a powertrain including an electric motor and/or an internal combustion engine), braking, and steering is controlled by the computer 110, that is, in “autonomous Operation". A semi-autonomous mode is one in which at least one of the propulsion (typically via a powertrain that includes an electric motor and/or an internal combustion engine), braking, and steering of the vehicle is performed at least in part by the computer 110 as opposed to a human operator “manual” control. In a non-autonomous mode, that is, a manual mode, the vehicle's propulsion, braking and steering are controlled by the human operator. The system 100 may further include a network 125 connected to a server 130. The computer 110 may further be programmed to communicate over the network 125 with one or more remote locations, such as the server 130, such remote location possibly including a processor and memory. The network 125 represents one or more mechanisms through which a vehicle computer 110 can communicate with a remote server 130. Accordingly, the network 125 may be one or more of various wired or wireless communication mechanisms, including any desired combination of wired (e.g., cable and fiber) and/or wireless (e.g., cellular, wireless, satellite, microwave, and radio frequency ) Communication mechanisms and any desired network topology (or topologies if multiple communication mechanisms are used). Example communication networks include wireless communication networks (e.g., using Bluetooth®, Bluetooth® Low Energy (BLE), IEEE 802.11, vehicle-to-vehicle (V2V), such as Dedicated Sort Range Communications (DSRC), etc. ), local area networks (LAN) and/or wide area networks (WAN), which include the Internet, which provide data communication services.

2 ist eine Ansicht eines Innenraums 200 eines Fahrzeugs 105. Der „Innenraum“ 200 des Fahrzeugs 105 ist der Abschnitt des Fahrzeugs 105 innerhalb einer Karosserie des Fahrzeugs 105. Das heil t, der Innenraum 200 des Fahrzeugs 105 ist durch die Karosserie, Türen, Fenster usw. umschlossen. 2 zeigt eine Fahrgastkabine des Fahrzeugs 105, d. h. einen Abschnitt des Innenraums 200 des Fahrzeugs 105, in dem Insassen untergebracht sind. Ein Insasse kann im Innenraum 200 des Fahrzeugs 105 sitzen, um das Fahrzeug 105 zu betreiben. Wenn der Insasse das Fahrzeug 105 betreibt, schaut der Insasse durch eine Windschutzscheibe, um eine Fahrbahn 205 zu sehen. Um das Fahrzeug 105 in einem manuellen Modus oder einem halbautonomen Modus zu betreiben, sollte der Insasse seine Sicht auf die Fahrbahn 205 beibehalten. Wenn der Insasse von der Fahrbahn 205 wegschaut, kann der Computer 110 den Betrieb der einen oder mehreren Komponenten 120 des Fahrzeugs 105 in den autonomen Betrieb überführen. Zum Beispiel kann der Computer 110 das Fahrzeug 105 in einem vollständig autonomen Modus betreiben, wie vorstehend beschrieben. 2 is a view of an interior 200 of a vehicle 105. The "interior" 200 of the vehicle 105 is the portion of the vehicle 105 within a body of the vehicle 105. That is, the interior 200 of the vehicle 105 is defined by the body, doors, windows, etc .enclosed. 2 shows a passenger cabin of the vehicle 105, ie a portion of the interior 200 of the vehicle 105 in which passengers are accommodated. An occupant may sit in the interior 200 of the vehicle 105 to operate the vehicle 105. When the occupant operates the vehicle 105, the occupant looks through a windshield to see a roadway 205. To operate the vehicle 105 in a manual mode or a semi-autonomous mode, the occupant should maintain their view of the roadway 205. When the occupant looks away from the roadway 205, the computer 110 may transition the operation of the one or more components 120 of the vehicle 105 to autonomous operation. For example, the computer 110 may operate the vehicle 105 in a fully autonomous mode, as described above.

Der Innenraum 200 des Fahrzeugs 105 kann eine Vielzahl von Stellen beinhalten, zu denen der Insasse blicken kann, für die nachstehend nicht einschränkende Beispiele bereitgestellt sind. Der Computer 110 kann bestimmen, ob der Insasse in Richtung, d. h. auf eine der Stellen schaut, und auf Grundlage der identifizierten Stelle kann der Computer 110 eine oder mehrere Komponenten 120 des Fahrzeugs 105 in den autonomen Betrieb überführen. Das heil t, wenn der Insasse auf bestimmte Stellen schaut, kann der Insasse von der Fahrbahn 205 wegschauen. Die Stellen beinhalten die Fahrbahn 205. Wenn der Insasse auf die Fahrbahn 205 schaut, kann der Insasse das Fahrzeug 105 im manuellen Modus oder im halbautonomen Modus betreiben. Das heil t, wenn der Insasse auf die Fahrbahn 205 schaut, kann der Insasse Objekte auf der Fahrbahn 205 sehen, die den Betrieb des Fahrzeugs 105 beeinflussen können. Zum Beispiel kann der Insasse ein Zielfahrzeug sehen, das sich dem Fahrzeug 105 nähert, und der Insasse kann eine Bremse betätigen und/oder ein Lenkrad drehen, um dem Zielfahrzeug auszuweichen. Die Stellen können einen Rückspiegel 210 beinhalten. Der Rückspiegel 210 reflektiert Licht, das durch ein Heckfenster des Fahrzeugs 105 fällt. Das heil t, wenn der Insasse in den Rückspiegel 210 schaut, kann der Insasse Objekte hinter dem Fahrzeug 105 sehen. Wenn der Insasse in den Rückspiegel 210 schaut, kann der Insasse von der Fahrbahn 205 wegschauen. Die Stellen können ein Armaturenbrett 215 beinhalten. Das Armaturenbrett 215 zeigt Informationen über Fahrzeugkomponenten 120 und den Betrieb an. Zum Beispiel kann das Armaturenbrett 215 eine aktuelle Geschwindigkeit des Fahrzeugs 105 anzeigen. In einem anderen Beispiel kann das Armaturenbrett eine Kraftstoffmenge in einem Kraftstofftank des Fahrzeugs 105 anzeigen. Wenn der Insasse auf das Armaturenbrett 215 schaut, kann der Insasse von der Fahrbahn 205 wegschauen.The interior 200 of the vehicle 105 may include a variety of locations to which the occupant may view, nonlimiting examples of which are provided below. The computer 110 can determine whether the occupant is facing, i.e. H. looks at one of the locations, and based on the identified location, the computer 110 can convert one or more components 120 of the vehicle 105 into autonomous operation. This means that when the occupant looks at certain places, the occupant can look away from the road 205. The locations include the roadway 205. When the occupant is facing the roadway 205, the occupant may operate the vehicle 105 in manual mode or in semi-autonomous mode. This means that when the occupant looks at the roadway 205, the occupant can see objects on the roadway 205 that may affect the operation of the vehicle 105. For example, the occupant may see a target vehicle approaching the vehicle 105, and the occupant may apply a brake and/or turn a steering wheel to avoid the target vehicle. The locations may include a rearview mirror 210. The rearview mirror 210 reflects light that falls through a rear window of the vehicle 105. This means that when the occupant looks into the rearview mirror 210, the occupant can see objects behind the vehicle 105. When the occupant looks into the rearview mirror 210, the occupant can look away from the roadway 205. The locations may include a dashboard 215. The dashboard 215 displays information about vehicle components 120 and operation. For example, the dashboard 215 may display a current speed of the vehicle 105. In another example, the dashboard may display an amount of fuel in a fuel tank of the vehicle 105. When the occupant looks at the dashboard 215, the occupant can look away from the roadway 205.

Die Stellen können eine Mittelkonsole 220 beinhalten. Die Mittelkonsole 220 kann ein oder mehrere Objekte beinhalten, mit denen der Insasse interagieren kann. Zum Beispiel kann die Mittelkonsole 220 ein Klimasteuerungsteilsystem beinhalten und der Insasse kann der Mittelkonsole 220 eine Eingabe bereitstellen, um eine Temperatur des Innenraums 200 des Fahrzeugs 105 einzustellen. In einem anderen Beispiel kann die Mittelkonsole 220 ein Unterhaltungsteilsystem beinhalten, und der Insasse kann der Mittelkonsole 220 eine Eingabe bereitstellen, um z. B. eine Lautstärke eines Lautsprechers einzustellen. Wenn der Insasse auf die Mittelkonsole 220 schaut, kann der Insasse von der Fahrbahn 205 wegschauen.The locations may include a center console 220. The center console 220 may include one or more objects with which the occupant can interact. For example, the center console 220 can be a Climate control subsystem include and the occupant may provide input to the center console 220 to adjust a temperature of the interior 200 of the vehicle 105. In another example, the center console 220 may include an entertainment subsystem, and the occupant may provide input to the center console 220 to, e.g. B. to adjust the volume of a speaker. When the occupant looks at the center console 220, the occupant can look away from the roadway 205.

Die Stellen können ein erstes Seitenfenster 225 und ein zweites Seitenfenster 230 beinhalten. Das erste Seitenfenster 225 und das zweite Seitenfenster 230 ermöglichen es dem Insassen, Objekte auf beiden Seiten des Fahrzeugs 105 zu sehen. Das heil t, das erste und das zweite Seitenfenster 225, 230 ermöglichen es dem Insassen, seitlich in Bezug auf die Vorwärtsbewegung des Fahrzeugs 105 zu sehen. In dem Beispiel aus 2 ist das erste Seitenfenster 225 ein Fahrerseitenfenster links von dem Insassen, und das zweite Seitenfenster 230 ist ein Beifahrerseitenfenster rechts von dem Insassen. Wenn der Insasse entweder auf das erste Seitenfenster 225 oder das zweite Seitenfenster 230 schaut, kann der Insasse von der Fahrbahn 205 wegschauen.The locations may include a first side window 225 and a second side window 230. The first side window 225 and the second side window 230 allow the occupant to see objects on both sides of the vehicle 105. That is, the first and second side windows 225, 230 allow the occupant to see laterally with respect to the forward movement of the vehicle 105. In the example from 2 the first side window 225 is a driver side window to the left of the occupant, and the second side window 230 is a passenger side window to the right of the occupant. When the occupant looks at either the first side window 225 or the second side window 230, the occupant can look away from the roadway 205.

3 ist ein beispielhaftes Bild 300 des Insassen, das mit Anmerkungen versehen ist, um einen Blick des Insassen zu bestimmen. Ein Bildsensor 115 (z. B. eine Kamera) kann das Bild 300 des Insassen erfassen. Das Bild 300 definiert ein zweidimensionales Koordinatensystem, das einen Ursprungspunkt 305, eine horizontale X Achse, und eine vertikale Y Achse aufweist. Der Ursprungspunkt 305 ist eine Mitte des Bildes 300, d. h. ein Pixel, das am weitesten von jeder Kante des Bildes 300 entfernt ist. Die X, Y -Achsen können sich von dem Ursprungspunkt 305 erstrecken. Das heil t, jedem Pixel in dem Bild 300 können entsprechende Werte entlang der X, Y -Achse zugewiesen werden. Die Werte können bei (0,0) am Ursprungspunkt 305 beginnen. In dem Beispiel aus 3 kann das Bild 300 einen Kreis 310 beinhalten, der in das Bild 300 eingeschrieben ist, der einen Mittelpunkt am Ursprung 305 aufweist und sich zu jeweiligen Kanten des Bildes 300 erstreckt. Der Kreis 310 weist einen Radius von 1 auf und die Punkte, an denen sich der Kreis 310 mit den X, Y -Achsen schneidet, weisen die jeweiligen Koordinaten (1,0), (0,1), (-1,0) und (0,-1) auf. Das heißt, der Kreis 310 ist ein „Einheits" kreis. Die Koordinaten x, y eines beliebigen Pixels auf dem Kreis 310 erfüllen somit die Gleichung x² + y² = 1 innerhalb eines Schwellenwerts auf Grundlage der Gesamtanzahl an Pixeln und der Gröl e jedes Pixels. Da die Lösungen für x² + y² = 1 zu irrationalen Werten für (x, y) führen können, können die Pixel, die den Kreis 310 definieren, die Pixel sein, die numerische Koordinaten innerhalb eines Schwellenwerts der irrationalen Lösungen von x² + y² = 1 aufweisen. Zum Beispiel definiert $x = y = \frac{\sqrt{2}}{2}$

die Koordinaten

(\frac{\sqrt{2}}{2}, \frac{\sqrt{2}}{2})

auf dem Kreis 310, und der Computer 110 kann Pixel identifizieren, die dem irrationalen

\frac{\sqrt{2}}{2}

am nächsten sind, z. B. Pixel bei (0,7 ,0,7) da

\frac{\sqrt{2}}{2} \approx 0,707,

wobei der Schwellenwert in diesem Beispiel 0,01 beträgt. 3 is an example image 300 of the occupant annotated to determine a gaze of the occupant. An image sensor 115 (e.g., a camera) may capture the occupant's image 300. The image 300 defines a two-dimensional coordinate system that has an origin point 305, a horizontal X axis, and a vertical Y axis. The origin point 305 is a center of the image 300, that is, a pixel furthest from each edge of the image 300. The X, Y axes may extend from the origin point 305. That is, each pixel in the image 300 can be assigned corresponding values along the X, Y axis. The values can start at (0,0) at the origin point 305. In the example from 3 The image 300 may include a circle 310 inscribed within the image 300, having a center at the origin 305 and extending to respective edges of the image 300. The circle 310 has a radius of 1 and the points at which the circle 310 intersects the X, Y axes have the respective coordinates (1.0), (0.1), (-1.0) and (0,-1). That is, the circle 310 is a "unit" circle. The coordinates x, y of any pixel on the circle 310 thus satisfy the equation x ² + y ² = 1 within a threshold based on the total number of pixels and the size of each Pixels: Since the solutions for x ² + y ² = 1 can result in irrational values for (x, y), the pixels that define the circle 310 can be the pixels that represent numerical coordinates within a threshold of the irrational solutions of x ² + y ² = 1. Defined for example

x = y = \frac{\sqrt{2}}{2}

the coordinates

(\frac{\sqrt{2}}{2}, \frac{\sqrt{2}}{2})

on the circle 310, and the computer 110 can identify pixels corresponding to the irrational

\frac{\sqrt{2}}{2}

are closest, e.g. B. Pixels at (0.7 ,0.7) there

\frac{\sqrt{2}}{2} \approx 0.707,

where the threshold in this example is 0.01.

Der Computer 110 kann einen Blick des Insassen in dem Bild 300 identifizieren. Der „Blick“ des Insassen ist eine Linie, entlang derer der Insasse die Umgebung um den Insassen ansieht, d. h., sie sieht oder betrachtet. In dem Bild 300 ist ein „Blickpunkt“ 315 ein Pixel oder ein Satz von Pixeln, bei dem der Blick des Insassen eine durch das Bild 300 definierte Ebene schneidet. Das heil t, der Blickpunkt 315 gibt einen Abschnitt eines Sichtfelds der Kamera 115 an, den der Insasse sieht. Eine „Blickrichtung“ ist eine Richtung, in die der Insasse relativ zu dem Ursprungspunkt 305 blickt, d. h. die Linie, die den Blick definiert.The computer 110 may identify a gaze of the occupant in the image 300. The occupant's "gaze" is a line along which the occupant views the environment around the occupant, i.e. i.e., she sees or looks at. In the image 300, a “viewpoint” 315 is a pixel or set of pixels where the occupant's gaze intersects a plane defined by the image 300. That is, the viewpoint 315 indicates a portion of a field of view of the camera 115 that the occupant sees. A “viewing direction” is a direction in which the occupant is looking relative to the origin point 305, i.e. H. the line that defines the view.

Um den Blickpunkt 315 zu bestimmen, kann der Computer 110 eine Wahrscheinlichkeit bestimmen, dass die Blickrichtung in Richtung einer der vorstehend beschriebenen und in 2 gezeigten Stellen verläuft. Jede Stelle kann als Koordinaten eines Punkts auf dem Einheitskreis 310 dargestellt werden. Dieser Punkt ist der „Stellenpunkt“ für die Stelle. Das heil t, der Stellenpunkt ist der Punkt, an dem der Blick des Insassen, der auf die Stelle schaut, den Kreis 310 schneidet. Somit ist, wenn die Blickrichtung des Insassen auf eine der Stellen gerichtet ist, der Blickpunkt in dem Bild 300 einer der Stellenpunkte auf dem Kreis 310. Somit schaut der Insasse von der Fahrbahn 205 weg, wenn der Insasse auf einen der Stellenpunkte blickt. Zum Beispiel können die Stellenpunkte für die vorstehend beschriebenen Stellen Koordinaten sein, die in Tabelle 1 aufgeführt sind: Tabelle 1: Stellenpunkte im Bild Stelle Stellenpunkt Fahrbahn 205 (0, 0) Rückspiegel 210 (-0,7, 0,7) Armaturenbrett 215 (0, -1) Mittelkonsole 220 (-0,7, 0,7) Erstes Seitenfenster 225 (1,0) Zweites Seitenfenster 230 (-1, 0) To determine the viewpoint 315, the computer 110 may determine a probability that the viewing direction is in the direction of one of the directions described above and in 2 points shown. Each location can be represented as the coordinates of a point on the unit circle 310. This point is the “job point” for the job. That is, the spot point is the point at which the gaze of the occupant looking at the spot intersects the circle 310. Thus, when the occupant's line of sight is directed toward one of the locations, the viewpoint in the image 300 is one of the location points on the circle 310. Thus, when the occupant looks toward one of the location points, the occupant is looking away from the roadway 205. For example, the location points for the locations described above may be coordinates listed in Table 1: Table 1: Location points in the image Job place point Lane 205 (0, 0) Rear view mirror 210 (-0.7, 0.7) Dashboard 215 (0, -1) Center console 220 (-0.7, 0.7) First side window 225 (1.0) Second side window 230 (-1, 0)

Der Computer 110 kann das Gesicht des Insassen mit einem herkömmlichen Programm zum maschinellen Lernen von Gesichtserkennung identifizieren, wie etwa PRNet und Dlib. Das Programm zum maschinellen Lernen von Gesichtserkennung kann dazu trainiert werden, eine Vielzahl von Orientierungspunkten eines Gesichts des Insassen aus einem Eingabebild 300 auszugeben. Ein „Orientierungspunkt“ ist ein Punkt von Interesse in einem Bild 300, den das Programm zum maschinellen Lernen identifiziert. Zum Beispiel können die Orientierungspunkte eines Gesichts in einem Bild 300 Punkte auf dem Gesicht sein, die die Form des Gesichts definieren. Das Programm zum maschinellen Lernen kann an Referenzbildern 300 trainiert werden, in denen die Orientierungspunkte mit Anmerkungen versehen sind. Die Referenzbilder 300 werden in das Programm zum maschinellen Lernen eingegeben und eine Kostenfunktion des Programms zum maschinellen Lernen wird reduziert, bis eine Differenz zwischen den durch das Programm zum maschinellen Lernen ausgegebenen Orientierungspunkten und den mit Anmerkungen versehenen Orientierungspunkten unter einem vorbestimmten Schwellenwert ist. Somit kann der Computer 110 die Orientierungspunkte des Gesichts des Insassen aus einem Eingabebild 300 ausgeben.The computer 110 may identify the occupant's face using a conventional facial recognition machine learning program such as PRNet and Dlib. The facial recognition machine learning program may be trained to output a plurality of landmarks of an occupant's face from an input image 300. A “landmark” is a point of interest in an image 300 that the machine learning program identifies. For example, the landmarks of a face in an image may be 300 points on the face that define the shape of the face. The machine learning program can be trained on reference images 300 in which the landmarks are annotated. The reference images 300 are input to the machine learning program and a cost function of the machine learning program is reduced until a difference between the landmarks output by the machine learning program and the annotated landmarks is below a predetermined threshold. Thus, the computer 110 can output the landmarks of the occupant's face from an input image 300.

Da der Insasse eine der Stellen möglicherweise nicht direkt ansieht (das heil t, der Blickpunkt 315 befindet sich nicht auf dem Kreis 310), kann der Computer 110 die Orientierungspunkte in ein herkömmliches Blickverfolgungs- oder Blickklassifizierungsprogramm eingeben, wie etwa PointNet, um die jeweiligen Wahrscheinlichkeiten zu bestimmen, dass die Blickrichtung des Insassen zu jeder Stelle ist. Das heil t, nach dem Identifizieren der Orientierungspunkte aus dem Programm zum maschinellen Lernen zur Gesichtserkennung kann der Computer 110 das Bild 300 mit den identifizierten Orientierungspunkten in das Blickverfolgungsprogramm eingeben. Das Blickverfolgungsprogramm kann ein Deep-Learning-Programm sein, das jeweilige Wahrscheinlichkeiten dafür ausgibt, dass die Blickrichtung jeder der Stellenpunkte in dem Bild 300 zugewandt ist. Das heil t, das Blickverfolgungsprogramm verwendet eine dreidimensionale Objektteilsegmentierung, um Objekten in dem Bild 300 Klassifizierungen zuzuweisen und auf Grundlage der Klassifizierungen eine Wahrscheinlichkeit zu bestimmen, dass die Orientierungspunkte angeben, dass die Blickrichtung zu jedem Stellenpunkt führt. Das Blickverfolgungsprogramm kann trainiert werden, indem Referenzbilder 300 mit mit Anmerkunen versehenen Orientierungspunkten und mit Anmerkungen versehenen Wahrscheinlichkeiten für jeden Stellenpunkt eingegeben werden und eine Kostenfunktion reduziert wird, bis eine Differenz zwischen den ausgegebenen Wahrscheinlichkeiten und den mit Anmerkungen versehenen Wahrscheinlichkeiten unter einem vorbestimmten Schwellenwert liegt. Der Computer 110 kann somit eine jeweilige Wahrscheinlichkeit bestimmen, dass der Insasse auf jede Stelle blickt.Since the occupant may not be looking directly at one of the locations (that is, the gaze point 315 is not on the circle 310), the computer 110 may input the landmarks into a conventional eye tracking or gaze classification program, such as PointNet, to determine the respective probabilities to determine that the occupant's line of sight is at every point. That is, after identifying the landmarks from the facial recognition machine learning program, the computer 110 may input the image 300 with the identified landmarks into the eye tracking program. The gaze tracking program may be a deep learning program that outputs respective probabilities that the gaze direction is toward each of the location points in the image 300. That is, the gaze tracking program uses three-dimensional object part segmentation to assign classifications to objects in the image 300 and, based on the classifications, determine a probability that the landmarks indicate that the gaze direction leads to each location point. The eye tracking program can be trained by inputting reference images 300 with annotated landmarks and annotated probabilities for each location point and reducing a cost function until a difference between the output probabilities and the annotated probabilities is below a predetermined threshold. The computer 110 can thus determine a respective probability that the occupant will look at each location.

Der Computer 110 kann eine Blickentfernung D von dem Ursprungspunkt 305 des Bildes 300 auf Grundlage der Wahrscheinlichkeiten bestimmen. Die „Blickentfernung“ ist eine euklidische Entfernung von dem Blickpunkt 315 zu dem Ursprungspunkt 305 des Bildes 300. Das heil t, die Blickentfernung D kann eine gewichtete Summe von Koordinaten jedes der Vielzahl von Stellenpunkten sein, wobei jeder Stellenpunkt durch seine jeweilige Wahrscheinlichkeit der Rrichtung des Blicks des Insassen zu dem Stellenpunkt gewichtet wird: $(G_{x}, G_{y}) = \sum_{i} p_{i} \cdot (x_{i}, y_{i})$

D = \sqrt{G_{x}^{2} + G_{y}^{2}}

wobei D die Blickentfernung ist, (G_x, G_y) die jeweiligen x, y -Koordinaten des Blickpunkts 315 sind und _Pi die Wahrscheinlichkeit ist, dass der Insasse auf die Stelle x_L, y_L blickt. Das heil t, die Blickentfernung D ist die euklidische Entfernung von dem Ursprungspunkt 305 zu dem Blickpunkt 315, wobei der Blickpunkt 315 die Summe des jeweiligen Satzes von Koordinaten von jedem der Vielzahl von Punkten ist, multipliziert mit der jeweiligen Wahrscheinlichkeit der Richtung des Blicks des Insassen zu den jeweiligen Punkten.The computer 110 may determine a viewing distance D from the origin point 305 of the image 300 based on the probabilities. The "view distance" is a Euclidean distance from the viewpoint 315 to the origin point 305 of the image 300. That is, the view distance D may be a weighted sum of coordinates of each of the plurality of location points, where each location point is determined by its respective probability of direction of the The occupant's gaze is weighted to the position point:

(G_{x}, G_{y}) = \sum_{i} p_{i} \cdot (x_{i}, y_{i})

D = \sqrt{G_{x}^{2} + G_{y}^{2}}

where D is the gaze distance, (G _x , G _y ) are the respective x, y coordinates of the gaze point 315 and _Pi is the probability that the occupant is looking at the location x _L , y _L That is, the gaze distance D is the Euclidean distance from the origin point 305 to the gaze point 315, where the gaze point 315 is the sum of the respective set of coordinates of each of the plurality of points multiplied by the respective probability of the direction of the occupant's gaze to the respective points.

Der Computer 110 kann die manuelle Steuerung von mindestens einer Fahrzeugkomponente 120 unterdrücken, wenn bestimmt wird, dass die Blickentfernung D einen Entfernungsschwellenwert überschreitet. Die manuelle Steuerung zu „unterdrücken“ bedeutet, eine manuelle Eingabe in die Komponente 120 zu ignorieren und nur Eingaben von dem Computer 110 anzunehmen. Zum Beispiel überführt der Computer 110 das Fahrzeug 105 in einen vollständig autonomen Modus, wenn bestimmt wird, dass die Blickentfernung D den Schwellenwert oder den zweiten Schwellenwert überschreitet. In einem anderen Beispiel kann der Computer 110 weniger als alle Komponenten 120 auf autonome Steuerung überführen. Die Entfernungsschwellenwerte können auf Grundlage von empirischen Tests von Insassen in Testfahrzeugen bestimmt werden, die auf spezifische Stellen blicken, und Reaktionszeiten für die Insassen testen, um den Komponenten 120 Eingaben bereitzustellen, wenn sie von der Fahrbahn wegschauen. Einer der Entfernungsschwellenwerte kann eine maximale Blickentfernung sein, bei der der Insasse den Komponenten 120 innerhalb eines festgelegten Zeitraums, z. B. 2 Sekunden, eine Eingabe bereitstellen kann. Ein anderer Entfernungsschwellenwert kann eine minimale Blickentfernung sein, bei der der Insasse den Komponenten 120 innerhalb des festgelegten Zeitraums, eine manuelle Eingabe nicht bereitstellen kann. Tabelle 2 zeigt einen beispielhaften Betrieb und eine beispielhafte Steuerung der Komponente 120 auf Grundlage der Blickentfernung D: Tabelle 2: Steuerung auf Grundlage der Blickentfernung Blickentfernung manuelle Steuerung Autonome Steuerung 0 < D ≤ 0,3 Lenkung, Antrieb, Bremse Keine 0,3 < D ≤ 0,6 Bremse Lenkung, Antrieb 0,6 < D < 1,0 Keine Lenkung, Antrieb, Bremse The computer 110 may suppress manual control of at least one vehicle component 120 when it is determined that the viewing distance D exceeds a distance threshold. “Suppressing” manual control means ignoring manual input to component 120 and only accepting input from computer 110. For example, the computer 110 transitions the vehicle 105 into a fully autonomous mode when it determines that the viewing distance D exceeds the threshold or the second threshold. In another example, computer 110 may place fewer than all components 120 under autonomous control. The distance thresholds may be determined based on empirical testing of occupants in test vehicles looking at specific locations and testing reaction times for the occupants to provide input to the components 120 as they look away from the road. One of the distance thresholds may be a maximum viewing distance at which the occupant will approach the components 120 within a specified period of time, e.g. B. 2 seconds, can provide an input. Another distance threshold may be a minimum viewing distance at which the occupant cannot provide manual input to the components 120 within the specified time period. Table 2 shows an example operation and control of the component 120 based on gaze distance D: Table 2: Control based on gaze distance Gaze distance manual control Autonomous control 0< D≤0.3 Steering, drive, brake No 0.3 < D ≤ 0.6 brake Steering, drive 0.6 < D < 1.0 No Steering, drive, brake

Alternativ oder zusätzlich kann der Computer 110 vor dem Unterdrücken der manuellen Steuerung eine Eingabe von dem Insassen anfordern, wenn bestimmt wird, dass die Blickentfernung D den Schwellenwert überschreitet. Das heil t, der Computer 110 kann dem Insassen eine Warnung oder eine Nachricht bereitstellen, die eine Eingabe von dem Insassen anfordert. Das Anfordern einer Eingabe von dem Insassen kann dem Computer 110 dabei helfen, zwischen momentanen Blicken weg von der Fahrbahn 205 und dem Blick des Insassen auf eine andere Stelle in dem Fahrzeug 105 zu unterscheiden. Die angeforderte Eingabe kann z. B. ein Sprachbefehl, eine physische Eingabe in einen Anzeigebildschirm usw. sein. Wenn keine Eingabe von dem Insassen detektiert wird, kann der Computer 110 die manuelle Steuerung unterdrücken.Alternatively or additionally, the computer 110 may request input from the occupant before suppressing the manual control if it is determined that the viewing distance D exceeds the threshold. That is, the computer 110 may provide the occupant with an alert or a message requesting input from the occupant. Requesting input from the occupant may help the computer 110 to distinguish between momentary glances away from the roadway 205 and the occupant's gaze elsewhere in the vehicle 105. The requested input can e.g. E.g. a voice command, a physical input on a display screen, etc. If no input from the occupant is detected, the computer 110 may suppress manual control.

Der Computer 110 kann eine Vielzahl von Bildern des Insassen sammeln und jeweilige Blickentfernungen D des Insassen für jedes der Vielzahl von Bildern bestimmen. Durch Bestimmen einer Vielzahl von Blickentfernungen D kann der Computer 110 zwischen momentanen Blicken des Insassen von der Fahrbahn weg und dem Blick des Insassen auf eine andere Stelle als die Fahrbahn unterscheiden. Das heil t, der Computer 110 kann eine manuelle Steuerung erlauben, was bestimmt, dass eine Blickentfernung Deines ersten Bildes 300 den Schwellenwert überschreitet und eine Blickentfernung D eines zweiten Bildes 300 nachfolgend auf das erste Bild 300 unter dem Schwellenwert ist. Der Computer 110 kann die manuelle Steuerung von mindestens einer Fahrzeugkomponente 120 unterdrücken, wenn bestimmt wird, dass die jeweiligen Blickentfernungen D einer Vielzahl von aufeinanderfolgenden Bilern 300 den oben beschriebenen Entfernungsschwellenwert überschreitet.The computer 110 may collect a plurality of images of the occupant and determine respective viewing distances D of the occupant for each of the plurality of images. By determining a plurality of viewing distances D, the computer 110 can distinguish between momentary glances of the occupant away from the road and the occupant's gaze at a location other than the road. That is, the computer 110 may allow manual control, which determines that a viewing distance of your first image 300 exceeds the threshold and a viewing distance D of a second image 300 subsequent to the first image 300 is below the threshold. The computer 110 may suppress manual control of at least one vehicle component 120 when it is determined that the respective viewing distances D of a plurality of consecutive images 300 exceed the distance threshold described above.

Um von momentanen Blicken des Insassen zu unterscheiden, kann der Computer 110 bestimmen, dass der Insasse von der Fahrbahn wegschaut, wenn die Blickentfernung D den Schwellenwert für eine abgelaufene Zeit überschreitet, die einen Zeitschwellenwert überschreitet. Das heil t, wenn bestimmt wird, dass die Blickentfernung D den Schwellenwert überschreitet, kann der Computer 110 einen Zeitgeber initiieren, um eine abgelaufene Zeit seit dem Erkennen, dass die Blickentfernung D den Schwellenwert überschreitet, zu messen. Der Computer 110 kann dann die manuelle Steuerung unterdrücken, wenn bestimmt wird, dass die abgelaufene Zeit den Zeitschwellenwert überschreitet.To distinguish from momentary glances of the occupant, the computer 110 may determine that the occupant is looking away from the road when the gaze distance D exceeds the threshold for an elapsed time that exceeds a time threshold. That is, if it is determined that the gaze distance D exceeds the threshold, the computer 110 may initiate a timer to measure an elapsed time since detecting that the gaze distance D exceeds the threshold. The computer 110 may then suppress manual control if it is determined that the elapsed time exceeds the time threshold.

Der Compter 110 unterdrückt manuelle Steuerung, wenn bestimmt wird, dass ein Mittel D der Blickentfernungen D einer Vielzahl von aufeinanderfolgenden Bildern 300 den Entfernungsschwellenwert überschreitet. Wie vorstehend beschrieben, kann ein einzelnes Bild 300 einen momentanen Blick des Insassen von der Fahrbahn weg erfassen, sodass der Computer 110 bestimmen kann, eine manuelle Steuerung auf Grundlage eines Mittelwerts D einer Vielzahl von Blickentfernungen Dzu unterdrücken. Das „Mittel“ der Blickentfernungen D ist der arithmetische Durchschnitt der jeweiligen Blickentfernungen D einer Vielzahl von aufeinanderfolgenden Bildern 300. Das heilt, der Computer 110 kann eine Anzahl von aufeinanderfolgenden Bildern 300 auswählen und das Mittel D der Blickentfernungen D der Bilder 300 bestimmen. Zum Beispiel kann der Computer 110 das Mittel D der Blickentfernungen D von drei aufeinanderfolgenden Bildern 300 bestimmen, und der Computer 110 kann das Mittel D einer anderen Anzahl von Bildern 300 bestimmen, z. B. vier, fünf usw. Ein Beispiel für die mittlere Blickentfernung D für eine Vielzahl von aufeinanderfolgenden Bildern 300 kann z. B. sein: $\begin{array}{l} \bar{D} = \sum_{i = j}^{j + 2} D_{i} \\ j \in [1, n - 2] \end{array}$

wobei j ein Index ist, der eines aus dem Satz von n Bildern angibt, und D die mittlere Blickentfernung von drei aufeinanderfolgenden Bildern 300 ist.The computer 110 suppresses manual control when it is determined that an average of the viewing distances D of a plurality of consecutive images 300 exceeds the distance threshold. As described above, a single image 300 may capture a momentary gaze of the occupant away from the roadway so that the computer 110 may determine manual control based on an average D a variety of viewing distances. The “average” of the viewing distances D is the arithmetic average of the respective viewing distances D of a plurality of consecutive images 300. This means that the computer 110 can select a number of consecutive images 300 and the average D determine the viewing distances D of the images 300. For example, can the computer 110 the means D the viewing distances D of three consecutive images 300, and the computer 110 can determine the average D a different number of images 300, e.g. B. four, five, etc. An example of the average viewing distance D for a large number of consecutive images 300 can z. B. be:

\begin{array}{l} \bar{D} = \sum_{i = j}^{j + 2} D_{i} \\ j \in [1, n - 2] \end{array}

where j is an index indicating one of the set of n images, and D the average viewing distance of three consecutive images is 300.

4 ist eine Darstellung eines beispielhaften Prozesses 400 zum Betreiben eines Fahrzeugs 105. Der Prozess 400 beginnt in einem Block 405, in dem ein Computer 110 eine Kamera 115 anweist, ein Bild 300 eines Insassen des Fahrzeugs 105 zu sammeln. Die Kamera 115 kann in dem Fahrzeug 105 positioniert sein, um ein Gesicht des Insassen in dem Bild 300 aufzunehmen. Als Nächstes identifiziert der Computer 110 in einem Block 410 eine Vielzahl von Orientierungspunkten des Gesichts des Insassen. Wie vorstehend beschrieben, kann der Computer 110 ein herkömmliches Gesichtserkennungsprogramm, wie etwa PRNet und Dlib, anwenden, um die Orientierungspunkte des Gesichts des Insassen zu identifizieren. Durch Identifizieren der Orientierungspunkte des Gesichts des Insassen kann der Computer 110 eine Richtung bestimmen, in die der Insasse schaut. 4 is an illustration of an example process 400 for operating a vehicle 105. The process 400 begins at a block 405 in which a computer 110 instructs a camera 115 to collect an image 300 of an occupant of the vehicle 105. The camera 115 may be positioned in the vehicle 105 to capture a face of the occupant in the image 300. Next, in a block 410, the computer 110 identifies a plurality of landmarks of the occupant's face. As described above, the computer 110 may use a conventional facial recognition program, such as PRNet and Dlib, to identify the landmarks of the occupant's face. By identifying the landmarks of the occupant's face, the computer 110 can determine a direction in which the occupant is looking.

Als Nächstes bestimmt der Computer 110 in einem Block 415 jeweilige Wahrscheinlichkeiten einer Blickrichtung des Insassen auf jede einer Vielzahl von Stellen in dem Fahrzeug 105. Wie vorstehend beschrieben, kann der Insasse auf eine Stelle in dem Fahrzeug 105 blicken, die von einer Fahrbahn 205 entfernt ist. Jede Stelle kann als ein Satz von Koordinaten (x, y) in dem Bild 300 dargestellt werden. Der Computer 110 kann ein herkömmliches Blickverfolgungsprogramm, wie etwas PointNet, anwenden, um eine jeweilige Wahrscheinlichkeit bestimmen, dass der Insasse auf jede Stelle blickt.Next, in a block 415, the computer 110 determines respective probabilities of an occupant's viewing direction at each of a plurality of locations in the vehicle 105. As described above, the occupant may be looking at a location in the vehicle 105 that is away from a roadway 205 . Each location can be represented as a set of coordinates (x, y) in the image 300. The computer 110 may use a conventional gaze tracking program, such as PointNet, to determine a respective probability that the occupant will look at each location.

Als Nächstes bestimmt der Computer 110 in einem Block 420 eine Blickentfernung D auf Grundlage der Wahrscheinlichkeiten. Wie vorstehend beschrieben, kann die Blickentfernung eine Entfernung zwischen einem Ursprungspunkt 305 des Bildes 300 und einem Blickpunkt 315 sein. Der Blickpunkt 315 kann ein Satz von Koordinaten in dem Bild 300 sein, auf den der Insasse blickt. Der Computer 110 kann den Blickpunkt 315 als eine Summe der Koordinaten jeder Stelle multipliziert mit der jeweiligen Wahrscheinlichkeit bestimmen, dass der Insasse die Stelle ansieht, wie vorstehend beschrieben.Next, in a block 420, the computer 110 determines a viewing distance D based on the probabilities. As described above, the viewing distance may be a distance between an origin point 305 of the image 300 and a viewing point 315. The viewpoint 315 may be a set of coordinates in the image 300 that the occupant is looking at. The computer 110 may determine the viewpoint 315 as a sum of the coordinates of each location multiplied by the respective probability that the occupant is viewing the location, as described above.

Als Nächstes bestimmt der Computer 110 in einem Block 425, ob die Blickentfernung D einen Entfernungsschwellenwert übersteigt. Wie vorstehend beschrieben, kann der Entfernungsschwellenwert eine Blickentfernung D sein, unterhalb derer der Insasse manuelle Steuerung für die Komponenten 120 innerhalb einer spezifizierten Zeitdauer, z. B. 2 Sekunden, bereitstellen kann. Falls die Blickentfernung den Entfernungsschwellenwert überschreitet, geht der Prozess 400 in einem Block 430 weiter. Andernfalls geht der Prozess 400 in einem Block 435 weiter.Next, in a block 425, the computer 110 determines whether the viewing distance D exceeds a distance threshold. As described above, the distance threshold may be a viewing distance D, below which the occupant can exercise manual control for the components 120 within a specified period of time, e.g. B. 2 seconds. If the viewing distance exceeds the distance threshold, the process 400 continues in a block 430. Otherwise, the process 400 continues in a block 435.

In dem Block 430 unterdrückt der Computer 110 die manuelle Steuerung von mindestens einer Fahrzeugkomponente 120. Das heil t, der Computer 110 betreibt die Komponente 120 in einem autonomen Modus und ignoriert Eingaben von dem Insassen. Zum Beispiel kann der Computer 110 ein Lenkteilsystem zur autonomen Steuerung überführen. In einem anderen Beispiel kann der Computer 110 das Fahrzeug 105 in einem vollständig autonomen Modus betreiben.In block 430, the computer 110 suppresses manual control of at least one vehicle component 120. That is, the computer 110 operates the component 120 in an autonomous mode and ignores input from the occupant. For example, the computer 110 may convert a steering subsystem to autonomous control. In another example, computer 110 may operate vehicle 105 in a fully autonomous mode.

In dem Block 435 bestimmt der Computer 110, ob der Prozess 400 fortgesetzt werden soll. Zum Beispiel kann der Computer 110 bestimmen, das der Prozess 400 fortgesetzt werden soll, wenn sich das Fahrzeug 105 noch auf einer Route zu einem Zielort befindet. Falls der Computer 110 eine Fortsetzen bestimmt, kehrt der Prozess 400 zu Block 405 zurück. Andernfalls endet der Prozess 400.In block 435, computer 110 determines whether process 400 should continue. For example, the computer 110 may determine that the process 400 should continue if the vehicle 105 is still on a route to a destination. If the computer 110 determines a continue, the process 400 returns to block 405. Otherwise, process 400 ends.

Hierin erörterte Rechenvorrichtungen, die den Computers 110 beinhalten, beinhalten Prozessoren und Speicher, wobei die Speicher im Allgemeinen jeweils Anweisungen beinhalten, die durch eine oder mehrere Rechenvorrichtungen, wie etwa die vorstehend identifizierten, und zum Ausführen vorstehend beschriebener Blöcke oder Schritte von Prozessen ausgeführt werden können. Computerausführbare Anweisungen können von Computerprogrammen kompiliert oder interpretiert werden, die unter Verwendung einer Reihe von Programmiersprachen und/oder -techniken erstellt wurden, die Folgende ohne Einschränkung, entweder allein oder in Kombination, beinhalten: Java™, C, C++, Visual Basic, Java Script, Python, Perl, HTML usw. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Anweisungen, z. B. von einem Speicher, einem computerlesbaren Medium usw., und führt diese Anweisungen aus, wodurch er einen oder mehrere Prozesse durchführt, die einen oder mehrere der in dieser Schrift beschriebenen Prozesse beinhalten. Derartige Anweisungen und andere Daten können unter Verwendung einer Reihe von computerlesbaren Medien gespeichert und übertragen werden. Eine Datei in dem Computer 110 ist im Allgemeinen eine Sammlung von Daten, die auf einem computerlesbaren Medium gespeichert ist, wie etwa einem Speichermedium, einem Direktzugriffsspeicher usw.Computing devices discussed herein, including computer 110, include processors and memories, the memories generally each containing instructions executable by one or more computing devices, such as those identified above, and for executing blocks or steps of processes described above . Computer executable instructions can be compiled or interpreted by computer programs using a series created by programming languages and/or techniques including, without limitation, the following, either alone or in combination: Java™, C, C++, Visual Basic, Java Script, Python, Perl, HTML, etc. In general, a processor (e.g e.g. a microprocessor) instructions, e.g. B. from memory, a computer-readable medium, etc., and executes those instructions, thereby performing one or more processes that include one or more of the processes described in this document. Such instructions and other data may be stored and transmitted using a variety of computer-readable media. A file in the computer 110 is generally a collection of data stored on a computer-readable medium, such as a storage medium, random access memory, etc.

Ein computerlesbares Medium beinhaltet ein beliebiges Medium, das am Bereitstellen von Daten (z. B. Anweisungen) beteiligt ist, die durch einen Computer ausgelesen werden können. Ein derartiges Medium kann viele Formen annehmen, einschließlich unter anderem nichtflüchtiger Medien, flüchtiger Medien usw. Nichtflüchtige Medien beinhalten zum Beispiel optische oder magnetische Platten und andere Dauerspeicher. Flüchtige Medien beinhalten dynamischen Direktzugriffsspeicher (dynamic random access memory - DRAM), der typischerweise einen Hauptspeicher darstellt. Gängige Formen computerlesbarer Medien beinhalten beispielsweise eine Diskette, eine Folienspeicherplatte, eine Festplatte, ein Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, Lochkarten, Lochstreifen, ein beliebiges anderes physisches Medium mit Lochmustern, einen RAM, einen PROM, einen EPROM, einen FLASH-EEPROM, einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das von einem Computer gelesen werden kann.A computer-readable medium includes any medium that is involved in providing data (e.g., instructions) that can be read by a computer. Such media may take many forms, including, but not limited to, non-volatile media, volatile media, etc. Non-volatile media includes, for example, optical or magnetic disks and other persistent storage devices. Volatile media includes dynamic random access memory (DRAM), which typically represents main memory. Common forms of computer-readable media include, for example, a floppy disk, a foil disk, a hard drive, a magnetic tape, any other magnetic medium, a CD-ROM, a DVD, any other optical medium, punched cards, punched tape, any other physical medium with hole patterns, a RAM, a PROM, an EPROM, a FLASH-EEPROM, any other memory chip or memory cartridge, or any other medium that can be read by a computer.

Hinsichtlich der hierin beschriebenen Medien, Prozesse, Systeme, Verfahren usw. versteht es sich, dass, obwohl die Schritte derartiger Prozesse usw. als gemäl einer gewissen geordneten Abfolge erfolgend beschrieben worden sind, die beschriebenen Schritte bei der Ausführung derartiger Prozesse in einer Reihenfolge durchgeführt werden könnten, bei der es sich nicht um die hierin beschriebene Reihenfolge handelt. Es versteht sich ferner, dass bestimmte Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder bestimmte hierin beschriebene Schritte weggelassen werden könnten. Zum Beispiel könnten in dem Prozess 400 ein oder mehrere der Schritte weggelassen werden oder könnten die Schritte in einer anderen Reihenfolge als in 4 gezeigt ausgeführt werden. Anders ausgedrückt werden die Beschreibungen von Systemen und/oder Prozessen hierin zum Zweck der Veranschaulichung bestimmter Ausführungsformen bereitgestellt und sollten in keiner Weise als den offenbarten Gegenstand einschränkend ausgelegt werden.With respect to the media, processes, systems, methods, etc., described herein, it is to be understood that although the steps of such processes, etc., have been described as occurring in some orderly sequence, in carrying out such processes, the described steps are performed in an order which is not the order described herein. It is further understood that certain steps could be performed simultaneously, other steps could be added, or certain steps described herein could be omitted. For example, in the process 400, one or more of the steps could be omitted, or the steps could be in a different order than in 4 shown can be executed. In other words, the descriptions of systems and/or processes herein are provided for the purpose of illustrating certain embodiments and should in no way be construed as limiting the subject matter disclosed.

Dementsprechend versteht es sich, dass die vorliegende Offenbarung, welche die vorangehende Beschreibung und die beigefügten Figuren und nachfolgenden Patentansprüche beinhaltet, veranschaulichend und nicht einschränkend sein soll. Viele Ausführungsformen und Anwendungen, bei denen es sich nicht um die bereitgestellten Beispiele handelt, werden dem Fachmann beim Lesen der vorstehenden Beschreibung ersichtlich. Der Umfang der Erfindung sollte nicht unter Bezugnahme auf die vorstehende Beschreibung bestimmt werden, sondern stattdessen unter Bezugnahme auf Patentansprüche, die hier beigefügt sind und/oder in einer hierauf basierenden, nicht vorläufigen Patentanmeldung enthalten sind, gemeinsam mit dem vollständigen Umfang von Äquivalenten, zu welchen derartige Patentansprüche berechtigen. Es wird erwartet und ist beabsichtigt, dass es zukünftige Entwicklungen im hierin erörterten Stand der Technik geben wird und dass die offenbarten Systeme und Verfahren in derartige zukünftige Ausführungsformen aufgenommen werden. Insgesamt versteht es sich, dass der offenbarte Gegenstand modifiziert und variiert werden kann.Accordingly, it is to be understood that the present disclosure, which includes the foregoing description and the accompanying figures and appended claims, is intended to be illustrative and not restrictive. Many embodiments and applications other than the examples provided will become apparent to those skilled in the art upon reading the foregoing description. The scope of the invention should be determined not with reference to the foregoing description, but rather with reference to claims appended herein and/or contained in a non-provisional patent application based thereon, together with the full scope of equivalents to which justify such patent claims. It is expected and intended that there will be future developments in the prior art discussed herein and that the systems and methods disclosed will be incorporated into such future embodiments. Overall, it is understood that the disclosed subject matter may be modified and varied.

Der ein Substantiv modifizierende Artikel „ein(e)“ sollte dahingehend verstanden werden, dass er eine(n) oder mehrere bezeichnet, es sei denn, es ist etwas anderes angegeben oder der Kontext erfordert etwas anderes. Der Ausdruck „basierend auf“ schließt teilweise oder vollständig basierend auf ein.The noun-modifying article “a” should be understood to mean one or more, unless otherwise specified or the context requires otherwise. The term “based on” includes based in part or in whole.

Gemäl der vorliegenden Erfindung wird ein System bereitgestellt, das einen Computer aufweist, der einen Prozessor und einen Speicher beinhaltet, wobei der Speicher Anweisungen speichert, die durch den Prozessor ausgeführt werden können um: jeweilige Wahrscheinlichkeiten einer Richtung eines Blicks eines Fahrzeuginsassen auf jeden einer Vielzahl von Punkten in einem Bild zu bestimmen; eine Blickentfernung von einer Mitte des Bildes auf Grundlage der Wahrscheinlichkeiten zu bestimmen; und, wenn bestimmt wird, dass die Blickentfernung einen Schwellenwert überschreitet, die manuelle Steuerung von mindestens einer Fahrzeugkomponente zu unterdrücken.According to the present invention, there is provided a system comprising a computer including a processor and a memory, the memory storing instructions executable by the processor to: respective probabilities of a direction of a vehicle occupant's gaze at each of a plurality to determine points in an image; determine a viewing distance from a center of the image based on the probabilities; and, if it is determined that the viewing distance exceeds a threshold, suppress manual control of at least one vehicle component.

Gemäl einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Bestimmen der Blickentfernung als eine Entfernung zwischen der Mitte des Bildes und einem Blickpunkt, wobei der Blickpunkt eine gewichtete Summe von Koordinaten von jedem der Vielzahl von Punkten ist, wobei jeder der Vielzahl von Punkten gewichtet wird durch die jeweilige Wahrscheinlichkeit der Richtung des Blicks des Insassen zu dem jeweiligen Punkt. According to one embodiment, the instructions further include instructions for determining the gaze distance as a distance between the center of the image and a viewpoint, the gaze point is a weighted sum of coordinates of each of the plurality of points, each of the plurality of points being weighted by the respective probability of the direction of the occupant's gaze to the respective point.

Gemäl einer Ausführungsform ist die Mitte des Bildes ein Ursprung eines zweidimensionalen Koordinatensystems, wobei jeder der Vielzahl von Punkten ein Satz von Koordinaten in dem zweidimensionalen Koordinatensystem ist, und die Anweisungen können ferner Anweisungen zum Bestimmen eines Satzes von Koordinaten des Blickpunkts als die Summe des jeweiligen Satzes von Koordinaten von jedem der Vielzahl von Punkten multipliziert mit der jeweiligen Wahrscheinlichkeit der Richtung des Blicks des Insassen zu den jeweiligen Punkten beinhalten.According to one embodiment, the center of the image is an origin of a two-dimensional coordinate system, each of the plurality of points being a set of coordinates in the two-dimensional coordinate system, and the instructions may further include instructions for determining a set of coordinates of the viewpoint as the sum of the respective set of coordinates of each of the plurality of points multiplied by the respective probability of the direction of the occupant's gaze to the respective points.

Gemäl einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Sammeln einer Vielzahl von Bildern des Insassen, zum Bestimmen jeweiliger Blickentfernungen für jedes der Vielzahl von Bildern und zum Unterdrücken einer manuellen Steuerung der mindestens einen Fahrzeugkomponente, wenn bestimmt wird, dass die jeweiligen Blickentfernungen einer zweiten Vielzahl von aufeinanderfolgenden Bildern den Schwellenwert überschreiten.According to one embodiment, the instructions further include instructions for collecting a plurality of images of the occupant, determining respective viewing distances for each of the plurality of images, and suppressing manual control of the at least one vehicle component when determining that the respective viewing distances of a second plurality of consecutive images exceed the threshold.

Gemäl einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um eine manuelle Steuerung der mindestens einen Fahrzeugkomponente zu ermöglichen, wenn bestimmt wird, dass eine Blickentfernung eines ersten Bildes den Schwellenwert überschreitet und eine Blickentfernung eines zweiten Bildes nachfolgend auf das erste Bild unter dem Schwellenwert ist.According to one embodiment, the instructions further include instructions to enable manual control of the at least one vehicle component when it is determined that a viewing distance of a first image exceeds the threshold and a viewing distance of a second image subsequent to the first image is below the threshold.

Gemäl einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um eine manuelle Steuerung der mindestens einen Fahrzeugkomponente zu unterdrücken, wenn bestimmt wird, dass ein Mittel der Blickentfernungen der zweiten Vielzahl von aufeinanderfolgenden Bildern den Schwellenwert überschreitet.According to one embodiment, the instructions further include instructions to suppress manual control of the at least one vehicle component when it is determined that an average of the viewing distances of the second plurality of consecutive images exceeds the threshold.

Gemäl einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um das Bild in ein maschinelles Lernprogramm einzugeben, das dazu trainiert ist, die jeweiligen Wahrscheinlichkeiten der Richtung des Blicks des Insassen auf jeden der Vielzahl von Punkten auszugeben.According to one embodiment, the instructions further include instructions to input the image into a machine learning program trained to output the respective probabilities of the direction of the occupant's gaze at each of the plurality of points.

Gemäl einer Ausführungsform ist das maschinelle Lernprogramm dazu trainiert, eine Vielzahl von Orientierungspunkten eines Gesichts des Insassen zu identifizieren und die Wahrscheinlichkeiten der Richtung des Blicks des Insassen auf Grundlage von identifizierten Orientierungspunkten auszugeben.According to one embodiment, the machine learning program is trained to identify a plurality of landmarks of an occupant's face and output probabilities of the direction of the occupant's gaze based on identified landmarks.

Gemäl einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um einen Kreises in das Bild einzuschreiben, wobei der Kreis einen Mittelpunkt in der Mitte des Bildes aufweist, wobei sich jeder der Vielzahl von Punkten innerhalb eines Entfernungsschwellenwerts des Kreises befindet.According to one embodiment, the instructions further include instructions to inscribe a circle in the image, the circle having a center at the center of the image, each of the plurality of points being within a distance threshold of the circle.

Gemäl einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um eine Eingabe von dem Insassen anzufordern, wenn bestimmt wird, dass die Blickentfernung einen Schwellenwert überschreitet, und, wenn keine Eingabe von dem Insassen detektiert wird, eine manuelle Steuerung der mindestens einen Fahrzeugkomponente zu unterdrücken.According to one embodiment, the instructions further include instructions to request input from the occupant when it is determined that the viewing distance exceeds a threshold and, if no input from the occupant is detected, to suppress manual control of the at least one vehicle component.

Gemäl einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um das Fahrzeug in einen vollständig autonomen Modus zu überführen, wenn bestimmt wird, dass die Blickentfernung den Schwellenwert überschreitet.According to one embodiment, the instructions further include instructions to transition the vehicle to a fully autonomous mode when it is determined that the viewing distance exceeds the threshold.

Gemäl einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um die Richtung des Blicks des Insassen auf Grundlage von erkannten Orientierungspunkten eines Gesichts des Insassen zu bestimmen.According to one embodiment, the instructions further include instructions to determine the direction of the occupant's gaze based on detected landmarks of an occupant's face.

Gemäl einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um eine manuelle Steuerung der mindestens einen Fahrzeugkomponente zu unterdrücken, wenn bestimmt wird, dass die Blickentfernung den Schwellenwert überschreitet für eine abgelaufene Zeit, die einen Zeitschwellenwert überschreitet.According to one embodiment, the instructions further include instructions to suppress manual control of the at least one vehicle component when it is determined that the viewing distance exceeds the threshold for an elapsed time that exceeds a time threshold.

Gemäl einer Ausführungsform ist jeder der Vielzahl von Punkten an einer jeweiligen Stelle in einem Innenraum des Fahrzeugs angeordnet, die der Insasse von einer Fahrbahn wegschaut, wenn der Insasse auf die Stelle blickt.According to one embodiment, each of the plurality of points is arranged at a respective location in an interior of the vehicle that the occupant looks away from a roadway when the occupant looks at the location.

Gemäl der vorliegenden Erfindung beinhaltet ein Verfahren: das Bestimmen jeweiliger Wahrscheinlichkeiten einer Richtung eines Blicks eines Fahrzeuginsassen auf jeden einer Vielzahl von Punkten in einem Bild; das Bestimmen einer Blickentfernung von einer Mitte des Bildes auf Grundlage der Wahrscheinlichkeiten; und, wenn bestimmt wird, dass die Blickentfernung einen Schwellenwert überschreitet, Unterdrücken der manuellen Steuerung von mindestens einer Fahrzeugkomponente.According to the present invention, a method includes: determining respective probabilities of a direction of a vehicle occupant's gaze at each of a plurality of points in an image; determining a viewing distance from a center of the image based on the probabilities; and, if it is determined that the viewing distance exceeds a threshold, inhibiting manual control of at least one vehicle component.

In einem Aspekt der Erfindung beinhaltet das Verfahren, die Blickentfernung als eine Entfernung zwischen der Mitte des Bildes und einem Blickpunkt zu bestimmen, wobei der Blickpunkt eine gewichtete Summe von Koordinaten von jedem der Vielzahl von Punkten ist, wobei jeder der Vielzahl von Punkten gewichtet wird durch die jeweilige Wahrscheinlichkeit der Richtung des Blicks des Insassen zu dem jeweiligen Punkt.In one aspect of the invention, the method includes determining the viewing distance as a distance between the center of the image and a viewpoint, the viewpoint being a weighted sum of coordinates of each of the plurality of points, each of the plurality of points being weighted by the respective probability of the direction of the occupant's gaze to the respective point.

In einem Aspekt der Erfindung ist die Mitte des Bildes ein Ursprung eines zweidimensionalen Koordinatensystems, wobei jeder der Vielzahl von Punkten ein Satz von Koordinaten in dem zweidimensionalen Koordinatensystem ist, und das Verfahren beinhaltet ferner das Bestimmen eines Satzes von Koordinaten des Blickpunkts als die Summe des jeweiligen Satzes von Koordinaten von jedem der Vielzahl von Punkten multipliziert mit der jeweiligen Wahrscheinlichkeit der Richtung des Blicks des Insassen zu den jeweiligen Punkten.In one aspect of the invention, the center of the image is an origin of a two-dimensional coordinate system, each of the plurality of points being a set of coordinates in the two-dimensional coordinate system, and the method further includes determining a set of coordinates of the viewpoint as the sum of each Set of coordinates of each of the plurality of points multiplied by the respective probability of the direction of the occupant's gaze to the respective points.

In einem Aspekt der Erfindung beinhaltet das Verfahren ferner Sammeln einer Vielzahl von Bildern des Insassen, zum Bestimmen jeweiliger Blickentfernungen für jedes der Vielzahl von Bildern und zum Unterdrücken einer manuellen Steuerung der mindestens einen Fahrzeugkomponente, wenn bestimmt wird, dass die jeweiligen Blickentfernungen einer zweiten Vielzahl von aufeinanderfolgenden Bildern den Schwellenwert überschreiten.In one aspect of the invention, the method further includes collecting a plurality of images of the occupant, determining respective viewing distances for each of the plurality of images, and suppressing manual control of the at least one vehicle component when determining that the respective viewing distances of a second plurality of consecutive images exceed the threshold.

In einem Aspekt der Erfindung beinhatet das Verfahren ferner, eine manuelle Steuerung der mindestens einen Fahrzeugkomponente zu ermöglichen, wenn bestimmt wird, dass eine Blickentfernung eines ersten Bildes den Schwellenwert überschreitet und eine Blickentfernung eines zweiten Bildes nachfolgend auf das erste Bild unter dem Schwellenwert ist.In one aspect of the invention, the method further includes enabling manual control of the at least one vehicle component when it is determined that a viewing distance of a first image exceeds the threshold and a viewing distance of a second image subsequent to the first image is below the threshold.

In einem Aspekt der Erfindung beinhaltet das Verfahren ferner, eine manuelle Steuerung der mindestens einen Fahrzeugkomponente zu unterdrücken, wenn bestimmt wird, dass ein Mittel der Blickentfernungen der zweiten Vielzahl von aufeinanderfolgenden Bildern den Schwellenwert überschreitet.In one aspect of the invention, the method further includes suppressing manual control of the at least one vehicle component when it is determined that an average of the viewing distances of the second plurality of consecutive images exceeds the threshold.

Claims

A system comprising a computer including a processor and a memory, the memory storing instructions executable by the processor to: determining respective probabilities of a direction of a vehicle occupant's gaze at each of a plurality of points in an image; determining a viewing distance from a center of the image based on the probabilities; and if it is determined that the viewing distance exceeds a threshold, suppressing manual control of at least one vehicle component.

System after Claim 1 , wherein the instructions further include instructions for determining the viewing distance as a distance between the center of the image and a viewpoint, the viewpoint being a weighted sum of coordinates of each of the plurality of points, each of the plurality of points being divided by the respective probability of Direction of the occupant's gaze to the respective point is weighted.

System after Claim 2 , wherein the center of the image is an origin of a two-dimensional coordinate system, each of the plurality of points being a set of coordinates in the two-dimensional coordinate system, and the instructions further include instructions for determining a set of coordinates of the viewpoint as the sum of the respective set of coordinates from each of the plurality of points multiplied by the respective probability of the direction of the occupant's gaze to the respective points.

System after Claim 1 , wherein the instructions further include instructions for collecting a plurality of images of the occupant, determining respective viewing distances for each of the plurality of images and suppressing manual control of the at least one vehicle component, when it is determined that the respective viewing distances of a second plurality of consecutive images exceed the threshold.

System after Claim 4 , wherein the instructions further include instructions to enable manual control of the at least one vehicle component when it is determined that a viewing distance of a first image exceeds the threshold and a viewing distance of a second image subsequent to the first image is below the threshold.

System after Claim 4 , wherein the instructions further include instructions to inhibit manual control of the at least one vehicle component when it is determined that an average of the viewing distances of the second plurality of consecutive images exceeds the threshold.

System after Claim 1 , the instructions further including instructions to input the image into a machine learning program trained to output the respective probabilities of the direction of the occupant's gaze at each of the plurality of points.

System after Claim 7 , wherein the machine learning program is trained to identify a plurality of landmarks of an occupant's face and output probabilities of the direction of the occupant's gaze based on identified landmarks.

System according to one of the Claims 1 - 8th , wherein the instructions further include instructions to request input from the occupant when determining that the viewing distance exceeds a threshold and, if no input from the occupant is detected, to suppress manual control of the at least one vehicle component.

System according to one of the Claims 1 - 8th , wherein the instructions further include instructions to determine the direction of the occupant's gaze based on detected landmarks of an occupant's face.

System according to one of the Claims 1 - 8th , wherein the instructions further include instructions to suppress manual control of the at least one vehicle component when it is determined that the viewing distance exceeds the threshold over an elapsed time that exceeds a time threshold.

System according to one of the Claims 1 - 8th , wherein each of the plurality of points is located at a respective location in an interior of the vehicle that the occupant looks away from a roadway when the occupant looks at the location.

Computer programmed to perform the procedure according to one of the Claims 1 - 8th to carry out.

Vehicle, including the computer Claim 13 .

Computer program product comprising a computer-readable medium on which are stored instructions that can be executed by a computer processor to carry out the method according to one of the Claims 1 - 8th to carry out.