DE102015101358A1

DE102015101358A1 - Verfahren und Systeme zum Erfassen einer Fahreraufmerksamkeit gegenüber Objekten

Info

Publication number: DE102015101358A1
Application number: DE102015101358.4A
Authority: DE
Inventors: Amir Konigsberg; Eviatar Tron; Gil Golan
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2014-02-14
Filing date: 2015-01-30
Publication date: 2015-08-20
Anticipated expiration: 2035-01-31
Also published as: DE102015101358B4; CN104842898A; US9189692B2; CN104842898B; US20150235096A1

Abstract

Verfahren und Systeme zum Erfassen einer Aufmerksamkeit eines Insassen eines Fahrzeugs werden bereitgestellt. In einer Ausführungsform umfasst ein Verfahren ein Berechnen, durch einen Prozessor, einen ersten Blickvektor in einem dreidimensionalen Raum basierend auf einer ersten Fahrzeugposition, einer ersten Fahrzeugausrichtung und einer ersten Blickrichtung; ein Berechnen, durch einen Prozessor, einen zweiten Blickvektor in dem dreidimensionalen Raum basierend auf einer zweiten Fahrzeugposition, einer zweiten Fahrzeugausrichtung und einer zweiten Blickrichtung; und Bestimmen der Aufmerksamkeit des Insassen basierend auf dem ersten Blickvektor und dem zweiten Blickvektor.

Description

Technisches Gebiet
Das technische Gebiet bezieht sich allgemein auf Verfahren und Systeme zum Erfassen einer Fahreraufmerksamkeit auf einen Punkt von Interesse und insbesondere auf Verfahren und Systeme zum Erfassen einer Fahreraufmerksamkeit auf Punkte von Interesse in einem dreidimensionalen Raum.
Hintergrund
Blickerfassungssysteme umfassen im Allgemeinen eine oder mehrere Kameras, die auf Augen eines Individuums gerichtet sind und welche die Augenposition und Blickrichtung des Individuums verfolgen. Fahrzeugsysteme verwenden Blickerfassungssysteme, um die Blickrichtung eines Fahrers zu erfassen. Die Blickrichtung des Fahrers wird dann verwendet, um die Fahreraufmerksamkeit auf die Straße vor ihm oder die allgemeine Aufmerksamkeit des Fahrers auf Einrichtungen innerhalb des Fahrzeugs zu erfassen.
Zum Beispiel verwenden einige Fahrzeugsysteme die Blickrichtung eines Fahrers, um festzustellen, ob der Fahrer unaufmerksam gegenüber die Straße ist, und um ein Warnsignal an den Fahrer zu erzeugen. In einem anderen Beispiel bestimmen einige Fahrzeugsysteme, dass der Fahrer in Richtung eines bestimmten Steuerknopfes oder Schalters des Fahrzeugs blickt und können das besondere Element basierend auf dieser Bestimmung, steuern (z.B. Einschalten usw.). In jedem der Beispiele machen die Fahrzeugsysteme eine allgemeine Feststellung, wohin der Fahrer schaut, und stellen nicht fest, worauf der Fahrer schaut (nämlich was die Aufmerksamkeit des Fahrers erregt).
Dementsprechend ist es wünschenswert, Verfahren und Systeme zum Erfassen der Aufmerksamkeit eines Fahrers auf einen Punkt oder ein Objekt in einem dreidimensionalen Raum bereitzustellen. Zusätzlich ist es wünschenswert, Verfahren und Systeme zum Erfassen der Aufmerksamkeit eines Fahrers auf einen bestimmten Punkt oder ein bestimmtes Objekt außerhalb des Fahrzeugs bereitzustellen. Zusätzlich ist es wünschenswert, Verfahren und Systeme zur Verwendung der Informationen, die durch die erfasste Aufmerksamkeit des Fahrers auf den besonderen Punkt oder das Objekt bestimmt werden, bereitzustellen. Weiterhin werden andere gewünschte Merkmale und Kennzeichen der vorliegenden Erfindung von der nachfolgenden detaillierten Beschreibung und den anhängigen Ansprüchen offensichtlich, die im Zusammenhang mit den begleitenden Zeichnungen, dem vorhergehenden technischen Gebiet und dem Hintergrund betrachtet werden.
Zusammenfassung
Es werden Verfahren und Systeme bereitgestellt für ein Erfassen einer Aufmerksamkeit eines Insassen eines Fahrzeugs. In einer Ausführungsform umfasst ein Verfahren ein Berechnen, mittels eines Prozessors, eines ersten Blickvektors in einem dreidimensionalen Raum, basierend auf einer ersten Fahrzeugposition, einer ersten Fahrzeugausrichtung und einer ersten Blickrichtung; Berechnen, durch den Prozessor, eines zweiten Blickvektors in dem dreidimensionalen Raum, basierend auf einer zweiten Fahrzeugposition, einer zweiten Fahrzeugausrichtung und einer zweiten Blickrichtung; und Bestimmen der Aufmerksamkeit des Insassen, basierend auf dem ersten Blickvektor und dem zweiten Blickvektor.
In einer anderen Ausführungsform umfasst ein System ein erstes Modul, das einen ersten Blickvektor in einem dreidimensionalen Raum berechnet, basierend auf einer ersten Fahrzeugposition, einer ersten Fahrzeugausrichtung und einer ersten Blickrichtung, und das einen zweiten Blickvektor in dem dreidimensionalen Raum berechnet, basierend auf einer zweiten Fahrzeugposition, einer zweiten Fahrzeugausrichtung und einer zweiten Blickrichtung. Das System umfasst auch ein zweites Modul, das die Aufmerksamkeit des Insassen, basierend auf dem ersten Blickvektor und dem zweiten Blickvektor bestimmt.
Beschreibung der Zeichnungen
Die beispielhaften Ausführungsformen werden hiernach in Verbindung mit den nachfolgenden Zeichnungsfiguren beschrieben, wobei ähnliche Nummern ähnliche Elemente bezeichnen, und wobei:
1 ein funktionelles Blockdiagramm eines Fahrzeugs ist, das ein Fahreraufmerksamkeitserfassungssystem umfasst, das mit einem Aufmerksamkeitsleitsystem und/oder einem globalen Aufmerksamkeitsverarbeitungssystem gemäß verschiedenen Ausführungsformen kommuniziert;
2 ein funktionelles Blockdiagramm ist, das funktionelle Module des Fahreraufmerksamkeitserfassungssystems gemäß verschiedenen Ausführungsformen darstellt;
3 eine Darstellung von Blickvektoren ist, die verwendet werden, um die Fahreraufmerksamkeit durch das Fahreraufmerksamkeitserfassungssystem gemäß verschiedenen Ausführungsformen zu bestimmen;
4 ein funktionelles Blockdiagramm ist, das funktionelle Module des globalen Aufmerksamkeitsverarbeitungssystems gemäß verschiedenen Ausführungsformen darstellt;
5 ein Flussdiagramm ist, das ein Fahreraufmerksamkeitserfassungsverfahren darstellt, das durch das Fahreraufmerksamkeitserfassungssystem gemäß verschiedenen Ausführungsformen ausgeführt werden kann;
6 ein Flussdiagramm ist, das ein Fahreraufmerksamkeits-Leitverfahren darstellt, das das Fahreraufmerksamkeits-Erfassungssystem gemäß verschiedenen Ausführungsformen ausgeführt werden kann; und
7 ein Flussdiagramm ist, das ein globales Aufmerksamkeitsverarbeitungsverfahren darstellt, welches durch das globale Aufmerksamkeitsverarbeitungssystem der 1 gemäß verschiedenen Ausführungsformen ausgeführt sein kann.
Detaillierte Beschreibung
Die nachfolgende detaillierte Beschreibung ist nur von beispielhafter Natur und beabsichtigt nicht, die Anmeldung und den Gebrauch zu begrenzen. Weiterhin gibt es keine Absicht, an irgendeine ausgedrückte oder ausgeführte Theorie, die in dem vorhergehenden technischen Gebiet, dem Hintergrund, der kurzen Zusammenfassung und der nachfolgenden Beschreibung dargestellt wird, gebunden zu sein. Es sollte verständlich sein, dass überall in den Zeichnungen entsprechende Bezugsnummern ähnliche oder korrespondierende Teile und Merkmale kennzeichnen.
Wie hierin verwendet, bezieht sich der Ausdruck Modul auf irgendeine Hardware, Software, Firmware, elektronische Steuerkomponente, Verarbeitungslogik und/oder Prozessorgerät, individuell oder in irgendeiner Kombination, einschließlich, ohne Begrenzung auf: eine anwendungsspezifische integrierte Schaltung (ASIC, application specific integrated circuit), eine elektronische Schaltung, einen Prozessor (gemeinsam benutzt, fest zugeordnet oder als Gruppe) und einen Speicher, der ein oder mehrere Software- oder Firmware-Programme ausführt, eine kombinierte Logikschaltung und/oder andere geeignete Komponenten, welche die beschriebene Funktionalität bereitstellen.
1 ist ein funktionelles Blockdiagramm für ein Fahrzeug 10, das ein Fahreraufmerksamkeitserfassungssystem 12 aufweist, das mit einem Fahreraufmerksamkeitsleitsystem 14 kommuniziert und/oder einem globalen (oder umfassenden) Aufmerksamkeitsverarbeitungssystem 16 gemäß verschiedener Ausführungsformen kommuniziert. Wie anzuerkennen ist, kann das Fahrzeug 10 irgendein Fahrzeug sein, einschließlich, aber nicht begrenzt auf, ein Automobil, ein Luftfahrzeug, ein Raumfahrzeug, ein Boot, ein Sportfahrzeug. Obgleich die Figuren, die hierin gezeigt werden, ein Beispiel mit bestimmten Anordnungen der Elemente zeigen, können zusätzliche dazwischen geschaltete Elemente, Geräte, Merkmale oder Komponenten in aktuellen Ausführungsformen vorhanden sein. Es sollte ebenso verständlich sein, dass 1 nur darstellend ist und nicht maßstäblich gezeichnet sein kann.
Wie gezeigt, umfasst das beispielhafte Fahreraufmerksamkeitserfassungssystem 12 ein Aufmerksamkeitsbestimmungsmodul 18, das die Aufmerksamkeit eines Insassen eines Fahrzeugs 10 (wie eines Fahrers und/oder eines Beifahrers) für einen Punkt in einem dreidimensionalen Raum erfasst. Für beispielhafte Zwecke wird die Offenbarung in dem Zusammenhang des Erfassens der Aufmerksamkeit des Fahrers erörtert. Wie in den beispielhaften Ausführungsformen unten erörtert wird, erfasst das Aufmerksamkeitsbestimmungsmodul 18 die Aufmerksamkeit des Fahrers für einen Punkt, der sich außerhalb des Fahrzeugs 10 befindet (auf den als Punkt von Interesse Bezug genommen wird), und assoziiert in einigen Fällen den Punkt mit einem besonderen Objekt, das an dem Punkt angeordnet ist (Bezug nehmend auf diesen als ein Objekt von Interesse). Zum Beispiel kann das Objekt ein stehendes oder mobiles Objekt sein, wie, aber nicht begrenzt auf, ein Straßenmerkmal (z.B. eine Ausfahrtrampe, ein Verkehrslicht, ein Straßenschild, eine Leitplanke, ein anderes Fahrzeug, ein Fußgänger, usw.), eine Ankündigungseinrichtung (z.B. eine Plakattafel, ein Zeichen, ein Gebäude, ein Zeichen auf einem bewegten Fahrzeug, usw.) oder eine besondere Sehenswürdigkeit (z.B. entweder eine natürliche Sehenswürdigkeit oder eine künstliche Sehenswürdigkeit), auf das sich der Fahrer fokussiert hat.
Sobald der Punkt von Interesse und/oder das Objekt von Interesse erfasst worden ist, speichert das Aufmerksamkeitsbestimmungsmodul 18 die Information über die Aufmerksamkeit des Fahrers auf den Punkt von Interesse und/oder auf das Objekt von Interesse für künftigen Gebrauch. Zum Beispiel speichert das Aufmerksamkeitsbestimmungsmodul 18 die Zeit der Aufmerksamkeit des Fahrers auf den Punkt von Interesse und/oder auf das Objekt von Interesse, die Position des Punktes von Interesse und irgendwelche anderen Funktionen, welche das Objekt von Interesse, wenn es identifiziert ist, beschreibt.
In unterschiedlichen Ausführungsformen, die auf der Information über die gegenwärtige Aufmerksamkeit des Fahrers basieren, bestimmt das Aufmerksamkeitsbestimmungsmodul 18, ob die Aufmerksamkeit des Fahrers auf einen unterschiedlichen Punkt von Interesse und/oder ein Objekt von Interesse in dem dreidimensionalen Raum zu richten ist oder ob nicht. Wenn die festgestellte Aufmerksamkeit des Fahrers zum Beispiel zeigt, dass der Fahrer weg von einem bestimmten gewünschten Punkt von Interesse oder Objekt von Interesse blickt, kann das Aufmerksamkeitsbestimmungsmodul 18 Benachrichtigungsdaten dem Fahreraufmerksamkeitsleitsystem 14 bereitstellen. Das Fahreraufmerksamkeitsleitsystem 14 umfasst seinerseits ein oder mehrere Leitgeräte, die selektiv, basierend auf den Benachrichtigungsdaten, zum Richten der Aufmerksamkeit des Fahrers aktiviert werden. Wie anerkannt werden kann, können die Leitgeräte einschließen, sind aber nicht begrenzt auf, Lichtgeräte, einen Anzeigebildschirm, Audiogeräte, haptische Geräte, ein Telefon (z.B. ein persönliches Telefon, das mit dem Fahrzeug 10 gepaart ist, oder ein Telefon, das in dem Fahrzeug 10 integriert ist), eine Heads-up-Anzeige oder irgendeine Kombination davon.
In verschiedenen Ausführungsformen kommuniziert das Aufmerksamkeitsbestimmungsmodul 18 die Informationen über die Aufmerksamkeit des Fahrers zu dem globalen Aufmerksamkeitsverarbeitungssystem 16. Die Kommunikation kann zum Beispiel durch ein drahtloses Kommunikationssystem 20 (z.B. ein Wi-Fi-System, ein zellulares (mobiles) Netzwerksystem, ein Bluetooth-System, usw.) oder andere Kommunikationssysteme (nicht gezeigt) des Fahrzeugs 10 vorhanden sein. Das globale Aufmerksamkeitsverarbeitungssystem 16 verarbeitet die Informationen von dem Fahrzeug 10 und/oder von einer Vielzahl von Fahrzeugen (nicht gezeigt), um globale Punkte von Interesse (nämlich Punkte von Interesse, die zu einer Anzahl von Zeiten durch einen einzelnen Fahrer, durch eine Anzahl von Insassen oder durch eine Anzahl von Fahrzeugen gesehen werden), globale Objekte von Interesse (nämlich Objekte von Interesse, die zu einer Anzahl von Zeiten durch einen einzelnen Fahrer, durch eine Anzahl von Insassen oder durch eine Anzahl von Fahrzeugen gesehen werden) und/oder andere Kenngrößen zu bestimmen.
In unterschiedlichen Ausführungsformen erfasst das Aufmerksamkeitsbestimmungsmodul 18 die Aufmerksamkeit des Fahrers auf die Punkte von Interesse und/oder die Objekte von Interesse, basierend auf Informationen, die von einem oder mehreren Systemen des Fahrzeugs 10 empfangen werden. Zum Beispiel empfängt das Aufmerksamkeitsbestimmungsmodul 18 Eingaben von einem globalen Positionierungssystem 22, einem Blickerfassungssystem 24, einem Trägheitsmesssystem 26 und einem Objektkarten-Datenspeicher 28. Wie anerkannt werden kann, empfängt in verschiedenen Ausführungsformen das Aufmerksamkeitsbestimmungsmodul 18 Eingaben von anderen Systemen (nicht gezeigt) zusätzlich zu oder als Alternative von gezeigten und beschriebenen Systemen.
Das globale Positionierungssystem 22 kommuniziert mit Satelliten (nicht gezeigt), um eine gegenwärtige Position abzuleiten (z.B. Breiten- und Längenkoordinaten) des Fahrzeugs 10. Das globale Positionierungssystem 22 stellt Positionsinformationen dem Aufmerksamkeitsbestimmungsmodul 18 bereit. Wie anerkannt werden kann, können andere Systeme zum Bestimmen der Position des Fahrzeugs 10 alternativ verwendet werden. Derartige Systeme können einschließen, sind aber nicht auf, ein Antennensignal-Triangulationssystem oder andere Systeme begrenzt.
Das Blickerfassungssystem 24 schließt einen oder mehrere Verfolgungsgeräte ein (z.B. wie eine Kamera oder ein anderes Gerät), welche die Augenposition, die Augenbewegung, die Kopfposition und/oder die Kopfbewegung des Fahrers (oder anderer Insassen) verfolgen, und ein Bildprozessor, der die Daten für die Verfolgungsgeräte verarbeitet, um eine Blickrichtung des Fahrers (oder anderer Insassen) zu bestimmen. Das Blickerfassungssystem 24 stellt die Blickrichtung dem Aufmerksamkeitsbestimmungsmodul 18 zur Verfügung. Wie anerkannt werden kann, wird das Blickerfassungssystem 24 die Blickrichtung des Fahrers, anderer Insassen und/oder des Fahrers und der anderen Insassen bereitstellen. Beispielsweise wird die Offenbarung im Kontext des Blickerfassungssystems 24, das die Blickrichtung des Fahrers bereitstellt, erörtert.
Das Trägheitsmesssystem 26 schließt ein oder mehrere Messgeräte ein, welche eine Orientierung des Fahrzeugs 10 bestimmen. Das Trägheitsmesssystem 26 stellt die Ausrichtung (z.B. die Lage und Höhenangabe) des Fahrzeugs 10 dem Aufmerksamkeitsbestimmungsmodul 18 zur Verfügung. Wie anerkannt werden kann, können andere Systeme zum Bestimmen einer Ausrichtung des Fahrzeugs 10 als eine Alternative verwendet werden. Derartige Systeme können einschließen, sind aber nicht begrenzt auf, einen Kompass oder ein anderes System.
Der Objektkarten-Datenspeicher 28 speichert Positionsinformationen und beschreibende Informationen (z.B. einen Namen oder eine Art eines Objekts) über Objekte in einem dreidimensionalen Raum in einem Format, wie einem Kartenformat. Die Karte kann dem Fahrzeug 10 über das drahtlose Kommunikationssystem 20 bereitgestellt werden. Die Karte kann an das Fahrzeug 10 von einem stationären System (z.B. von einem zentralen Verarbeitungszentrum) oder einem mobilen System (z.B. von einem anderen Fahrzeug) kommuniziert werden. Wie anerkannt werden kann, können die Karten für besondere Arten der Objekte bereitgestellt werden oder eine Karte kann für eine Anzahl von unterschiedlichen Arten von Objekten bereitgestellt werden.
Die Karten können selektiv bereitgestellt und/oder gespeichert werden zu dem Objektkarten-Datenspeicher 28, basierend auf einer Position des Fahrzeugs 10 oder anderen Kriterien. Der Objektkarten-Datenspeicher 28 stellt die Karten dem Aufmerksamkeitsbestimmungsmodul 18 zur Verfügung.
Nun Bezug nehmend auf 2 und mit fortgesetzter Bezugnahme auf 1 illustriert ein funktionelles Blockdiagramm unterschiedliche Ausführungsformen des Aufmerksamkeitsbestimmungsmoduls 18. Unterschiedliche Ausführungsformen eines Aufmerksamkeitsbestimmungsmodul 18 gemäß der vorliegenden Ausführungsform können eine Anzahl von Submodulen einschließen. Wie anerkannt werden kann, können die Submodule, die in 2 gezeigt werden, kombiniert und/oder weiter aufgeteilt werden, um in ähnlicher Weise Fahreraufmerksamkeitspunkte und/oder Objekte in einem dreidimensionalen Raum zu erfassen. In verschiedenen Ausführungsformen, wie in 2 gezeigt, umfasst das Aufmerksamkeitsbestimmungsmodul 18 ein Blickvektor-Berechnungsmodul 30, ein Aufmerksamkeitserfassungsmodul 32, einen Blickvektor-Datenspeicher 36, einen Aufmerksamkeitsdatenspeicher 38 und ein Aufmerksamkeitsdatenkommunikationsmodul 29.
Das Blickvektor-Berechnungsmodul 30 empfängt als Eingabe Fahrzeugpositionsdaten 40 (z.B. von dem GPS-System 22), Blickrichtungsdaten 42 (z.B. von dem Blickerfassungssystem 24) und Fahrzeugausrichtungsdaten 44 (z.B. von dem Trägheitsmesssystem 26). Die empfangenen Daten 40–44 sind mit einer bestimmten Zeit (t) assoziiert. Zum Beispiel können die Fahrzeugspositionsdaten 40 eine Position des Fahrzeugs 10 in absoluten Koordinaten (X, Y, Z) zu einer bestimmten Zeit (t) zeigen. Die Fahrzeugausrichtungsdaten 44 können einen Zeigevektor des Fahrzeugs in absoluten Koordinaten (X, Y, Z) zu einer bestimmten Zeit (t) zeigen. Die Blickrichtungsdaten 42 können eine Blickrichtung des Fahrers relativ zu den Fahrzeugkoordinaten (x, y, z) zu einer bestimmten Zeit (t) zeigen.
Basierend auf den Eingaben 40–44, bestimmt das Blickvektor-Berechnungsmodul 30 einen Blickvektor 46 in absoluten Koordinaten (X, Y, Z) des Fahrers für die bestimmte Zeit (t) und speichert den Blickvektor 46 in dem Blickvektor-Datenspeicher 36 für zukünftigen Gebrauch. Wie in 3 gezeigt, kann zum Beispiel die Position (L₁) eines ersten Fahrzeugs 10a in absoluten Koordinaten zu einer ersten Zeit t₁, welche der ersten Position A auf einer Straße entspricht, bereitgestellt werden. Die Ausrichtung oder Lage (B₁) des ersten Fahrzeugs 10a kann in absoluten Koordinaten bereitgestellt werden und kann den Azimutwinkel und die Höhenangabe einschließen. Die Blickrichtung des Fahrzeugs kann in den Fahrzeugkoordinaten bereitgestellt werden und kann den Winkel α₁ einschließen. Der Blickvektor (G₁) wird in Fahrzeugkoordinaten (x₁, y₁, z₁), basierend auf dem Winkel α₁, bestimmt und wird dann in absolute Koordinaten, basierend auf der Position und der Lage (L₁, B₁, t₁), unter Verwenden einer Koordinatensystemtransformation konvertiert.
Wenn das Fahrzeug 10a sich vorwärts von der Position A in eine zweite Position B auf der Straße bewegt, wird die Position (L₂) des Fahrzeugs 10a in absoluten Koordinaten zu einer zweiten Zeit t₂ bereitgestellt. Die Ausrichtung oder Lage (B₂) des ersten Fahrzeugs 10a kann in absoluten Koordinaten bereitgestellt werden und kann den Azimutwinkel und die Höhenangabe einschließen. Die Blickrichtung des Fahrers kann in Fahrzeugkoordinaten bereitgestellt werden und kann den Winkel α₂ einschließen. Ein zweiter Blickvektor (G₂) wird in Fahrzeugkoordinaten (x₂, y₂, z₂), basierend auf dem Winkel α₂, bereitgestellt und wird dann in absolute Koordinaten, basierend auf der Position und der Lage (L₂, B₂, t₂) unter Verwenden einer Koordinatensystemtransformation konvertiert.
Auf ähnliche Weise kann, wenn ein zweites Fahrzeug 10b in die entgegen gesetzte Richtung in entgegen gesetzter Fahrspur auf der Straße fährt, die Position (L₃) des zweiten Fahrzeugs 10b in absoluten Koordinaten bei einer ersten Zeit t₃ bereitgestellt werden, die mit einer ersten Position C auf der Straße korrespondiert. Die Ausrichtung oder Lage (B₃) des zweiten Fahrzeugs 10b kann in absoluten Koordinaten bereitgestellt werden und kann den Azimutwinkel und die Höhenlage einschließen. Die Blickrichtung des Fahrers kann in den Fahrzeugkoordinaten bereitgestellt werden und kann den Winkel α₃ einschließen. Der Blickvektor (G₃) wird in Fahrzeugkoordinaten (x₃, y₃, z₃), basierend auf dem Winkel α₃ bestimmt und dann in absolute Koordinaten, basierend auf der Position und der Lage (L₃, B₃, t₃), unter Verwenden einer Koordinatensystemtransformation konvertiert.
Wenn das Fahrzeug 10b sich von der ersten Position C zu einer zweiten Position D auf der Straße bewegt, wird die Position (L₄) des Fahrzeugs 10b in absoluten Koordinaten zu einer zweiten Zeit t₄ bereitgestellt. Die Ausrichtung oder Lage (B₄) des zweiten Fahrzeugs 10b kann in absoluten Koordinaten bereitgestellt werden und kann den Azimutwinkel und die Höhenangabe einschließen. Die Blickrichtung des Fahrers kann in den Fahrzeugkoordinaten bereitgestellt werden und kann den Winkel α₄ einschließen. Der zweite Blickvektor (G₄) für das zweite Fahrzeug 10b wird in Fahrzeugkoordinaten (x₄, y₄, z₄), basierend auf dem Winkel α₄, bereitgestellt und dann in absolute Koordinaten, basierend auf der Position und der Lage (L₄, B₄, t₄), unter Verwenden einer Koordinatensystemtransformation konvertiert.
Die Blickvektoren (G₁und G₂) werden in dem Blickvektor-Datenspeicher 36 des ersten Fahrzeugs 10a berechnet und gespeichert; und die Blickvektoren (G₃und G₄) werden in dem Blickvektor-Datenspeicher 36 des zweiten Fahrzeugs 10b berechnet und gespeichert. In einigen Fällen können die Blickvektoren (G₃und G₄) mit dem ersten Fahrzeug 10a kombiniert werden und in dem Blickvektor-Datenspeicher 36 des ersten Fahrzeugs 10a gespeichert werden. Auf ähnliche Weise können die Blickvektoren (G₁und G₂) mit dem zweiten Fahrzeug 10b kommuniziert werden und in dem Blickvektor-Datenspeicher 36 des zweiten Fahrzeugs 10b gespeichert werden.
Mit Bezugnahme zurück auf 2 und mit fortgesetzter Bezugnahme auf 1 empfängt das Aufmerksamkeitsbestimmungsmodul 32 als Eingabe die Blickvektoren 48, die in dem Blickvektor-Datenspeicher 36 gespeichert werden. Die Blickvektoren 48 können Blickvektoren 48 von einem einzelnen Fahrzeug (z.B. Fahrzeug 10a der 2) sein oder von mehreren Fahrzeugen (z.B. Fahrzeug 10a und 10b der 2) sein. Basierend auf den Blickvektoren 48 bestimmt das Aufmerksamkeitsbestimmungsmodul 32 einen Punkt von Interesse 47 für eine bestimmte Zeit 49 in dem absoluten Koordinatensystem. Zum Beispiel wertet das Aufmerksamkeitsbestimmungsmodul 32 eine Anzahl von Blickvektoren 48 über eine bestimmte Zeitspanne aus und, wenn ein Schwellwert des Blickvektors 48 in der Zeitspanne überschritten wird, dann stellt es fest, dass für diese Zeitspanne der Punkt von Interesse auf oder nahe bei der Schnittstelle der Blickvektoren 48 liegt. Das Aufmerksamkeitsbestimmungsmodul 32 setzt dann den Punkt von Interesse 47 auf die Koordinaten der Schnittstelle zu der besonderen Zeit 49 fest.
Wenn, in verschiedenen Ausführungsformen, eine Gewissheit des Punktes von Interesse 47 niedrig ist (z.B. sich nur eine minimale Anzahl von Blickvektoren 48 überschneiden oder der Punkt von Interesse weit von dem Fahrzeug entfernt ist, usw.), dann kann das Aufmerksamkeitsbestimmungsmodul 32 auf Daten von zusätzlichen Quellen vertrauen, um den Punkt von Interesse 47 anzupassen. Zum Beispiel können statistische Daten, die von dem globalen Aufmerksamkeitsverarbeitungssystem 16 oder Daten, die von anderen Systemen des Fahrzeugs 10 empfangen werden, zum Anpassen des Punktes von Interesse 47 verwendet werden.
Wenn ein Punkt von Interesse 47 bestimmt ist, ruft das Aufmerksamkeitsbestimmungsmodul 32 dann selektive Objektdaten 50 von dem Objektkarten-Datenspeicher 28 ab. Zum Beispiel kann das Aufmerksamkeitsbestimmungsmodul 32 die Karten des Objektkarten-Datenspeichers 28 für ein Objekt auswerten, das an dem Punkt von Interesse 47 lokalisiert ist. Wenn die Karte anzeigt, dass ein Objekt an dem Punkt von Interesse 47 lokalisiert ist, definiert das Aufmerksamkeitsbestimmungsmodul 32 ein Objekt von Interesse 51 bei einem bestimmten Punkt von Interesse unter Verwendung beschreibender Informationen über das Objekt von den Objektkarten-Datenspeicher 28. Das Aufmerksamkeitsbestimmungsmodul 32 speichert dann den Punkt von Interesse 47, die Zeit 49 und das Objekt von Interesse 51 als Aufmerksamkeitsdaten 52 in dem Aufmerksamkeitsdatenspeicher 38 für zukünftigen Gebrauch. Wenn die Karte jedoch nicht anzeigt, dass ein Objekt an dem Punkt von Interesse 47 lokalisiert ist, kann das Aufmerksamkeitsbestimmungsmodul 32 die Karte mit dem Punkt von Interesse 47 und die Informationen über den Punkt von Interesse 47 aktualisieren, die von anderen Quellen, falls verfügbar, empfangen wurden (z.B. von Fahrzeugsystemen wie einer Fahrzeugkamera oder anderen Systemen, oder von Systemen fern von dem Fahrzeug).
Das Aufmerksamkeitsdaten-Kommunikationsmodul 39 gewinnt die Aufmerksamkeitsdaten 52 von dem Aufmerksamkeitsdatenspeicher 38 und präpariert die Aufmerksamkeitsdaten 52 für eine Kommunikation über das drahtlose Kommunikationssystem 20 zu dem globalen Aufmerksamkeitsverarbeitungssystem 16. Zum Beispiel verpackt das Aufmerksamkeitsdaten-Kommunikationsmodul 39 die Aufmerksamkeitsdaten 52 für eine Zeitspanne mit einem Insassenidentifizierer 57 (z.B. falls viele Insassen verfolgt sein können), einem Fahrzeugidentifizierer 53 (z.B. das VIN oder andere Daten, die das Fahrzeug und/oder den Fahrzeugtyp identifizieren) und, optional, kontextmäßigen Daten 55 (z.B. Daten, welche die Konditionen definieren, während denen die Aufmerksamkeitsdaten definiert wurden, wie, aber nicht begrenzt auf, Wetterbedingungen, Straßenbedingungen, usw.) und kommuniziert die verpackten Daten 54 zu dem drahtlosen Kommunikationssystem 20 für ein Kommunizieren zu dem globalen Aufmerksamkeitsverarbeitungssystem 16.
Das Aufmerksamkeitsleitmodul 34 empfängt als Eingabe Fahrzeugpositionsdaten 56 (z.B. von dem globalen Positionierungssystem 22) und die Aufmerksamkeitsdaten 52. Basierend auf den Eingaben 52 und 56, bestimmt das Aufmerksamkeitsleitmodul 34, ob die Aufmerksamkeit des Fahrers auf ein gewünschtes Objekt gerichtet ist. In verschiedenen Ausführungsformen kann das gewünschte Objekt in einer Karte der gewünschten Objekte definiert sein und in dem Kartendatenspeicher 28 gespeichert sein. Zum Beispiel gewinnt, basierend auf den Fahrzeuglokalisierungsdaten 56, das Aufmerksamkeitsleitmodul 34 Objektdaten 58 selektiv zurück (nämlich Daten von gewünschten Objekten, die innerhalb einer Nähe zu der Fahrzeugposition definiert sind) von den Karten des Objektkarten-Datenspeichers 28. In verschiedenen Ausführungsformen kann das gewünschte Objekt durch ein System des Fahrzeugs 10 bestimmt werden. Zum Beispiel kann das gewünschte Objekt von einem Navigationssystem oder einem anderen System des Fahrzeugs empfangen werden (Datenstrom wird nicht gezeigt).
Das Aufmerksamkeitsleitmodul 34 vergleicht dann den Punkt von Interesse 47 von den Aufmerksamkeitsdaten 52 mit der Position des gewünschten Objekts von den Objektdaten 58. Wenn der Punkt von Interesse 47 und die Position des gewünschten Objekts relativ dasselbe sind, bestimmt das Aufmerksamkeitsleitmodul 34, dass die Aufmerksamkeit des Fahrers auf das gewünschte Objekt gerichtet ist und es werden keine Benachrichtigungsdaten 60 gesandt. Wenn jedoch der Punkt von Interesse 47 anders ist als die Position des gewünschten Objekts, bestimmt das Aufmerksamkeitsleitmodul 34, dass die Aufmerksamkeit des Fahrers nicht auf das gewünschte Objekt gerichtet ist (sondern es kann auf ein anderes Objekt auf der Karte oder allgemein auf ein anderes Objekt gerichtet sein) und das Aufmerksamkeitsleitmodul 34 sendet Benachrichtigungsdaten 60 an das Aufmerksamkeitsleitsystem 14, um die Aufmerksamkeit des Fahrers darauf zu richten.
Nun auf 4 Bezug nehmend und mit fortgesetzter Bezugnahme auf 1, illustriert ein funktionelles Blockdiagramm unterschiedliche Ausführungsformen des globalen Aufmerksamkeitsverarbeitungssystems 16 der 1. Verschiedene Ausführungsformen eines globalen Aufmerksamkeitsverarbeitungssystems 16 können gemäß der vorliegenden Offenbarung irgendeine Anzahl von Submodulen einschließen. Wie anerkannt werden kann, können die Submodule, die in 4 gezeigt werden, kombiniert und/oder weiter geteilt werden, um in ähnlicher Weise Fahreraufmerksamkeitsdaten 54 der 2 zu empfangen und zu verarbeiten. In verschiedenen Ausführungsformen umfasst das globale Aufmerksamkeitsverarbeitungssystem 16 ein Datenspeichermodul 62, einen globales Aufmerksamkeitsdaten-Datenspeicher 64, ein oder mehrere Datenverarbeitungsmodule 66a–66n und ein Ausgabeerzeugungsmodul 68.
Das Datenspeichermodul 62 empfängt eine Eingabe der Fahreraufmerksamkeitsdaten 54a–54n von unterschiedlichen Fahrzeugen 10a, 10b usw. und speichert selektiv die Fahreraufmerksamkeitsdaten 54a–54n in dem globalen Aufmerksamkeitsdaten-Datenspeicher 64. Zum Beispiel kategorisiert und speichert das Datenspeichermodul selektiv die Daten, basierend auf Fahrzeugdaten 70, Zeitdaten 72, Daten des Punktes von Interesse 74, Daten des Objekts von Interesse 76, verschiedene kontextbezogene Daten 77 und/oder Insassendaten.
Die Datenverarbeitungsmodule 66a–66n gewinnen selektiv die gespeicherten Daten von dem Fahreraufmerksamkeitsdaten-Datenspeicher 64 zurück und verarbeiten die Daten unter Verwenden von einem oder mehreren Datenverarbeitungsverfahren, um unterschiedliche Kenngrößen zu erzeugen. Zum Beispiel erzeugt ein erstes Datenverarbeitungsmodul 66a die Daten, um globale Punkte von Interesse 78 zu bestimmen, die Punkte von Interesse sind, die zu einer Anzahl von Zeiten durch einen bestimmten Fahrer, durch eine Anzahl von Insassen des Fahrzeugs und/oder durch eine Anzahl von Fahrzeugen identifiziert sind. In einem anderen Beispiel verarbeitet ein zweites Datenverarbeitungsmodul 66b die Daten, um globale Objekte von Interesse 80 zu bestimmen, die Objekte von Interesse sind, die zu einer Anzahl von Zeiten durch einen bestimmten Fahrer, durch eine Anzahl von Insassen des Fahrzeugs und/oder durch eine Anzahl von Fahrzeugen identifiziert sind. In noch einem anderen Beispiel verarbeitet ein drittes Datenverarbeitungsmodul 66c die Daten für Frequenzen 82, welches besondere Punkte oder Objekte als Punkte oder Objekte von Interesse identifiziert (nämlich Frequenzen, die als Objekt eine Fahreraufmerksamkeit aktuell anziehen, wenn daran vorbeigefahren wird). In noch anderen Beispielen verarbeitet ein Datenverarbeitungsmodul 66d die Daten, um Ähnlichkeiten 84 zwischen der Aufmerksamkeit des Fahrers und der Aufmerksamkeit von anderen Fahrern zu identifizieren (z.B. unter Verwenden von kollaborierenden Filterverfahren). In noch anderen Beispielen, verarbeitet ein Datenverarbeitungsmodul 66e die Daten, um kontextbezogene Bedingungen 86 (z.B. Wetter, Straßenbedingungen, Reisebedingungen, Jahreszeiten, usw.), welche bestimmte Punkte oder Objekte bestimmen, die für eine Aufmerksamkeit empfänglicher sind, zu identifizieren. In noch anderen Beispielen verarbeitet ein Datenverarbeitungsmodul 66f die Daten, um Aufmerksamkeitsspritzer 88 (nämlich wie oft ein Fahrer den Fokus auf eine Aufmerksamkeit wechselt) und kontextbezogene Daten, welche die Aufmerksamkeitsspritzer umgeben wie Tageszeit, Wetterkonditionen usw. zu identifizieren.
Das Ausgabeerzeugungsmodul 68 empfängt die verarbeiteten Daten 78–82 von den Datenverarbeitungsmodulen 66a–66n. Das Ausgabeerzeugungsmodul 68 erzeugt einen oder mehrere Berichte 90, basierend auf den verarbeiteten Daten. Zum Beispiel erzeugt das Ausgabeerzeugungsmodul 68 einen grafischen Bericht wie eine Karte, welche Identifizierungen einschließt (nämlich Bezugspunkte oder andere Identifizierungen) von den globalen Punkten von Interesse 87 oder den globalen Objekten von Interesse 80. In einem anderen Beispiel erzeugt das Ausgabeerzeugungsmodul 68 einen textartigen und/oder Datenbericht, welcher die Frequenzen 82 und/oder andere Kennzeichen 84–88 umfasst.
In verschiedenen Ausführungsformen kann der Datenbericht zurück zu dem Fahrzeug 10 kommuniziert werden und das Fahrzeug 10 kann die Daten von dem Datenbericht verwenden (z.B. als Wahrscheinlichkeiten oder Gewichtungen), um zukünftige Punkte von Interesse und/oder Objekte von Interesse zu bestimmen. In verschiedenen Ausführungsformen können die Kenngrößen weiterhin mit oder ohne Daten verarbeitet werden (z.B. andere Daten, die von dem Fahrzeug oder von Gegenständen empfangen werden), um Berichte von Wahrscheinlichkeiten des Verfolgens anderer Aktionen zu erzeugen, welche sich auf eine Aufmerksamkeit beziehen, die einem besonderen Objekt gewidmet wird. Derartige Aktionen können einschließen, sind aber nicht begrenzt auf, ein Ankauf von Gegenständen, die in Anzeigen gezeigt werden, ein Fahren zu einem besonderen Ziel, andere Ereignisse. In verschiedenen Ausführungsformen können die Kenngrößen mit anderen Daten verarbeitet werden, um Berichte des Straßenbedingungen zu erzeugen, die ein Potential zum Ablenken von Fahrern aufweisen, das die Fahrer veranlasst einen Fokus zu verlieren. Diese Berichte können zu den Business-Einrichtungen, wie Straßenautoritäten, kommuniziert werden und/oder können zurück zum Fahrzeug 10 kommuniziert werden, um die Fahrzeugsteuerung während der Straßenbedingung zu verbessern.
Nun auf die 5–6 Bezug nehmend und mit fortgesetzter Bezugnahme auf die 1–4 werden Flussdiagramme gezeigt, die Aufmerksamkeitsbestimmungsverfahren und Aufmerksamkeitsleitverfahren darstellen, welche durch die Submodule des Aufmerksamkeitsbestimmungsmodul 18 gemäß unterschiedlicher Ausführungsformen ausgeführt werden können. Wie im Licht der Offenbarung anerkannt werden kann, ist die Reihenfolge der Vorgänge innerhalb der Verfahren nicht auf die sequenzielle Ausführung, wie in den 5–6 dargestellt, beschränkt, sondern kann in einer oder mehreren unterschiedlichen Reihenfolgen anwendbar und gemäß der vorliegenden Offenbarung ausgeführt werden. Wie ferner anerkannt werden kann, können ein oder mehrere Schritte der Verfahren hinzugefügt oder weggelassen werden, ohne den Sinn des Verfahrens zu ändern.
Mit besonderer Bezugnahme auf 5 wird ein Flussdiagramm beispielhafter Reihenfolgen von Schritten eines Verfahrens 100 für ein Bestimmen einer Fahreraufmerksamkeit gemäß beispielhaften Ausführungsformen dargestellt. Das Verfahren kann mit 105 beginnen. Die Fahrzeugpositionsdaten 40, welche die Fahrzeugposition in absoluten Koordinaten anzeigen, werden bei 110 empfangen. Die Fahrzeugausrichtungsdaten 44, welche die Fahrzeugausrichtung in absoluten Koordinaten anzeigen, werden bei 120 empfangen. Die Blickrichtungsdaten 42, welche die Blickrichtung in Fahrzeugkoordinaten anzeigen, werden bei 130 empfangen. Basierend auf der Fahrzeugposition, der Fahrzeugausrichtung und der Blickrichtung wird der Blickvektor 46 in absoluten Koordinaten (z.B. wie oben erörtert oder gemäß anderen Verfahren) berechnet und bei 140 gespeichert.
Wenn, bei 150, Einschaltbedingungen nicht für ein Bearbeiten der Blickvektoren zutreffen (z.B. eine bestimmte Anzahl von Blickvektoren wurde nicht in einer bestimmten Zeitspanne gespeichert oder eine andere Einschaltbedingung), kann das Verfahren bei 230 enden. Wenn Einschaltbedingungen jedoch für das Verarbeiten der Blickvektoren bei 150 zutreffen, werden die Blickvektoren 48 bei 160–220 verarbeitet.
Zum Beispiel werden die Blickvektoren 48, die mit einer Zeitspanne assoziiert sind, von dem Blickvektordatenspeicher 36 bei 160 zurückgewonnen. Es wird bei 170 festgestellt, ob sich x oder mehr Blickvektoren in der Zeitspanne kreuzen. Wenn sich x oder mehr Blickvektoren in der Zeitspanne nicht kreuzen, kann das Verfahren bei 230 enden. Wenn sich jedoch bei 170 x oder mehr Blickvektoren in der Zeitspanne kreuzen, wird bei 180 der Punkt von Interesse auf den Punkt des Schnittpunktes gesetzt. Die Karte für den Punkt von Interesse wird von dem Objektkarten-Datenspeicher 28 bei 190 zurückgewonnen. Wenn bei 200 ein Objekt von Interesse durch die Karte bestimmt wird, werden die Aufmerksamkeitsdaten 52, einschließlich des Insassenidentifizierers (falls mehrere Insassen), der Fahrzeugidentifikationsdaten, der Daten des Punktes von Interesse, der Zeitdaten und der Daten des Objekts von Interesse, erzeugt und bei 210 gespeichert. Danach endet das Verfahren bei 230. Wenn ein Objekt von Interesse jedoch nicht durch die Karte bei 200 festgestellt wird, werden die Aufmerksamkeitsdaten 52, einschließlich des Insassenidentifizierers (falls mehrere Insassen), der Fahrzeugidentifikationsdaten, der Daten des Punktes von Interesse und der Zeitdaten, erzeugt bei 220 gespeichert. Danach endet das Verfahren bei 230.
Mit besonderer Bezugnahme auf 6, illustriert ein Flussdiagramm beispielhafte Reihenfolgen von Schritten eines Verfahrens 300 für ein Ausrichten einer Aufmerksamkeit eines Fahrers gemäß beispielhaften Ausführungsformen. Wie anzuerkennen ist, kann das Verfahren in einer Anzahl von Szenarien verwendet werden, um die Aufmerksamkeit eines Fahrers zu lenken bzw. auszurichten. Zum Beispiel kann das Verfahren in einem Navigationssystem verwendet werden, um die Aufmerksamkeit des Fahrers auf Verkehrszeichen, eine nächste Kurve oder eine Ausfahrt zu richten. In anderen Beispielen kann das Verfahren für ein Anzeigesystem verwendet werden, um die Aufmerksamkeit des Fahrers auf eine besondere aufkommende Plakatwandanzeige zu lenken.
Das Verfahren kann mit 305 beginnen. Die Fahrzeugpositionsdaten 56, welche eine gegenwärtige Position des Fahrzeugs 10 anzeigen, werden bei 310 empfangen. Die Objektdaten 58 werden von dem Objektkarten-Datenspeicher 28 bei 320 zurückgewonnen. Es wird bei 330 bestimmt, ob ein gewünschtes Objekt von Interesse auf oder nahe der Position des Fahrzeugs 10 lokalisiert ist. Die Attraktivität des Objekts von Interesse kann von der Art des Systems abhängen, welches das Verfahren durchführt. Wenn zum Beispiel das Navigationssystem das Verfahren durchführt, kann das gewünschte Objekt von Interesse eine nächste Ausfahrt auf der Navigationsroute sein.
Falls das gewünschte Objekt von Interesse nicht auf oder nahe der Position des Fahrzeugs bei 330 lokalisiert ist, kann das Verfahren bei 380 enden. Wenn das gewünschte Objekt von Interesse jedoch auf oder nahe der Position des Fahrzeugs 10 bei 330 lokalisiert ist, werden Benachrichtigungsdaten 60 selektiv bei 340–370 erzeugt. Zum Beispiel werden die Aufmerksamkeitsdaten 52 bei 340 empfangen und es wird bestimmt, ob die Aufmerksamkeitsdaten 52 anzeigen, dass der Punkt von Interesse des Fahrers zu dieser Zeit dort oder nahe der Position des gewünschten Objekts von Interesse bei 350 ist. Wenn bei 350 der Punkt von Interesse auf oder nahe der Position des gewünschten Objekts von Interesse ist, werden keine Ausrichtungsbenachrichtigungsdaten 60 erzeugt und das Verfahren kann bei 380 enden (z.B. wenn bestimmt wird, dass die Aufmerksamkeit des Fahrers bereits auf dem gewünschten Objekt von Interesse liegt). Wenn der Punkt von Interesse jedoch nicht auf oder nahe der Position des gewünschten Objekts von Interesse bei 350 liegt, werden Ausrichtungsbenachrichtigungsdaten 60 bei 360 erzeugt und der Fahrer über das Aufmerksamkeitsleitsystem 14 bei 370 benachrichtigt. Danach kann das Verfahren bei 280 enden.
Mit Bezugnahme auf 7 und mit fortgesetzter Bezugnahme auf die 1–4 zeigt ein Flussdiagramm mit beispielhafte Reihenfolgen von Schritten eines Verfahrens 400 zum Verarbeiten von Aufmerksamkeitsdaten 54a–54n und das kann durch das globale Aufmerksamkeitsverarbeitungssystem 16 gemäß beispielhafter Ausführungsformen ausgeführt werden. Das Verfahren kann bei 405 beginnen. Die Aufmerksamkeitsdaten 54a für ein besonderes Fahrzeug 10a werden bei 410 empfangen. Die Aufmerksamkeitsdaten 54a werden selektiv in einem globalen Aufmerksamkeitsdaten-Datenspeicher 64 bei 420 gespeichert, basierend auf dem Fahrzeugidentifizierer 70, dem Punkt von Interesse 74, der Zeit 72 und/oder dem Objekt von Interesse 76.
Es wird bestimmt, ob die Einschaltbedingungen für die Verarbeitung der Aufmerksamkeitsdaten des globalen Aufmerksamkeitsdaten-Datenspeicher 64 bei 430 zutreffen. Wenn die Einschaltbedingungen bei 430 nicht zutreffen, kann das Verfahren bei 470 enden. Wenn die Einschaltbedingungen bei 430 jedoch zutreffen, werden die gespeicherten Aufmerksamkeitsdaten unter Verwenden von einem oder mehreren Verarbeitungsverfahren (z.B. Frequenzverarbeiten, Verarbeiten von globalen Objekten von Interesse, Verarbeiten von globalen Punkten von Interesse, usw.) bei 440 verarbeitet und es wird ein Bericht der Ergebnisse in grafischem Format, textartigem Format und/oder Datenformat bei 450 erzeugt. Der Bericht wird dann zum Gebrauch zu einem Fahrzeug oder zu einem anderen Objekt kommuniziert, abhängig von der Art der Verarbeitung, die bei 460 ausgeführt wird. Danach kann das Verfahren bei 470 enden.
Wie anerkannt werden kann, können die offenbarten Verfahren und Systeme von den in den Figuren gezeigten und hierin beschriebenen Systemen abweichen. Beispielsweise kann, wie oben erwähnt, das Fahrzeug 10 der 1 und die Module der 2 und 4 und/oder die Abschnitte und/oder die Komponenten davon variieren und/oder können vollständig oder in Teilen in einer oder mehreren einer Anzahl von unterschiedlichen Fahrzeugeinheiten, Geräten und/oder Systemen in bestimmten Ausführungsformen angeordnet sein. Zusätzlich wird anerkannt werden, dass bestimmte Schritte der Verfahren 100, 300 und 400 von denen, die in den 5–7 dargestellt und/oder oben in Verbindung damit beschrieben werden, variieren können. Es wird in ähnlicher Weise anerkannt werden, dass bestimmte Schritte der Verfahren 100, 300 und 400 gleichzeitig oder in unterschiedlicher Reihenfolge auftreten können, als sie in den 5–7 gezeigt und/oder oben in Verbindung damit beschrieben werden.
Beispiele.
Beispiel 1.
Ein Verfahren zum Erfassen einer Aufmerksamkeit eines Insassen eines Fahrzeugs, umfassend:
Berechnen, durch einen Prozessor, einen ersten Blickvektor in einem dreidimensionalen Raum, basierend auf einer ersten Fahrzeugposition, einer ersten Fahrzeugausrichtung und einer ersten Blickrichtung;
Berechnen, durch einen Prozessor, einen zweiten Blickvektor in einem dreidimensionalen Raum, basierend auf einer zweiten Fahrzeugposition, einer zweiten Fahrzeugausrichtung und einer zweiten Blickrichtung; und
Bestimmen der Aufmerksamkeit des Insassen basierend auf dem ersten Blickvektor und dem zweiten Blickvektor.
Beispiel 2.
Das Verfahren nach Beispiel 1, wobei der dreidimensionale Raum außerhalb des Fahrzeugs ist.
Beispiel 3.
Das Verfahren nach Beispiel 1 oder 2, weiterhin umfassend:
Bestimmen eines Punktes von Interesse basierend auf dem ersten Blickvektor und dem zweiten Blickvektor; und
wobei das Bestimmen der Aufmerksamkeit des Insassen auf dem Punkt von Interesse basiert.
Beispiel 4.
Das Verfahren nach Beispiel 3, weiterhin umfassend:
Bestimmen eines Schnittstellenpunktes des ersten Blickvektors und des zweiten Blickvektors; und
wobei das Bestimmen des Punktes von Interesse auf dem Schnittstellenpunkt basiert.
Beispiel 5.
Das Verfahren nach Beispiel 3, weiterhin umfassend:
Zurückgewinnen von Objektdaten von einem Datenspeicher basierend auf dem Punkt von Interesse;
Definieren eines Objekts von Interesse basierend auf den Objektdaten; und
wobei das Bestimmen der Aufmerksamkeit des Insassen auf dem Objekt des Interesses basiert.
Beispiel 6.
Das Verfahren nach Beispiel 2, weiterhin umfassend:
Vergleichen des Punktes von Interesse mit einer Position eines gewünschten Objekts; und
Erzeugen von Benachrichtigungsdaten, um die Aufmerksamkeit des Insassen auf das gewünschte Objekt zu richten, wenn der Punkt von Interesse nicht der gleiche ist wie die Position des gewünschten Objekts.
Beispiel 7.
Das Verfahren nach Beispiel 6, wobei das gewünschte Objekt von einem Fahrzeugsystem empfangen wird.
Beispiel 8.
Das Verfahren nach Beispiel 7, wobei das Fahrzeugssystem ein Navigationssystem ist.
Beispiel 9.
Das Verfahren nach Beispiel 6, wobei das gewünschte Objekt auf einer Karte des gewünschten Objekts basiert, welche zu dem Fahrzeug kommuniziert wird.
Beispiel 10.
Das Verfahren nach Beispiel 6, wobei die Benachrichtigungsdaten wenigstens ein Gerät von einem Audiogerät, einem Anzeigebildschirm, einem haptischen Gerät, einen Heads-up-Gerät, einem Licht oder einem Telefon aktivieren.
Beispiel 11.
Das Verfahren nach einem der Beispiele 1–10, weiterhin umfassend:
Kommunizieren der Informationen über die Aufmerksamkeit des Insassen zu einem globalen Aufmerksamkeitsverarbeitungssystem.
Beispiel 12.
Das Verfahren nach Beispiel 11, wobei die Informationen wenigstens eines von einem Fahrzeugidentifizierer oder einem Insassenidentifizierer aufweisen.
Beispiel 13.
Das Verfahren nach Beispiel 11, wobei die Informationen kontextbezogene Daten, die mit der Aufmerksamkeit des Fahrers assoziiert sind, umfassen.
Beispiel 14.
Das Verfahren nach Beispiel 11, wobei die Informationen wenigstens einen Punkt oder ein Objekt von Interesse umfassen.
Beispiel 15.
Das Verfahren nach einem der Beispiele 1–14, wobei die erste Fahrzeugposition und die erste Fahrzeugausrichtung einem absoluten Koordinatensystem entsprechen,
wobei die erste Blickrichtung gemäße einem Fahrzeugkoordinatensystem ist,
wobei das Berechnen auf einem Koordinatentransformationsverfahren basiert, welches das Fahrzeugkoordinatensystem zu dem absoluten Koordinatensystem transformiert,
wobei die zweite Fahrzeugposition und die zweite Fahrzeugausrichtung einem absoluten Koordinatensystem entsprechen,
wobei die zweite Blickrichtung dem Fahrzeugkoordinatensystem entspricht, und
wobei das Berechnen auf dem Koordinatentransformationssystem basiert, welches die Fahrzeugkoordinaten zu dem absoluten Koordinatensystem transformiert.
Beispiel 16.
Das Verfahren nach Beispiel 15, weiterhin umfassend:
Bestimmen eines Schnittpunktes des ersten Blickvektors und des zweiten Blickvektors, und
wobei das Bestimmen des Punktes von Interesse auf dem Schnittpunkt basiert.
Beispiel 17.
Ein System zum Erfassen einer Aufmerksamkeit eines Insassen eines Fahrzeugs, umfassend:
ein erstes Modul, das einen ersten Blickvektor in einem dreidimensionalen Raum basierend auf einer ersten Fahrzeugposition, einer ersten Fahrzeugausrichtung und einer ersten Blickrichtung berechnet, und das einen zweiten Blickvektor in dem dreidimensionalen Raum basierend auf einer zweiten Fahrzeugposition, einer zweiten Fahrzeugausrichtung und einer zweiten Blickrichtung berechnet; und
ein zweites Modul, das die Aufmerksamkeit des Insassen basierend auf der ersten Blickrichtung und auf der zweiten Blickrichtung bestimmt.
Beispiel 18.
Das System nach Beispiel 17, wobei das zweite Modul die Aufmerksamkeit des Insassen basierend auf einem Schnittpunkt des ersten Blickvektors und des zweiten Blickvektors bestimmt.
Beispiel 19.
Das System nach Beispiel 18, weiterhin umfassend:
ein drittes Modul, das Objektdaten von einem Datenspeicher basierend auf dem Punkt von Interesse zurückgewinnt und das ein Objekt von Interesse basierend auf den Objektdaten definiert, und
wobei das zweite Modul die Aufmerksamkeit des Insassen basierend auf dem Objekt von Interesse bestimmt.
Beispiel 20.
Das System nach Beispiel 19, weiterhin umfassend:
ein viertes Modul, das den Punkt von Interesse mit einer Position von einem gewünschten Objekt vergleicht und das Mitteilungsdaten erzeugt, um die Aufmerksamkeit des Insassen auf das gewünschte Objekt zu richten, wenn der Punkt von Interesse nicht der gleiche ist wie die Position des gewünschten Objekts.
Während mindestens eine beispielhafte Ausführungsform in der vorhergehenden detaillierten Beschreibung dargestellt wurde, sollte anerkannt werden, dass eine riesige Anzahl von Variationen existiert. Es sollte auch anerkannt werden, dass die beispielhafte Ausführungsform oder die beispielhaften Ausführungsformen nur Beispiele sind und es nicht beabsichtigt ist, den Schutzumfang, die Anwendbarkeit oder die Konfiguration der Offenbarung in irgendeiner Weise zu begrenzen. Vielmehr wird die vorhergehende detaillierte Beschreibung dem Fachmann der Technik einen bequemen Plan zum Ausführen der beispielhaften Ausführungsform oder beispielhaften Ausführungsformen bereitstellen. Es sollte verständlich sein, dass verschiedene Änderungen in der Funktion und Anordnung der Elemente durchgeführt werden können, ohne von dem Schutzumfang der Offenbarung, wie sie in den anhängenden Ansprüchen und den legalen Äquivalenzen davon offenbart werden, abzuweichen.

Claims

Verfahren zum Erfassen einer Aufmerksamkeit eines Insassen eines Fahrzeugs, umfassend: – Berechnen, durch einen Prozessor, einen ersten Blickvektor in einem dreidimensionalen Raum, basierend auf einer ersten Fahrzeugposition, einer ersten Fahrzeugausrichtung und einer ersten Blickrichtung; – Berechnen, durch einen Prozessor, einen zweiten Blickvektor in dem dreidimensionalen Raum, basierend auf einer zweiten Fahrzeugposition, einer zweiten Fahrzeugausrichtung und einer zweiten Blickrichtung; und – Bestimmen der Aufmerksamkeit des Insassen basierend auf dem ersten Blickvektor und dem zweiten Blickvektor.
Verfahren nach Anspruch 1, wobei der dreidimensionale Raum außerhalb des Fahrzeugs ist.
Verfahren nach Anspruch 1 oder 2, weiterhin umfassend: – Bestimmen eines Punktes von Interesse basierend auf dem ersten Blickvektor und dem zweiten Blickvektor; und – wobei das Bestimmen der Aufmerksamkeit des Insassen auf dem Punkt von Interesse basiert.
Verfahren nach Anspruch 3, weiterhin umfassend: – Bestimmen eines Schnittstellenpunktes des ersten Blickvektors und des zweiten Blickvektors; und – wobei das Bestimmen des Punktes von Interesse auf dem Schnittstellenpunkt basiert.
Verfahren nach Anspruch 3, weiterhin umfassend: – Zurückgewinnen von Objektdaten von einem Datenspeicher basierend auf dem Punkt von Interesse; – Definieren eines Objekts von Interesse basierend auf den Objektdaten; und – wobei das Bestimmen der Aufmerksamkeit des Insassen auf dem Objekt des Interesses basiert.
Verfahren nach Anspruch 2, weiterhin umfassend: – Vergleichen des Punktes von Interesse mit einer Position eines gewünschten Objekts; und – Erzeugen von Benachrichtigungsdaten, um die Aufmerksamkeit des Insassen auf das gewünschte Objekt zu richten, wenn der Punkt von Interesse nicht der gleiche ist wie die Position des gewünschten Objekts.
Verfahren nach Anspruch 6, wobei das gewünschte Objekt von einem Fahrzeugsystem empfangen wird und das Fahrzeugsystem ein Navigationssystem ist.
Verfahren nach Anspruch 6, wobei das gewünschte Objekt auf einer Karte des gewünschten Objekts basiert, welche zu dem Fahrzeug kommuniziert wird.
Verfahren nach Anspruch 6, wobei die Benachrichtigungsdaten wenigstens ein Gerät von einem Audiogerät, einem Anzeigebildschirm, einem haptischen Gerät, einen Heads-up-Gerät, einem Licht oder einem Telefon aktivieren.
Verfahren nach einem der Ansprüche 1–9, weiterhin umfassend: – Kommunizieren der Informationen über die Aufmerksamkeit des Insassen zu einem globalen Aufmerksamkeitsverarbeitungssystem.