DE102010037169A1

DE102010037169A1 - Uneingeschränktes räumlich ausgerichtetes Blickfeld-Darstellungsgerät

Info

Publication number: DE102010037169A1
Application number: DE102010037169A
Authority: DE
Inventors: Erez Berkovich; Gad Lifschuetz
Original assignee: Rafael Advanced Defense Systems Ltd
Current assignee: Rafael Advanced Defense Systems Ltd
Priority date: 2009-08-27
Filing date: 2010-08-25
Publication date: 2011-05-05
Also published as: US8467598B2; IL200627A0; US20110052009A1; IL200627A

Abstract

Ein System, das einem Benutzer, der eine Szene durch ein Display betrachtet, ein räumlich ausgerichtetes Head-up Display bietet, wobei das System Folgendes umfasst: ein Bilderfassungssystem, das mindestens einen Bilderfassungssensor umfasst, der für die Aufnahme von Bildern vom Gesicht des Benutzers eingesetzt wird, wobei das genannte Bilderfassungssystem Daten generiert, die mindestens teilweise von den genannten Bildern abgeleitet werden; ein Display, das für den Benutzer der Szene überlagernde Sichtanzeigen anzeigt; und ein Steuerungssystem, das dem Bilderfassungssystem und dem Display zugeordnet ist und dazu konfiguriert ist, Daten aus dem genannten Bilderfassungssystem zu verarbeiten, um Position und Haltung des Gesichts des Benutzers zu bestimmen, eine Blickrichtung von mindestens einem Auge des Benutzers auf einen Point of Interest innerhalb der Szene zu bestimmen; und das Display anzusteuern, um eine an der Blickrichtung ausgerichtete Sichtanzeige anzuzeigen, die dem Benutzer ein räumlich ausgerichtetes Head-up Display bietet.

Description

Die vorliegende Erfindung bezieht sich auf Blickfeld-Darstellungsgeräte <nachstehend in dieser Übersetzung als „Head-up Displays” bezeichnet> und insbesondere auf ein Head-up Display, das räumlich auf die reale Welt ausgerichtet ist für einen Benutzer, der eine Szene durch ein Fenster sieht.
Im Bereich der Militärluftfahrt ist die Ausstattung eines Piloten mit einem Head-up Display (HUD) bekannt. Bei einem HUD handelt es sich um ein transparentes Display, durch das der Pilot die reale Welt sehen kann, das ihm aber gleichzeitig zusätzliche Informationen liefern kann, die der realen Szene überlagert werden. Das HUD kann ein Cockpit-Gerät sein – in diesem Fall deckt es im Allgemeinen ein begrenztes vorwärts gerichtetes Blickfeld ab – oder ein Helm, wobei es in diesem Fall als Helmdisplay <Helmet-Mounted Display> (HMD) bezeichnet wird.
In bestimmten Fällen kann ein einfaches HUD-System nur Daten darstellen, wie den Status verschiedener Flugzeuginstrumente, wobei der Standort der Daten im Blickfeld nicht kritisch ist. Relevanter bezüglich der vorliegenden Erfindung sind räumlich ausgerichtete HUDs, bei denen das Display verschiedene Symbole oder andere Informationen bietet, die räumlich so ausgerichtet sind, dass sie einem entsprechenden Objekt oder Point of Interest in der vom Piloten betrachteten Szene überlagert erscheinen oder auf andere Weise auf dieses bzw. diesen ausgerichtet sind. Damit kann das System den Blick des Benutzers in eine spezifische Richtung lenken, um zum Beispiel ein an der Grenze des Blickfelds ankommendes Ziel zu identifizieren, oder um zu spezifizieren, welches Objekt aktuell von einem Waffensystem verfolgt wird.
Die Umsetzung eines räumlich ausgerichteten HUD ist im Allgemeinen aus zwei Gründen sehr komplex. Erstens wird komplexe Hardware verwendet, um die genaue Position und Haltung des Kopfes des Benutzers zu messen, um die Ausrichtung des HUD auf die reale Welt, wie der Benutzer sie sieht, zu bestimmen. Die Kopfposition wird im Allgemeinen durch Verfolgen der Position des Helms des Benutzers innerhalb des Cockpits entweder durch ein magnetisches Trackingsystem oder durch optisches Tracking von am Helm befestigten Markern gemessen. Im Vorfeld sind Kalibrierungsprozesse nötig, um die Position der Augen des Benutzers mit Hilfe der Trackingdaten des Helms zu bestimmen.
Ein zweiter Grund für die Komplexität von HUD-Systemen ist der Einsatz von kollimierten Optiken im Display selbst. Damit der Displayinhalt im Fokus erscheint, während der Benutzer eine weiter entfernte Szene betrachtet, verwenden HUD oder HMD-Systeme im Allgemeinen eine optische Anordnung, die die Displayinformationen und -Symbole im Unendlichen erscheinen lässt, auch bekannt als kollimierte Optik. Dies erhöht Komplexität und Gewicht des Displays erheblich und begrenzt im Allgemeinen die Anzahl der verfügbaren Blickwinkel. Jedes HUD kann im Allgemeinen nur von einer einzigen Person zu derselben Zeit verwendet werden, so dass das System für jeden Benutzer zur Verfügung gestellt werden muss.
Aufgrund dieser Komplexität und der damit verbundenen Kosten war der Einsatz von HUDs bisher generell auf die Militärluftfahrt und auf komplexe Augmented Reality-Systeme beschränkt. Ferner schließt die Notwendigkeit eines Helms als Teil des Kopf-Trackingsystems den Einsatz der HUD-Technologie für verschiedene andere Anwendungen aus.
Nebenbei bemerkt ist zu beachten, dass es in der Fachliteratur zahlreiche Verweise auf Head-up Displays im Zusammenhang mit der Automobilinstrumentierung gibt. Bei diesen HUD-Systemen handelt es sich jedoch im Allgemeinen nicht um räumlich ausgerichtete Displays, wie vorstehend definiert. Techniken wie das Peter Kleinschmidt erteilte US-Patent Nummer 6750832 Information display system for at least one Person <Informations-Display-System für mindestens eine Person> lehren Bildverarbeitung zur Gesichtserkennung und Approximation der Blickrichtung in einem Fahrzeug. Diese Technik lehrt die Ablenkung eines Beleuchtungsstrahlengangs ins Blickfeld des Beobachters zur Anzeige von Fahrzeuginformationen oder von Informationen, die vom Benutzer über ein benutzergeführtes Eingabegerät angefordert werden. Die Veröffentlichung Nr. US 2007-0262971 A1 , erteilt an Stefan Hahn, Ulm (DE) für Method and Device for Operating an Optical Display Device <Verfahren und Gerät zur Bedienung eines optischen Anzeigegeräts> lehrt eine Technik zur Identifizierung der allgemeinen Blickrichtung eines Fahrers und Anpassung des Displays zur Anzeige von Fahrzeuginformationen an diesen Blick.
Wie vorstehend erwähnt handelt es sich jedoch bei diesen HUD-Systemen nicht um räumlich ausgerichtete Displays, wie vorstehend definiert.
Es besteht daher Bedarf an einem räumlich ausgerichteten Head-up Display, das eine einfachere und preiswertere Lösung darstellt und von mehreren Benutzern verwendet werden kann. Es ist wünschenswert, dass Benutzer nicht durch Ausrüstungen (wie z. B. Helme) eingeschränkt werden und eine Kalibrierung des Benutzers auf das System vor der Benutzung nicht erforderlich ist.
ZUSAMMENFASSUNG DER ERFINDUNG
Gemäß der Lehre der vorliegenden Ausführungsform wird ein System vorgestellt, das einem Benutzer, der eine Szene durch ein Display betrachtet, ein räumlich ausgerichtetes Head-up Display bietet, wobei das System Folgendes umfasst: ein Bilderfassungssystem mit mindestens einem Bildsensor, der dazu dient, Bilder vom Gesicht des Benutzers aufzunehmen, wobei das Bilderfassungssystem Daten generiert, die zumindest teilweise aus den Bildern abgeleitet werden; ein Display zur Darstellung von die Szene überlagerten Sichtanzeigen für den Benutzer; und ein dem Bilderfassungssystem und dem Display zugeordnetes Steuerungssystem, das mindestens einen Prozessor umfasst und dazu konfiguriert ist, Daten aus dem Bilderfassungssystem zu verarbeiten, um Position und Haltung des Gesichts des Benutzers zu bestimmen, eine Blickrichtung mindestens eines Auges des Benutzers auf einen Point of Interest innerhalb der Szene zu bestimmen und das Display so anzusteuern, dass eine an der Blickrichtung ausgerichtete Sichtanzeige erscheint, die dem Benutzer ein räumlich ausgerichtetes Head-up Display bietet.
Bei einer optionalen Ausführung ist das Steuerungssystem dazu konfiguriert, die Daten zu verarbeiten, um ein dreidimensionales Modell von mindestens einem Teil des Gesichts des Benutzers abzuleiten, wobei das dreidimensionale Modell dazu verwendet wird, Position und Haltung des Gesichts des Benutzers zu bestimmen. Bei einer anderen optionalen Ausführung umfasst das Bilderfassungssystem mindestens zwei der Bildsensoren, die dazu verwendet werden, Bilder vom Gesicht des Benutzers aus verschiedenen Blickwinkeln aufzunehmen, um Stereo-Bildpaare zu generieren, und wobei das dreidimensionale Modell von mindestens einem Teil des Gesichts des Benutzers mindestens teilweise von den Stereo-Bildpaaren abgeleitet wird. Bei einer anderen optionalen Ausführung wird das dreidimensionale Modell von mindestens einem Teil des Gesichts des Benutzers zumindest teilweise von Bildern abgeleitet, die sequentiell von einem einzelnen Bildsensor aufgenommen wurden. Bei einer anderen optionalen Ausführung wird das dreidimensionale Modell von mindestens einem Teil des Gesichts des Benutzers mindestens teilweise durch Verarbeiten von mindestens einer Bildaufnahme zusammen mit einer vordefinierten Vorlage von Gesichtszügen abgeleitet. Bei einer anderen optionalen Ausführung handelt es sich bei dem Bildsensor um einen Tiefenabfrage-Bildsensor. Bei einer anderen optionalen Ausführung ist das dreidimensionale Modell von mindestens einem Teil des Gesichts des Benutzers im Steuerungssystem gespeichert, wobei das Steuerungssystem dazu konfiguriert wird, das gespeicherte dreidimensionale Modell von mindestens einem Teil des Gesichts des Benutzers zur Bestimmung von Position und Haltung des Gesichts des Benutzers zu verwenden. Bei einer anderen optionalen Ausführung handelt es sich bei dem Display um ein nicht kollimiertes Display, das einer Fensterfläche zugeordnet ist.
Bei einer anderen optionalen Ausführung besteht die Sichtanzeige aus einem ersten Teil der Sichtanzeige, der in einer ersten Position dargestellt wird, die an der Blickrichtung eines ersten Auges des Benutzers auf einen Point of Interest in der Szene ausgerichtet ist, und einem zweiten Teil der Sichtanzeige, der in einer zweiten Position angezeigt wird, die an der Blickrichtung eines zweiten Auges des Benutzers auf den Point of Interest in der Szene ausgerichtet ist, so dass der erste Teil der Sichtanzeige und der zweite Teil der Sichtanzeige die vom Benutzer wahrgenommene Sicht verbindet, um den Point of Interest anzuzeigen. Bei einer anderen optionalen Ausführung ist das Steuerungssystem so konfiguriert, dass die Daten zur Bestimmung von Position und Haltung einer Vielzahl von Gesichtern verarbeitet werden und das Display angesteuert werden kann, um Sichtanzeigen in einer entsprechenden Vielzahl von Positionen zum Fenster darzustellen, wobei jede der Sichtanzeigen an der Blickrichtung eines entsprechenden Gesichts ausgerichtet ist.
Bei einer anderen optionalen Ausführung ist das Steuerungssystem dazu konfiguriert, die Darstellung einer Anzahl von Sichtanzeigen gemäß einer Anzahl der aktuell erkannten Gesichter dynamisch zu verändern.
Bei einer optionalen Ausführung ist das System einem Landfahrzeug und das Display einem Fenster des Fahrzeugs zugeordnet, wobei das System weiterhin Folgendes umfasst: ein dem Steuerungssystem zugeordnetes Geopositionierungsgerät, das zur Verfolgung einer geografischen Position des Fahrzeugs eingesetzt wird, sowie eine geografische Datenbank, die im Einsatz mit dem Steuerungssystem verbunden ist und Standortinformationen über eine Vielzahl von Points of Interest enthält. Bei einer anderen optionalen Ausführung ist das Steuerungssystem zusätzlich dazu konfiguriert, Daten aus dem Geopositionierungsgerät und aus der geografischen Datenbank zu verwenden, um gestützt auf die aktuelle Position und Haltung des Gesichts des Benutzers eine Teilmenge von Points of Interest, die aktuell für den Benutzer sichtbar sind, zu bestimmen.
Bei einer optionalen Ausführung umfasst das System zusätzlich ein Schattierungssystem, und das Steuerungssystem ist zusätzlich dazu konfiguriert, die vom Gesicht eines Benutzers bis zu einem Strahlungspunkt verlaufende Sichtlinie zu bestimmen und das Schattierungssystem anzusteuern, um eine Schattierung entlang der Sichtlinie zu bewirken. Bei einer optionalen Ausführung ist das Steuerungssystem zusätzlich dazu konfiguriert, eine vom Gesicht eines Benutzers bis zu einem Strahlungspunkt verlaufende Sichtlinie zu bestimmen und das Anzeigesystem anzusteuern, um eine Schattierung entlang der Sichtlinie zu bewirken.
Bei einer optionalen Ausführung ist das System zusätzlich dazu konfiguriert, eine Sichtanzeige auf einem einzelnen nicht kollimierten Display dynamisch zu verändern, wobei das Display ein räumlich ausgerichtetes Head-up Display darstellt, so dass ein Benutzer, der binokular durch das Display ein Objekt betrachtet, eine optische Anzeige wahrnimmt, die auf das Objekt hinweist, und wobei das Verfahren die folgenden Schritte umfasst: Berechnung der scheinbaren binokularen Verschiebung des Benutzers im Display zum Objekt sowie dynamisches Verändern der Breite der Sichtanzeige, basierend auf der scheinbaren binokularen Verschiebung.
Gemäß der Lehre der vorliegenden Ausführungsform wird ein Verfahren vorgestellt, das einem Benutzer, der eine Szene durch ein Display betrachtet, ein räumlich ausgerichtetes Head-up Display bietet, wobei das Verfahren folgende Schritte umfasst: Aufnahme von Bildern vom Gesicht des Benutzers, Verarbeitung der Bilder, um eine Position und Haltung vom Gesicht des Benutzers zu bestimmen, Bestimmen der Blickrichtung von mindestens einem Auge des Benutzers auf einen Point of Interest innerhalb der Szene; und Darstellung einer Sichtanzeige in einem Display, die an der Blickrichtung ausgerichtet ist und dem Benutzer ein räumlich ausgerichtetes Head-up Display bietet.
Bei einer optionalen Ausführung wird durch Verarbeitung ein dreidimensionales Modell von mindestens einem Teil des Gesichts des Benutzers abgeleitet, wobei das dreidimensionale Modell dazu dient, Position und Haltung des Gesichts des Benutzers zu bestimmen. Bei einer anderen optionalen Ausführung wird das dreidimensionale Modell von mindestens einem Teil des Gesichts des Benutzers gespeichert, wobei das gespeicherte dreidimensionale Modell von mindestens einem Teil des Gesichts des Benutzers zur Bestimmung von Position und Haltung des Gesichts des Benutzers dient. Bei einer anderen optionalen Ausführung handelt es sich bei dem Display um ein nicht kollimiertes Display, das einer Fensterfläche zugeordnet ist.
Bei einer optionalen Ausführung besteht die Sichtanzeige aus einem ersten Teil der Sichtanzeige, der in einer ersten Position angezeigt wird, die an der Blickrichtung eines ersten Auges des Benutzers auf einen Point of Interest in der Szene ausgerichtet ist, und einem zweiten Teil der Sichtanzeige, der in einer zweiten Position angezeigt wird, die an der Blickrichtung eines zweiten Auges des Benutzers auf den Point of Interest in der Szene ausgerichtet ist, so dass der erste Teil der Sichtanzeige und der zweite Teil der Sichtanzeige sich in der vom Benutzer wahrgenommenen Sicht verbinden, um den Point of Interest anzuzeigen. Bei einer anderen optionalen Ausführung wird durch Verarbeitung Position und Haltung einer Vielzahl von Gesichtern bestimmt, wobei das Display Sichtanzeigen in einer entsprechenden Vielzahl von Positionen zum Fenster darstellt, wobei jede der Sichtanzeigen an der Blickrichtung eines entsprechenden Gesichts ausgerichtet ist.
Bei einer optionalen Ausführung wird eine Anzahl von dargestellten Sichtanzeigen entsprechend einer Anzahl von aktuell erkannten Gesichtern dynamisch verändert.
Bei einer anderen optionalen Ausführung ist das Display einem Fenster eines Landfahrzeugs zugeordnet, wobei die Bestimmung der Blickrichtung folgende Schritte umfasst: Verfolgen einer geografischen Position des Fahrzeugs und Gewinnen von Standortinformationen für den Point of Interest aus einer geografischen Datenbank. Bei einer optionalen Ausführung umfasst das Verfahren die Bestimmung einer Teilmenge von aktuell für den Benutzer sichtbaren Points of Interest aus der geografischen Datenbank, basierend auf der aktuellen Position und Haltung des Gesichts des Benutzers.
Bei einer optionalen Ausführung wird eine vom Gesicht eines Benutzers bis zu einem Strahlungspunkt verlaufende Sichtlinie bestimmt und ein Schattierungssystem angesteuert, um Schattierung entlang der Sichtlinie zu bewirken. Bei einer anderen optionalen Ausführung wird eine vom Gesicht eines Benutzers bis zu einem Strahlungspunkt verlaufende Sichtlinie bestimmt und das Anzeigesystem angesteuert, um Schattierung entlang der Sichtlinie zu bewirken. Bei einer optionalen Ausführung umfasst das Verfahren zusätzlich die dynamische Veränderung einer Sichtanzeige auf einem einzelnen nicht kollimierten Display, wobei das Display ein räumlich ausgerichtetes Head-up Display bietet, so dass ein Benutzer, der binokular durch das Display ein Objekt betrachtet, eine optische Anzeige wahrnimmt, die auf das Objekt hinweist, und wobei das Verfahren die folgenden Schritte umfasst: Berechnung der scheinbaren binokularen Verschiebung des Benutzers im Display zum Objekt sowie dynamisches Verändern der Breite der Sichtanzeige, basierend auf der scheinbaren binokularen Verschiebung.
Gemäß der Lehre der vorliegenden Ausführungsform wird ein Verfahren zur Verwendung eines nicht kollimierten transparenten Displays vorgestellt, um ein vom Benutzer binokular durch das Display betrachtetes Objekt zu bezeichnen, wobei das Verfahren Folgendes umfasst: Darstellung eines ersten Teils einer Sichtanzeige in einer ersten Position im Display, wobei die erste Position zwischen dem ersten Auge des Benutzers und dem Objekt ausgerichtet ist, und Darstellung eines zweiten Teils einer Sichtanzeige in einer zweiten Position im Display, wobei die zweite Position zwischen dem zweiten Auge des Benutzers und dem Objekt ausgerichtet ist.
Gemäß der Lehre der vorliegenden Ausführungsform wird ein System für ein räumlich ausgerichtetes Head-up Display vorgestellt, wobei das System Folgendes umfasst: ein Erkennungssystem zur Bestimmung einer Position und Haltung eines jeden Gesichts einer Vielzahl von Benutzern; ein gemeinsames Display zur Darstellung von Sichtanzeigen für die Vielzahl von die Szene durch das gemeinsame Display betrachtenden Benutzern; sowie ein dem Erkennungssystem und dem gemeinsamen Display zugeordnetes Steuerungssystem, wobei das Steuerungssystem mindestens einen Prozessor umfasst und dazu konfiguriert ist: Daten aus dem Erkennungssystem zu verarbeiten, um eine Position und Haltung vom Gesicht eines jeden Benutzers zu bestimmen, eine Blickrichtung von mindestens einem Auge eines jeden Benutzers auf einen zugeordneten Point of Interest innerhalb einer entsprechenden Szene zu bestimmen und das gemeinsame Display anzusteuern, um eine an der Blickrichtung eines jeden Benutzers ausgerichtete Sichtanzeige darzustellen, die den Benutzern ein räumlich ausgerichtetes Head-up Display bietet. Bei einer optionalen Ausführung handelt es sich bei dem gemeinsamen Display um ein nicht kollimiertes Display mit einer zugeordneten Fensterfläche. Bei einer anderen optionalen Ausführung ist das Steuerungssystem dazu konfiguriert, die Darstellung einer Anzahl von Sichtanzeigen gemäß einer Anzahl der aktuell erkannten Gesichter dynamisch zu verändern. Bei einer anderen optionalen Ausführung ist das Steuerungssystem dazu konfiguriert, eine Vielzahl von Displays anzusteuern, wobei jedes der Displays ein räumlich ausgerichtetes Head-up Display für einen oder mehrere Benutzer bietet.
Gemäß der Lehre der vorliegenden Ausführungsform wird ein Verfahren zur Bereitstellung eines räumlich ausgerichteten Head-up Displays vorgestellt, wobei das Verfahren die folgenden Schritte umfasst: Bestimmung einer Position und Haltung eines jeden Gesichts einer Vielzahl von Benutzern; Bestimmung einer Blickrichtung von mindestens einem Auge eines jeden Benutzers auf einen zugeordneten Point of Interest innerhalb einer entsprechenden Szene; sowie Darstellung einer an einer jeden Blickrichtung ausgerichteten Sichtanzeige, die den Benutzern ein räumlich ausgerichtetes Head-up Display bietet. Bei einer optionalen Ausführung handelt es sich bei dem gemeinsamen Display um ein nicht kollimiertes Display mit einer zugeordneten Fensterfläche. Bei einer anderen optionalen Ausführung ist das Steuerungssystem dazu konfiguriert, die Darstellung einer Anzahl von Sichtanzeigen gemäß einer Anzahl der aktuell erkannten Gesichter dynamisch zu verändern. Bei einer anderen optionalen Ausführung ist das Steuerungssystem dazu konfiguriert, eine Vielzahl von Displays anzusteuern, wobei jedes der Displays ein räumlich ausgerichtetes Head-up Display für einen oder mehrere Benutzer bietet.
Gemäß der Lehre der vorliegenden Ausführungsform wird ein Verfahren vorgestellt, um eine Sichtanzeige auf einem einzelnen nicht kollimierten Display dynamisch zu verändern, wobei das Display ein räumlich ausgerichtetes Head-up Display bietet, so dass ein Benutzer, der ein Objekt binokular durch das Display betrachtet, eine optische Anzeige wahrnimmt, die auf das Objekt hinweist, wobei das Verfahren die folgenden Schritte umfasst: Berechnung der scheinbaren binokularen Verschiebung des Benutzers im Display zum Objekt sowie dynamisches Verändern der Breite der Sichtanzeige, basierend auf der scheinbaren binokularen Verschiebung.
Bei einer optionalen Ausführung wird die Höhe der Sichtanzeige, basierend mindestens auf einem Abstand zwischen Benutzer und Objekt, dynamisch verändert, so dass die wahrgenommene Höhe der optischen Anzeige zum Objekt im Wesentlichen unverändert bleibt. Bei einer optionalen Ausführung wird die Höhe der Sichtanzeige, basierend auf mindestens einem Abstand zwischen Benutzer und Display, dynamisch verändert, so dass die wahrgenommene Höhe der optischen Anzeige zum Benutzer im Wesentlichen unverändert bleibt. Bei einer optionalen Ausführung wird die Sichtanzeige so dargestellt, dass das Objekt in der wahrgenommenen binokularen Sicht des Benutzers von der optischen Anzeige eingerahmt ist. Bei einer optionalen Ausführung wird die Sichtanzeige so dargestellt, dass in der wahrgenommenen Sicht des Benutzers ein Anteil horizontaler Überlappung der Sichtanzeige mit sich selbst aufgrund der scheinbaren binokularen Verschiebung im Wesentlichen konstant bleibt. Bei einer optionalen Ausführung besteht die Sichtanzeige aus einem ersten Teil der Sichtanzeige, der in einer ersten Position angezeigt wird, die an der Blickrichtung eines ersten Auges des Benutzers auf einen Point of Interest in der Szene ausgerichtet ist, und einem zweiten Teil der Sichtanzeige, der in einer zweiten Position angezeigt wird, die an der Blickrichtung eines zweiten Auges des Benutzers auf den Point of Interest in der Szene ausgerichtet ist, sodass der erste Teil der Sichtanzeige und der zweite Teil der Sichtanzeige sich in der vom Benutzer wahrgenommenen Sicht verbinden, um den Point of Interest anzuzeigen.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Die Erfindung wird in diesem Schriftstück nur beispielhaft, mit Verweisen auf die Begleitzeichnungen, beschrieben:
stellt eine Zeichnung eines Systems zur Bereitstellung eines räumlich auf die reale Welt ausgerichteten Head-up Displays für einen Benutzer dar, der eine Szene durch ein Display sieht.
stellt ein Ablaufdiagramm eines Verfahrens zur Bereitstellung eines räumlich auf die reale Welt ausgerichteten Head-up Displays für einen Benutzer dar, der eine Szene durch ein Display sieht.
stellt eine Zeichnung eines Blicks eines Benutzers von den Augen des Benutzers durch ein Display auf einen Point of Interest auf der anderen Seite des Displays dar.
stellt eine Zeichnung eines Blicks von den Augen eines Benutzers durch einen gemeinsamen Bereich in einem Display auf einen Point of Interest auf der anderen Seite des Displays dar.
stellt eine bildliche Darstellung der versetzten Sicht dar, die vom jeweiligen Auge eines Benutzers beim Blick durch einen gemeinsamen Bereich in einem Display auf einen in der Ferne liegenden Point of Interest wahrgenommen wird.
stellt eine bildliche Darstellung der kombinierten Sicht dar, die der Benutzer wahrnimmt, wenn er eine Szene in der Ferne betrachtet.
gibt eine zweite bildliche Darstellung der kombinierten Sicht wieder, die der Benutzer wahrnimmt, wenn er eine Szene in der Ferne betrachtet.
gibt eine bildliche Darstellung der Sicht wieder, die vom jeweiligen Auge eines Benutzers beim Blick auf einen in der Ferne liegenden Point of Interest durch einen gemeinsamen Bereich in einem Display wahrgenommen wird.
gibt eine bildliche Darstellung der kombinierten Sicht mit Teilen einer Sichtanzeige wieder, die der Benutzer wahrnimmt, wenn er eine Szene in der Ferne betrachtet.
gibt eine bildliche Darstellung einer anderen Sichtanzeige wieder.
gibt eine bildliche Darstellung der kombinierten Sicht einer anderen Sichtanzeige wieder, mit Teilen der Sichtanzeige, wie sie der Benutzer wahrnimmt, wenn er eine Szene in der Ferne betrachtet.
gibt eine bildliche Darstellung wieder, wie Teile von Sichtanzeigen kombiniert werden können, um eine Sichtanzeige zur Verfügung zu stellen.
gibt eine bildliche Darstellung einer anderen Sichtanzeige wieder, wobei Teil-Sichtanzeigen dazu verwendet werden, die Sichtanzeige zur Verfügung zu stellen.
gibt eine bildliche Darstellung der kombinierten Sicht wieder, wie sie der Benutzer wahrnimmt, wenn jedes Auge durch den entsprechenden Standort der Sichtanzeige auf eine Szene blickt.
gibt eine bildliche Darstellung eines Bilderfassungssystems wieder, das mindestens zwei Bildsensoren umfasst.
gibt eine bildliche Darstellung der Verwendung eines Tiefenabfragegeräts zur Generierung eines dreidimensionalen Modells von mindestens einem Teil des Gesichts des Benutzers wieder.
stellt ein Ablaufdiagramm der Verarbeitung eines zweidimensionalen Bildes mit einem einzelnen Referenzmodell zur Generierung eines dreidimensionalen Modells von mindestens einem Teil des Gesichts des Benutzers dar.
stellt ein Ablaufdiagramm eines Verarbeitungsbeispiels eines zweidimensionalen Bildes mit einem einzelnen Referenzmodell zur Generierung eines dreidimensionalen Modells von mindestens einem Teil des Gesichts des Benutzers dar.
gibt eine bildliche Darstellung der Verwendung einer einzelnen Sichtanzeige wieder, um auf ein Objekt hinzuweisen.
gibt eine bildliche Darstellung der wahrgenommenen optischen Anzeige aus wieder.
gibt eine bildliche Darstellung der Verwendung einer einzelnen Sichtanzeige wieder, um auf ein Objekt hinzuweisen.
gibt eine bildliche Darstellung der wahrgenommenen optischen Anzeige aus wieder.
gibt eine bildliche Darstellung einer Sichtanzeige wieder, um die Aufmerksamkeit des Benutzers auf einen Point of Interest zu lenken.
gibt eine geometrische Zeichnung von oberhalb eines Displays betrachtet wieder, die den Blick eines Benutzers von den Augen des Benutzers durch ein Display auf einen Point of Interest auf der anderen Seite des Displays darstellt.
gibt eine geometrische Zeichnung eines vertikalen Blicks eines Benutzers von den Augen des Benutzers durch ein Display auf ein Objekt auf der anderen Seite des Displays wieder.
stellt eine Zeichnung einer runden schattierten Sichtanzeige dar.
stellt eine Zeichnung der wahrgenommenen optischen Anzeige dar, die aus der Anwendung der Sichtanzeige in resultiert.
stellt eine Zeichnung einer kreisförmigen Sichtanzeige dar.
stellt eine Zeichnung der wahrgenommenen optischen Anzeige dar, die aus der Anwendung der Sichtanzeige in resultiert.
stellt eine Zeichnung einer Sichtanzeige dar.
stellt eine Zeichnung der wahrgenommenen optischen Anzeige dar, die aus der Anwendung der Sichtanzeige in resultiert.
stellt eine Zeichnung der Verwendung einer einzelnen Sichtanzeige in Form eines Doppel-I-Trägers wieder, um auf ein Objekt hinzuweisen.
stellt eine Zeichnung der wahrgenommenen optischen Anzeige dar, die aus der Anwendung der Sichtanzeige in resultiert.
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
Die Prinzipien und die Funktionsweise des Systems gemäß der vorliegenden Erfindung sind besser verständlich unter Bezugnahme auf die Zeichnungen und die beigefügte Beschreibung. Unter Bezugnahme auf die Zeichnungen stellt eine Zeichnung eines Systems zur Bereitstellung eines räumlich auf die reale Welt ausgerichteten Head-up Displays für einen Benutzer dar, der eine Szene durch ein Display sieht. Das System umfasst eine Plattform 100, die den Anwendungsbereich des Systems darstellt. Ein Bilderfassungssystem 102 zur Aufnahme von Bildern vom Gesicht eines Benutzers 104 ist im Betrieb mit einem Steuerungssystem 106 verbunden, das im Betrieb mit einem Display 108 verbunden ist. Das Display 108 ist einem Fenster 110 zugeordnet und stellt für den Benutzer Sichtanzeigen dar, wie z. B. 112, 114, die einer Szene überlagert sind, wie z. B. 116. Optional ist das Steuerungssystem im Betrieb mit einem Standorterfassungssystem 118 und einer Datenbank 120 verbunden.
In wird das System implementiert auf einer Plattform 100 dargestellt. Der Begriff Plattform bezeichnet den Anwendungsbereich und ist abhängig von der jeweiligen Anwendung des Systems. Es sind mobile Plattformanwendungen möglich, wie z. B. ein Reisebus, eine Eisenbahn, eine Seilbahn oder ein Pkw. Es sind ebenfalls stationäre Plattformanwendungen möglich, wie ein Panoramafenster, das stationäre Points of Interest zeigt, wie z. B. ein Stadtbild, oder mobile Points of Interest, wie z. B. eine Sportveranstaltung oder Tiere in einem Zoo. Für die Systemkomponenten steht eine Vielzahl von physischen Konfigurationen zur Verfügung. Im Beispiel einer mobilen Plattform kann es zweckmäßig sein, die Systemkomponenten auf der Plattform zu implementieren. Im Beispiel einer stationären Plattform können die Systemkomponenten an verschiedenen Standorten implementiert werden. Weitere Optionen und Kombinationen sind für den Fachkundigen offenkundig.
Ein Bilderfassungssystem 102 umfasst mindestens einen Bilderfassungssensor, der für die Aufnahme von Bildern vom Gesicht des Benutzers 104 eingesetzt wird. Das Bilderfassungssystem generiert Daten, die mindestens teilweise von den Bildern vom Gesicht des Benutzers abgeleitet sind. Das Bilderfassungssystem ist im Betrieb mit einem Steuerungssystem 106 verbunden.
Das Steuerungssystem 106 umfasst mindestens einen Prozessor und ist dazu konfiguriert, die Datenverarbeitung für das System zu übernehmen. Das Steuerungssystem verarbeitet die Daten vom Bilderfassungssystem 102, um eine Position und Haltung des Gesichts des Benutzers 104 zu ermitteln. Ferner ermittelt das Steuerungssystem eine Blickrichtung 105 von mindestens einem Auge des Benutzers zu einem Point of Interest innerhalb der Szene 116. Das Steuerungssystem bedient sich der Blickrichtung zur Ansteuerung des Displays 108, um eine Sichtanzeige 112, 114 darzustellen, die an der Blickrichtung ausgerichtet ist. Das Display stellt für den Benutzer Sichtanzeigen der Szene überlagert dar.
Bei einer optionalen Ausführung verarbeitet das Steuerungssystem 106 die Daten vom Bilderfassungssystem 102, um ein dreidimensionales Modell der Oberfläche von mindestens einem Teil des Gesichts des Benutzers abzuleiten. Das dreidimensionale Modell wird dann zur Bestimmung von Position und Haltung des Gesichts des Benutzers verwendet. Bitte beachten Sie, dass der spezifische Standort dieser Verarbeitung von der Systemanwendung abhängig ist. Optional kann das Bilderfassungssystem 102 ein dreidimensionales Modell von mindestens einem Teil des Gesichts des Benutzers ableiten und das Modell dem Steuerungssystem 106 zur Verfügung stellen. Ähnlich kann der spezifische Standort, an dem die übrige Systemverarbeitung implementiert ist, unterschiedlich und von der Systemanwendung abhängig sein. Weitere Optionen sind für den Fachkundigen offenkundig.
Bezogen auf ist eine bildliche Darstellung eines Bilderfassungssystems, das mindestens zwei Bildsensoren umfasst. Bei einer optionalen Ausführung umfasst das Bilderfassungssystem mindestens zwei Bildsensoren 800, 802. Jeder der beiden Bildsensoren liefert eine Bildaufnahme des Gesichts des Benutzers 104 von unterschiedlichen Blickpunkten, um Stereo-Bildpaare 804, 806 zu generieren. Ein Beispiel für einen Bildsensor ist eine Kamera, die Standbilder aufnimmt. Ein weiteres Beispiel ist eine Videokamera, die eine Reihe von Bildern aufnimmt, aus denen ein Bild zur Verwendung in dieser Ausführung ausgewählt wird. Jede der beiden Kameras nimmt ein Bild von einer anderen Position auf, um ein Stereo-Bildpaar herzustellen. Das Stereo-Bildpaar kann zur Generierung eines dreidimensionalen Modells von mindestens einem Teil des Gesichts des Benutzers 808 verwendet werden.
Bei einer anderen optionalen Ausführung kann ein einfacher Bildsensor verwendet werden, um sequentiell Bildaufnahmen des Gesichts des Benutzers herzustellen, und die sequentiellen Bilder können zur Generierung eines dreidimensionalen Modells von mindestens einem Teil des Gesichts des Benutzers verwendet werden. Ein Beispiel eines Bildsensors, der sequentiell aufgenommene Bilder liefert, ist eine Videokamera. Mit Hilfe bekannter Techniken, wie z. B. eine Structure from Motion (SFM <Struktur aus Bewegung>) kann aus den sequentiell aufgenommenen Bildern das dreidimensionale Modell von zumindest einem Teil des Gesichts des Benutzers hergestellt werden. Bei einer Ausführung mit zwei Kameras kann diese Technik zweckmäßig sein, wenn die Sicht von einer der Kameras undeutlich ist und nur eine einzige Kamera zur Verfügung steht, um ein Bild des Betrachters zu liefern.
Bezogen auf ist eine bildliche Darstellung der Verwendung eines Tiefenabfragegeräts zur Generierung eines dreidimensionalen Modells von mindestens einem Teil des Gesichts des Benutzers. Bei einer anderen optionalen Ausführung ist der Bildsensor ein Tiefenabfragegerät 810. Tiefensensoren generieren Tiefen-(Abstands-)Informationen für jedes Pixel oder Objekt, das durch das Gerät erfasst wird. Der Tiefensensor 810 erfasst Informationen über den Benutzer 812. Je nach spezifischer Anwendung kann diese Information die RGB-Werte 814 und die Tiefenwerte 816 umfassen, die zur Herstellung eines RGB-Bildes 818 und eines Tiefenbildes 820 verwendet werden. Je nach verwendetem spezifischem Gerät können diese Bilder und Informationen direkt verwendet werden oder bedürfen evtl. der Bearbeitung, um ein dreidimensionales Modell von mindestens einem Teil des Gesichts des Benutzers zu generieren.
Bezogen auf ist ein Ablaufdiagramm der Verarbeitung eines zweidimensionalen Bildes mit einem einzelnen Referenzmodell zur Generierung eines dreidimensionalen Modells von mindestens einem Teil des Gesichts des Benutzers. Bei einer optionalen Ausführung handelt es sich beim Bildsensor um ein Einzelbild-Aufnahmegerät, das zur Aufnahme eines zweidimensionalen Bildes vom Benutzer dient. Das Bild wird verarbeitet, um den Bildbereich zu suchen, der das Gesicht enthält. Dieses Eingangsbild eines zweidimensionalen Gesichtsbildes 900 des Benutzers wird mit einem einzigen Referenzmodell 902 mittels einer vordefinierten Vorlage von Gesichtszügen zur Generierung eines Ausgangsbildes verwendet, das ein dreidimensionales Modell von mindestens einem Teil des Gesichts des Benutzers 904 darstellt. Techniken für diese Bearbeitung sind in der Industrie bekannt.
Bezogen auf ist ein Ablaufdiagramm eines Verarbeitungsbeispiels eines zweidimensionalen Bilds mit einem einzelnen Referenzmodell zur Generierung eines dreidimensionalen Modells von mindestens einem Teil des Gesichts des Benutzers. Ein zweidimensionales Gesichtsbild 900 des Benutzers wird mit einer vordefinierten Vorlage von Gesichtszügen 902 verarbeitet, die ein Tiefenbild 910 und ein Albedo-Bild 912 umfasst, um ein Ausgangsbild zu generieren, das ein dreidimensionales Modell von mindestens einem Teil des Gesichts des Benutzers 904 darstellt.
Bei einer anderen optionalen Ausführung wird das dreidimensionale Modell von mindestens einem Teil des Gesichts des Benutzers im System gespeichert. Bei dieser Ausführung ist es nicht erforderlich, das dreidimensionale Modell für jedes Update zu regenerieren. Stattdessen werden die Informationen vom Bilderfassungssystem dazu verwendet, den Standort und die Ausrichtung des Gesichts des Betrachters zu ermitteln, die dann beim dreidimensionalen Modell zur Weiterverarbeitung verwendet werden. Diese Ausführung kommt mit weniger Verarbeitungszeit und weniger Prozessorleistung aus. Bei der Bewegung der Systembenutzer nimmt das Bilderfassungssystem aufeinanderfolgende Bilder der Benutzer auf. Der spezifische Zeitraum zwischen den Aufnahmen wird durch die jeweilige Systemanwendung bestimmt. Nachfolgende Aufnahmen und das entsprechende dreidimensionale Modell von wenigstens einem Teil des Gesichts des Benutzers dienen zur Verfolgung von Position und Haltung des Gesichts des Benutzers.
Bei einer optionalen Ausführung ist das Display 108 ein nicht-kollimiertes Display, das einer Fensterfläche 110 zugeordnet ist. In diesem Zusammenhang bedeutet Display ein transparentes Gerät, mit dem der Benutzer eine Szene auf der anderen Seite des Displays betrachten kann. Die Fensterfläche, durch die der Benutzer hindurch sieht, kann dem Display auf verschiedene Weisen zugeordnet sein. Bei einer Ausführung ist das Display in das Fenster integriert. Bei einer weiteren Ausführung ist das Display am Fenster angebracht. Bei einer weiteren Ausführung ist das Display in einem gewissen Abstand neben dem Fenster angebracht. Bei einer anderen Ausführung wird die optische Anzeige auf die Fensterfläche projiziert. In der Industrie sind transparente Displays bekannt, wie z. B. das ”Transparent EL See-Through Electroluminescent Display” <Transparente EL-Klarsicht-Elektrolumineszenzanzeige> von Planar Systems, oder die ”TOLED Transparent and Top-Emitting OLED Technology” <TOLED Transparente und von oben abstrahlende organische Elektrolumineszenz-Technologie> von Universal Display Corporation. Weitere Techniken und Technologien, wie z. B. halbdurchlässige Gläser, sind Fachkundigen bekannt. In dieser Beschreibung wird der Bereich, in dem die optische Anzeige dargestellt wird, als „Display” bezeichnet.
Mit Hilfe der Position und Haltung des Gesichts des Benutzers ermittelt das Steuerungssystem eine Sichtlinie von mindestens einem Auge des Benutzers 105, oder, mit anderen Worten, dort, wo sich die Augen der Person befinden und wohin sie blicken. ”Position” bezeichnet den dreidimensionalen Standort des Gesichts des Benutzers bezogen auf eine gegebene Referenz. ”Haltung” bezeichnet die Ausrichtung der Augen des Benutzers in Bezug auf eine gegebene Referenz. Die gegebenen Referenzen können dieselben sein, oder auch unterschiedlich, solange deren Ausrichtung zueinander bekannt ist. Je nach der spezifischen Anwendung des Verfahrens sind mögliche Referenzen der Horizont, ein gegebener Punkt auf der Benutzerplattform, ein gegebener Punkt auf einem Fenster oder ein willkürlich festgelegter Referenzpunkt, der gewählt wurde, um die Bearbeitung zu vereinfachen. Die Sichtlinie kann ebenfalls als Blickrichtung des Benutzers gedacht werden. Ein Vektor von mindestens einem Auge des Benutzers zum Point of Interest 116 wird als Blickrichtung bezeichnet. Es ist zu beachten, dass – wenn der Benutzer auf einen Point of Interest sieht – die Sichtlinie und die Blicklinie denselben Vektor darstellen. Wenn der Benutzer nicht auf einen Point of Interest sieht, stellen die Sichtlinie und die Blicklinie unterschiedliche Vektoren dar. Das Steuerungssystem bedient sich der Blickrichtung zur Berechnung, ob der Blick des Benutzers das Display erfasst. Mit anderen Worten: durch welchen Standort blicken die Augen des Benutzers hindurch, wenn dieser auf einen Point of Interest in einer Szene auf der anderen Seite des Fensters blickt? Dieser Standort am Display entspricht einem Standort am zugeordneten Fenster und der Standort wird als Sichtanzeigeposition bezeichnet.
Ausgehend von der Blickrichtung und dem Standort der Sichtanzeige berechnet das Steuerungssystem, wie die optische Anzeige dargestellt werden muss. In einer Ausführung werden zwei Teile einer Sichtanzeige verwendet, wobei jeder der Teile einem Auge des Benutzers zugeordnet ist, um eine optische Anzeige für einen Point of Interest zu ergeben. Ein erster Teil der Sichtanzeige erscheint in einer ersten Position im Display, ausgerichtet an der Blickrichtung vom ersten Auge des Benutzers zum Point of Interest in der Szene. Ein zweiter Teil der Sichtanzeige erscheint in einer zweiten Position im Display, ausgerichtet an der Blickrichtung vom zweiten Auge des Benutzers zum Point of Interest in der Szene. Wenn ein Benutzer durch das Fenster und somit durch das Display und durch die beiden Teile der optischen Anzeige blickt, werden die beiden Teile der optischen Anzeige in der wahrgenommenen Sicht des Benutzers kombiniert, sodass eine optische Anzeige für den Point of Interest entsteht.
Sowohl Standort als auch Größe und Form der optischen Anzeige müssen berechnet werden. Gemäß einem nicht einschränkend zu verstehendem Beispiel gilt: Wenn der Benutzer sich in einem größeren bzw. kleineren Abstand zum Fenster befindet, muss die optische Anzeige im Verhältnis größer oder kleiner dimensioniert und näher zusammen bzw. weiter auseinander positioniert werden, um den Point of Interest auf der anderen Seite des Fensters angemessen darzustellen. Gemäß einem anderen nicht einschränkend zu verstehenden Beispiel gilt: Wenn der Benutzer in einem gegebenen Winkel zum Fenster durch das Fenster blickt, muss die optische Anzeige schräg gestellt (eingestellt und geneigt) werden, um diesen Winkel zu berücksichtigen und die optische Anzeige korrekt anzuzeigen. Gemäß einem weiteren nicht einschränkend zu verstehenden Beispiel gilt: Wenn sich die Kopfneigung des Benutzers verändert und sich somit die Neigung der Augen des Benutzers zu einer Referenz, wie z. B. der Horizontalen, verändert, muss der Standort der optischen Anzeige entsprechend eingestellt werden. Es ist zu beachten, dass – falls nur die Blickrichtung eines Auges des Benutzers zum Point of Interest geht – das System einen Standort der Sichtanzeige im Display und einen dem einem Auge entsprechenden Teil der Sichtanzeige berechnet.
Es ist zu beachten, dass die vorstehende Systembeschreibung nicht auf einen einzelnen Benutzer beschränkt ist. Bei einer optionalen Ausführung ist das Steuerungssystem dazu konfiguriert, eine Position und Haltung einer Vielzahl von Gesichtern zu bestimmen. Das Steuerungssystem bestimmt die Blickrichtung für jedes Gesicht aus der Vielzahl von Gesichtern, berechnet den Standort für die entsprechende Sichtanzeige für die Augen eines jeden Gesichts aus der Vielzahl von Gesichtern, berechnet und zeigt anschließend den entsprechenden Teil der Sichtanzeige in einer entsprechenden Vielzahl von Positionen zum Fenster an, wobei jeder Teil der Sichtanzeige an der Blickrichtung eines entsprechenden Gesichts ausgerichtet ist.
Bei einer optionalen Ausführung wird zunächst eine Anzahl von Gesichtern vom System erfasst und eine entsprechende Anzahl von Sichtanzeigen dargestellt. Bei der anschließenden Verarbeitung verändert sich die Anzahl an erfassten Gesichtern. Das Steuerungssystem ist dazu konfiguriert, die Anzahl der dargestellten Sichtanzeigen gemäß der Anzahl der aktuell erfassten Gesichter dynamisch zu verändern. Diese Erkennung wird in einem vorgegebenen Bereich durchgeführt. Gesichter, die innerhalb des relevanten Bereichs erfasst werden, werden verarbeitet, und die entsprechende Anzahl von optischen Anzeigen für die Gesichter im relevanten Bereich angezeigt. Gesichter, die sich außerhalb des relevanten Bereichs befinden, werden nicht verarbeitet. Als Beispiel für diese Ausführung sind Touristen zu nennen, die an einem Panoramafenster mit Blick auf eine Szene vorbeigehen. Der vor dem Panoramafenster liegende Bereich wird als der relevante Bereich bezeichnet, zum Beispiel ein Bereich, der sich nahe genug am Panoramafenster befindet, so dass die Touristen aus dem Fenster blicken und Points of Interest betrachten können. In dem Maß, wie die Touristen sich innerhalb des angegebenen Bereichs vor dem Panoramafenster bewegen, erkennt das System die Gesichter der Touristen, führt die vorstehend beschriebene Verarbeitung durch und stellt die entsprechenden optischen Anzeigen auf dem Fenster dar.
Bei einer optionalen Ausführung ist das System einem Landfahrzeug und das Display einem Fenster des Fahrzeugs zugeordnet. Ein Beispiel stellt der Fall dar, bei dem es sich bei der Plattform um einen Bus handelt. Wiederum unter Bezugnahme auf stellt ein Standorterfassungssystem 118 Informationen über die geografische Position der Plattform und somit den Standort des Benutzers zur Szene der Umgebung des Benutzers zur Verfügung. Bei einer Ausführung handelt es sich bei dem Standorterfassungssystem um ein auf ein globales Positionierungssystem (GPS) gestütztes System. Bei einer anderen Ausführung kann das Standorterfassungssystem einen Bildsensor und eine Verarbeitung umfassen, um eine Bildaufnahme einer Szene mit bekannten Bildern und Positionen von Szenen in Korrelation zu bringen. Bei einer anderen Ausführung kann der Aufbau der umgebenden Szene erfasst und mit Bildern aus einer geografischen Datenbank in Verbindung mit einer digitalen Geländekarte (DTM) in Korrelation gebracht werden, um den Standort der Plattform zu bestimmen. Bei einer anderen Ausführung kann der Standort dem System durch eine andere Einheit zur Verfügung gestellt werden. Ein Beispiel stellt der Fall dar, bei dem ein Reiseführer manuell Standortinformationen in das System eingibt. Das Steuerungssystem greift auf einen Datenbank mit geografischen Informationen 120 zu und verwendet die Standortinformationen, um Points of Interest in der dem Standort zugeordneten Szene zu bestimmen. Bei einer anderen Ausführung werden die Points of Interest durch eine andere Einheit zur Verfügung gestellt. Ein Beispiel stellt der Fall dar, in dem ein Reiseführer manuell einen Point of Interest in einer Szene benennt. Es ist zu beachten, dass andere Fahrzeuganwendungen möglich sind, wie z. B. Amphibienplattformen (zum Beispiel ein Schiff oder U-Boot) oder Luftfahrzeuge (zum Beispiel ein Flugzeug oder Luftschiff).
Bei einer optionalen Ausführung verwendet das Steuerungssystem Position und Haltung der Augen des Benutzers (die Blickrichtung) in Kombination mit Standortinformationen vom Standorterfassungssystem und den entsprechenden Points of Interest in der Szene aus der Datenbank, um zu bestimmen, welche Teilmenge von Points of Interest aktuell für den Benutzer sichtbar sind. Das System stellt anschließend eine Sichtanzeige dar, die an mindestens einem aus der Teilmenge von Points of Interest ausgerichtet ist.
Je nach Systemkonfiguration und Datenbankinhalt sind verschiedene Anzeigeoptionen verfügbar. Die Datenbank kann Informationen wie z. B. den Namen eines Points of Interest in einer Szene 112 enthalten. Optional kann die Datenbank andere Informationen enthalten, z. B. welche Points of Interest in einer Szene vorhanden sind, sowie Informationen über Points of Interest, wie Daten oder Beschreibungen. In einer Ausführung des Systems kann ein Benutzer auswählen und/oder konfigurieren, was nach seinem Wunsch angezeigt werden soll. Die Auswahl kann Folgendes umfassen: das Ein- und Ausschalten des Displays, das Einstellen von Anzeigezeiten, z. B. wie lange die Sichtanzeige angezeigt wird oder welche Art optischer Anzeigen auf Wunsch des Benutzers angezeigt bzw. nicht angezeigt werden sollen.
Ein Beispiel für die Bestimmung, wie die Informationen angezeigt werden sollen, ist die Überprüfung der jeweiligen Präferenzen der Benutzer (Konfigurationseinstellungen), um herauszufinden, ob ein spezifischer Benutzer durch einen auf den Point of Interest zeigenden Pfeil auf den Point of Interest 114 aufmerksam gemacht werden möchte, oder ob der Benutzer es vorzieht, durch einen um den Point of Interest angezeigten Kreis auf den Point of Interest hingewiesen zu werden. Optional zusätzlich zu oder anstelle von optischen Informationen kann die Datenbank Audioinformationen enthalten. Je nach spezifischer Anwendung des Systems und den Benutzerpräferenzen können dem Benutzer Audio- oder andere Informationen und/oder Stimulationen zur Verfügung gestellt werden. Ein Beispiel stellt ein Point of Interest dar, der über eine zugeordnete Audio-Beschreibung verfügt. Wenn ein Benutzer auf den Point of Interest blickt, wird eine verbale Beschreibung zum Kopfhörer des Benutzers weitergeleitet. Weitere Optionen sind für den Fachkundigen offenkundig.
Es ist zu beachten, dass – wenn das System ermittelt, dass der Benutzer eine Szene gerade nicht betrachtet – das System keine Anzeigeverarbeitung durchführen muss, sondern statt dessen den Benutzer verfolgt, um die Blickrichtung des Benutzers zu bestimmen. Wenn festgestellt wird, dass der Benutzer derzeit die Szene betrachtet, kann das System auf die Datenbank zugreifen und optische Anzeigen zur Verfügung stellen. Ein Beispiel für diesen Fall stellt eine Benutzerin dar, die sich vom Fenster ihres Reisebusses abwendet, um mit ihrer Sitznachbarin zu sprechen. Nach der Auswahl, welche Informationen angezeigt werden sollen, bestimmt das Steuerungssystem, welche optische Anzeige zu verwenden ist und zeigt sie wie vorstehend beschrieben an.
Bezogen auf ist dies eine Darstellung einer Sichtanzeige, um die Aufmerksamkeit eines Benutzers auf einen Point of Interest zu lenken, der sich nicht im aktuellen Blickfeld des Benutzers befindet. Bei einer optionalen Ausführung ist das Steuerungssystem dazu konfiguriert, eine Sichtanzeige darzustellen, die an der aktuellen Sichtlinie des Benutzers ausgerichtet ist, so dass die Sichtanzeige die Aufmerksamkeit des Benutzers auf eine neue Sichtlinie lenkt, die einem Point of Interest zugeordnet ist. Ein Benutzer 104 blickt durch ein Display 108 und das zugeordnete Fenster 110 entlang einer aktuellen Sichtlinie 1204 auf eine Szene 1206. Das System ermittelt, dass ein Point of Interest 116 vorhanden ist, und stellt eine Sichtanzeige 1210 dar, um die Aufmerksamkeit des Benutzers auf eine neue Sichtlinie 1214 zu lenken. Optional kann das Display zusätzliche Sichtanzeigen 1212 für den Benutzer anzeigen oder dem Benutzer Audio- oder andere Informationen zur Verfügung stellen. Das System kann optional ein Update des Displays vornehmen, um die Aufmerksamkeit des Benutzers auf die aktuelle Position eines Points of Interest oder eines Objekts zu lenken. Gemäß einem nicht einschränkend zu verstehenden Beispiel ändert sich die Position der Plattform, auf der sich der Benutzer befindet, und es ändert sich die erforderliche Blickrichtung zum Betrachten eines Points of Interest. Das System nimmt ein Update der optischen Anzeige vor, um die Aufmerksamkeit des Benutzers von der aktuellen Sichtlinie auf die neue Blickrichtung zu lenken. Gemäß einem weiteren nicht einschränkend zu verstehenden Beispiel bewegt sich der Point of Interest, oder alternativ das Objekt. Dies kann geschehen, wenn ein Benutzer eine Szene durch ein Panoramafenster betrachtet, wie z. B. im Zoo, und es sich beim Objekt um ein Tier handelt, das in die Szene kommt oder sich in der aktuellen Szene bewegt. Das System bestimmt die Position des Tieres, oder diese wird ihm zur Verfügung gestellt, und die Sichtanzeige für den Benutzer wird aktualisiert, um die Aufmerksamkeit des Benutzers auf das Tier („Animal of Interest”) zu lenken.
Bei einer optionalen Ausführung umfasst das System ein Schattierungssystem. Das System bestimmt die Sichtlinie vom Gesicht eines Benutzers zu einem Strahlungspunkt, vor dem der Benutzer beschattet werden muss, zum Beispiel die Sonne. Die Bestimmung kann durch Verwendung geeigneter photoelektrischer Sensoranordnungen oder eines Bilderfassungssystems oder durch Berechnungen basierend auf der Position und Stellung der Plattform sowie auf bekannten Daten für die Position der Sonne erfolgen. Die Position des Strahlungspunkts wird ähnlich wie die Position eines Points of Interest in einer Szene gemäß dem vorstehend beschriebenen Verfahren verwendet. Der Standort der Sichtanzeige wird berechnet, um zu erkennen, wo die vom Benutzer aus verlaufende Sichtlinie das Schattierungssystem schneidet. Anstatt ein Display anzusteuern, um dem Benutzer eine Sichtanzeige zu bieten, wird das Steuerungssystem dazu konfiguriert, das Schattierungssystem anzusteuern, um entlang der Sichtlinie Schattierung zu bieten. Schattierungssysteme sind Fachkundigen bekannt, zum Beispiel das Sweetsun Chen erteilte U.S.-Patent 5298732 über Automatic visor for continuously repositioning a shading object to shade a designated location from a direct radiation source <Automatischer Blendschutz für kontinuierliche Neupositionierung eines Schattierungsobjekts, um einen bezeichneten Standort gegenüber einer direkten Strahlenquelle zu beschatten.> Bei einer anderen Ausführung wird das bestehende Anzeigesystem verwendet, um das Schattierungssystem zur Verfügung zu stellen. In diesem Fall wird das Display im Bereich des Standorts der Sichtanzeige aktiviert, um das Display in diesem Bereich lichtundurchlässig zu machen, oder anders ausgedrückt, es wird aktiviert, um eine lichtundurchlässige optische Anzeige in ausreichender Größe anzuzeigen, um dem Benutzer Schatten zu bieten. Der Grad der Lichtundurchlässigkeit kann gemäß der spezifischen Anwendung eingestellt werden. Dabei ist hervorzuheben, dass die Technik dieses Verfahrens mit einem Schattierungssystem oder mit dem Display, entweder zusammen oder einzeln, verwendet werden kann.
Das System kann bei Tag, bei Nacht oder bei unterschiedlichen Lichtverhältnissen verwendet werden. In diesen Fällen müssen geeignete Bilderfassungsgeräte verwendet werden. Ein Beispiel ist eine Reise bei Nacht, bei der die Innenbeleuchtung des Reisebusses gedimmt ist. Eine Nah-Infrarot-Lichtquelle (NIR) wird in Verbindung mit NIR-Kameras verwendet, um Bilder vom Gesicht des Benutzers aufzunehmen. Diese Technik kann auch dann verwendet werden, wenn der Benutzer eine Sonnenbrille trägt, oder ein Bild der Augen des Benutzers auf ähnliche Weise nicht im sichtbaren Spektrum erfasst werden kann. In diesem Fall muss je nach Anwendung des Systems darüber entschieden werden, welche Points of Interest für den Benutzer relevant sind. Bei Anwendungen, bei denen externe oder nach außen gerichtete Kameras zum Einsatz kommen, wobei z. B. Kameras Bilder der umgebenden Szenen aufnehmen, um Standortinformationen abzuleiten oder Points of Interest zu identifizieren, können Low-Light oder No-Light-Bilderfassungssysteme zur Anwendung kommen.
Optional wird eine Kalibrierungsphase dazu verwendet, das System auf eine Benutzer zu kalibrieren. In einer Ausführung werden Sichtanzeigen an bekannten Positionen im Display angezeigt. Sobald der Benutzer auf die optischen Anzeigen blickt, nimmt das System Bilder vom Gesicht des Benutzers auf und generiert Kalibrierungsinformationen für den Benutzer zur Verwendung während des Systembetriebs, um eine verbesserte Anzeige der optischen Anzeigen zu erleichtern.
Je nach den Anforderungen der spezifischen Ausführung des Systems können Probleme auftreten, z. B. die Notwendigkeit, Verzögerungen für die Verarbeitung in Echtzeit zu vermeiden. Diese Probleme können durch die Verwendung spezifischer Hardware und/oder Hinzufügung von Vorhersagealgorithmen zum System gelöst werden. Das System kann sowohl für zivile als auch für militärische Anwendungen eingesetzt werden.
Unter Bezugnahme auf die Zeichnungen stellt ein Ablaufdiagramm eines Verfahrens zur Bereitstellung eines räumlich auf die reale Welt ausgerichteten Head-up Displays für einen Benutzer dar, der eine Szene durch ein Display sieht. Das System umfasst die Aufnahme eines Bilds, dargestellt im Block 200. Das aufgenommene Bild umfasst das Gesicht von mindestens einem Benutzer. Das Bild wird verarbeitet, wie in Block 202 dargestellt. Die Verarbeitung umfasst optionale Vorverarbeitung 204, wobei optional ein dreidimensionales Modell von mindestens einem Teil des Gesichts des Benutzers abgeleitet wird, Block 206, und Position und Haltung des Gesichts des Benutzers bestimmt wird, Block 208. Position und Haltung des Gesichts des Benutzers können dazu verwendet werden, eine Blickrichtung von mindestens einem Auge des Benutzers auf einen Point of Interest innerhalb der Szene, wie in Block 210 dargestellt, zu bestimmen, und die Blickrichtung kann dazu verwendet werden, den erforderlichen Standort der Sichtanzeige zu bestimmen, wie in Block 212 dargestellt. Anschließend wird der Teil der Sichtanzeige wie in Block 214 bestimmt und dazu verwendet, eine Sichtanzeige darzustellen, wie in Block 216 dargestellt. Optional kann eine geografische Position zur Verfügung gestellt werden, dargestellt in Block 218, und optional kann eine geografische Datenbank zur Verfügung gestellt werden, wie in Block 220 dargestellt, um den Teil der Sichtanzeige zu bestimmen, wie in Block 214 dargestellt.
Es wird eine Bildaufnahme, Block 200, zur Verarbeitung, wie in Block 202 dargestellt, zur Verfügung gestellt. Das Bild kann Vorverarbeitung erfordern, dargestellt in Block 204. Die Bild-Vorverarbeitung bereitet das zur Verfügung gestellte Bild für die anschließende Verarbeitung vor. Die Bild-Vorverarbeitung kann die Umwandlung des Bildes aus dem Datenformat, in dem es zur Verfügung gestellt wird, in ein Datenformat, das durch nachfolgende Blöcke verarbeitet werden kann, und/oder die Anpassung von Farbe oder Inhalt des Bilds umfassen.
Die Bild-Vorverarbeitung kann auch das Bestimmen des Standorts von einem oder mehreren Gesichtern im Bild umfassen. Im Rahmen dieser Beschreibung bezieht sich Standort auf eine zweidimensionale Referenz, und Position bezieht sich auf eine dreidimensionale Referenz. In einem Fall, in dem mehr als ein Gesicht lokalisiert wird, kann jedes Gesicht gemäß diesem Verfahren verarbeitet werden. Techniken für die Lokalisierung von Gesichtern in Bildern sind Fachkundigen bekannt. Bild-Vorverarbeitung kann auch die Normierung der lokalisierten Gesichter umfassen. Normierungstechniken vereinfachen die Verarbeitung der lokalisierten Gesichter. Ein Beispiel für die Notwendigkeit zur Normierung stellt der Fall da, in dem die Bildaufnahme aus einem gegebenen Abstand erstellt wird. Das lokalisierte Gesicht wird zur anschließenden Verarbeitung in eine Standardgröße gebracht. Techniken zur Durchführung der Normierung sind in der Branche bekannt.
Bei einer optionalen Ausführung umfasst die Verarbeitung, Block 202, das Ableiten eines dreidimensionalen Modells von mindestens einem Teil des Gesichts des Benutzers, dargestellt in Block 206. Im nächsten Schritt, Block 208, wird das dreidimensionale Modell dazu verwendet, Position und Haltung des Gesichts des Benutzers zu bestimmen. Bei einer optionalen Ausführung wird das dreidimensionale Modell mit aufeinander folgend aufgenommenen Bildern vom Gesicht des Benutzers dazu verwendet, Position und Haltung des Gesichts des Benutzers zu verfolgen. Das dreidimensionale Modell kann optional gespeichert werden und mit nachfolgend aufgenommenen Bildern dazu verwendet werden, die (neue) Position und Haltung des Gesichts des Benutzers zu bestimmen. In diesem Fall besteht für das Verfahren nicht die Notwendigkeit, jedes Mal, wenn ein neu aufgenommenes Bild zur Verfügung gestellt wird, ein dreidimensionales Modell abzuleiten, sondern das gespeicherte Bild kann mit den neuen Bildaufnahmen dazu verwendet werden, die neue Position und Haltung des Gesichts des Benutzers zu bestimmen.
Ein gegebenes gespeichertes dreidimensionales Modell kann solange verwendet werden, bis es beim Bestimmen von Position und Haltung des Gesichts des Benutzers keine angemessenen Ergebnisse mehr liefert. Dann kann ein neues dreidimensionales Modell aus einer geeigneten Bildaufnahme, zum Beispiel aus der jüngsten Bildaufnahme, abgeleitet werden. Die spezifischen Parameter, wie lange ein dreidimensionales Modell verwendet werden kann und wann ein neues erstellt werden muss, wird durch die Anwendung bestimmt, in der das Verfahren zum Einsatz kommt.
Unter Verwendung von Position und Haltung des Gesichts des Benutzers wird eine Blickrichtung, in Block 210, von mindestens einem Auge des Benutzers auf einen Point of Interest innerhalb der Szene bestimmt. Nach Bestimmung der Blickrichtung, in Block 210, muss der Standort im Display, wo der Blick des Benutzers das Display schneidet, dargestellt in Block 212, festgelegt und als Standort der Sichtanzeige referenziert werden. Nach Festlegung des Standorts der Sichtanzeige, in Block 212, muss festgelegt werden, was am Standort der Sichtanzeige angezeigt werden soll, dargestellt in Block 214. Was angezeigt wird, wird als Teil der optischen Anzeige bezeichnet. Die Anzeige des festgelegten Teils der optischen Anzeige ist in Block 216 dargestellt.
Bezogen auf ist eine Zeichnung eines Blicks eines Benutzers von den Augen des Benutzers durch ein Display auf ein Objekt auf der anderen Seite des Displays. Bei einer Ausführung dieses Verfahrens ist dem Display ein Fenster zugeordnet, sodass in diesem Fall die Beschreibung einer Sicht durch ein Display auf eine Sicht durch ein zugeordnetes Fenster gilt. Bei einer optionalen Ausführung handelt es sich bei dem Display um ein nicht kollimiertes Display, das einer Fensterfläche zugeordnet ist.
Mit dem rechten Auge 300A und dem linken Auge 300B blickt ein Benutzer durch ein Display 302 auf einen Point of Interest 304. Die Blickrichtung 306A, ausgehend vom rechten Auge 300A, schneidet das Display am Standort 308A. Analog schneidet die Blickrichtung 306B, ausgehend vom linken Auge 300B, das Display in Standort 308B. In ist folgendes dargestellt: Wenn ein Benutzer einen Point of Interest durch ein Display betrachtet, dann besteht eine Technik zur Analyse der Blickrichtung darin, dass die Blickrichtung jedes Auges des Benutzers das Display in einem anderen Standort schneidet. Wenn für jedes Auge ein separates Display verfügbar ist, können bekannte Techniken zur Anwendung kommen, um optische Anzeigen für ein Auge oder beide Augen, jeweils auf einem eigenen Display, das an einem Point of Interest ausgerichtet ist, anzuzeigen. Wenn das Display transparent ist oder wenn das Display durch ein Fenster ersetzt wird, hat der Benutzer eine einfache Sicht auf einen Point of Interest.
Bezogen auf ist eine Zeichnung eines Blicks von den Augen eines Benutzers durch einen gemeinsamen Bereich in einem Display auf einen Point of Interest auf der anderen Seite des Displays. Ein Auge eines Benutzers, zum Beispiel das rechte Auge 300A, blickt durch ein Display 302 auf einen Point of Interest 312A. Der Standort im Display, an dem die Blickrichtung 306A des rechten Auges 300A, das Display schneidet, ist 310. Wenn das andere Auge des Benutzers, zum Beispiel das linke Auge 300B, durch den gemeinsamen Bereich im Display 310 blickt, verläuft die Blickrichtung 306B des linkes Auges zum Point of Interest 312B. Diese Zeichnung zeigt, dass – wenn beide Augen durch den gleichen gemeinsamen Bereich in einem Display blicken – der Point of Interest in der Sicht eines jedes Auges versetzt ist. Diese Technik der Analyse der Blickrichtung unter Verwendung eines gemeinsamen Bereichs im Display ist die Technik, die in der nachstehenden Beschreibung verwendet wird, und im Allgemeinen die in dieser Beschreibung verwendete Technik, sofern nicht ausdrücklich etwas anderes angegeben ist.
Bezogen auf ist eine bildliche Darstellung der versetzten Sicht, die vom jeweiligen Auge eines Benutzers beim Blick durch einen gemeinsamen Bereich in einem Display auf einen in der Ferne liegenden Point of Interest wahrgenommen wird. Sicht 400A ist die vom rechten Auge des Benutzers wahrgenommene Sicht, und zeigt, dass der Point of Interest im Blick des Benutzers nach links verschoben wird. Sicht 400B ist die vom linken Auge des Benutzers wahrgenommene Sicht, und zeigt, dass der Point of Interest im Blick des Benutzers nach rechts verschoben wird. Bezogen auf ist eine bildliche Darstellung der kombinierten Sicht, die der Benutzer wahrnimmt, wenn er eine Szene in der Ferne betrachtet. Wenn ein Benutzer eine Szene betrachtet, werden die Sichten im Gehirn kombiniert und zu einem einzigen einheitlichen Bild zusammengefügt. Die Überlappung in der Mitte der Sicht, bezeichnet als 402, ist der Bereich, in dem die beiden Sichten sich überschneiden. Er wird als binokularer Teil bezeichnet. Auch auf bezogen gilt: Wenn das Display 302 eine einzelne optische Anzeige, wie eine Glyphe 406, in dem gemeinsamen Bereich im Display anzeigt, durch den die Augen blicken 310, ausgerichtet an der Sicht des linken Auges 400B, wird die optische Anzeige nur an der Sicht des linken Auges ausgerichtet. In der entstehenden kombinierten Sicht wird die Glyphe vom rechten Auge in der falschen Position 404 wahrgenommen, – die Glyphe wird nicht am entsprechenden Point of Interest ausgerichtet.
Bezogen auf ist eine zweite bildliche Darstellung der kombinierten Sicht, die der Benutzer sieht, wenn er eine Szene in der Ferne betrachtet. Wenn das Display 302 eine einzelne optische Anzeige, wie eine Glyphe 410, in dem gemeinsamen Bereich im Display anzeigt, durch den die Augen blicken 310, ausgerichtet an der Sicht des rechten Auges 400A, wird die optische Anzeige nur an der Sicht des rechten Auges ausgerichtet. In der entstehenden kombinierten Sicht wird die Glyphe vom linken Auge in der falschen Position 408 wahrgenommen, – die Glyphe wird nicht am entsprechenden Point of Interest ausgerichtet.
Eine Lösung für das Problem der Anzeige von an einem entsprechenden Point of Interest ausgerichteten Sichtanzeigen ist das Anzeigen zweier Teile der Sichtanzeige, wobei jeder Teil der Sichtanzeige an der Blickrichtung eines Auges ausgerichtet ist. Wenn diese Teile der Sichtanzeige in einem gemeinsamen Bereich angezeigt werden und der Benutzer durch den gemeinsamen Bereich auf einen Point of Interest blickt, werden in der wahrgenommenen Sicht des Benutzers die Teile der Sichtanzeige im binokularen Anteil der Sicht kombiniert, sodass eine am Point of Interest ausgerichtete optische Anzeige entsteht.
Bezogen auf ist eine bildliche Darstellung der Sicht, die vom jeweiligen Auge eines Benutzers beim Blick auf einen in der Ferne liegenden Point of Interest durch einen gemeinsamen Bereich in einem Display gesehen wird. Sicht 400A ist die vom rechten Auge des Benutzers gesehene Sicht, und Sicht 400B ist die vom linken Auge des Benutzers gesehene Sicht. Bei dieser Ausführung wird der Standort der Sichtanzeige bestimmt. Zwei Teile der Sichtanzeige 500 und 502 werden am Standort der Sichtanzeige angezeigt, und jedes Auge sieht beide Sichtanzeigen. Der Hintergrund, den nur das rechte Auge sieht, erscheint nach links verschoben; analog erscheint der Hintergrund, den nur das linke Auge sieht, nach rechts verschoben. Bei einer Ausführung dieses Verfahrens der erforderliche Abstand 510 im Display zwischen den beiden Teilen der Sichtanzeige 500 und 502 <sic>, sodass der Effekt entsteht, der in – einer bildlichen Darstellung der kombinierten Sicht mit Teilen der Sichtanzeige, wie sie der Benutzer sieht, wenn er eine Szene in der Ferne betrachtet – beschrieben ist. Der Abstand 510 wird so berechnet, dass, wenn die Teile der Sichtanzeige 500 und 502 in einem gemeinsamen Bereich im Display angezeigt werden und der Benutzer durch den gemeinsamen Bereich auf einen Point of Interest blickt, die Teile der Sichtanzeige in der wahrgenommenen Sicht des Benutzers im binokularen Anteil der Sicht kombiniert werden, sodass eine am Point of Interest ausgerichtete optische Anzeige 504 entsteht. Der Teil der Sichtanzeige 500, wie ihn das linke Auge sieht, und der Teil der Sichtanzeige 502, wie ihn das rechte Auge sieht, werden im binokularen Teil 402 kombiniert, um die starke optische Anzeige 504 zu erzeugen. Der Teil der Sichtanzeige 502, wie ihn das linke Auge sieht, und der Teil der Sichtanzeige 500, wie ihn das rechte Auge sieht, werden nicht kombiniert, was schwache Teil-Sichtanzeige zur Folge hat.
Bezogen auf ist eine bildliche Darstellung einer anderen optischen Anzeige. Sicht 400A ist die vom rechten Auge des Benutzers gesehene Sicht, und 400B ist die vom linken Auge des Benutzers gesehene Sicht. Bei dieser Ausführung handelt es sich bei der Sichtanzeige um eine horizontale I-Träger-förmige Glyphe. Der Standort der Sichtanzeige wird bestimmt und ein Teil der Sichtanzeige 600 wird am Standort der Sichtanzeige angezeigt und von beiden Augen gesehen. Der Hintergrund, den nur das rechte Auge sieht, erscheint nach links verschoben; analog erscheint der Hintergrund, den nur das linke Auge sieht, nach rechts verschoben.
Bei einer Ausführung dieses Verfahrens wird die erforderliche Länge 610 zwischen den beiden vertikalen Enden der I-Träger-förmigen Glyphe 600 so berechnet, dass der Effekt entsteht, der in – einer bildlichen Darstellung der kombinierten Sicht einer alternativen optischen Anzeige mit Teilen der Sichtanzeige, wie sie ein Benutzer sieht, wenn der eine Szene in der Ferne betrachtet – veranschaulicht ist. Der Abstand 610 wird so berechnet, dass, wenn der Teil der Sichtanzeige 600 im Display in einem gemeinsamen Bereich angezeigt wird und der Benutzer durch den gemeinsamen Bereich auf einen Point of Interest blickt, der Teil der Sichtanzeige in der wahrgenommenen Sicht des Benutzers im binokularen Teil der Sicht kombiniert wird, sodass eine am Point of Interest ausgerichtete starke optische Anzeige 604 entsteht. Der größere Teil der Sichtanzeige 600, wie er vom linken Auge gesehen wird, und der größere Teil der Sichtanzeige 600, wie er vom rechten Auge gesehen wird, werden nicht kombiniert, was eine schwache Sichtanzeige zur Folge hat.
Bezogen auf ist eine bildliche Darstellung, wie Teile von Sichtanzeigen kombiniert werden können, um eine optische Anzeige zur Verfügung zu stellen. Wenn ein Teil einer optischen Anzeige 700 passend für ein Auge und ein Teil der optischen Anzeige 702 passend für das andere Auge angezeigt wird, werden im Gehirn die beiden Teile einer Glyphe im binokularen Anteil kombiniert, was die Wahrnehmung der Glyphe 704 zur Folge hat.
Bezogen auf ist eine bildliche Darstellung einer anderen optischen Anzeige, wobei Teil-Sichtanzeigen dazu verwendet werden, eine kombinierte optische Anzeige zur Verfügung zu stellen. Sicht 400A ist die vom rechten Auge des Benutzers gesehene Sicht, und 400B ist die vom linken Auge des Benutzers gesehene Sicht. In dieser Ausführung wird der Standort der Sichtanzeige bestimmt. Zwei Teile der Sichtanzeige 700 und 702 werden am Standort der Sichtanzeige angezeigt, und jedes Auge sieht beide Sichtanzeigen. Der Hintergrund, den nur das rechte Auge sieht, erscheint nach links verschoben; analog erscheint der Hintergrund, den nur das linke Auge sieht, nach rechts verschoben. Bei einer Ausführung dieses Verfahrens der erforderliche Abstand 710 im Display zwischen den beiden Teilen der Sichtanzeige 700 und 702 <sic>, sodass der Effekt entsteht, der in – einer bildlichen Darstellung der kombinierten Sicht einer anderen optischen Anzeige, wie sie der Benutzer sieht, wenn er eine Szene in der Ferne betrachtet – beschrieben ist. Der Abstand 710 wird so berechnet, dass, wenn die Teile der Sichtanzeige 700 und 702 in einem gemeinsamen Bereich im Display angezeigt werden und der Benutzer durch den gemeinsamen Bereich auf einen Point of Interest blickt, die Teile der Sichtanzeige in der wahrgenommenen Sicht des Benutzers im binokularen Anteil der Sicht kombiniert werden, sodass eine am Point of Interest ausgerichtete optische Anzeige 704 entsteht. Der Teil der Sichtanzeige 700, wie ihn das linke Auge sieht, und der Teil der Sichtanzeige 702, wie ihn das rechte Auge sieht, werden im binokularen Teil 402 kombiniert, um die starke optische Anzeige 704 zu erzeugen. Der Teil der Sichtanzeige 702, wie ihn das linke Auge sieht, und der Teil der Sichtanzeige 700, wie ihn das rechte Auge sieht, werden nicht kombiniert, was schwache Teil-Sichtanzeigen zur Folge hat.
Das vorstehend beschriebene Verfahren ist außerordentlich effektiv. Es kann jedoch in bestimmten Fällen zweckmäßiger sein, eine optische Anzeige zu erzeugen, die nur das Objekt anzeigt, ohne die schwachen optischen Anzeigen in der wahrgenommenen Sicht des Benutzers. Wie in der vorstehenden Ausführung beschrieben werden zwei Sichtanzeigen unter Verwendung der scheinbaren binokularen Verschiebung des Benutzers horizontal aneinander ausgerichtet, um eine starke optische Anzeige zu erzeugen, die auf das Objekt hinweist. Das vorstehend beschriebene innovative Verfahren kann in einer weiteren innovativen Ausführung zur Anwendung kommen, wobei eine Verschiebung für eine einzelne Sichtanzeige berechnet wird, was zur Folge hat, dass der Benutzer eine optische Anzeige für das Objekt wahrnimmt, ohne andere schwache optische Anzeigen in der wahrgenommenen Sicht.
Wie vorstehend hinsichtlich beschrieben: Wenn eine einzelne Sichtanzeige ausgerichtet an einem Auge für das Objekt angezeigt wird, umfasst die daraus resultierende wahrgenommene Sicht des Benutzers eine verschobene Wahrnehmung der Sichtanzeige, die nicht am Objekt ausgerichtet ist. Bezogen auf ist eine geometrische Zeichnung von oberhalb eines Displays betrachtet, die den Blick eines Benutzers von den Augen des Benutzers durch ein Display auf einen Point of Interest auf der anderen Seite des Displays darstellt. Der Benutzer sieht das Objekt binokular, was in diesem Zusammenhang bedeutet, dass der Benutzer das Objekt mit beiden Augen sieht. Mit dem rechten Auge 1300A und dem linken Auge 1300B blickt ein Benutzer durch ein Display 1302 auf einen Point of Interest 1304. zeigt ein Diagramm von oben gesehen mit Blick auf das Display. Standorte im Diagramm werden mit den folgenden Buchstaben bezeichnet: E1 ist der Standort des Mittelpunktes des linken Auges, E2 ist der Standort des Mittelpunktes des rechten Auges, und P ist der Standort des Objekts. Die Standorte E1, E2, P und das Display 1302 werden diesem Verfahren unter Verwendung der vorstehend beschriebenen optionalen Techniken oder anderer für die Anwendung geeigneter Techniken zur Verfügung gestellt. Die Standorte E1 and E2 werden zur Berechnung von O verwendet, der Mitte der Verbindungslinie zwischen den Augenmittelpunkten. Die Standorte E1, E2, P und das Display 1302 sind bekannt, deshalb können die Schnittpunkte Ĕ1, Ĕ2 und Ŏ mit dem Display 1302 berechnet werden. Ŏ ist der Schnittpunkt der Verbindungslinie zwischen O und P und dem Display 1302. Die einzelne Sichtanzeige ist am Standort Ŏ zentriert, mit einer horizontalen Verschiebung c, die wie nachstehend beschrieben berechnet werden kann.
Bezogen auf ist eine Zeichnung einer runden, schattierten Sichtanzeige; die Maße sind bezeichnet mit dem Buchstaben a für die halbe Breite und dem Buchstaben b für die Höhe der Sichtanzeige. Bezogen auf , eine Zeichnung der wahrgenommenen optischen Anzeige, die aus der Verwendung der Sichtanzeige in resultiert, wobei die scheinbare binokulare Verschiebung der Sichtanzeige die mit dem Buchstaben c bezeichnete horizontale Verschiebung darstellt. Die Verschiebung c kann aus den zur Verfügung gestellten Informationen berechnet werden als c = |Ĕ1Ĕ2|.
Bezogen auf ist dies eine geometrische Zeichnung eines vertikalen Blicks eines Benutzers von den Augen des Benutzers auf ein Objekt auf der anderen Seite des Displays. Das Auge 1400 steht für den vertikalen Mittelpunkt der Augen, wenn der Benutzer durch ein Display 1402 auf einen Point of Interest 1404 blickt. In ist das Display von der Seite mit Blick zum Display dargestellt. Die Standorte im Diagramm werden durch die folgenden Buchstaben bezeichnet: E ist der vertikale Mittelpunkt der Augen. P1 ist der Standort des oberen Endes des Objekts, und P2 ist der Standort des unteren Endes des Objekts. Wie hinsichtlich beschrieben, werden die Standorte zur Verfügung gestellt, und die Standorte Ĕ1 and Ĕ2 können berechnet werden. Auch in Bezug auf kann die resultierende Höhe b der Sichtanzeige, und somit die Höhe der optischen Anzeige berechnet werden als b = |Ĕ1Ĕ2|. Die Überlappung der Sichtanzeigen kann als 2a–c berechnet werden.
Es ist zu beachten, dass die Bezeichnungen horizontal und vertikal in Bezug auf die Verbindungslinie zwischen den Augen zu verstehen sind, z. B. wie in als E1 nach E2 dargestellt. Sobald der Benutzer den Kopf neigt, werden die horizontalen Berechnungen, wie die Verschiebung, auch entsprechend berechnet, um die Parallele zur Linie zwischen den Augen darzustellen. Analog werden, sobald der Benutzer den Kopf neigt, die vertikalen Berechnungen, wie die Höhe der Sichtanzeige, auch entsprechend berechnet, um die Senkrechte zur Linie zwischen den Augen darzustellen. In diesem Zusammenhang bezieht sich die Breite der Sichtanzeige auf die maximale horizontale Reichweite der Sichtanzeige, die Höhe der Sichtanzeige bezieht sich auf die maximale vertikale Reichweite der Sichtanzeige.
Bei einer Ausführung umfasst dieses Verfahren zusätzlich die dynamische Veränderung einer Sichtanzeige auf einem einzelnen nicht kollimierten Display, wobei das Display ein räumlich ausgerichtetes Head-up Display bietet, so dass ein Benutzer, der ein Objekt binokular durch das Display betrachtet, eine optische Anzeige wahrnimmt, die auf das Objekt hinweist, indem zunächst die scheinbare binokulare Verschiebung des Benutzers im Display zum Objekt berechnet wird. Die berechnete Verschiebung stellt eine geometrische Beziehung dar, die von einem Abstand der Augen des Benutzers zum Display, einem Winkel von den Augen des Benutzers zum Display und einem Abstand vom Benutzer zu Objekt abhängt. Es ist zu beachten, dass es sich dabei um eine geometrische Beziehung handelt; es können also andere Standorte und Abstände für die Berechnungen verwendet werden, oder nach Wunsch verwendet werden, um die erforderlichen Parameter zu berechnen. Gemäß einem nicht einschränkend zu verstehenden Beispiel gilt: Wenn der Abstand vom Benutzer zum Display zur Verfügung gestellt werden kann, kann der Abstand vom Display zum Objekt anstelle des Abstands vom Benutzer zum Objekt verwendet werden. Gleichwertige Ausdrücke sind für den Fachkundigen offenkundig. Die berechnete scheinbare binokulare Verschiebung wird verwendet, um die Breite der Sichtanzeige dynamisch zu verändern, um die gewünschte optische Anzeige zur Verfügung zu stellen.
Die berechnete Verschiebung c kann in Kombination mit Form und Breite einer Sichtanzeige verwendet werden, um verschiedene Sichtanzeigen zur Verfügung zu stellen, die das Objekt im Überlappungsbereich (dem Bereich 2a–c) anzeigen. Nicht einschränkend zu verstehende Beispiele der Veränderung der Sichtanzeige, um die wahrgenommene optische Anzeige zu beeinflussen, umfassen Veränderung der Breite, Veränderung der Form, Veränderung des Maßstabs oder eine Kombination aus diesen und anderen Veränderungen an der Sichtanzeige. Es ist zu beachten, dass Veränderungen an der Sichtanzeige stufenlos oder stufenweise erfolgen können. Ein nicht einschränkend zu verstehendes Beispiel von stufenweisen Veränderungen stellt die Verwendung einer Sichtanzeige in einer ersten gegebenen Größe dar, wenn der Benutzer sich innerhalb eines ersten gegebenen Abstandsbereichs zum Display befindet. Wenn der Benutzer sich aus dem ersten gegebenen Bereich in einen zweiten gegebenen Abstandsbereich zum Display bewegt, wird eine Sichtanzeige einer zweiten gegebenen Größe verwendet.
Bei der Sichtanzeige kann es sich um eine einzelne Glyphe oder eine Ansammlung von Glyphen handeln, wobei die Ansammlung als einzige Einheit zur Bestimmung der gewünschten Breite der Sichtanzeige behandelt wird. In einem nicht einschränkend zu verstehenden Beispiel wird anstelle der Verwendung einer einzelnen „I-Träger”-Glyphe für die Sichtanzeige die Sichtanzeige aus zwei „T”-förmigen Glyphen aufgebaut, die vertikal mit den Unterseiten nebeneinander platziert werden.
In diesem Beispiel entsteht aus den beiden Glyphen im Wesentlichen die gleiche Form wie bei einer einzelnen I-Träger-Glyphe. Weitere Optionen sind je nach spezifischer Anwendung möglich und für den Fachkundigen offenkundig.
Bezogen auf ist eine Zeichnung einer kreisförmigen Sichtanzeige, wobei die resultierende Verschiebung und Überlappung in dargestellt ist, einer Zeichnung der wahrgenommenen optischen Anzeige, die aus der Verwendung der Sichtanzeige in resultiert. Der transparente Bereich innerhalb einer Sichtanzeige wird in der daraus resultierenden optischen Anzeige dazu verwendet, das Objekt anzuzeigen. Bei einer weiteren Ausführung wird die Sichtanzeige so dargestellt, dass das Objekt in der wahrgenommenen Sicht des Benutzers von der optischen Anzeige eingerahmt ist. In diesem Zusammenhang bezieht sich ”Einrahmen” des Objekts darauf, dass dem Benutzer ein optischer Eindruck vermittelt wird, das Objekt sei umschlossen, selbst wenn die Sichtanzeige nur einen Teil des Objekts umschließt.
Bei einer Veränderung des Abstands vom Benutzer zum Display und zum Objekt verändert sich die prozentuale Überlappung. Eine Veränderung der prozentualen Überlappung kann in der wahrgenommenen Sicht des Benutzers akzeptiert werden, solange diese Veränderung nur klein ist, oder anders ausgedrückt, die prozentuale Überlappung sich innerhalb von vorgegebenen Grenzen bewegt. Bezogen auf ist eine Zeichnung einer Sichtanzeige, wobei die resultierende Verschiebung und Überlappung in dargestellt ist, einer Zeichnung der wahrgenommenen optischen Anzeige, die aus der Verwendung der Sichtanzeige in resultiert. Die Form der Sichtanzeige in wird verwendet, um eine Überlappung in der optischen Anzeige von zu erzeugen. Die Form der Sichtanzeige kann so konzipiert werden, dass bei Nebeneinanderstellen in der kombinierten Sicht die resultierende optische Anzeige die gewünschte Anzeige bietet.
Bei einer weiteren Ausführung wird die Sichtanzeige so dargestellt, dass der Anteil der horizontalen Überlappung in der wahrgenommenen Sicht des Benutzers im Wesentlichen in der optischen Anzeige beibehalten wird. In diesem Zusammenhang bezieht sich ”Überlappung” darauf, wie viel von der Breite der Sichtanzeige koextensiv in der wahrgenommenen optischen Anzeige erscheint. Der Anteil der horizontalen Überlappung ist gegeben mit (2a–c)/2a und der Bereich hängt von der verwendeten Sichtanzeige und der gewünschten optischen Anzeige ab. Bezogen auf
und werden bei Beibehaltung einer prozentualen Überlappung im Bereich zwischen 5% und 70% im Wesentlichen die optischen Anzeigen bzw. 15D erzeugt. Vorzugsweise sollte ein Bereich zwischen 20% und 50% verwendet werden, um optische Anzeigen wie in und dargestellt zu erzeugen. Bezogen auf und werden bei Beibehaltung einer prozentualen Überlappung im Bereich zwischen –10% und 10% im Wesentlichen die optischen Anzeigen bzw. 15D erzeugt. Es handelt sich dabei um nicht einschränkend zu verstehende Beispiele, und andere Möglichkeiten hängen von der spezifischen Anwendung ab.
Bei einer weiteren Ausführung wird die Höhe der Sichtanzeige, basierend mindestens auf einem Abstand zwischen Benutzer und Objekt, dynamisch verändert, so dass die wahrgenommene Höhe (Höhenwinkel) der optischen Anzeige zum Objekt im Wesentlichen unverändert bleibt. Bei einem gegebenen Abstand von einem Benutzer zu einem Objekt und einem Abstand von dem Benutzer zum Display kann die erforderliche Höhe der Sichtanzeige berechnet werden, und die Sichtanzeige kann entsprechend angezeigt werden. Ändert sich das Verhältnis vom Abstand zwischen Benutzer und Objekt zum Abstand zwischen Benutzer und Display, kann die Sichtanzeige entsprechend angepasst werden. Mit anderen Worten erscheint in der resultierenden Sicht des Benutzers bei einer Veränderung des Abstands zwischen dem Benutzer und dem Object of Interest das Objekt größer oder kleiner, und die optische Anzeige verändert sich entsprechend und erscheint größer oder kleiner.
Bei einer weiteren Ausführung wird die Höhe der Sichtanzeige, basierend auf mindestens einem Abstand zwischen Benutzer und Display, dynamisch verändert, so dass die wahrgenommene Höhe (Höhenwinkel) der optischen Anzeige zum Benutzer im Wesentlichen unverändert bleibt. Mit anderen Worten entspricht in der resultierenden Sicht des Benutzers die Veränderung der Größe der optischen Anzeige nicht dem Abstand vom Benutzer zum Objekt, sondern bei sich änderndem Abstand zwischen dem Benutzer und dem Display verändert sich die optische Anzeige entsprechen, um im Verhältnis zur Sicht des Benutzers eine gegebene Größe beizubehalten. Gemäß einem nicht einschränkend zu verstehenden Beispiel verändern sich Höhe und Linienstärke der Sichtanzeige, um die Größe der optischen Anzeige, wie sie der Benutzer wahrnimmt, beizubehalten.
Es wird angemerkt, dass die verschiedenen vorstehend beschriebenen Ausführungen in Bezug auf – als Sonderfall der hier definierten Sichtanzeige betrachtet werden können, bei dem ein erster Teil der Sichtanzeige in einer ersten Position angezeigt wird, die an der Blickrichtung vom ersten Auge eines Benutzers auf einen Point of Interest in der Szene ausgerichtet ist, und ein zweiter Teil der Sichtanzeige in einer zweiten Position, ausgerichtet an der Blickrichtung vom zweiten Auge des Benutzers auf den Point of Interest in der Szene, angezeigt wird, sodass der erste Teil der Sichtanzeige und der zweite Teil der Sichtanzeige sich in der vom Benutzer wahrgenommenen Sicht verbinden, um den Point of Interest anzuzeigen.
Bezogen auf ist eine bildliche Darstellung der Verwendung einer einzelnen Sichtanzeige, um ein Objekt anzuzeigen. Diese runde, schraffierte, einzelne Sichtanzeige ist auch mit Maßen in Bezug auf und beschrieben. Sicht 400A ist die vom rechten Auge des Benutzers gesehene Sicht, und 400B ist die vom linken Auge des Benutzers gesehene Sicht. In dieser Ausführung handelt es sich bei der Sichtanzeige 1000 um eine auf den Point of Interest bezogene halbtransparente Glyphe, Die Sichtanzeige 1000 wird am Standort der Sichtanzeige im Display angezeigt und so verschoben, dass die optische Anzeige erzeugt wird, die in dargestellt ist, einer bildlichen Darstellung der wahrgenommenen optischen Anzeige von . Die verschobenen Wahrnehmungen der Sichtanzeige 1000 werden im binokularen Teil 402 kombiniert, um eine schattierte (weniger transparente) Sichtanzeige 1004 zu erzeugen.
Bezogen auf ist eine bildliche Darstellung der Verwendung einer einzelnen Sichtanzeige, um ein Objekt anzuzeigen. Diese einzelne Sichtanzeige ist auch mit Maßen in Bezug auf und beschrieben. Sicht 400A ist die Sicht vom rechten Auge des Benutzers aus, und 400B ist die Sicht vom linken Auge des Benutzers aus. Bei dieser Ausführung handelt es sich bei der Sichtanzeige 1100 um eine vertikale I-Träger-Gryphe, wobei der Rand der Glyphe dem Objekt entspricht. Die Sichtanzeige 1100 wird am Standort der Sichtanzeige im Display angezeigt und so verschoben, dass die optische Anzeige erzeugt wird, die in dargestellt ist, einer bildlichen Darstellung der wahrgenommenen optischen Anzeige von . Die verschobenen Wahrnehmungen der Sichtanzeige 1100 werden im binokularen Teil 402 kombiniert, um eine umrahmende optische Anzeige 1104 zu erzeugen.
Bei den bildlichen Darstellungen von und und und , die die Verwendung von Teil-Sichtanzeigen darstellen, um eine optische Anzeige zur Verfügung zu stellen, handelt es sich um nicht einschränkend zu verstehende Beispiele; und dieses Verfahren ist auf verschiedene Glyphen anwendbar, je nach der Anwendung, in der es zum Einsatz kommt.
Bei einer optionalen Ausführung sind eine Vielzahl von Benutzern vorhanden. Die Verarbeitung bestimmt Position und Haltung einer Vielzahl von Gesichtern von Benutzern. Das jedem Benutzer zugeordnete Display zeigt Sichtanzeigen in einer entsprechenden Vielzahl von Positionen zum Display an. Jede der Sichtanzeigen ist an der Blickrichtung der Augen eines entsprechenden Gesichts eines Benutzers ausgerichtet. Bei einer optionalen Ausführung wird eine Anzahl von dargestellten Sichtanzeigen entsprechend der Anzahl von aktuell erkannten Gesichtern dynamisch verändert.
Bei einer anderen optionalen Ausführung wird ein Display dem Fenster eines Landfahrzeugs zugeordnet. Optional werden für das Fahrzeug geografische Positionsinformationen zur Verfügung gestellt, wie in Block 218 dargestellt. Optional wird auch eine geografische Datenbank, dargestellt in Block 220, zur Verfügung gestellt. Geografische Positionsinformationen für das Fahrzeug werden verwendet, um aus der geografischen Datenbank Standortinformationen für die Points of Interest zu gewinnen. Diese Standortinformationen werden verwendet, um den Teil der optischen Anzeige 214 zu bestimmen. Es ist zu beachten, dass andere Verbindungen möglich sind, z. B. die Eingabe der geografischen Position 218 direkt in die geografische Datenbank 220.
Bei einer optionalen Ausführung wird, basierend auf der aktuellen Position und Haltung des Gesichts des Benutzers, eine Teilmenge von aktuell für den Benutzer sichtbaren Points of Interest aus der geografischen Datenbank bestimmt.
Bei einer optionalen Ausführung wird eine Blickrichtung von einem Benutzer zu einem Strahlungspunkt, vor dem der Benutzer beschattet werden soll, bestimmt. Der Standort der Sichtanzeige wird berechnet, um zu erkennen, wo die Blickrichtung des Benutzers das Schattierungssystem schneidet. Das Schattierungssystem wird angesteuert, um Schattierung entlang der Blickrichtung zur Verfügung zu stellen.
Bei einer optionalen Ausführung umfasst ein Verfahren zur Verwendung eines nicht kollimierten transparenten Displays zur Bezeichnung eines Objekts, das ein Benutzer binokular durch ein Display betrachtet, Folgendes: Darstellung eines ersten Teils einer Sichtanzeige in einer ersten Position im Display, wobei die erste Position zwischen dem ersten Auge des Benutzers und dem Objekt ausgerichtet ist, und Darstellung eines zweiten Teils einer Sichtanzeige in einer zweiten Position im Display, wobei die zweite Position zwischen dem zweiten Auge des Benutzers und dem Objekt ausgerichtet ist.
Eine Ausführung eines Systems, das ein räumlich ausgerichtetes Head-up Display für eine Vielzahl von Benutzern bietet, die Szenen durch ein oder mehrere Displays betrachten, umfasst ein Erkennungssystem zum Bestimmen von Position und Haltung des Gesichts eines jeden Benutzers. Bezogen auf kann das Bilderfassungssystem 102 durch ein herkömmliches Erkennungssystem ersetzt werden. Beispiele herkömmlicher Erkennungssysteme werden im Abschnitt ”Hintergrund” dieses Schriftstücks beschrieben. Die herkömmliche Verwendung dieser Systeme dient der Erkennung einer einzelnen Person. Ein oder mehrere Erkennungssysteme können Position und Haltung einer Vielzahl von Gesichtern von Benutzern zur Verfügung stellen. Die Positions- und Haltungsinformationen werden an ein Steuerungssystem zur Weiterverarbeitung weitergeleitet. Optional werden Daten aus dem Erkennungssystem an ein Steuerungssystem weitergeleitet, und das Steuerungssystem verarbeitet die Daten von <sic>, um Position und Haltung des Gesichts eines jeden Benutzers zu bestimmen. Andere Kombinationen und Optionen sind für den Fachkundigen offenkundig. Das Steuerungssystem bestimmt eine Blickrichtung von mindestens einem Auge eines jeden Benutzers zu einem zugeordneten Point of Interest in der entsprechenden Szene. Jeder Benutzer kann eine andere Szene betrachten, mit unterschiedlichen Points of Interests. Ein Beispiel stellen Passagiere in einem Reisebus dar, wobei jeder der Passagiere aus dem Seitenfenster des Busses unterschiedliche Points of Interest in der Szene auf der jeweiligen Seite des Busses betrachtet. Ein oder mehrere Displays werden verwendet, um den Benutzern der Szene überlagerte Sichtanzeigen anzuzeigen. In einem Beispiel verfügt jedes Sitzpaar auf einer Seite eines Reisebusses über ein entsprechendes Display, das dem Fenster für das Benutzerpaar zugeordnet ist, und für jedes Benutzerpaar werden Sichtanzeigen angezeigt. In einem weiteren Beispiel überblickt eine Vielzahl von Benutzern durch ein einem Panoramafenster zugeordnetes Displayeine Szene, und es wird eine Vielzahl von Sichtanzeigen im Display angezeigt. Jede Sichtanzeige ist jeweils an der Blickrichtung des entsprechenden Benutzers ausgerichtet und jedem Benutzer wird ein räumlich ausgerichtetes Head-up Display zur Verfügung gestellt.
Es wird hervorgehoben, dass die vorstehenden Beschreibungen nur als Beispiel dienen und dass zahlreiche weitere Ausführungsformen im Rahmen der vorliegenden Erfindung, wie sie in den beigefügten Ansprüchen definiert ist, möglich sind.
Übersetzung zu den Abbildungen:

Abb. 1/15

Figure 1	Abbildung 1
Control system	Steuerungssystem
Database	Datenbank
Display	Display
Eiffel Tower	Eiffelturm
Image sensing system	Bilderfassungssystem
Location detection system	Standorterfassungssystem
Platform	Plattform
Window	Fenster

Abb. 2/15

Figure 2	Abbildung 2
Determine position and attitude of user's face	Position und Haltung des Gesichts des Benutzers bestimmen
Determine viewing direction	Blickrichtung bestimmen
Determine visible indication position	Position der Sichtanzeige bestimmen
Display visible indication	Sichtanzeige anzeigen
Optional derive 3D surface	Optional 3D-Oberfläche ableiten
Optional image processing	Optional: Bildverarbeitung
Provide geographical database	Geographische Datenbank bereitstellen
Provide geographical position	Geographische Position bereitstellen
Sample image	Bildaufnahme

Abb. 4/15, 5/15, 6/15, 7/15, 10/15, 11/15

Figure ...	Abbildung ...
Left eye view	Sicht, linkes Auge
Right eye view	Sicht, rechtes Auge

Abb. 8/15

Figure 8A/8B	Abb. 8A/8B
3D facial image	3D-Bild, Gesicht
Depth image	Tiefenbild
First 3D facial image	Erstes 3D-Bild, Gesicht
RGB image	RGB-Bild
Second 2D facial image	Zweites 2D-Bild, Gesicht

Abb. 9/15

Figure 9A/9B	Abb. 9A/9B
2D facial image	2D-Bild, Gesicht
3D facial model	3D-Bild, Gesicht
Albedo image	Albedo-Bild
Depth image	Tiefenbild
Pre-defined template of facial features	Vordefinierte Vorlage von Gesichtszügen

Abb. 12/15

Figure 12	Abbildung 12
Display	Display
Eiffel tower	Eiffelturm
Window	Fenster

Abb. 13/15, 14/15, 15/15

Figure ...

Abb. ...

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 6750832 [0007]
US 2007-0262971 A1 [0007]
US 5298732 [0085]

Claims

Ein System, das einem Benutzer, der eine Szene durch ein Display betrachtet, ein räumlich ausgerichtetes Head-up Display bietet, wobei das System Folgendes umfasst: (a) ein Bilderfassungssystem, das mindestens einen Bilderfassungssensor umfasst, der für die Aufnahme von Bildern vom Gesicht des Benutzers eingesetzt wird, wobei das Bilderfassungssystem Daten generiert, die mindestens teilweise von den genannten Bildern abgeleitet werden; (b) ein Display, das für den Benutzer die Szene überlagernde Sichtanzeigen anzeigt; und (c) ein dem genannten Bilderfassungssystem und dem genannten Display zugeordnetes Steuerungssystem, wobei dieses Steuerungssystem mindestens einen Prozessor umfasst und das genannte Steuerungssystem dazu konfiguriert ist, (i) Daten aus dem genannten Bilderfassungssystem zu verarbeiten, um Position und Haltung des Gesichts des Benutzers zu bestimmen, (ii) eine Blickrichtung von mindestens einem Auge des Benutzers auf einen Point of Interest innerhalb der Szene zu bestimmen; und (iii) das genannte Display anzusteuern, um eine an der genannten Blickrichtung ausgerichtete Sichtanzeige anzuzeigen, die dem Benutzer ein räumlich ausgerichtetes Head-up Display bietet.
Das System gemäß Anspruch 1, wobei das genannte Steuerungssystem dazu konfiguriert ist, die Daten zu verarbeiten, um ein dreidimensionales Modell von mindestens einem Teil des Gesichts des Benutzers abzuleiten, wobei das genannte dreidimensionale Modell dazu dient, Position und Haltung des Gesichts des Benutzers zu bestimmen.
Das System gemäß Anspruch 2, wobei das genannte Bilderfassungssystem mindestens zwei der genannten Bildsensoren umfasst, die dazu dienen, Bilder vom Gesicht des Benutzers von verschiedenen Blickwinkeln aufzunehmen, um Stereo-Bildpaare zu generieren, und wobei das genannte dreidimensionale Modell von mindestens einem Teil des Gesichts des Benutzers mindestens teilweise von den genannten Stereo-Bildpaaren abgeleitet wird.
Das System gemäß Anspruch 1, wobei es sich bei dem genannten Display um ein nicht kollimiertes Display handelt, das einer Fensterfläche zugeordnet ist.
Das System gemäß Anspruch 4, wobei das genannte Steuerungssystem dazu konfiguriert ist, die genannten Daten zur Bestimmung von Position und Haltung einer Vielzahl von Gesichtern zu verarbeiten und das genannte Display angesteuert werden kann, um Sichtanzeigen in einer entsprechenden Vielzahl von Positionen zum Fenster darzustellen, wobei jede der genannten Sichtanzeigen an der genannten Blickrichtung eines entsprechenden der genannten Gesichter ausgerichtet ist.
Das System gemäß Anspruch 1, wobei das genannte Steuerungssystem zusätzlich dazu konfiguriert ist, eine Sichtanzeige auf einem einzelnen nicht kollimierten Display dynamisch zu verändern, wobei das genannte Display ein räumlich ausgerichtetes Head-up Display bietet, sodass ein Benutzer, der ein Objekt binokular durch das genannte Display betrachtet, eine optische Anzeige wahrnimmt, die das Objekt anzeigt, und wobei das Verfahren die folgenden Schritte umfasst: (a) Berechnung der scheinbaren binokularen Verschiebung des Benutzers auf dem genannten Display zum Objekt; und (b) dynamische Veränderung der Breite der genannten Sichtanzeige, basierend auf der genannten scheinbaren binokularen Verschiebung.
Das System gemäß Anspruch 1, wobei das genannte Steuerungssystem dazu konfiguriert ist, eine Vielzahl von Displays anzusteuern und jedes der genannten Displays einem oder mehreren Benutzern ein räumlich ausgerichtetes Head-up Display bietet.
Ein Verfahren zur Bereitstellung eines räumlich ausgerichteten Head-up Displays für einen Benutzer, der eine Szene unter Anwendung des Systems eines der vorhergehenden Ansprüche durch ein Display betrachtet, wobei das Verfahren aus folgenden Schritten besteht: (a) Aufnahme von Bildern vom Gesicht des Benutzers, (b) Verarbeitung der genannten Bilder zur Bestimmung einer Position und Haltung des Gesichts des Benutzers; (c) Bestimmung einer Blickrichtung von mindestens einem Auge des Benutzers auf einen Point of Interest innerhalb der Szene; und (d) Darstellung einer an der genannten Blickrichtung ausgerichteten Sichtanzeige auf dem genannten Display, die dem Benutzer ein räumlich ausgerichtetes Head-up Display bietet.
Ein Verfahren, das einem Benutzer, der eine Szene durch ein Display betrachtet, ein räumlich ausgerichtetes Head-up Display bietet, wobei das Verfahren folgende Schritte umfasst: (a) Aufnahme von Bildern vom Gesicht des Benutzers, (b) Verarbeitung der genannten Bilder zur Bestimmung einer Position und Haltung des Gesichts des Benutzers; (c) Bestimmung einer Blickrichtung von mindestens einem Auge des Benutzers auf einen Point of Interest innerhalb der Szene; und (d) Darstellung einer an der genannten Blickrichtung ausgerichteten Sichtanzeige auf dem genannten Display, die dem Benutzer ein räumlich ausgerichtetes Head-up Display bietet.
Ein Verfahren zur dynamischen Veränderung einer Sichtanzeige auf einem einzelnen nicht kollimierten Display, wobei das genannte Display ein räumlich ausgerichtetes Head-up Display bietet, so dass ein Benutzer, der binokular durch das Display ein Objekt betrachtet, eine optische Anzeige wahrnimmt, die auf das Objekt hinweist, und wobei das Verfahren die folgenden Schritte umfasst: (a) Berechnung der scheinbaren binokularen Verschiebung des Benutzers auf dem genannten Display zum Objekt; und (b) dynamische Veränderung der Breite der genannten Sichtanzeige, basierend auf der genannten scheinbaren binokularen Verschiebung.
Das Verfahren gemäß Anspruch 10, wobei die Höhe der genannten Sichtanzeige, basierend mindestens auf einem Abstand zwischen Benutzer und Objekt, dynamisch verändert wird, so dass die wahrgenommene Höhe der genannten optischen Anzeige zum Objekt im Wesentlichen unverändert bleibt.
Das Verfahren gemäß Anspruch 10, wobei die Höhe der genannten Sichtanzeige, basierend mindestens auf einem Abstand zwischen Benutzer und dem genannten Display, dynamisch verändert wird, so dass die wahrgenommene Höhe der genannten optischen Anzeige zum Benutzer im Wesentlichen unverändert bleibt.
Das Verfahren laut Anspruch 10, gemäß dem die genannte Sichtanzeige so dargestellt ist, dass das Objekt in der wahrgenommenen binokularen Sicht des Benutzers von der optischen Anzeige eingerahmt ist.
Das Verfahren gemäß Anspruch 10, wobei die genannte Sichtanzeige so dargestellt wird, dass in der wahrgenommenen Sicht des Benutzers ein Anteil der horizontalen Überlappung der genannten Sichtanzeige mit sich selbst aufgrund der scheinbaren binokularen Verschiebung im Wesentlichen konstant bleibt.