DE102020101746A1

DE102020101746A1 - Verfahren zur Nutzerinteraktionserfassung von einem Nutzer in einer virtuellen Umgebung

Info

Publication number: DE102020101746A1
Application number: DE102020101746.4A
Authority: DE
Inventors: Turgay Isik Aslandere; Ke Fan; Frederik De Smet
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2020-01-24
Filing date: 2020-01-24
Publication date: 2021-07-29
Also published as: US20210232289A1; CN113176822A

Abstract

Einlesen von einer Mehrzahl von Trainings-Datensätzen (TDS) repräsentativ für Nutzerinteraktionen des Nutzers (4) in einer realen Umgebung (8),
Trainieren eines künstlichen neuronalen Netzes (14) mit den Trainings-Datensätzen (TDS) ,
Beaufschlagen des trainierten künstlichen neuronalen Netzes (14) mit einem Nutzer-Datensatz (NDS) repräsentativ für eine Nutzerinteraktion des Nutzers (4) in der virtuellen Umgebung (6) um einen Wert (W1, W2, W3, W4, W5, W6) indikativ für eine Wahrscheinlichkeit für ein ausgewähltes Objekt (12a, 12b, 12c, 12d, 12e, 12f) in der virtuellen Umgebung (6) bestimmen,
Bestimmen eines durch die Nutzerinteraktion ausgewählten Objektes (12a, 12b, 12c, 12d, 12e, 12f) in der virtuellen Umgebung (6) durch Auswerten zumindest des Wertes (W1, W2, W3, W4, W5, W6) indikativ für eine Wahrscheinlichkeit, und
Bestimmen eine Manipulation des Objektes (12a, 12b, 12c, 12d, 12e, 12f) durch den Nutzer (4).

Description

Die Erfindung betrifft ein Verfahren zur Nutzerinteraktionserfassung von einem Nutzer in einer virtuellen Umgebung. Ferner betrifft die Erfindung ein Computerprogrammprodukt und ein System für eine derartige N utzerinteraktionserfassu ng.
Als virtuelle Realität, kurz VR, wird die Darstellung und gleichzeitige Wahrnehmung der Wirklichkeit und ihrer physikalischen Eigenschaften in einer in Echtzeit computergenerierten, interaktiven virtuellen Umgebung bezeichnet.
Die virtuelle Umgebung wird von einer Echtzeit-Rendering-Engine bereitgestellt, die einen auf Rasterung (Tiefenpuffer) basierenden Rendering-Ansatz wie OpenGL oder einen auf Raytracing basierenden Ansatz zur Erstellung der virtuellen Umgebung verwendet. Dies kann z.B. in eine Game Engine wie Unity3d oder Unreal eingebettet sein.
Die virtuelle Umgebung kann mit verschiedenen Anzeigesystemen, wie z.B. Head Mounted Displays (HMD) oder projektionsbasierten Systemen (z.B. CAVEs) einem Nutzer visualisiert werden. Je nach visueller Ausgabe kann die virtuelle Umgebung in verschiedenen Computerumgebungen (GPU-Cluster, Einzelarbeitsplatz mit mehreren GPUs oder ein Laptop) erfolgen. Parallel werden Tracking-Daten von Körperteilen eines Nutzers, wie seines Kopfes und/oder seiner Hände bzw. Finger, z.B. von einem Infrarot-Tracking-System wie Leap Motion, HTC Vive-Sensoren oder Intel RealSense erfasst. Die Tracking-Daten können die Position des Nutzers und seiner Körperteile umfassen.
Mit einem derartigen Infrarot-Tracking-System ist ein markierungsfreies Finger-Tracking möglich, so dass der Nutzer keine zusätzliche Hardware, wie z.B. einen Datenhandschuh, tragen muss.
Nutzerinteraktionen von einem Nutzer mit virtuellen Objekten in der virtuellen Umgebung sind notwendig, wenn nicht alle Objekte durch ein Mock-up dargestellt werden können. Eine der gängigsten und natürlichsten Methoden zur Nutzerinteraktion mit den virtuellen Objekten ist die virtuelle Handmetapher. Allerdings sind Nutzerinteraktionen von einem Nutzer mit den virtuellen Objekten in der virtuellen Umgebung, die die virtuelle Handmetapher verwenden, schwierig, insbesondere wenn in der virtuellen Umgebung Verkehrssituationen simuliert werden. Dies liegt daran, dass die virtuellen Objekte meist nicht mit einem physischen Objekt oder Mock-up dargestellt werden und es daher an natürlicher Rückmeldung und eingeschränkter Sicht in der virtuellen Umgebung fehlt. Bekannte Verfahren zur Nutzerinteraktion bieten jedoch keine sehr genauen Interaktionen.
Aus der US 2017 0161555 A1 ist ein Verfahren zur Nutzerinteraktionserfassung von einem Nutzer in einer virtuellen Umgebung bekannt, bei dem ein rekurrentes neuronales Netz verwendet wird, das mit Trainings-Datensätzen repräsentativ für Nutzerinteraktionen des Nutzers in einer realen Umgebung trainiert wurde.
Aus der CN 109 766 795 A und der US 10 482 575 B2 sind weitere Verfahren zur Nutzerinteraktionserfassung von einem Nutzer in einer virtuellen Umgebung bekannt.
Es besteht Bedarf daran, Wege aufzuzeigen, wie eine Nutzerinteraktionserfassung von einem Nutzer in einer virtuellen Umgebung verbessert werden kann.
Die Aufgabe der Erfindung wird gelöst durch ein Verfahren zur Nutzerinteraktionserfassung von einem Nutzer in einer virtuellen Umgebung, mit den Schritten:

Einlesen von einer Mehrzahl von Trainings-Datensätzen repräsentativ für Nutzerinteraktionen des Nutzers in einer realen Umgebung,
Trainieren eines künstlichen neuronalen Netzes mit den Trainings-Datensätzen,
Beaufschlagen des trainierten künstlichen neuronalen Netzes mit einem Nutzer-Datensatz repräsentativ für eine Nutzerinteraktion des Nutzers in der virtuellen Umgebung um einen Wert indikativ für eine Wahrscheinlichkeit für ein ausgewähltes Objekt in der virtuellen Umgebung bestimmen,
Bestimmen eines durch die Nutzerinteraktion ausgewählten Objektes in der virtuellen Umgebung durch Auswerten zumindest des Wertes indikativ für eine Wahrscheinlichkeit, und
Bestimmen eine Manipulation des Objektes durch den Nutzer.

Mit anderen Worten, es wird ein trainiertes künstliches neuronales Netz verwendet, das in einer vorgeschalteten Trainingsphase mit in einer realen Umgebung gewonnenen Trainings-Datensätzen trainiert wurde. Dabei stellt das trainierte künstliche neuronale Netz einen Wert indikativ für eine Wahrscheinlichkeit für eine Auswahl eines Objektes in der virtuellen Umgebung durch den Nutzer bereit. Die eigentliche Bestimmung des ausgewählten Objektes erfolgt erst in einem weiteren Schritt durch Auswertung des Wertes für die Wahrscheinlichkeit. Eine Manipulation des Objektes durch den Nutzer erfolgt dann in einem weiteren Schritt. Es wird also das trainierte künstliche neuronale Netz genutzt um vorab eine Bestimmung eines ausgewählten Objektes durchzuführen bevor eine Manipulation des Objektes durch den Nutzer erfasst wird. So wird durch den Einschub von Zwischenschritten, die ein trainiertes künstliches neuronales Netz in das Verfahren einbinden einen Nutzerinteraktionserfassung von einem Nutzer in einer virtuellen Umgebung verbessert.
Gemäß einer Ausführungsform wird als künstliches neuronales Netz ein rekurrentes neuronales Netz verwendet. Dabei werden unter rekurrenten bzw. rückgekoppelten neuronalen Netzen neuronale Netze verstanden, die sich im Gegensatz zu Feedforward-Netzen durch Verbindungen von Neuronen einer Schicht zu Neuronen derselben oder einer vorangegangenen Schicht auszeichnen. Beispiele für solche rekurrente neuronale Netze sind das Elman-Netz, das Jordan-Netz, das Hopfield-Netz, sowie das vollständig verschaltete neuronale Netz und das LSTMs (long short-term memory, deutsch: langes Kurzzeitgedächtnis). Mit derartigen rekurrenten neuronalen Netzen können besonders gut Sequenzen, wie Bewegungsabläufen- bzw. -sequenzen von Gesten, wie z.B. Handbewegungen eines Nutzers, ausgewertet werden.
Gemäß einer weiteren Ausführungsform sind die Mehrzahl von Trainings-Datensätzen Trajektorie-Daten indikativ für Kopf- und/oder Handpositionen und/oder -orientierungen. Kopfpositionen und -orientierungen werden dabei als Indikativ für eine Blickrichtung des Nutzers angesehen. Die Erfassung der Kopfpositionen und -orientierungen kann mit einem HMI erfolgen, das z.B. als Virtual-Reality-Headset ausgebildet ist. Die Handpositionen und/oder - orientierungen hingegen werden als indikativ für Gesten, wie z.B. Greifbewegungen oder Berührvorgänge zum Betätigen von Schaltern oder Schaltflächen angesehen. Die Erfassung der Handpositionen und/oder - orientierungen kann z.B. mit einem Infrarot-Tracking-System erfolgen, das zudem ein markierungsfreies Finger-Tracking ermöglicht. Gerade eine kombinierte Auswertung von Blickrichtung und Gesten eines Nutzers erlaubt eine besonders zuverlässige Bestimmung eines ausgewählten Objektes.
Gemäß einer weiteren Ausführungsform wird der Wert indikativ für eine Wahrscheinlichkeit mit einem Schwellwert verglichen und das Objekt wird ausgewählt, wenn der Wert indikativ für eine Wahrscheinlichkeit größer als der Schwellwert ist. Mit anderen Worten, es wird ein Schwellwertvergleich durchgeführt. So wird sichergestellt, dass lediglich als ausgewählte Objekte diejenigen bestimmt werden, für die tatsächlich eine erhöhte Wahrscheinlichkeit von z.B. 0,8 oder 0,9 gegeben ist. So wird die Zuverlässigkeit des Verfahrens gesteigert.
Gemäß einer weiteren Ausführungsform wird zumindest ein Wert indikativ für eine Wahrscheinlichkeit eines ersten Objektes mit einem Wert indikativ für eine Wahrscheinlichkeit eines zweiten Objektes verglichen, und es wird das Objekt mit dem höheren Wert ausgewählt. Mit anderen Worten, es erfolgt ein Vergleich von zwei Wahrscheinlichkeitswerten, die verschiedenen Objekten zugeordnet sind. Auch so kann die Zuverlässigkeit des Verfahrens gesteigert werden.
Gemäß einer weiteren Ausführungsform werden aus Sensordaten indikativ für eine Nutzerinteraktion des Nutzers eine Mehrzahl von Nutzer-Datensätzen mit jeweils einer vorbestimmten Zeitdauer gebildet. Mit anderen Worten, die Sensordaten stellen einen Datenstrom dar, der z.B. Daten indikativ für die Kopf- und/oder Handpositionen und/oder -orientierungen des Nutzers enthält. Dieser Datenstrom wird in Nutzer-Datensätze geteilt, die repräsentativ für Bewegungssequenzen sind, die z.B. Gesten des Nutzers umfassen. Die vorbestimmte Zeitdauer kann einen festen Wert aufweisen, oder die Sensordaten werden vorab ausgewertet um einen Anfang und ein Ende einer möglichen Geste zu bestimmen, so dass dann die vorbestimmte Zeitdauer eine jeweils angepassten Wert aufweist. So kann die Zuverlässigkeit des Verfahrens gesteigert werden.
Ferner gehören zur Erfindung ein Computerprogrammprodukt und ein System für eine derartige Nutzerinteraktionserfassung.
Es wird nun die Erfindung anhand einer Zeichnung erläutert. Es zeigen:

1 in schematischer Darstellung einen Nutzer einer virtuellen Umgebung sowie Komponenten der virtuellen Umgebung.
2 in schematischer Darstellung einen Trainings- und einen Auswertevorgang eines Systems zur Nutzerinteraktionserfassung von einem Nutzer in der virtuellen Umgebung.
3 in schematischer Darstellung weitere Details des Trainings- und des Auswertevorgangs.
4 in schematischer Darstellung einen Verfahrensablauf zum Betrieb des in 2 gezeigten System.

Es wird zunächst auf 1 Bezug genommen.
Dargestellt ist eine virtuelle Umgebung 6, in der ein Nutzer 4 eine Nutzerinteraktion ausführt.
Als virtuelle Realität, kurz VR, wird die Darstellung und gleichzeitige Wahrnehmung der Wirklichkeit und ihrer physikalischen Eigenschaften in einer in Echtzeit computergenerierten, interaktiven virtuellen Umgebung bezeichnet.
Für die Erzeugung einer virtuellen Umgebung ist ferner eine speziell für diesen Zweck entwickelte Software erforderlich. Die Software muss komplexe dreidimensionale Welten in Echtzeit, d.h. mit mindestens 25 Bildern pro Sekunde, in Stereo getrennt für linkes und rechtes Auge des Nutzers 8 berechnen können. Dieser Wert variiert je nach Anwendung - eine Fahrsimulation beispielsweise erfordert mindestens 60 Bilder pro Sekunde, um Übelkeit (Simulatorkrankheit) zu vermeiden.
Um ein Gefühl der Immersion zu erzeugen werden zur Darstellung der virtuellen Umgebung spezielle HMIs 16, wie z.B. Virtual-Reality-Headsets, verwendet, die der Nutzer 4 auf seinem Kopf trägt. Um einen räumlichen Eindruck zu vermitteln, werden zwei Bilder aus unterschiedlichen Perspektiven erzeugt und dargestellt (Stereoprojektion).
Für eine Nutzerinteraktion mit der virtuellen Welt werden Tracking-Daten von Körperteilen des Nutzers 4, wie seines Kopfes und/oder seiner Hände bzw. Finger von einem Tracking-System 18, im vorliegenden Ausführungsbeispiel einem Infrarot-Tracking-System, wie Leap Motion, HTC Vive-Sensoren oder Intel RealSense, erfasst.
Bei der Nutzerinteraktion handelt es sich im vorliegenden Ausführungsbeispiel um die Auswahl und Betätigung von einem ausgewählten Objekt 12a, 12b, 12c, 12d, 12e, 12f in der virtuellen Umgebung 6 mittels in der virtuellen Umgebung dargestellten Handmetaphern 10a, 10b. Die Auswahl und Betätigung betrifft dabei im vorliegenden Ausführungsbeispiel die Auswahl und Betätigung von als Schaltflächen ausgebildeten Objekten 12a, 12b, 12c, 12d, 12e, 12f in der virtuellen Umgebung 6 mittels der Handmetapher 10a, 10b durch den Nutzer 4. In dem in 1 dargestellten Szenario will der Nutzer 4 das Objekt 12b auswählen um es zu betätigen. Im vorliegenden Ausführungsbeispiel wird für alle Objekte 12a, 12b, 12c, 12d, 12e, 12f, ob sie das vom Nutzer 4 ausgewählte Objekt 12b sind. Es kann aber auch vorgesehen sein, das eine Vorauswahl aus der Gesamtheit der Objekte 12a, 12b, 12c, 12d, 12e, 12f getroffen wird. Z.B. können die Objekte 12a, 12b im Rahmen der Vorauswahl ausgewählt sein.
Es wird nun unter zusätzlicher Bezugnahme auf 2 ein System 2 zur Nutzerinteraktionserfassung von einem Nutzer 4 in der virtuellen Umgebung 6 erläutert. Dabei kann das System 2 und seine nachfolgend beschriebenen Komponenten Hard- und/oder Software-Komponenten aufweisen, die für die jeweiligen Aufgaben und/oder Funktionen ausgebildet sind.
Das System 2 ist zum maschinellen Lernen ausgebildet, wie dies später noch detailliert erläutert wird. Hierzu ist das System 2 dazu ausgebildet eine Mehrzahl von Trainings-Datensätzen TDS einzulesen. Die Trainings-Datensätze TDS werden gewonnen, indem Daten repräsentativ für Nutzerinteraktionen des Nutzers 4 in einer realen Umgebung 8 erfasst werden. Mit anderen Worten, die Daten werden aufgezeichnet, wenn der Nutzer z.B. eine reale Schaltfläche betätigt.
Die Trainings-Datensätze TDS enthalten im vorliegenden Ausführungsbeispiel Daten, die indikativ für Kopf- und/oder Handpositionen und/oder - orientierungen zu verschiedenen Zeitpunkten t0, t1, t2, ... tn einer Bewegungssequenz des Nutzers 4 sind. Die Erfassung der Kopfpositionen und -orientierungen kann mit dem HMI 16 erfolgen, das z.B. als Virtual-Reality-Headset ausgebildet ist, während die Handpositionen und/oder - orientierungen mit einem Tracking-System 18 erfasst werden.
Mit den Trainings-Datensätzen TDS wird ein künstliches neuronales Netz 14 während einer Trainingsphase trainiert um ein ausgewähltes Objekt 12a, 12b, 12c, 12d, 12e, 12f bestimmen zu können. Später im Betrieb während eines Auswertevorganges wird das trainierte künstliche neuronale Netz 14 mit einem Nutzer-Datensatz NDS repräsentativ für eine Nutzerinteraktion des Nutzers 4 in der virtuellen Umgebung 6 beaufschlagt.
Der Nutzer-Datensatz NDS enthält wie die Trainings-Datensätze TDS im vorliegenden Ausführungsbeispiel Daten, die indikativ für Kopf- und/oder Handpositionen und/oder -orientierungen zu verschiedenen Zeitpunkten t0, t1, t2, ... tn einer Bewegungssequenz des Nutzers 4 sind. Die Erfassung der Kopfpositionen und -orientierungen kann ebenfalls mit dem HMI 16 erfolgen, das z.B. als Virtual-Reality-Headset ausgebildet ist, während die Handpositionen und/oder -orientierungen ebenfalls mit dem Tracking-System 18 erfasst werden.
Das trainierte künstliche neuronale Netz 14 stellt auf das Beaufschlagen mit dem Nutzer-Datensatz NDS hin einen Wert W1, W2, W3, W4, W5, W6 als Ausgang bereit, der indikativ für eine jeweilige Wahrscheinlichkeit für ein ausgewähltes Objekt 12a, 12b, 12c, 12d, 12e, 12f ist. Im vorliegenden Ausführungsbeispiel ist das künstliche neuronale Netz 14 ein rekurrentes neuronales Netz. Ferner weist das künstliche neuronale Netz 14 im vorliegenden Ausführungsbeispiel eine many-to-one-Achritektur auf, d.h. das künstliche neuronale Netz 14 weist eine Mehrzahl von Eingängen, aber nur einen einzigen Ausgang auf.
Ferner ist das System 2 dazu ausgebildet, den Wert W1, W2, W3, W4, W5, W6 indikativ für eine Wahrscheinlichkeit auszuwerten um ein durch die Nutzerinteraktion ausgewähltes Objekt 12a, 12b in der virtuellen Umgebung 6 zu bestimmen.
Hierzu kann das System 2 dazu ausgebildet sein, in einer Auswerteeinheit 20 z.B. den Wert W2 indikativ für eine Wahrscheinlichkeit mit einem Schwellwert SW zu vergleichen und das Objekt 12b auszuwählen, wenn der Wert W2 indikativ für eine Wahrscheinlichkeit größer als der Schwellwert SW ist.
Alternativ oder zusätzlich kann das System 2 dazu ausgebildet sein, in der Auswerteeinheit 20 eine Auswahl aus zwei Objekten 12a, 12b durchzuführen. Hierzu kann das System 2 einen Wert W1 indikativ für eine Wahrscheinlichkeit eines ersten Objektes 12a und einen Wert W2 indikativ für eine Wahrscheinlichkeit eines zweiten Objektes 12b bestimmen, die beiden Werte W1, W2 miteinander vergleichen, und das Objekt 12a, 12b mit dem höheren Wert W1, W2 auszuwählen.
In beiden Fällen stellt das System 2 bzw. die Auswerteeinheit 20 einen Ausgangs-Datensatz ADS bereit, der das ausgewählte Objekt 12a, 12b, 12c, 12d, 12e, 12f kennzeichnet.
Des Weiteren ist das System 2 dazu ausgebildet eine Manipulation des bestimmten Objektes 12a, 12b, 12c, 12d, 12e, 12f durch den Nutzer 4 zu bestimmen. Hierzu können Algorithmen Verwendung finden, die auf einer Kollisionsbestimmung von Objekten in der virtuellen Umgebung 4 beruhen oder auf Gestenerkennung. Zur Manipulation des bestimmten Objektes 12a, 12b, 12c, 12d, 12e, 12f kann sich der Nutzer 4 zusätzlich Eingabegeräten (nicht dargestellt) bedienen, wie z.B. einer 3D-Maus, einem Joystick oder einem Flystick.
Es werden nun unter zusätzlicher Bezugnahme auf 3 weitere Details des in 2 gezeigten Systems 2 erläutert.
Zum Trainieren des künstlichen neuronalen Netzes 14 werden mit dem HMI 16 bzw. dem Tracking-System 18 Kopf- und/oder Handpositionen und/oder - orientierungen in Form von Trajektorie-Daten TS erfasst. Bei den Trajektorie-Daten TD handelt es sich um Datenströme. Von dem System 2 werden die Trajektorie-Daten TD in Zwischen-Datensätze ZDS für verschiedene Zeitpunkte t0, t1, t2, ... tn einer Bewegungssequenz des Nutzers 4 und dann in die Trainings-Datensätze TDS umgewandelt, die jeweils eine vorbestimmte Zeitdauer aufweisen.
Jedem Trainings-Datensatz TDS ist auch eine Statusinformation S zugeordnet, welches Objekt 12a, 12b, 12c, 12d, 12e, 12f ausgewählt wurde bzw. ob es nicht von dem Nutzer 4 in der realen Umgebung 8 ausgewählt wurde. Mit anderen Worten, das künstliche neuronale Netz 14 wird mittels überwachtem Lernen (englisch supervised learning) trainiert.
Nach dem Trainieren des künstlichen neuronalen Netzes 14 während der Trainingsphase werden später im Betrieb während eines Auswertevorganges die Sensordaten SD analog mit dem HMI 16 bzw. dem Tracking-System 18 Kopf- und/oder Handpositionen und/oder -orientierungen erfasst. Des Weiteren werden von dem System 2 die Sensordaten SD in Form eines Datenstromes in die Nutzer-Datensätze NDS umgewandelt, die jeweils eine vorbestimmte Zeitdauer aufweisen.
Wie schon erwähnt stellt das trainierte künstliche neuronale Netz 14 auf das Beaufschlagen mit dem Nutzer-Datensatz NDS hin einen Wert W1, W2, W3, W4, W5, W6 als Ausgang bereit, der indikativ für eine Wahrscheinlichkeit für ein ausgewähltes Objekt 12 ist.
Es wird nun unter zusätzlicher Bezugnahme auf 4 ein Verfahrensablauf zum Betrieb des Systems 2 mit einem bereits trainierten künstlichen neuronalen Netz 14 erläutert.
Das Verfahren startet mit einem ersten Schritt S100.
In einem weiteren Schritt S200 liest das System 2 den Nutzer-Datensatz NDS ein.
In einem weiteren Schritt S300 wird das trainierte künstliche neuronale Netz 14 mit dem Nutzer-Datensatz NDS beaufschlagt und liefert den Wert W1, W2, W3, W4, W5, W6 indikativ für eine Wahrscheinlichkeit für das jeweilige ausgewählte Objekt 12a, 12b, 12c, 12d, 12e, 12f.
In einem weiteren Schritt S400 vergleicht das System 2 im vorliegenden Ausführungsbeispiel z.B. den Wert W2 mit einem vorbestimmten Schwellwert SW. Ist der Wert W2 kleiner als der Schwellwert SW (false) wird das Verfahren mit einem weiteren Schritt S600 fortgesetzt, um dann wieder mit dem ersten Schritt S100 erneut gestartet zu werden. Ist hingegen der Wert W2 größer oder gleich dem Schwellwert (true) wird das Verfahren mit einem weiteren Schritt S700 fortgesetzt.
Angemerkt sei, dass abweichend vom vorliegenden Ausführungsbeispiel statt oder zusätzlich zu dem beschriebenen Schwellwertvergleich ein Vergleich zweier Werte W1, W2 erfolgen kann, die zwei Objekten 12a, 12b zugeordnet sind.
Mit anderen Worten, es wird zyklisch die virtuelle Umgebung 4 nach Objekten 12a, 12b, 12c, 12d, 12e, 12f mit einer vorbestimmten Periodendauer bzw. Zeitdauer von z.B. 3 Sekunden abgesucht, die Gegenstand einer Nutzerinteraktion sein könnten. Im Rahmen dieser Suche werden vorab die Sensordaten SD in die Mehrzahl der Nutzer-Datensätze NDS unterteilt. Wenn eine Mehrzahl von Objekten 12a, 12b, 12c, 12d, 12e, 12f sich in der virtuellen Umgebung 4 befinden kann vorgesehen sein, die Anzahl der Objekte 12a, 12b, 12c, 12d, 12e, 12f durch einen Hüllkörper-Algorithmus (minimum bounding box-algorithmus) zu reduzieren, z.B. auf die beiden Objekte 12a, 12b. So kann der Bedarf an Rechnerressourchen reduziert werden.
In einem weiteren Schritt S700 erfolgt dann die Bestätigung der Auswahl des Objektes 12a, 12b, 12c, 12d, 12e, 12f, z.B. durch den Nutzer 14. Wenn aber das Objekt 12a, 12b, 12c, 12d, 12e, 12f nicht das vom Nutzer 14 ausgewählte Objekt 12a, 12b, 12c, 12d, 12e, 12f ist (false) wird das Verfahren mit einem weiteren Schritt S900 fortgesetzt, um dann eine weitere Auswahl zu ermöglichen und um mit dem ersten Schritt S100 erneut gestartet zu werden. Wenn hingegen das Objekt 12a, 12b, 12c, 12d, 12e, 12f das vom Nutzer 14 ausgewählte Objekt 12a, 12b, 12c, 12d, 12e, 12f ist (true) wird das Verfahren mit einem weiteren Schritt S1100 fortgesetzt.
In dem weiteren Schritt S1100 erfolgt dann die eigentliche Manipulation des Objektes 12a, 12b, 12c, 12d, 12e, 12f durch den Nutzer 4 in der virtuellen Umgebung 6, wie ein Betätigen einer Schaltfläche.
Kann von dem System 2 keine direkte Manipulation des Objektes 12a, 12b, 12c, 12d, 12e, 12f durch den Nutzer 4 erfasst werden (false) wird das Verfahren mit einem weiteren Schritt S1300 fortgesetzt.
In dem Schritt S1300 wird eine Gestenerkennung durchgeführt um eine direkte Manipulation des Objektes 12a, 12b, 12c, 12d, 12e, 12f durch den Nutzer 4 zu erfassen.
Wenn hingegen eine direkte Manipulation des Objektes 12a, 12b, 12c, 12d, 12e, 12f durch den Nutzer 4 erfasst werden kann (true) wird das Verfahren mit einem weiteren Schritt S1400 fortgesetzt
In dem Schritt S1400 wird die direkte Manipulation des Objektes 12a, 12b, 12c, 12d, 12e, 12f durch den Nutzer 4 umgesetzt.
Abweichend vom vorliegenden Ausführungsbeispiel kann die Reihenfolge der Schritte auch eine andere sein. Ferner können mehrere Schritte auch zeitgleich bzw. simultan ausgeführt werden. Des Weiteren können auch abweichend vom vorliegenden Ausführungsbeispiel einzelne Schritte übersprungen oder ausgelassen werden.
So kann durch den Einschub von Zwischenschritten, die das trainierte künstliche Netz 14 in das Verfahren einbinden eine Nutzerinteraktionserfassung von einem Nutzer 4 in einer virtuellen Umgebung 6 verbessert werden.
Bezugszeichenliste

2: System
4: Nutzer
6: virtuelle Umgebung
8: reale Umgebung
10a: Handmetapher
10b: Handmetapher
12a: Objekt
12b: Objekt
12c: Objekt
12d: Objekt
12e: Objekt
12f: Objekt
14: künstliches neuronales Netz
16: HMI
18: Tracking-System
20: Auswerteinheit
ADS: Ausgangs-Datensatz
NDS: Nutzer-Datensatz
S: Statusinformation
SD: Sensordaten
SW: Schwellwert
t0: Zeitpunkt
t1: Zeitpunkt
t2: Zeitpunkt
tn: Zeitpunkt
TD: Trajektorie-Daten
TDS: Trainings-Datensatz
W1: Wert
W2: Wert
W3: Wert
W4: Wert
W5: Wert
W6: Wert
ZDS: Zwischen-Datensätze
S100: Schritt
S200: Schritt
S300: Schritt
S400: Schritt
S500: Schritt
S600: Schritt
S700: Schritt
S800: Schritt
S900: Schritt
S1000: Schritt
S1100: Schritt
S1200: Schritt
S1300: Schritt
S1400: Schritt

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 20170161555 A1 [0007]
CN 109766795 A [0008]
US 10482575 B2 [0008]

Claims

Verfahren zur Nutzerinteraktionserfassung von einem Nutzer (4) in einer virtuellen Umgebung (6), mit den Schritten: Einlesen von einer Mehrzahl von Trainings-Datensätzen (TDS) repräsentativ für Nutzerinteraktionen des Nutzers (4) in einer realen Umgebung (8), Trainieren eines künstlichen neuronalen Netzes (14) mit den Trainings-Datensätzen (TDS), Beaufschlagen des trainierten künstlichen neuronalen Netzes (14) mit einem Nutzer-Datensatz (NDS) repräsentativ für eine Nutzerinteraktion des Nutzers (4) in der virtuellen Umgebung (6) um einen Wert (W1, W2, W3, W4, W5, W6) indikativ für eine Wahrscheinlichkeit für ein ausgewähltes Objekt (12a, 12b, 12c, 12d, 12e, 12f) in der virtuellen Umgebung (6) bestimmen, Bestimmen eines durch die Nutzerinteraktion ausgewählten Objektes (12a, 12b, 12c, 12d, 12e, 12f) in der virtuellen Umgebung (6) durch Auswerten zumindest des Wertes (W1, W2, W3, W4, W5, W6) indikativ für eine Wahrscheinlichkeit, und Bestimmen eine Manipulation des Objektes (12a, 12b, 12c, 12d, 12e, 12f) durch den Nutzer (4).
Verfahren nach Anspruch 1, wobei als künstliches neuronales Netz (14) ein rekurrentes neuronales Netz verwendet wird.
Verfahren nach Anspruch 1 oder 2, wobei die Mehrzahl von Trainings-Datensätzen (TDS) Trajektorie-Daten (TD) indikativ für Kopf- und/oder Handpositionen und/oder -orientierungen sind.
Verfahren nach Anspruch 1, 2 oder 3, wobei der Wert (W1, W2, W3, W4, W5, W6) indikativ für eine Wahrscheinlichkeit mit einem Schwellwert (SW) verglichen wird, und das Objekt (12a, 12b, 12c, 12d, 12e, 12f) ausgewählt wird, wenn der Wert (W1, W2, W3, W4, W5, W6) indikativ für eine Wahrscheinlichkeit größer als der Schwellwert (SW) ist.
Verfahren nach einem der Ansprüche 1 bis 4, wobei zumindest ein Wert (W1) indikativ für eine Wahrscheinlichkeit eines ersten Objektes (12a) mit einem Wert (W2) indikativ für eine Wahrscheinlichkeit eines zweiten Objektes (12b) verglichen wird, und das Objekt (12a, 12b) mit dem höheren Wert (W1, W2) ausgewählt wird.
Verfahren nach einem der Ansprüche 1 bis 5, wobei aus Sensordaten (SD) indikativ für eine Nutzerinteraktion des Nutzers (4) eine Mehrzahl von Nutzer-Datensätzen (NDS) mit jeweils einer vorbestimmten Zeitdauer gebildet werden.
Computerprogrammprodukt, ausgebildet zum Ausführen eines Verfahrens nach einem der Ansprüche 1 bis 6.
System (2) zur Nutzerinteraktionserfassung von einem Nutzer (4) in einer virtuellen Umgebung (6), wobei das System (2) dazu ausgebildet ist eine Mehrzahl von Trainings-Datensätzen (TDS) repräsentativ für Nutzerinteraktionen des Nutzers (4) in einer realen Umgebung (8) einzulesen, ein künstliches neuronales Netz (14) mit den Trainings-Datensätzen (TDS) zu trainieren, das trainierte künstliche neuronale Netz (14) mit einem Nutzer-Datensatz (NDS) repräsentativ für eine Nutzerinteraktion des Nutzers (4) in der virtuellen Umgebung (6) zu beaufschlagen um einen Wert (W1, W2, W3, W4, W5, W6) indikativ für eine Wahrscheinlichkeit für ein ausgewähltes Objekt (12a, 12b, 12c, 12d, 12e, 12f) in der virtuellen Umgebung (6) bestimmen, ein durch die Nutzerinteraktion ausgewähltes Objekt (12a, 12b, 12c, 12d, 12e, 12f) in der virtuellen Umgebung (6) durch Auswerten zumindest des Wertes (W1, W2, W3, W4, W5, W6) indikativ für eine Wahrscheinlichkeit zu bestimmen, und eine Manipulation des Objektes (12a, 12b, 12c, 12d, 12e, 12f) durch den Nutzer (4) zu bestimmen.
System (2) nach Anspruch 8, wobei das künstliche neuronale Netz (14) ein rekurrentes neuronales Netz ist.
System (2) nach Anspruch 8 oder 9, wobei die Mehrzahl von Trainings-Datensätzen (TDS) Trajektorie-Daten (TD) indikativ für Kopf- und/oder Handpositionen und/oder -orientierungen sind.
System (2) nach Anspruch 8, 9 oder 10, wobei das System (2) dazu ausgebildet ist, den Wert (W1, W2, W3, W4, W5, W6) indikativ für eine Wahrscheinlichkeit mit einem Schwellwert (SW) zu vergleichen und das Objekt (12a, 12b, 12c, 12d, 12e, 12f) auszuwählen, wenn der Wert (W1, W2, W3, W4, W5, W6) indikativ für eine Wahrscheinlichkeit größer als der Schwellwert (SW) ist.
System (2) nach einem der Ansprüche 8 bis 11, wobei das System (2) dazu ausgebildet ist, zumindest einen Wert (W1) indikativ für eine Wahrscheinlichkeit eines ersten Objektes (12a) mit einem Wert (W2) indikativ für eine Wahrscheinlichkeit eines zweiten Objektes (12b) zu vergleichen und das Objekt (12a, 12b) mit dem höheren Wert (W1, W2) auszuwählen.
System (2) nach einem der Ansprüche 8 bis 12, wobei das System (2) dazu ausgebildet ist aus Sensordaten (SD) indikativ für eine Nutzerinteraktion des Nutzers (4) eine Mehrzahl von Nutzer-Datensätzen (NDS) mit jeweils einer vorbestimmten Zeitdauer zu bilden.