-
QUERVERWEIS AUF VERWANDTE APPLICATIONS
-
Diese Anmeldung beansprucht die Priorität der am 26. Dezember 2018 eingereichten vorläufigen
US-Anmeldung Nr. 62/784.837 , deren Inhalt durch Verweis in vollem Umfang in diese Anmeldung aufgenommen wird.
-
HINTERGRUND DER ERFINDUNG
-
Gebiet der Erfindung
-
Die vorliegende Offenbarung bezieht sich auf ein Verfolgungssystem und insbesondere auf ein Objektverfolgungssystem und eine Objektverfolgungsverfahren.
-
Beschreibung des Stands der Technik
-
Bestehende kamerabasierte Head Mounted Displays (HMD) haben eine feste Anzahl von Kameras. Beispielsweise können sich zwei Kameras in der vorderen Mitte befinden, eine Kamera auf der rechten Seite und eine weitere auf der linken Seite des kamerabasierten Head-Mounted-Displays. Die feste Anzahl von Kameras kann Bilder innerhalb eines bestimmten Sichtbereichs, z.B. eines horizontalen Sichtfelds, erfassen.
-
Eine feste Anzahl von Kameras kann jedoch nur ein begrenztes Sichtfeld bieten, z.B. ein vertikales Sichtfeld. Dies kann den Controller-Verfolgungsbereich einschränken, so dass Bereiche oberhalb und unterhalb des kamerabasierten Head-Mounted-Displays nicht erfasst werden können.
-
Daher ist die Frage, wie man einem vorhandenen Modul, wie z.B. einem kamerabasierten Head-Mounted-Displays, mindestens ein Kameramodul hinzufügt, um das Sichtfeld des kamerabasierten Head-Mounted-Displays zu erweitern, zu einem der Probleme geworden, die in diesem Bereich gelöst werden müssen.
-
KURZE ZUSAMMENFASSUNG DER ERFINDUNG
-
In Übereinstimmung mit einem Merkmal der vorliegenden Erfindung bietet die vorliegende Offenbarung ein Objektverfolgungssystem. Das Objektverfolgungssystem umfasst ein am Kopf montiertes Anzeigegerät (Head Mounted Display, HMD) und ein Zusatzgerät. Das HMD-Gerät umfasst einen ersten Prozessor. Der erste Prozessor ist so konfiguriert, dass er Suchinformationen für die Suche nach einem Objekt während einer Suchphase übermittelt. Das Zubehörgerät ist an das HMD-Gerät angeschlossen. Das Zubehörgerät umfasst mindestens eine Zubehörkamera und einen zweiten Prozessor. Der zweite Prozessor ist an die mindestens eine Zubehörkamera angeschlossen. Der zweite Prozessor ist so konfiguriert, dass er die Suchinformationen empfängt und feststellt, ob eine der mindestens einen Zubehörkamera während der Suchphase ein Objektbild aufgenommen hat. Wenn der zweite Prozessor feststellt, dass mindestens eine der mindestens einen Zubehörkamera das Objektbild erfasst hat, sendet der zweite Prozessor Benachrichtigungsinformationen an den ersten Prozessor, und der erste Prozessor tritt in eine Verfolgungsphase ein und sendet Anforderungsinformationen an den zweiten Prozessor. Wenn der zweite Prozessor die Anforderungsinformation empfängt, führt der zweite Prozessor eine der folgenden Maßnahmen durch: Übertragen des Objektbildes an den ersten Prozessor, wobei der erste Prozessor eine Objektpose gemäß dem Objektbild berechnet; und Berechnen der Objektpose gemäß dem Objektbild und Übertragen der Objektpose an den ersten Prozessor.
-
In Übereinstimmung mit einem Merkmal der vorliegenden Erfindung bietet die vorliegende Offenbarung eine Verfahren zur Verfolgung von Objekten. Die Objektverfolgungsverfahren umfasst folgende Schritte: Übertragung von Suchinformationen zur Suche eines Objekts durch einen ersten Prozessor während einer Suchphase; Empfang der Suchinformationen und Verwendung eines zweiten Prozessors zur Bestimmung, ob eine von mindestens einer Zubehörkamera ein Objektbild in der Suchphase erfasst hat. Wenn der zweite Prozessor feststellt, dass mindestens eine der mindestens einen Zubehörkamera das Objektbild erfasst hat, sendet der zweite Prozessor Benachrichtigungsinformationen an den ersten Prozessor, und der erste Prozessor tritt in eine Verfolgungsphase ein und sendet Anforderungsinformationen an den zweiten Prozessor. Wenn der zweite Prozessor die Anforderungsinformation empfängt, führt der zweite Prozessor eine der folgenden Maßnahmen durch: Übertragen des Objektbildes an den ersten Prozessor, wobei der erste Prozessor eine Objektpose gemäß dem Objektbild berechnet; und Berechnen der Objektpose gemäß dem Objektbild und Übertragen der Objektpose an den ersten Prozessor.
-
Ausführungsbeispiele der vorliegenden Erfindung sehen ein Objektverfolgungssystem und eine Objektverfolgungsverfahren vor, die mit modularisierten Zubehörkameras eines Zubehörgeräts versehen sind. Die Zubehörkameras sind je nach Bedarf steckbar. Ein zusätzlicher Prozessor im Zubehörgerät könnte dem am Kopf montierten Anzeigegerät helfen, den Controller zu suchen und zu verfolgen. Auf diese Weise erzielen das Objektverfolgungssystem und die Objektverfolgungsverfahren den Effekt einer besseren verteilten Rechenleistung. Darüber hinaus können das Objektverfolgungssystem und die Objektverfolgungsverfahren flexibel mindestens ein Kameramodul (d.h. eine Zubehörkamera) zu einem bestehenden Modul (d.h. einem am Kopf montierten Anzeigegerät) hinzufügen, um das Sichtfeld des am Kopf montierten Anzeigegeräts zu erweitern. Auch der Objektverfolgungsbereich (z.B. Controller-Verfolgungsbereich) kann erweitert werden.
-
Figurenliste
-
Die Erfindung kann durch die anschließende detaillierte Beschreibung und Beispiele mit Verweisen auf die beigefügten Zeichnungen besser verstanden werden, wobei
- die 1-2 schematische Darstellungen eines Objektverfolgungssystems in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung sind;
- 3 ein Schema einer Frontansicht eines Zusatzgerätes ist, das auf dem Objektverfolgungssystem gemäß eines Ausführungsbeispiels der vorliegenden Offenbarung montiert ist;
- 4A ein Blockdiagramm des Objektverfolgungssystems in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung ist;
- 4B ein Blockdiagramm eines Controllers in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung ist;
- 5 ein Flussdiagramm eines Verfahrens zum Einschalten des Zubehörgeräts gemäß einem Ausführungsbeispiel der vorliegenden Offenbarung ist;
- 6 ein Flussdiagramm einer Obj ektverfolgungsverfahren in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung ist;
- 7 ein Schema der Objektverfolgung in Übereinstimmung mit einer Ausführungsbeispiel der vorliegenden Offenbarung ist; und
- 8 ein Flussdiagramm einer Objektverfolgungsverfahren in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung ist.
-
AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
-
Die folgende Beschreibung beschreibt die am besten geeignete Art und Weise der Ausführung der Erfindung. Diese Beschreibung dient der Veranschaulichung der allgemeinen Grundsätze der Erfindung und sollte nicht in einem einschränkenden Sinne verstanden werden. Der Umfang der Erfindung lässt sich am besten anhand der beigefügten Ansprüche bestimmen.
-
Die vorliegende Erfindung wird in Bezug auf bestimmte Ausführungsformen und unter Bezugnahme auf bestimmte Zeichnungen beschrieben, aber die Erfindung ist nicht darauf beschränkt und wird nur durch die Ansprüche begrenzt. Es wird weiter verstanden, dass die Begriffe „umfasst“, „umfasst“ und/oder „einschließen“, wenn sie hier verwendet werden, das Vorhandensein von angegebenen Merkmalen, ganzen Zahlen, Schritten, Operationen, Elementen und/oder Komponenten spezifizieren, aber nicht das Vorhandensein oder die Hinzufügung von einem oder mehreren anderen Merkmalen, ganzen Zahlen, Schritten, Operationen, Elementen, Komponenten und/oder Gruppen davon ausschließen.
-
Die Verwendung von Ordnungsbegriffen wie „erster“, „zweiter“, „dritter“ usw. in den Ansprüchen zur Änderung eines Anspruchselements begründet für sich allein genommen keine Priorität, keinen Vorrang oder eine Reihenfolge eines Anspruchselements gegenüber einem anderen oder die zeitliche Reihenfolge, in der die Handlungen einer Verfahren ausgeführt werden, sondern wird lediglich als Etikett zur Unterscheidung eines Anspruchselements mit einem bestimmten Namen von einem anderen Element mit demselben Namen (aber zur Verwendung des Ordnungsbegriffs) zur Unterscheidung der Anspruchselemente verwendet.
-
Unter Bezugnahme auf 1-4A und 4B sind 1-2 schematische Darstellungen eines Objektverfolgungssystems 100 in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung. 3 ist eine schematische Darstellung einer Frontansicht eines Zusatzgerätes, das auf dem Objektverfolgungssystem 100 gemäß einem Ausführungsbeispiel der vorliegenden Offenbarung montiert ist. 4A ist ein Blockdiagramm des Objektverfolgungssystems 100 in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung. 4B ist ein Blockdiagramm eines Steuergeräts CR in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung.
-
In einem Ausführungsbeispiel trägt ein Benutzer USR das kopfgetragene Anzeigegerät HMD, um virtuelle Realität zu erleben. In einer Ausführung kann das kopfgetragene Anzeigegerät HMD am Kopf des Benutzers über ein Kopfband HB oder einen Helm befestigt werden.
-
In einer Ausführung umfasst das Objektverfolgungssystem 100 ein am Kopf montiertes Anzeigegerät HMD und ein Zusatzgerät COV. Das Zusatzgerät COV wird an das am Kopf montierte Anzeigegerät HMD angeschlossen. In einer Ausführung kann das Zubehörgerät COV jedes tragbare Gerät sein, wie z.B. eine intelligente Uhr, ein Kameramodul, ein intelligentes Armband, ein Sensormodul, eine Abdeckvorrichtung usw. Das Zubehörgerät COV umfasst mindestens eine Zubehörkamera und einen Prozessor.
-
In einer Ausführung ist das Zubehörgerät COV eine Frontabdeckvorrichtung (wie in 1 dargestellt) für das am Kopf montierte Anzeigegerät HMD, die Hauptkameras C0-C3 umfassen eine linke Seitenkamera C2, eine rechte Seitenkamera C3, eine linke Frontkamera C0 und eine rechte Frontkamera C1. Die mindestens eine Zubehörkamera C4-C5 umfasst eine Kamera, die auf der Oberseite der Frontabdeckungsvorrichtung und eine weitere, die auf der Unterseite der Frontabdeckungsvorrichtung angebracht ist.
-
Unter Bezugnahme auf 1 und 4A enthält das am Kopf montierte Anzeigegerät HMD in einer Ausführung einen Prozessor P1 und mindestens eine Hauptkamera C0-C3. Jede Hauptkamera C0-C3 wird an den Prozessor P1 angeschlossen (wie in 4A dargestellt). In einer Ausführung sind die Hauptkameras C0-C3 eine linke Seitenkamera C2, eine rechte Seitenkamera C3, eine linke Frontkamera C0 und eine rechte Frontkamera C1 auf dem am Kopf montierten Anzeigegerät HMD. Zur einfacheren Erläuterung werden in dem in den folgenden Ausführungsformen dargestellten Beispiel vier Hauptkameras C0-C3 verwendet. Diejenigen, die sich in diesem Bereich auskennen, werden jedoch verstehen, dass die vorliegende Erfindung nicht auf die anfängliche Konfiguration von vier Kameras in der am Kopf montierten Anzeigevorrichtung HMD beschränkt ist.
-
In einer Ausführung umfasst das Zubehörgerät COV einen Prozessor P2 und mindestens eine Zubehörkamera C4-C5 (d.h. die Zubehörkamera). Jede Zubehörkamera C4-C5 wird an den Prozessor P2 angeschlossen (wie in 4A dargestellt). In einer Ausführung kann das Zubehörgerät COV eine Abdeckung mit eingebetteten Zubehörkameras C4-C5 sein, die an den Prozessor P2 angeschlossen werden. In einer Ausführung wird eine der Zubehörkameras (z.B. die Zubehörkamera C4) auf der Oberseite des Zubehörgeräts COV und eine weitere Zubehörkamera (z.B. die Zubehörkamera C5) auf der Unterseite des Zubehörgeräts COV angebracht. Zur besseren Erläuterung sind die in den folgenden Ausführungen verwendeten Beispiele mit zwei Zubehörkameras C4-C5 ausgestattet. Diejenigen, die sich auf dem Gebiet der Technik auskennen, werden jedoch verstehen, dass die vorliegende Erfindung nicht darauf beschränkt ist, zwei Zubehörkameras in der Zubehörvorrichtung COV zu konfigurieren.
-
In einer Ausführung können die Zubehörkameras C4-C5 Kameramodule sein, die in das Zubehörgerät COV montiert/eingebaut werden.
-
In einer Ausführung enthält das Zubehörgerät COV die Bohrungen H1 und H0. Die Position der Bohrung H1 entspricht der Position der Hauptkamera C1. Die Position der Bohrung H0 entspricht der Position der Hauptkamera C0.
-
In einem Ausführungsbeispiel kann der Prozessor P1 und/oder der Prozessor P2 jedes elektronische Gerät sein, das eine Berechnungsfunktion hat. Der Prozessor P1 und/oder der Prozessor P2 können durch eine integrierte Schaltung, wie z.B. einen Mikrocontroller, einen Mikroprozessor, einen digitalen Signalprozessor, eine anwendungsspezifische integrierte Schaltung (ASIC) oder eine Logikschaltung implementiert werden.
-
In einer Ausführung können die Hauptkameras C0-C3 und die Zubehörkameras C4-C5 durch ein Kameramodul implementiert werden, das ein ladungsgekoppeltes Bauelement (CCD) oder einen komplementären Metalloxid-Halbleiter (CMOS) enthält.
-
In einer Ausführung wird das Zusatzgerät COV mit dem am Kopf montierten Anzeigegerät HMD über einen Draht oder eine drahtlose Verbindung verbunden. Das Zubehörgerät COV kann z.B. an das am Kopf montierte Anzeigegerät HMD angeschlossen werden, indem die serielle Peripherieschnittstelle (SPI) verwendet wird. Auf diese Weise können Informationen zwischen den Prozessoren P1 und P2 ausgetauscht werden, die das Zusatzgerät COV an das am Kopf montierte Anzeigegerät HMD anschließt (wie in 2 dargestellt).
-
In einer Ausführung, wie in 3 dargestellt, ist die Zubehörkamera C4 höher als die linke Frontkamera C0 und die rechte Frontkamera C1 und die Zubehörkamera C4 niedriger als die linke Frontkamera C0 und die rechte Frontkamera C1 angeordnet, wenn das Zubehörgerät COV an das am Kopf montierte Anzeigegerät HDM angeschlossen ist.
-
In einer Ausführung werden die Zubehörkameras C4-C5 selektiv an verschiedenen Stellen platziert, um das Sichtfeld (FOV) des am Kopf montierten Anzeigegeräts HMD zu erweitern. Der Prozessor P1 kann ein Objektbild (z.B. ein Controller-Bild) von einer Zubehörkamera (z.B. Zubehörkamera C5) oder einer Hauptkamera (z.B. Hauptkamera C0) erhalten.
-
Mit anderen Worten, das Zubehörgerät COV kann als ein Abdeckgerät mit den oberen und unteren Zubehörkameras C4-C5 betrachtet werden. Wie in 2 dargestellt, kann das Zubehörgerät COV an das am Kopf montierte Anzeigegerät HMD angeschlossen werden. Durch die steckbaren Zubehörkameras C4-C5 kann das vertikale Sichtfeld erweitert werden (z.B. bis zu 220 Grad). Daher kann der Objektverfolgungsbereich durch Hinzufügen der Zubehörkameras C4-C5 erweitert werden. Zur besseren Veranschaulichung wird in den folgenden Ausführungen der Controller CR als Beispiel für das Objekt verwendet. Diejenigen, die sich in der Technik auskennen, sollten jedoch verstehen, dass die vorliegende Erfindung nicht auf die Verfolgung des Controllers CR beschränkt ist.
-
In einer Ausführung, wie in 4B gezeigt, enthält der Controller CR Leuchtdioden (LEDs) 40. Der Prozessor P1 oder der Prozessor P2 berechnet die Objektposition (z.B. die Controller-Position) entsprechend der relativen Position der LEDs 40 im Objektbild (z.B. dem Controller-Bild). In einer Ausführung können diese Kameras C0-C5 diese LEDs 40 Bild für Bild erfassen.
-
In einer Ausführungsbeispiel ist das Objektbild ein Abbild des Objekts. Und das Objektbild kann nur das Teilbild mit identifizierbaren Merkmalen des Objekts enthalten. Das identifizierbare Merkmal kann zum Beispiel eine Lichtkugel, die LEDs 40 oder ein anderes spezifisches Muster sein.
-
In einer Ausführung sind die LEDs 40 in einem Muster angeordnet (siehe 7), und der Prozessor P1 oder P2 kann den Abstand zwischen dem am Kopf montierten Anzeigegerät HMD und dem Controller CR durch den Abstand der einzelnen Liniensegmente des Musters bestimmen.
-
In einer Ausführung sind die LEDs 40 in einem Muster angeordnet, und der Prozessor P1 oder P2 kann die Controller-Position entsprechend dem Drehwinkel des Musters bestimmen. Der Prozessor P1 oder P2 kann bekannte Algorithmen anwenden, um die Objektpose (z.B. die Controller-Pose) zu berechnen.
-
In einer Ausführungsbeispiel ist die Objekt-Pose die Pose des Objekts. Die Objektpose umfasst die Informationen zur Rotation und die Koordinaten des Objekts. Der Prozessor P1 oder P2 kann beispielsweise die Drehung und die absolute Koordinate der X-, Y- und Z-Achsen des Controllers CR im dreidimensionalen realen Raum entsprechend dem Muster im Controller-Bild (z.B. der Position des Liniensegments im Muster) und der Position des am Kopf montierten Anzeigegeräts HMD definieren. Dann kann der Prozessor P1 oder P2 die Bewegung des Controllers CR auf der absoluten Koordinate der X-, Y- und Z-Achse und die Drehung des Controllers CR verfolgen und dadurch die relative Koordinate zwischen dem Controller CR und dem am Kopf montierten Anzeigegerät HMD in der virtuellen Realität berechnen. Diejenigen mit gewöhnlichen Fähigkeiten sollten jedoch verstehen, dass die vorliegende Erfindung nicht darauf beschränkt ist, den Controller CR mit den LEDs 40 zu verfolgen, und nicht darauf beschränkt ist, die obige Verfahren zu verwenden. Darüber hinaus kann der Prozessor P1 oder P2 verschiedene bekannte Verfolgungsalgorithmen zur Verfolgung verschiedener Objekte verwenden.
-
Unter Bezugnahme auf 5-7 ist 5 ein Flussdiagramm eines Verfahrens 500 zum Einschalten des Zusatzgerätes gemäß einem Ausführungsbeispiel der vorliegenden Offenbarung. 6 ist ein Flussdiagramm eines Objektverfolgungsverfahrens 600 in Übereinstimmung mit einer Ausführungsbeispiel der vorliegenden Offenbarung. 7 ist ein Schema der Objektverfolgung gemäß einem Ausführungsbeispiel der vorliegenden Offenbarung. 8 ist ein Flussdiagramm eines Objektverfolgungsverfahrens 800 in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung.
-
In einer Ausführung kann das Objektverfolgungsverfahren 600 und/oder das Objektverfolgungsverfahren 800 zur Verfolgung mehrerer Objekte angewendet werden. Im Folgenden wird der Einfachheit halber der Controller CR als Beispiel verwendet.
-
Unter Bezugnahme auf 5 erkennt das am Kopf montierte Anzeigegerät HMD im Schritt 510, ob das Zubehörgerät COV an das am Kopf montierte Anzeigegerät HMD angeschlossen ist. Wenn das am Kopf montierte Anzeigegerät HMD erkennt, dass das Zubehörgerät COV an das am Kopf montierte Anzeigegerät HMD angeschlossen ist, wird Schritt 520 ausgeführt. Wenn das am Kopf montierte Anzeigegerät HMD feststellt, dass das Zubehörgerät COV nicht am am Kopf montierten Anzeigegerät HMD angeschlossen ist, wird Schritt 510 erneut ausgeführt. In Schritt 520 versorgt das am Kopf montierte Anzeigegerät HMD das Zubehörgerät COV mit Strom. Daher wird das Zubehörgerät COV in Schritt 520 eingeschaltet. Die Stromversorgung für das Zubehörgerät COV wird also vom am Kopf montierten Anzeigegerät HMD bereitgestellt. Sobald das Zubehörgerät COV an das am Kopf montierte Anzeigegerät HMD angeschlossen ist, befindet sich das Zubehörgerät COV im eingeschalteten Zustand.
-
Unter Bezugnahme auf 6 wird das Objektverfolgungsverfahren 600 durch den Prozessor P1 des am Kopf montierten Anzeigegeräts HMD und den Prozessor P2 des Zusatzgeräts COV durchgeführt.
-
Im Schritt 610 tritt der Prozessor P1 in die Suchphase für die Suche nach einem Objektbild (z.B. der Controller CR) ein.
-
In einem Ausführungsbeispiel stellt der Prozessor P1 fest, ob eine der mindestens einen Hauptkamera C0-C3 während der Suchphase ein Objektbild aufgenommen hat.
-
In Schritt 620 überträgt der Prozessor P1 Suchinformationen für die Suche nach dem Objekt während einer Suchphase.
-
In Schritt 630 erhält der Prozessor P2 die Suchinformationen.
-
In einem Ausführungsbeispiel erhält der Prozessor P2 die Suchinformationen und führt einen Suchalgorithmus aus. Der Suchalgorithmus für die Suche nach dem Objektbild kann den bekannten Suchalgorithmus anwenden, wie z.B. Perceptual Hash-Algorithmus, Feature-Matching-Algorithmus..., usw.
-
In einem Ausführungsbeispiel führt der Prozessor P1 den Suchalgorithmus für die von einer Hauptkamera C0-C3 aufgenommenen Bilder aus, und der Prozessor P2 führt den Suchalgorithmus für die von einer Zubehörkamera C4-C5 aufgenommenen Bilder aus, um zu bestimmen, ob das Objektbild während der Suchphase aufgenommen wurde.
-
In einem Ausführungsbeispiel kann das Objektbild ein Bild mit dem Controller-Bild sein.
-
In einem Ausführungsbeispiel prüft der Prozessor P1 alle von den Hauptkameras C0-C3 aufgenommenen Bilder, um das Objektbild zu finden.
-
In einer Ausführungsbeispiel prüft der Prozessor P2 alle von den Zubehörkameras C4-C5 aufgenommenen Bilder, um das Objektbild zu finden. Beispielsweise vergleicht der Prozessor P2 aus den von den Zubehörkameras C4-C5 erfassten Bildern, welcher Teil jedes Bildes wie ein Controller CR ist, um das Controller-Bild zu finden.
-
In Schritt 640 verwendet der Prozessor P2 einen zweiten Prozessor, um zu bestimmen, ob eine von mindestens einer Zubehörkamera C4-C5 ein Objektbild erfasst hat.
-
In einem Ausführungsbeispiel stellt der Prozessor P2 fest, ob mindestens eine an den Prozessor P2 angeschlossene Zubehörkamera C4-C5 während der Suchphase ein Objektbild aufgenommen hat. Wenn der Prozessor P2 feststellt, dass mindestens eine an den Prozessor P2 angeschlossene Zubehörkamera C4-C5 das Objektbild während der Suchphase erfasst hat, wird Schritt 650 ausgeführt.
-
In Schritt 650 überträgt der Prozessor P2 Benachrichtigungsinformationen an den Prozessor P1.
-
In einem Ausführungsbeispiel enthalten die Benachrichtigungsinformationen auch Kamerainformationen. Die Kamerainformationen zeigen an, dass eine bestimmte Zubehörkamera (z.B. die Zubehörkamera C5) das Objektbild erfasst hat. Da der Prozessor P1 die Kamerainformationen erhalten hat, wird Schritt 660 ausgeführt.
-
In Schritt 660 tritt der Prozessor P1 in die Verfolgungsphase ein.
-
In einem Ausführungsbeispiel verfolgt oder berechnet der Prozessor P1 kontinuierlich die Objektposition des von der spezifischen Zubehörkamera (z.B. Zubehörkamera C5) im Verfolgungsstadium aufgenommenen Objektbildes. Daher muss der Prozessor P1 das Zubehörgerät COV informieren, um das Objektbild zu liefern.
-
In einem Ausführungsbeispiel überträgt der Prozessor P2 Übergabeinformationen an das am Kopf montierte Anzeigegerät HMD, wenn sich das Objekt vom FOV einer der Kameras C0-C5 (z. B. das FOV der Zubehörkamera C4) zu einem anderen (z. B. das FOV der Zubehörkamera C5) bewegt. Die Übergabeinformation zeigt an, dass eine andere spezifische Zubehörkamera (z.B. die Zubehörkamera C4) das Objektbild erfasst hat, der Prozessor P1 führt einen Übergabeprozess durch, um die Objektposition des von der anderen spezifischen Zubehörkamera (z.B. der Zubehörkamera C4) erfassten Objektbildes in der Verfolgungsphase kontinuierlich zu verfolgen oder zu berechnen. Wie in 7 dargestellt, führt der Prozessor P1, wenn sich der Controller CR von der Unterseite des am Kopf montierten Anzeigegeräts HMD nach oben bewegt (der Pfeil zeigt an, dass sich der Controller CR von unten nach oben bewegt) und das Controller-Bild zunächst von der Kamera C5 erfasst wird und sich in die Aufnahme von Kamera C4 ändert, einen Übergabeprozess durch, um die Controller-Position des von der Zubehörkamera C4 in der Verfolgungsphase erfassten Controller-Bildes kontinuierlich zu verfolgen oder zu berechnen.
-
In Schritt 670 überträgt der Prozessor P1 Anforderungsinformationen an den Prozessor P2. In einer Ausführungsform überträgt der Prozessor P1 Anforderungsinformationen an den Prozessor P2, um das Zusatzgerät COV zu bitten, das Objektbild oder mehrere Objektbilder zu liefern.
-
In Schritt 680, wenn der Prozessor P2 die Anforderungsinformationen erhält, bereitet der Prozessor P2 das zu sendende Objektbild vor.
-
In einem Ausführungsbeispiel enthalten die Anforderungsinformationen einen Zuschneide-Befehl, wenn der Prozessor P2 die Anforderungsinformationen erhält, schneidet der Prozessor P2 das Objektbild zu einem Teilbild des Objektbildes zu (z.B. Abruf/Ausschneiden des Controller-Bildteils aus dem gesamten Objektbild), das das Objekt noch enthält und das Teilbild (z.B. den Controller-Bildteil) an den Prozessor P1 überträgt, und der Prozessor P1 berechnet die Objektpose entsprechend dem Teilbild. Zum Beispiel beträgt das gesamte Objektbild 640*480 Pixel. Der Prozessor P2 kann den Controller-Bildteil (z.B. 60*40 Pixel) aus dem gesamten Objektbild zuschneiden. Durch das Zuschneiden des Objektteils kann er die Übertragungsmenge in Schritt 690 reduzieren.
-
In einem Ausführungsbeispiel kann das Teilbild nur das teilweise identifizierbare Merkmal des Objekts enthalten. Beispielsweise kann das Teilbild nur eine Lichtkugel, einige der LEDs 40 oder ein teilweises spezifisches Muster enthalten, ohne ein ganzes Controller-CR-Bild.
-
Mit anderen Worten, sobald das Controller-Bild gefunden ist, wechselt die Suchphase zur Nachverfolgungsphase, der Prozessor P1 des am Kopf montierten Anzeigegeräts HMD sendet den Zuschneide-Befehl an Prozessor P2, um die Bereitstellung der Objektbilder zu erfragen. Außerdem bedeutet der Zuschneidebefehl, dass das Zusatzgerät COV nur den Objektbildbereich sendet, der das Controller-Bild (d.h. das Controller-Bild) enthält, nicht das gesamte Objektbild. Mit dieser Technologie kann die Bilddatenübertragung sofort erhalten werden.
-
In Schritt 690 überträgt der Prozessor P2 das Objektbild an den Prozessor P1.
-
In einem Ausführungsbeispiel überträgt der Prozessor P2 das Objektbild an einen Puffer (z.B. RAM) des am Kopf montierten Anzeigegeräts HMD, sobald eine Zubehörkamera (z.B. die Zubehörkamera C5) das Objektbild erfasst hat. Der Prozessor P1 kann das Objektbild aus dem Zwischenspeicher entnehmen.
-
In Schritt 695 verfolgt oder berechnet der Prozessor P1 die Objektposition anhand des Objektbildes.
-
In einem Ausführungsbeispiel verfolgt oder berechnet der Prozessor P1, nachdem er ein oder mehrere Objektbilder erhalten hat, die Objektpose anhand des Objektbildes.
-
Wenn der Prozessor P1 in einem Ausführungsbeispiel das Objektbild nicht kontinuierlich erhält, geht er wieder in die Suchphase (Schritt 610). Wenn der Prozessor P1 beispielsweise die Verfolgung des Objekts verliert, tritt er in die Suchphase ein. Dann suchen alle Hauptkameras C0-C3 und/oder alle Zubehörkameras C4-C5 wieder nach dem Objektbild.
-
In einem Ausführungsbeispiel wird die Suchphase dazu verwendet, mehrere oder alle Kameras C0-C5 zu verwenden, um herauszufinden, von welcher Kamera das Objektbild aufgenommen wurde. Darüber hinaus wird die Suchphase verwendet, um herauszufinden, in welchem Teil des gesamten FOV das Objektbild erscheint.
-
Nachdem beispielsweise der Controller CR zunächst das FOV verlässt und dann der Controller CR wieder in das FOV eintritt, tritt der Prozessor P1 in die Suchphase ein, um herauszufinden, von welcher bestimmten Kamera das Controller-Bild aufgenommen wurde.
-
In einem anderen Beispiel wird in der Suchphase, wenn der Prozessor P1 weiß, dass sich der Controller CR von der Unterseite des FOVs aus dem FOV herausbewegt, vorhergesagt, dass der Controller CR von der Unterseite des FOVs zurücklaufen wird. Daher erhöht der Prozessor P1 die Priorität des Suchgewichts der Zubehörkamera C5. Der Prozessor P1 sucht jedoch weiterhin alle Kameras C0-C5 nach Controller-Bildern ab.
-
In einem Ausführungsbeispiel wird, nachdem die spezifische Kamera (z.B. Zubehörkamera C5) das Objektbild in der Suchphase herausgefunden hat, die Verfolgungsphase verwendet, um die Objektpose von der spezifischen Kamera (z.B. Zubehörkamera C5) genau zu verfolgen. In der Verfolgungsphase nehmen andere Kameras (z.B. die Kameras C0-C4) kontinuierlich Bilder auf, aber die von ihr aufgenommenen Bilder werden nicht im Zwischenspeicher gespeichert und nicht für weitere Berechnungen verwendet.
-
Daher kann durch die Anwendung des Konzepts der Kameraerweiterung mindestens ein Zusatzgerät COV an das am Kopf montierte Anzeigegerät HMD montiert oder daran angeschlossen werden. Die Anschlussverfahren des Zusatzgerätes COV und des am Kopf montierten Anzeigegerätes HMD ist nicht darauf beschränkt.
-
8 ist ein Flussdiagramm eines Objektverfolgungsverfahrens 800 in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung. Die Schritte 610-660 sind jeweils die gleichen wie die Schritte 810-860. Daher werden im Folgenden die Schritte 870-890 beschrieben.
-
Das in 6 und 8 erwähnte Objektbild wird von der mindestens einen Zubehörkamera C4-C5 aufgenommen. Der Unterschied besteht darin, dass die Objektposition vom Prozessor P1 in 6 und die Objektposition vom Prozessor P2 in 8 berechnet wird. In Schritt 870 überträgt der Prozessor P1 die Anforderungsinformationen an den Prozessor P2.
-
In einem Ausführungsbeispiel sendet der Prozessor P1 Anforderungsinformationen an den Prozessor P2, um das Zusatzgerät COV zu bitten, die Objektpose gemäß einem oder mehreren Objektbildern zu liefern.
-
Wenn beispielsweise das Controller-Bild gefunden wurde, wechselt die Suchstufe zur Verfolgungsstufe, der Prozessor P1 des am Kopf montierten Anzeigegeräts HMD sendet den Verfolgungsbefehl an Prozessor P2 und fragt nach der Controller-Position.
-
In Schritt 880, wenn der Prozessor P2 die Anforderungsinformationen erhält, berechnet der Prozessor P2 die Objektpose gemäß einem oder mehreren Objektbildern.
-
Wenn der Prozessor P2 über bessere Rechenleistung verfügt, kann er die Objektposition anhand eines oder mehrerer Objektbilder berechnen.
-
In Schritt 890 überträgt der Prozessor P2 die Objektpose an den Prozessor P1.
-
In einem Ausführungsbeispiel überträgt der Prozessor P2 die Objektposition an einen Puffer (z.B. RAM) des am Kopf montierten Anzeigegeräts HMD, sobald eine Zubehörkamera (z.B. Zubehörkamera C5) das Objektbild erfasst hat. Der Prozessor P1 kann die Objektpose aus dem Puffer beziehen.
-
So definiert der Prozessor P2 beispielsweise die Rotation und die absolute Koordinate der X-, Y- und Z-Achse des Controllers CR im dreidimensionalen realen Raum entsprechend dem Muster im Controller-Bild und der Position des am Kopf montierten Anzeigegeräts HMD.
-
In Schritt 895 verwendet der Prozessor P1 die vom Prozessor P2 erhaltene Objektpose, oder der Prozessor P1 berechnet die Objektpose gemäß dem von der mindestens einen Hauptkamera C0-C3 aufgenommenen Objektbild.
-
So verfolgt der Prozessor P1 beispielsweise die Bewegung des Controllers CR auf der absoluten Koordinate der X-, Y- und Z-Achse und die Rotation des Controllers CR und berechnet so die relative Koordinate zwischen dem Controller CR und dem am Kopf montierten Anzeigegerät HMD in der virtuellen Realität.
-
Wenn in einem Ausführungsbeispiel die mindestens eine Hauptkamera C0-C3 das Objektbild erfasst, berechnet der Prozessor P1 die Objektpose entsprechend dem von der mindestens einen Hauptkamera C0-C3 erfassten Objektbild. Wenn die mindestens eine Zubehörkamera C4-C5 das Objektbild aufnimmt, berechnet der Prozessor P1 oder P2 die Objektpose entsprechend dem von der mindestens einen Zubehörkamera C4-C5 aufgenommenen Objektbild (nach der Objektverfolgungsverfahren 600 oder 800).
-
Wenn in einem Ausführungsbeispiel sowohl die mindestens eine Hauptkamera C0-C3 als auch die mindestens eine Zubehörkamera C4-C5 die Objektbilder erfassen, berechnen die Prozessoren P1 und P2 unabhängig voneinander die Objektpose entsprechend den Objektbildern. Und der Prozessor P2 überträgt die vom Prozessor P2 berechnete Objektpose an den Prozessor P1. Dann erzeugt der Prozessor P1 eine Fusionspose entsprechend der vom Prozessor P2 berechneten Objektpose und der vom Prozessor P1 berechneten Objektpose.
-
Die Ausführungsbeispiele der vorliegenden Erfindung sehen ein Objektverfolgungssystem und ein Objektverfolgungsverfahren vor, die mit modularisierten Zubehörkameras einer Zusatzeinrichtung versehen sind. Die Zubehörkameras sind je nach Bedarf steckbar. Ein zusätzlicher Prozessor im Zubehörgerät könnte dem am Kopf montierten Anzeigegerät helfen, den Controller zu suchen und zu verfolgen. Auf diese Weise erzielen das Objektverfolgungssystem und die Objektverfolgungsverfahren den Effekt einer besseren verteilten Rechenleistung. Darüber hinaus können das Objektverfolgungssystem und die Objektverfolgungsverfahren flexibel mindestens ein Kameramodul (d.h. Zubehörkamera) zu einem bestehenden Modul (d.h. am Kopf montiertes Anzeigegerät) hinzufügen, um das Sichtfeld des am Kopf montierten Anzeigegeräts zu erweitern. Auch der Objektverfolgungsbereich (z.B. Controller-Verfolgungsbereich) kann erweitert werden.
-
Obwohl die Erfindung in Bezug auf eine oder mehrere Implementierungen illustriert und beschrieben wurde, werden gleichwertige Änderungen und Modifikationen auftreten oder anderen Fachleuten auf der Grundlage des Lesens und Verstehens dieser Spezifikation und der beigefügten Zeichnungen bekannt sein. Darüber hinaus kann ein bestimmtes Merkmal der Erfindung zwar nur in Bezug auf eine von mehreren Ausführungen offenbart worden sein, doch kann ein solches Merkmal mit einem oder mehreren anderen Merkmalen der anderen Ausführungen kombiniert werden, wie es für eine bestimmte oder spezielle Anwendung gewünscht und vorteilhaft sein kann.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
