QUERVERWEIS AUF VERWANDTE APPLICATIONSCROSS REFERENCE TO RELATED APPLICATIONS
Diese Anmeldung beansprucht die Priorität der am 26. Dezember 2018 eingereichten vorläufigen US-Anmeldung Nr. 62/784.837 , deren Inhalt durch Verweis in vollem Umfang in diese Anmeldung aufgenommen wird.This application claims priority from the preliminary one filed on December 26, 2018 U.S. Application No. 62 / 784,837 , the content of which is incorporated by reference into this application in its entirety.
HINTERGRUND DER ERFINDUNGBACKGROUND OF THE INVENTION
Gebiet der ErfindungField of the Invention
Die vorliegende Offenbarung bezieht sich auf ein Verfolgungssystem und insbesondere auf ein Objektverfolgungssystem und eine Objektverfolgungsverfahren.The present disclosure relates to a tracking system and, more particularly, to an object tracking system and method.
Beschreibung des Stands der TechnikDescription of the Prior Art
Bestehende kamerabasierte Head Mounted Displays (HMD) haben eine feste Anzahl von Kameras. Beispielsweise können sich zwei Kameras in der vorderen Mitte befinden, eine Kamera auf der rechten Seite und eine weitere auf der linken Seite des kamerabasierten Head-Mounted-Displays. Die feste Anzahl von Kameras kann Bilder innerhalb eines bestimmten Sichtbereichs, z.B. eines horizontalen Sichtfelds, erfassen.Existing camera-based head mounted displays ( HMD ) have a fixed number of cameras. For example, there may be two cameras in the front center, one camera on the right side and another on the left side of the camera-based head-mounted display. The fixed number of cameras can capture images within a certain field of view, for example a horizontal field of view.
Eine feste Anzahl von Kameras kann jedoch nur ein begrenztes Sichtfeld bieten, z.B. ein vertikales Sichtfeld. Dies kann den Controller-Verfolgungsbereich einschränken, so dass Bereiche oberhalb und unterhalb des kamerabasierten Head-Mounted-Displays nicht erfasst werden können.However, a fixed number of cameras can only offer a limited field of view, e.g. a vertical field of view. This can limit the controller tracking area so that areas above and below the camera-based head-mounted display cannot be captured.
Daher ist die Frage, wie man einem vorhandenen Modul, wie z.B. einem kamerabasierten Head-Mounted-Displays, mindestens ein Kameramodul hinzufügt, um das Sichtfeld des kamerabasierten Head-Mounted-Displays zu erweitern, zu einem der Probleme geworden, die in diesem Bereich gelöst werden müssen.Therefore, the question is how to add an existing module, e.g. a camera-based head-mounted display, adding at least one camera module to expand the field of view of the camera-based head-mounted display has become one of the problems that need to be solved in this area.
KURZE ZUSAMMENFASSUNG DER ERFINDUNGBRIEF SUMMARY OF THE INVENTION
In Übereinstimmung mit einem Merkmal der vorliegenden Erfindung bietet die vorliegende Offenbarung ein Objektverfolgungssystem. Das Objektverfolgungssystem umfasst ein am Kopf montiertes Anzeigegerät (Head Mounted Display, HMD) und ein Zusatzgerät. Das HMD-Gerät umfasst einen ersten Prozessor. Der erste Prozessor ist so konfiguriert, dass er Suchinformationen für die Suche nach einem Objekt während einer Suchphase übermittelt. Das Zubehörgerät ist an das HMD-Gerät angeschlossen. Das Zubehörgerät umfasst mindestens eine Zubehörkamera und einen zweiten Prozessor. Der zweite Prozessor ist an die mindestens eine Zubehörkamera angeschlossen. Der zweite Prozessor ist so konfiguriert, dass er die Suchinformationen empfängt und feststellt, ob eine der mindestens einen Zubehörkamera während der Suchphase ein Objektbild aufgenommen hat. Wenn der zweite Prozessor feststellt, dass mindestens eine der mindestens einen Zubehörkamera das Objektbild erfasst hat, sendet der zweite Prozessor Benachrichtigungsinformationen an den ersten Prozessor, und der erste Prozessor tritt in eine Verfolgungsphase ein und sendet Anforderungsinformationen an den zweiten Prozessor. Wenn der zweite Prozessor die Anforderungsinformation empfängt, führt der zweite Prozessor eine der folgenden Maßnahmen durch: Übertragen des Objektbildes an den ersten Prozessor, wobei der erste Prozessor eine Objektpose gemäß dem Objektbild berechnet; und Berechnen der Objektpose gemäß dem Objektbild und Übertragen der Objektpose an den ersten Prozessor.In accordance with a feature of the present invention, the present disclosure provides an object tracking system. The object tracking system includes a head-mounted display, HMD ) and an additional device. The HMD device comprises a first processor. The first processor is configured to transmit search information for the search for an object during a search phase. The accessory device is connected to the HMD device. The accessory device comprises at least one accessory camera and a second processor. The second processor is connected to the at least one accessory camera. The second processor is configured such that it receives the search information and determines whether one of the at least one accessory camera has captured an object image during the search phase. If the second processor determines that at least one of the at least one accessory camera has captured the object image, the second processor sends notification information to the first processor, and the first processor enters a tracking phase and sends request information to the second processor. When the second processor receives the request information, the second processor performs one of the following measures: transmitting the object image to the first processor, the first processor calculating an object pose according to the object image; and calculating the object pose according to the object image and transmitting the object pose to the first processor.
In Übereinstimmung mit einem Merkmal der vorliegenden Erfindung bietet die vorliegende Offenbarung eine Verfahren zur Verfolgung von Objekten. Die Objektverfolgungsverfahren umfasst folgende Schritte: Übertragung von Suchinformationen zur Suche eines Objekts durch einen ersten Prozessor während einer Suchphase; Empfang der Suchinformationen und Verwendung eines zweiten Prozessors zur Bestimmung, ob eine von mindestens einer Zubehörkamera ein Objektbild in der Suchphase erfasst hat. Wenn der zweite Prozessor feststellt, dass mindestens eine der mindestens einen Zubehörkamera das Objektbild erfasst hat, sendet der zweite Prozessor Benachrichtigungsinformationen an den ersten Prozessor, und der erste Prozessor tritt in eine Verfolgungsphase ein und sendet Anforderungsinformationen an den zweiten Prozessor. Wenn der zweite Prozessor die Anforderungsinformation empfängt, führt der zweite Prozessor eine der folgenden Maßnahmen durch: Übertragen des Objektbildes an den ersten Prozessor, wobei der erste Prozessor eine Objektpose gemäß dem Objektbild berechnet; und Berechnen der Objektpose gemäß dem Objektbild und Übertragen der Objektpose an den ersten Prozessor.In accordance with a feature of the present invention, the present disclosure provides a method for tracking objects. The object tracking method comprises the following steps: transmission of search information for the search for an object by a first processor during a search phase; Receiving the search information and using a second processor to determine whether one of at least one accessory camera has captured an object image in the search phase. If the second processor determines that at least one of the at least one accessory camera has captured the object image, the second processor sends notification information to the first processor, and the first processor enters a tracking phase and sends request information to the second processor. When the second processor receives the request information, the second processor performs one of the following measures: transmitting the object image to the first processor, the first processor calculating an object pose according to the object image; and calculating the object pose according to the object image and transmitting the object pose to the first processor.
Ausführungsbeispiele der vorliegenden Erfindung sehen ein Objektverfolgungssystem und eine Objektverfolgungsverfahren vor, die mit modularisierten Zubehörkameras eines Zubehörgeräts versehen sind. Die Zubehörkameras sind je nach Bedarf steckbar. Ein zusätzlicher Prozessor im Zubehörgerät könnte dem am Kopf montierten Anzeigegerät helfen, den Controller zu suchen und zu verfolgen. Auf diese Weise erzielen das Objektverfolgungssystem und die Objektverfolgungsverfahren den Effekt einer besseren verteilten Rechenleistung. Darüber hinaus können das Objektverfolgungssystem und die Objektverfolgungsverfahren flexibel mindestens ein Kameramodul (d.h. eine Zubehörkamera) zu einem bestehenden Modul (d.h. einem am Kopf montierten Anzeigegerät) hinzufügen, um das Sichtfeld des am Kopf montierten Anzeigegeräts zu erweitern. Auch der Objektverfolgungsbereich (z.B. Controller-Verfolgungsbereich) kann erweitert werden.Embodiments of the present invention provide an object tracking system and an object tracking method that are provided with modularized accessory cameras of an accessory device. The accessory cameras can be plugged in as required. An additional processor in the accessory could help the head-mounted display device find and track the controller. In this way, the object tracking system and object tracking methods achieve the effect of better distributed computing power. In addition, the object tracking system and the object tracking method can be flexible at least one Add a camera module (ie, an accessory camera) to an existing module (ie, a head-mounted display device) to expand the field of view of the head-mounted display device. The object tracking area (e.g. controller tracking area) can also be expanded.
FigurenlisteFigure list
Die Erfindung kann durch die anschließende detaillierte Beschreibung und Beispiele mit Verweisen auf die beigefügten Zeichnungen besser verstanden werden, wobei
- die 1-2 schematische Darstellungen eines Objektverfolgungssystems in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung sind;
- 3 ein Schema einer Frontansicht eines Zusatzgerätes ist, das auf dem Objektverfolgungssystem gemäß eines Ausführungsbeispiels der vorliegenden Offenbarung montiert ist;
- 4A ein Blockdiagramm des Objektverfolgungssystems in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung ist;
- 4B ein Blockdiagramm eines Controllers in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung ist;
- 5 ein Flussdiagramm eines Verfahrens zum Einschalten des Zubehörgeräts gemäß einem Ausführungsbeispiel der vorliegenden Offenbarung ist;
- 6 ein Flussdiagramm einer Obj ektverfolgungsverfahren in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung ist;
- 7 ein Schema der Objektverfolgung in Übereinstimmung mit einer Ausführungsbeispiel der vorliegenden Offenbarung ist; und
- 8 ein Flussdiagramm einer Objektverfolgungsverfahren in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung ist.
The invention can be better understood from the following detailed description and examples with reference to the accompanying drawings, wherein - the 1-2 14 are schematic representations of an object tracking system in accordance with an embodiment of the present disclosure;
- 3rd 14 is a schematic of a front view of an attachment mounted on the object tracking system according to an embodiment of the present disclosure;
- 4A 4 is a block diagram of the object tracking system in accordance with an embodiment of the present disclosure;
- 4B 4 is a block diagram of a controller in accordance with an embodiment of the present disclosure;
- 5 4 is a flowchart of a method for turning on the accessory device according to an embodiment of the present disclosure;
- 6 14 is a flowchart of an object tracking method in accordance with an embodiment of the present disclosure;
- 7 14 is a schematic of object tracking in accordance with an embodiment of the present disclosure; and
- 8th 10 is a flowchart of an object tracking method in accordance with an embodiment of the present disclosure.
AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNGDETAILED DESCRIPTION OF THE INVENTION
Die folgende Beschreibung beschreibt die am besten geeignete Art und Weise der Ausführung der Erfindung. Diese Beschreibung dient der Veranschaulichung der allgemeinen Grundsätze der Erfindung und sollte nicht in einem einschränkenden Sinne verstanden werden. Der Umfang der Erfindung lässt sich am besten anhand der beigefügten Ansprüche bestimmen.The following description describes the most suitable manner of carrying out the invention. This description is intended to illustrate the general principles of the invention and should not be taken in a limiting sense. The scope of the invention can best be determined from the appended claims.
Die vorliegende Erfindung wird in Bezug auf bestimmte Ausführungsformen und unter Bezugnahme auf bestimmte Zeichnungen beschrieben, aber die Erfindung ist nicht darauf beschränkt und wird nur durch die Ansprüche begrenzt. Es wird weiter verstanden, dass die Begriffe „umfasst“, „umfasst“ und/oder „einschließen“, wenn sie hier verwendet werden, das Vorhandensein von angegebenen Merkmalen, ganzen Zahlen, Schritten, Operationen, Elementen und/oder Komponenten spezifizieren, aber nicht das Vorhandensein oder die Hinzufügung von einem oder mehreren anderen Merkmalen, ganzen Zahlen, Schritten, Operationen, Elementen, Komponenten und/oder Gruppen davon ausschließen.The present invention will be described in terms of certain embodiments and with reference to certain drawings, but the invention is not limited thereto and is only limited by the claims. It is further understood that the terms “includes,” “includes,” and / or “include,” when used herein, specify, but not, the presence of specified features, integers, steps, operations, elements, and / or components exclude the presence or addition of one or more other features, integers, steps, operations, elements, components and / or groups thereof.
Die Verwendung von Ordnungsbegriffen wie „erster“, „zweiter“, „dritter“ usw. in den Ansprüchen zur Änderung eines Anspruchselements begründet für sich allein genommen keine Priorität, keinen Vorrang oder eine Reihenfolge eines Anspruchselements gegenüber einem anderen oder die zeitliche Reihenfolge, in der die Handlungen einer Verfahren ausgeführt werden, sondern wird lediglich als Etikett zur Unterscheidung eines Anspruchselements mit einem bestimmten Namen von einem anderen Element mit demselben Namen (aber zur Verwendung des Ordnungsbegriffs) zur Unterscheidung der Anspruchselemente verwendet.The use of order terms such as "first", "second", "third" etc. in the claims for changing a claim element does not in itself constitute a priority, no priority or a sequence of one claim element over another or the chronological order in which the acts of a method are carried out, but is only used as a label to distinguish a claim element with a certain name from another element with the same name (but to use the order term) to distinguish the claim elements.
Unter Bezugnahme auf 1-4A und 4B sind 1-2 schematische Darstellungen eines Objektverfolgungssystems 100 in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung. 3 ist eine schematische Darstellung einer Frontansicht eines Zusatzgerätes, das auf dem Objektverfolgungssystem 100 gemäß einem Ausführungsbeispiel der vorliegenden Offenbarung montiert ist. 4A ist ein Blockdiagramm des Objektverfolgungssystems 100 in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung. 4B ist ein Blockdiagramm eines Steuergeräts CR in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung.With reference to 1-4A and 4B are 1-2 schematic representations of an object tracking system 100 in accordance with an embodiment of the present disclosure. 3rd is a schematic representation of a front view of an attachment that is on the object tracking system 100 mounted according to an embodiment of the present disclosure. 4A Figure 3 is a block diagram of the object tracking system 100 in accordance with an embodiment of the present disclosure. 4B Figure 3 is a block diagram of a control device CR in accordance with an embodiment of the present disclosure.
In einem Ausführungsbeispiel trägt ein Benutzer USR das kopfgetragene Anzeigegerät HMD, um virtuelle Realität zu erleben. In einer Ausführung kann das kopfgetragene Anzeigegerät HMD am Kopf des Benutzers über ein Kopfband HB oder einen Helm befestigt werden.In one embodiment, a user wears USR the head-mounted display device HMD to experience virtual reality. In one embodiment, the head-mounted display device HMD can be attached to the user's head using a HB headband or a helmet.
In einer Ausführung umfasst das Objektverfolgungssystem 100 ein am Kopf montiertes Anzeigegerät HMD und ein Zusatzgerät COV. Das Zusatzgerät COV wird an das am Kopf montierte Anzeigegerät HMD angeschlossen. In einer Ausführung kann das Zubehörgerät COV jedes tragbare Gerät sein, wie z.B. eine intelligente Uhr, ein Kameramodul, ein intelligentes Armband, ein Sensormodul, eine Abdeckvorrichtung usw. Das Zubehörgerät COV umfasst mindestens eine Zubehörkamera und einen Prozessor.In one embodiment, the object tracking system comprises 100 a display device mounted on the head HMD and an accessory COV . The additional device COV is attached to the display device mounted on the head HMD connected. In one version, the accessory device COV any wearable device, such as a smart watch, a camera module, a smart bracelet, a sensor module, a Cover device etc. The accessory device COV includes at least one accessory camera and a processor.
In einer Ausführung ist das Zubehörgerät COV eine Frontabdeckvorrichtung (wie in 1 dargestellt) für das am Kopf montierte Anzeigegerät HMD, die Hauptkameras C0-C3 umfassen eine linke Seitenkamera C2, eine rechte Seitenkamera C3, eine linke Frontkamera C0 und eine rechte Frontkamera C1. Die mindestens eine Zubehörkamera C4-C5 umfasst eine Kamera, die auf der Oberseite der Frontabdeckungsvorrichtung und eine weitere, die auf der Unterseite der Frontabdeckungsvorrichtung angebracht ist.One version is the accessory device COV a front cover device (as in 1 shown) for the display device mounted on the head HMD , the main cameras C0-C3 include a left side camera C2 , a right side camera C3 , a left front camera C0 and a right front camera C1 . The at least one accessory camera C4-C5 includes a camera attached to the top of the front cover device and another attached to the bottom of the front cover device.
Unter Bezugnahme auf 1 und 4A enthält das am Kopf montierte Anzeigegerät HMD in einer Ausführung einen Prozessor P1 und mindestens eine Hauptkamera C0-C3. Jede Hauptkamera C0-C3 wird an den Prozessor P1 angeschlossen (wie in 4A dargestellt). In einer Ausführung sind die Hauptkameras C0-C3 eine linke Seitenkamera C2, eine rechte Seitenkamera C3, eine linke Frontkamera C0 und eine rechte Frontkamera C1 auf dem am Kopf montierten Anzeigegerät HMD. Zur einfacheren Erläuterung werden in dem in den folgenden Ausführungsformen dargestellten Beispiel vier Hauptkameras C0-C3 verwendet. Diejenigen, die sich in diesem Bereich auskennen, werden jedoch verstehen, dass die vorliegende Erfindung nicht auf die anfängliche Konfiguration von vier Kameras in der am Kopf montierten Anzeigevorrichtung HMD beschränkt ist.With reference to 1 and 4A contains the display device mounted on the head HMD in one version a processor P1 and at least one main camera C0-C3 . Any main camera C0-C3 is going to the processor P1 connected (as in 4A shown). The main cameras are in one version C0-C3 a left side camera C2 , a right side camera C3 , a left front camera C0 and a right front camera C1 on the display device mounted on the head HMD . For ease of explanation, four main cameras are used in the example shown in the following embodiments C0-C3 used. However, those skilled in the art will understand that the present invention does not rely on the initial configuration of four cameras in the head-mounted display device HMD is limited.
In einer Ausführung umfasst das Zubehörgerät COV einen Prozessor P2 und mindestens eine Zubehörkamera C4-C5 (d.h. die Zubehörkamera). Jede Zubehörkamera C4-C5 wird an den Prozessor P2 angeschlossen (wie in 4A dargestellt). In einer Ausführung kann das Zubehörgerät COV eine Abdeckung mit eingebetteten Zubehörkameras C4-C5 sein, die an den Prozessor P2 angeschlossen werden. In einer Ausführung wird eine der Zubehörkameras (z.B. die Zubehörkamera C4) auf der Oberseite des Zubehörgeräts COV und eine weitere Zubehörkamera (z.B. die Zubehörkamera C5) auf der Unterseite des Zubehörgeräts COV angebracht. Zur besseren Erläuterung sind die in den folgenden Ausführungen verwendeten Beispiele mit zwei Zubehörkameras C4-C5 ausgestattet. Diejenigen, die sich auf dem Gebiet der Technik auskennen, werden jedoch verstehen, dass die vorliegende Erfindung nicht darauf beschränkt ist, zwei Zubehörkameras in der Zubehörvorrichtung COV zu konfigurieren.One version includes the accessory device COV a processor P2 and at least one accessory camera C4-C5 (ie the accessory camera). Any accessory camera C4-C5 is going to the processor P2 connected (as in 4A shown). In one version, the accessory device COV a cover with embedded accessory cameras C4-C5 be that to the processor P2 be connected. In one version, one of the accessory cameras (e.g. the accessory camera C4 ) on the top of the accessory COV and another accessory camera (e.g. the accessory camera C5 ) on the bottom of the accessory COV appropriate. For better explanation, the examples used in the following explanations are with two accessory cameras C4-C5 fitted. However, those of ordinary skill in the art will understand that the present invention is not limited to two accessory cameras in the accessory device COV to configure.
In einer Ausführung können die Zubehörkameras C4-C5 Kameramodule sein, die in das Zubehörgerät COV montiert/eingebaut werden.In one version, the accessory cameras C4-C5 Be camera modules in the accessory device COV be assembled / installed.
In einer Ausführung enthält das Zubehörgerät COV die Bohrungen H1 und H0. Die Position der Bohrung H1 entspricht der Position der Hauptkamera C1. Die Position der Bohrung H0 entspricht der Position der Hauptkamera C0.One version contains the accessory device COV the holes H1 and H0 . The position of the hole H1 corresponds to the position of the main camera C1 . The position of the hole H0 corresponds to the position of the main camera C0 .
In einem Ausführungsbeispiel kann der Prozessor P1 und/oder der Prozessor P2 jedes elektronische Gerät sein, das eine Berechnungsfunktion hat. Der Prozessor P1 und/oder der Prozessor P2 können durch eine integrierte Schaltung, wie z.B. einen Mikrocontroller, einen Mikroprozessor, einen digitalen Signalprozessor, eine anwendungsspezifische integrierte Schaltung (ASIC) oder eine Logikschaltung implementiert werden.In one embodiment, the processor P1 and / or the processor P2 be any electronic device that has a calculation function. The processor P1 and / or the processor P2 can be implemented by an integrated circuit such as a microcontroller, a microprocessor, a digital signal processor, an application specific integrated circuit (ASIC) or a logic circuit.
In einer Ausführung können die Hauptkameras C0-C3 und die Zubehörkameras C4-C5 durch ein Kameramodul implementiert werden, das ein ladungsgekoppeltes Bauelement (CCD) oder einen komplementären Metalloxid-Halbleiter (CMOS) enthält.In one version, the main cameras C0-C3 and the accessory cameras C4-C5 be implemented by a camera module containing a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS).
In einer Ausführung wird das Zusatzgerät COV mit dem am Kopf montierten Anzeigegerät HMD über einen Draht oder eine drahtlose Verbindung verbunden. Das Zubehörgerät COV kann z.B. an das am Kopf montierte Anzeigegerät HMD angeschlossen werden, indem die serielle Peripherieschnittstelle (SPI) verwendet wird. Auf diese Weise können Informationen zwischen den Prozessoren P1 und P2 ausgetauscht werden, die das Zusatzgerät COV an das am Kopf montierte Anzeigegerät HMD anschließt (wie in 2 dargestellt).In one version, the additional device COV with the display device mounted on the head HMD connected via a wire or a wireless connection. The accessory device COV can, for example, on the display device mounted on the head HMD connected using the serial peripheral interface (SPI). This allows information to be passed between the processors P1 and P2 to be replaced, which is the additional device COV to the display device mounted on the head HMD connects (as in 2nd shown).
In einer Ausführung, wie in 3 dargestellt, ist die Zubehörkamera C4 höher als die linke Frontkamera C0 und die rechte Frontkamera C1 und die Zubehörkamera C4 niedriger als die linke Frontkamera C0 und die rechte Frontkamera C1 angeordnet, wenn das Zubehörgerät COV an das am Kopf montierte Anzeigegerät HDM angeschlossen ist.In a version like in 3rd shown is the accessory camera C4 higher than the left front camera C0 and the right front camera C1 and the accessory camera C4 lower than the left front camera C0 and the right front camera C1 arranged when the accessory device COV is connected to the HDM display device mounted on the head.
In einer Ausführung werden die Zubehörkameras C4-C5 selektiv an verschiedenen Stellen platziert, um das Sichtfeld (FOV) des am Kopf montierten Anzeigegeräts HMD zu erweitern. Der Prozessor P1 kann ein Objektbild (z.B. ein Controller-Bild) von einer Zubehörkamera (z.B. Zubehörkamera C5) oder einer Hauptkamera (z.B. Hauptkamera C0) erhalten.In one version, the accessory cameras C4-C5 selectively placed at various locations around the field of view (FOV) of the head-mounted display HMD to expand. The processor P1 can get an object image (e.g. a controller image) from an accessory camera (e.g. accessory camera C5 ) or a main camera (e.g. main camera C0 ) receive.
Mit anderen Worten, das Zubehörgerät COV kann als ein Abdeckgerät mit den oberen und unteren Zubehörkameras C4-C5 betrachtet werden. Wie in 2 dargestellt, kann das Zubehörgerät COV an das am Kopf montierte Anzeigegerät HMD angeschlossen werden. Durch die steckbaren Zubehörkameras C4-C5 kann das vertikale Sichtfeld erweitert werden (z.B. bis zu 220 Grad). Daher kann der Objektverfolgungsbereich durch Hinzufügen der Zubehörkameras C4-C5 erweitert werden. Zur besseren Veranschaulichung wird in den folgenden Ausführungen der Controller CR als Beispiel für das Objekt verwendet. Diejenigen, die sich in der Technik auskennen, sollten jedoch verstehen, dass die vorliegende Erfindung nicht auf die Verfolgung des Controllers CR beschränkt ist.In other words, the accessory COV can be used as a cover device with the top and bottom accessory cameras C4-C5 to be viewed as. As in 2nd shown, the accessory can COV to the display device mounted on the head HMD be connected. Thanks to the plug-in accessory cameras C4-C5 the vertical field of view can be expanded (e.g. up to 220 degrees). Therefore, the object tracking area can be added by adding the accessory cameras C4-C5 be expanded. For better illustration, see the following Designs of the controller CR used as an example of the object. However, those who are skilled in the art should understand that the present invention does not relate to tracking the controller CR is limited.
In einer Ausführung, wie in 4B gezeigt, enthält der Controller CR Leuchtdioden (LEDs) 40. Der Prozessor P1 oder der Prozessor P2 berechnet die Objektposition (z.B. die Controller-Position) entsprechend der relativen Position der LEDs 40 im Objektbild (z.B. dem Controller-Bild). In einer Ausführung können diese Kameras C0-C5 diese LEDs 40 Bild für Bild erfassen.In one embodiment, as shown in FIG. 4B, the controller includes CR Light emitting diodes (LEDs) 40 . The processor P1 or the processor P2 calculates the object position (eg the controller position) according to the relative position of the LEDs 40 in the object image (e.g. the controller image). In one version, these cameras can C0-C5 these LEDs 40 Capture frame by frame.
In einer Ausführungsbeispiel ist das Objektbild ein Abbild des Objekts. Und das Objektbild kann nur das Teilbild mit identifizierbaren Merkmalen des Objekts enthalten. Das identifizierbare Merkmal kann zum Beispiel eine Lichtkugel, die LEDs 40 oder ein anderes spezifisches Muster sein.In one embodiment, the object image is an image of the object. And the object image can only contain the partial image with identifiable features of the object. The identifiable feature can be, for example, a ball of light, the LEDs 40 or some other specific pattern.
In einer Ausführung sind die LEDs 40 in einem Muster angeordnet (siehe 7), und der Prozessor P1 oder P2 kann den Abstand zwischen dem am Kopf montierten Anzeigegerät HMD und dem Controller CR durch den Abstand der einzelnen Liniensegmente des Musters bestimmen.The LEDs are in one version 40 arranged in a pattern (see 7 ), and the processor P1 or P2 can be the distance between the head-mounted display device HMD and the controller CR by the distance between the individual line segments of the pattern.
In einer Ausführung sind die LEDs 40 in einem Muster angeordnet, und der Prozessor P1 oder P2 kann die Controller-Position entsprechend dem Drehwinkel des Musters bestimmen. Der Prozessor P1 oder P2 kann bekannte Algorithmen anwenden, um die Objektpose (z.B. die Controller-Pose) zu berechnen.The LEDs are in one version 40 arranged in a pattern, and the processor P1 or P2 can determine the controller position according to the rotation angle of the pattern. The processor P1 or P2 can use known algorithms to calculate the object pose (e.g. the controller pose).
In einer Ausführungsbeispiel ist die Objekt-Pose die Pose des Objekts. Die Objektpose umfasst die Informationen zur Rotation und die Koordinaten des Objekts. Der Prozessor P1 oder P2 kann beispielsweise die Drehung und die absolute Koordinate der X-, Y- und Z-Achsen des Controllers CR im dreidimensionalen realen Raum entsprechend dem Muster im Controller-Bild (z.B. der Position des Liniensegments im Muster) und der Position des am Kopf montierten Anzeigegeräts HMD definieren. Dann kann der Prozessor P1 oder P2 die Bewegung des Controllers CR auf der absoluten Koordinate der X-, Y- und Z-Achse und die Drehung des Controllers CR verfolgen und dadurch die relative Koordinate zwischen dem Controller CR und dem am Kopf montierten Anzeigegerät HMD in der virtuellen Realität berechnen. Diejenigen mit gewöhnlichen Fähigkeiten sollten jedoch verstehen, dass die vorliegende Erfindung nicht darauf beschränkt ist, den Controller CR mit den LEDs 40 zu verfolgen, und nicht darauf beschränkt ist, die obige Verfahren zu verwenden. Darüber hinaus kann der Prozessor P1 oder P2 verschiedene bekannte Verfolgungsalgorithmen zur Verfolgung verschiedener Objekte verwenden.In one embodiment, the object pose is the pose of the object. The object pose includes the information about the rotation and the coordinates of the object. The processor P1 or P2 can, for example, the rotation and the absolute coordinate of the X, Y and Z axes of the controller CR in three-dimensional real space according to the pattern in the controller image (e.g. the position of the line segment in the pattern) and the position of the display device mounted on the head HMD define. Then the processor can P1 or P2 the movement of the controller CR on the absolute coordinate of the X, Y and Z axes and the rotation of the controller CR track and thereby the relative coordinate between the controller CR and the head-mounted display device HMD calculate in virtual reality. However, those with ordinary skill should understand that the present invention is not limited to the controller CR with the LEDs 40 to pursue, and is not limited to using the above procedures. In addition, the processor P1 or P2 use various known tracking algorithms to track different objects.
Unter Bezugnahme auf 5-7 ist 5 ein Flussdiagramm eines Verfahrens 500 zum Einschalten des Zusatzgerätes gemäß einem Ausführungsbeispiel der vorliegenden Offenbarung. 6 ist ein Flussdiagramm eines Objektverfolgungsverfahrens 600 in Übereinstimmung mit einer Ausführungsbeispiel der vorliegenden Offenbarung. 7 ist ein Schema der Objektverfolgung gemäß einem Ausführungsbeispiel der vorliegenden Offenbarung. 8 ist ein Flussdiagramm eines Objektverfolgungsverfahrens 800 in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung.With reference to 5-7 is 5 a flowchart of a method 500 for switching on the additional device according to an embodiment of the present disclosure. 6 Figure 10 is a flowchart of an object tracking process 600 in accordance with an embodiment of the present disclosure. 7 10 is a schematic of object tracking according to an embodiment of the present disclosure. 8th Figure 10 is a flowchart of an object tracking process 800 in accordance with an embodiment of the present disclosure.
In einer Ausführung kann das Objektverfolgungsverfahren 600 und/oder das Objektverfolgungsverfahren 800 zur Verfolgung mehrerer Objekte angewendet werden. Im Folgenden wird der Einfachheit halber der Controller CR als Beispiel verwendet.In one implementation, the object tracking process 600 and / or the object tracking method 800 can be used to track multiple objects. The following is the controller for simplicity CR used as an example.
Unter Bezugnahme auf 5 erkennt das am Kopf montierte Anzeigegerät HMD im Schritt 510, ob das Zubehörgerät COV an das am Kopf montierte Anzeigegerät HMD angeschlossen ist. Wenn das am Kopf montierte Anzeigegerät HMD erkennt, dass das Zubehörgerät COV an das am Kopf montierte Anzeigegerät HMD angeschlossen ist, wird Schritt 520 ausgeführt. Wenn das am Kopf montierte Anzeigegerät HMD feststellt, dass das Zubehörgerät COV nicht am am Kopf montierten Anzeigegerät HMD angeschlossen ist, wird Schritt 510 erneut ausgeführt. In Schritt 520 versorgt das am Kopf montierte Anzeigegerät HMD das Zubehörgerät COV mit Strom. Daher wird das Zubehörgerät COV in Schritt 520 eingeschaltet. Die Stromversorgung für das Zubehörgerät COV wird also vom am Kopf montierten Anzeigegerät HMD bereitgestellt. Sobald das Zubehörgerät COV an das am Kopf montierte Anzeigegerät HMD angeschlossen ist, befindet sich das Zubehörgerät COV im eingeschalteten Zustand.With reference to 5 recognizes the display device mounted on the head HMD in step 510 whether the accessory device COV to the display device mounted on the head HMD connected. If the head-mounted display device HMD recognizes that the accessory COV to the display device mounted on the head HMD is connected, step 520 executed. If the head-mounted display device HMD finds that the accessory device COV not on the display mounted on the head HMD is connected, step 510 executed again. In step 520 supplies the display device mounted on the head HMD the accessory device COV with electricity. Therefore, the accessory device COV in step 520 switched on. The power supply for the accessory device COV is therefore from the display device mounted on the head HMD provided. Once the accessory COV to the display device mounted on the head HMD the accessory device is connected COV when switched on.
Unter Bezugnahme auf 6 wird das Objektverfolgungsverfahren 600 durch den Prozessor P1 des am Kopf montierten Anzeigegeräts HMD und den Prozessor P2 des Zusatzgeräts COV durchgeführt.With reference to 6 becomes the object tracking process 600 through the processor P1 of the display unit mounted on the head HMD and the processor P2 of the additional device COV carried out.
Im Schritt 610 tritt der Prozessor P1 in die Suchphase für die Suche nach einem Objektbild (z.B. der Controller CR) ein.In step 610 the processor kicks P1 in the search phase for the search for an object image (e.g. the controller CR ) a.
In einem Ausführungsbeispiel stellt der Prozessor P1 fest, ob eine der mindestens einen Hauptkamera C0-C3 während der Suchphase ein Objektbild aufgenommen hat.In one embodiment, the processor P1 determine if any of the at least one main camera C0-C3 captured an object image during the search phase.
In Schritt 620 überträgt der Prozessor P1 Suchinformationen für die Suche nach dem Objekt während einer Suchphase. In step 620 the processor transfers P1 Search information for the search for the object during a search phase.
In Schritt 630 erhält der Prozessor P2 die Suchinformationen.In step 630 gets the processor P2 the search information.
In einem Ausführungsbeispiel erhält der Prozessor P2 die Suchinformationen und führt einen Suchalgorithmus aus. Der Suchalgorithmus für die Suche nach dem Objektbild kann den bekannten Suchalgorithmus anwenden, wie z.B. Perceptual Hash-Algorithmus, Feature-Matching-Algorithmus..., usw.In one embodiment, the processor receives P2 the search information and executes a search algorithm. The search algorithm for the search for the object image can use the known search algorithm, such as perceptual hash algorithm, feature matching algorithm ..., etc.
In einem Ausführungsbeispiel führt der Prozessor P1 den Suchalgorithmus für die von einer Hauptkamera C0-C3 aufgenommenen Bilder aus, und der Prozessor P2 führt den Suchalgorithmus für die von einer Zubehörkamera C4-C5 aufgenommenen Bilder aus, um zu bestimmen, ob das Objektbild während der Suchphase aufgenommen wurde.In one embodiment, the processor runs P1 the search algorithm for that from a main camera C0-C3 taken pictures, and the processor P2 performs the search algorithm for that of an accessory camera C4-C5 captured images to determine whether the object image was captured during the search phase.
In einem Ausführungsbeispiel kann das Objektbild ein Bild mit dem Controller-Bild sein.In one embodiment, the object image can be an image with the controller image.
In einem Ausführungsbeispiel prüft der Prozessor P1 alle von den Hauptkameras C0-C3 aufgenommenen Bilder, um das Objektbild zu finden.In one embodiment, the processor checks P1 all from the main cameras C0-C3 captured images to find the object image.
In einer Ausführungsbeispiel prüft der Prozessor P2 alle von den Zubehörkameras C4-C5 aufgenommenen Bilder, um das Objektbild zu finden. Beispielsweise vergleicht der Prozessor P2 aus den von den Zubehörkameras C4-C5 erfassten Bildern, welcher Teil jedes Bildes wie ein Controller CR ist, um das Controller-Bild zu finden.In one embodiment, the processor checks P2 all from the accessory cameras C4-C5 captured images to find the object image. For example, the processor compares P2 from those of the accessory cameras C4-C5 captured images, which part of each image like a controller CR is to find the controller image.
In Schritt 640 verwendet der Prozessor P2 einen zweiten Prozessor, um zu bestimmen, ob eine von mindestens einer Zubehörkamera C4-C5 ein Objektbild erfasst hat.In step 640 the processor uses P2 a second processor to determine whether one of at least one accessory camera C4-C5 has captured an object image.
In einem Ausführungsbeispiel stellt der Prozessor P2 fest, ob mindestens eine an den Prozessor P2 angeschlossene Zubehörkamera C4-C5 während der Suchphase ein Objektbild aufgenommen hat. Wenn der Prozessor P2 feststellt, dass mindestens eine an den Prozessor P2 angeschlossene Zubehörkamera C4-C5 das Objektbild während der Suchphase erfasst hat, wird Schritt 650 ausgeführt.In one embodiment, the processor P2 determine if at least one is connected to the processor P2 connected accessory camera C4-C5 captured an object image during the search phase. If the processor P2 finds at least one to the processor P2 connected accessory camera C4-C5 has captured the object image during the search phase, step 650 executed.
In Schritt 650 überträgt der Prozessor P2 Benachrichtigungsinformationen an den Prozessor P1.In step 650 the processor transfers P2 Notification information to the processor P1 .
In einem Ausführungsbeispiel enthalten die Benachrichtigungsinformationen auch Kamerainformationen. Die Kamerainformationen zeigen an, dass eine bestimmte Zubehörkamera (z.B. die Zubehörkamera C5) das Objektbild erfasst hat. Da der Prozessor P1 die Kamerainformationen erhalten hat, wird Schritt 660 ausgeführt.In one embodiment, the notification information also includes camera information. The camera information indicates that a specific accessory camera (e.g. the accessory camera C5 ) has captured the object image. Because the processor P1 received the camera information, step 660 executed.
In Schritt 660 tritt der Prozessor P1 in die Verfolgungsphase ein.In step 660 the processor kicks P1 in the tracking phase.
In einem Ausführungsbeispiel verfolgt oder berechnet der Prozessor P1 kontinuierlich die Objektposition des von der spezifischen Zubehörkamera (z.B. Zubehörkamera C5) im Verfolgungsstadium aufgenommenen Objektbildes. Daher muss der Prozessor P1 das Zubehörgerät COV informieren, um das Objektbild zu liefern.In one embodiment, the processor tracks or computes P1 continuously the object position of the from the specific accessory camera (e.g. accessory camera C5 ) object image captured in the tracking stage. Therefore the processor P1 the accessory device COV inform to deliver the object picture.
In einem Ausführungsbeispiel überträgt der Prozessor P2 Übergabeinformationen an das am Kopf montierte Anzeigegerät HMD, wenn sich das Objekt vom FOV einer der Kameras C0-C5 (z. B. das FOV der Zubehörkamera C4) zu einem anderen (z. B. das FOV der Zubehörkamera C5) bewegt. Die Übergabeinformation zeigt an, dass eine andere spezifische Zubehörkamera (z.B. die Zubehörkamera C4) das Objektbild erfasst hat, der Prozessor P1 führt einen Übergabeprozess durch, um die Objektposition des von der anderen spezifischen Zubehörkamera (z.B. der Zubehörkamera C4) erfassten Objektbildes in der Verfolgungsphase kontinuierlich zu verfolgen oder zu berechnen. Wie in 7 dargestellt, führt der Prozessor P1, wenn sich der Controller CR von der Unterseite des am Kopf montierten Anzeigegeräts HMD nach oben bewegt (der Pfeil zeigt an, dass sich der Controller CR von unten nach oben bewegt) und das Controller-Bild zunächst von der Kamera C5 erfasst wird und sich in die Aufnahme von Kamera C4 ändert, einen Übergabeprozess durch, um die Controller-Position des von der Zubehörkamera C4 in der Verfolgungsphase erfassten Controller-Bildes kontinuierlich zu verfolgen oder zu berechnen.In one embodiment, the processor transfers P2 Transfer information to the display device mounted on the head HMD when the object is from the FOV one of the cameras C0-C5 (e.g. the FOV of the accessory camera C4 ) to another (e.g. the FOV of the accessory camera C5 ) emotional. The transfer information indicates that another specific accessory camera (e.g. the accessory camera C4 ) has captured the object image, the processor P1 performs a handover process to determine the object position of the other specific accessory camera (e.g. the accessory camera C4 ) continuously track or calculate the captured object image in the tracking phase. As in 7 shown, the processor performs P1 when the controller CR from the bottom of the head-mounted display HMD moves up (the arrow indicates that the controller CR moved from bottom to top) and the controller image first from the camera C5 is captured and recorded in the camera C4 changes, a transfer process to the controller position of the from the accessory camera C4 continuously track or calculate controller image captured in the tracking phase.
In Schritt 670 überträgt der Prozessor P1 Anforderungsinformationen an den Prozessor P2. In einer Ausführungsform überträgt der Prozessor P1 Anforderungsinformationen an den Prozessor P2, um das Zusatzgerät COV zu bitten, das Objektbild oder mehrere Objektbilder zu liefern.In step 670 the processor transfers P1 Request information to the processor P2 . In one embodiment, the processor transfers P1 Request information to the processor P2 to the auxiliary device COV to ask to deliver the object image or several object images.
In Schritt 680, wenn der Prozessor P2 die Anforderungsinformationen erhält, bereitet der Prozessor P2 das zu sendende Objektbild vor.In step 680 when the processor P2 receives the request information, the processor prepares P2 the object image to be sent.
In einem Ausführungsbeispiel enthalten die Anforderungsinformationen einen Zuschneide-Befehl, wenn der Prozessor P2 die Anforderungsinformationen erhält, schneidet der Prozessor P2 das Objektbild zu einem Teilbild des Objektbildes zu (z.B. Abruf/Ausschneiden des Controller-Bildteils aus dem gesamten Objektbild), das das Objekt noch enthält und das Teilbild (z.B. den Controller-Bildteil) an den Prozessor P1 überträgt, und der Prozessor P1 berechnet die Objektpose entsprechend dem Teilbild. Zum Beispiel beträgt das gesamte Objektbild 640*480 Pixel. Der Prozessor P2 kann den Controller-Bildteil (z.B. 60*40 Pixel) aus dem gesamten Objektbild zuschneiden. Durch das Zuschneiden des Objektteils kann er die Übertragungsmenge in Schritt 690 reduzieren.In one embodiment, the request information includes a trim command when the processor P2 receives the request information, the processor cuts P2 the object image to a partial image of the object image (for example retrieving / cutting out the controller image part from the entire object image) which still contains the object and the partial image (for example the controller image part) to the processor P1 transfers, and the processor P1 calculates the object pose according to the Drawing file. For example, the entire object image is 640 * 480 pixels. The processor P2 can crop the controller image part (e.g. 60 * 40 pixels) from the entire object image. By trimming the part of the object, he can transfer the quantity in step 690 to reduce.
In einem Ausführungsbeispiel kann das Teilbild nur das teilweise identifizierbare Merkmal des Objekts enthalten. Beispielsweise kann das Teilbild nur eine Lichtkugel, einige der LEDs 40 oder ein teilweises spezifisches Muster enthalten, ohne ein ganzes Controller-CR-Bild.In one exemplary embodiment, the partial image can only contain the partially identifiable feature of the object. For example, the drawing file can only be a ball of light, some of the LEDs 40 or contain a partial specific pattern without an entire controller CR image.
Mit anderen Worten, sobald das Controller-Bild gefunden ist, wechselt die Suchphase zur Nachverfolgungsphase, der Prozessor P1 des am Kopf montierten Anzeigegeräts HMD sendet den Zuschneide-Befehl an Prozessor P2, um die Bereitstellung der Objektbilder zu erfragen. Außerdem bedeutet der Zuschneidebefehl, dass das Zusatzgerät COV nur den Objektbildbereich sendet, der das Controller-Bild (d.h. das Controller-Bild) enthält, nicht das gesamte Objektbild. Mit dieser Technologie kann die Bilddatenübertragung sofort erhalten werden.In other words, once the controller image is found, the search phase changes to the tracking phase, the processor P1 of the display unit mounted on the head HMD sends the trim command to the processor P2 to request the provision of the object images. In addition, the cropping command means that the attachment COV sends only the object image area that contains the controller image (ie the controller image), not the entire object image. With this technology, the image data transmission can be obtained immediately.
In Schritt 690 überträgt der Prozessor P2 das Objektbild an den Prozessor P1.In step 690 the processor transfers P2 the object image to the processor P1 .
In einem Ausführungsbeispiel überträgt der Prozessor P2 das Objektbild an einen Puffer (z.B. RAM) des am Kopf montierten Anzeigegeräts HMD, sobald eine Zubehörkamera (z.B. die Zubehörkamera C5) das Objektbild erfasst hat. Der Prozessor P1 kann das Objektbild aus dem Zwischenspeicher entnehmen.In one embodiment, the processor transfers P2 the object image to a buffer (eg RAM) of the display device mounted on the head HMD as soon as an accessory camera (e.g. the accessory camera C5 ) has captured the object image. The processor P1 can take the object image from the buffer.
In Schritt 695 verfolgt oder berechnet der Prozessor P1 die Objektposition anhand des Objektbildes.In step 695 the processor tracks or calculates P1 the object position based on the object image.
In einem Ausführungsbeispiel verfolgt oder berechnet der Prozessor P1, nachdem er ein oder mehrere Objektbilder erhalten hat, die Objektpose anhand des Objektbildes.In one embodiment, the processor tracks or computes P1 after he has received one or more object images, the object pose based on the object image.
Wenn der Prozessor P1 in einem Ausführungsbeispiel das Objektbild nicht kontinuierlich erhält, geht er wieder in die Suchphase (Schritt 610). Wenn der Prozessor P1 beispielsweise die Verfolgung des Objekts verliert, tritt er in die Suchphase ein. Dann suchen alle Hauptkameras C0-C3 und/oder alle Zubehörkameras C4-C5 wieder nach dem Objektbild.If the processor P1 in one exemplary embodiment does not continuously receive the object image, it goes back to the search phase (step 610 ). If the processor P1 For example, if the object loses tracking, it enters the search phase. Then all the main cameras are looking for C0-C3 and / or all accessory cameras C4-C5 again after the object picture.
In einem Ausführungsbeispiel wird die Suchphase dazu verwendet, mehrere oder alle Kameras C0-C5 zu verwenden, um herauszufinden, von welcher Kamera das Objektbild aufgenommen wurde. Darüber hinaus wird die Suchphase verwendet, um herauszufinden, in welchem Teil des gesamten FOV das Objektbild erscheint.In one embodiment, the search phase is used for several or all cameras C0-C5 to find out from which camera the object image was taken. In addition, the search phase is used to find out in which part of the entire FOV the object image appears.
Nachdem beispielsweise der Controller CR zunächst das FOV verlässt und dann der Controller CR wieder in das FOV eintritt, tritt der Prozessor P1 in die Suchphase ein, um herauszufinden, von welcher bestimmten Kamera das Controller-Bild aufgenommen wurde.For example, after the controller CR first leaves the FOV and then the controller CR the processor enters the FOV again P1 in the search phase to find out from which specific camera the controller image was taken.
In einem anderen Beispiel wird in der Suchphase, wenn der Prozessor P1 weiß, dass sich der Controller CR von der Unterseite des FOVs aus dem FOV herausbewegt, vorhergesagt, dass der Controller CR von der Unterseite des FOVs zurücklaufen wird. Daher erhöht der Prozessor P1 die Priorität des Suchgewichts der Zubehörkamera C5. Der Prozessor P1 sucht jedoch weiterhin alle Kameras C0-C5 nach Controller-Bildern ab.Another example is in the search phase when the processor P1 know the controller CR moved out of the FOV from the bottom of the FOV, predicted that the controller CR will run back from the bottom of the FOV. Therefore, the processor increases P1 the priority of the search weight of the accessory camera C5 . The processor P1 however continues to search all cameras C0-C5 according to controller pictures.
In einem Ausführungsbeispiel wird, nachdem die spezifische Kamera (z.B. Zubehörkamera C5) das Objektbild in der Suchphase herausgefunden hat, die Verfolgungsphase verwendet, um die Objektpose von der spezifischen Kamera (z.B. Zubehörkamera C5) genau zu verfolgen. In der Verfolgungsphase nehmen andere Kameras (z.B. die Kameras C0-C4) kontinuierlich Bilder auf, aber die von ihr aufgenommenen Bilder werden nicht im Zwischenspeicher gespeichert und nicht für weitere Berechnungen verwendet.In one embodiment, after the specific camera (eg accessory camera C5 ) found the object image in the search phase, used the tracking phase to extract the object pose from the specific camera (e.g. accessory camera C5 ) to follow closely. In the tracking phase, other cameras (e.g. the cameras C0-C4 ) images continuously, but the images they have taken are not saved in the clipboard and are not used for further calculations.
Daher kann durch die Anwendung des Konzepts der Kameraerweiterung mindestens ein Zusatzgerät COV an das am Kopf montierte Anzeigegerät HMD montiert oder daran angeschlossen werden. Die Anschlussverfahren des Zusatzgerätes COV und des am Kopf montierten Anzeigegerätes HMD ist nicht darauf beschränkt.Therefore, by using the concept of camera expansion, at least one additional device can COV to the display device mounted on the head HMD mounted or connected to it. The connection method of the additional device COV and the display device mounted on the head HMD is not limited to this.
8 ist ein Flussdiagramm eines Objektverfolgungsverfahrens 800 in Übereinstimmung mit einem Ausführungsbeispiel der vorliegenden Offenbarung. Die Schritte 610-660 sind jeweils die gleichen wie die Schritte 810-860. Daher werden im Folgenden die Schritte 870-890 beschrieben. 8th Figure 10 is a flowchart of an object tracking process 800 in accordance with an embodiment of the present disclosure. The steps 610-660 are the same as the steps 810-860 . Therefore, the steps below 870-890 described.
Das in 6 und 8 erwähnte Objektbild wird von der mindestens einen Zubehörkamera C4-C5 aufgenommen. Der Unterschied besteht darin, dass die Objektposition vom Prozessor P1 in 6 und die Objektposition vom Prozessor P2 in 8 berechnet wird. In Schritt 870 überträgt der Prozessor P1 die Anforderungsinformationen an den Prozessor P2.This in 6 and 8th Object image mentioned is from the at least one accessory camera C4-C5 added. The difference is that the object position is from the processor P1 in 6 and the object position from the processor P2 in 8th is calculated. In step 870 the processor transfers P1 the request information to the processor P2 .
In einem Ausführungsbeispiel sendet der Prozessor P1 Anforderungsinformationen an den Prozessor P2, um das Zusatzgerät COV zu bitten, die Objektpose gemäß einem oder mehreren Objektbildern zu liefern.In one embodiment, the processor sends P1 Request information to the processor P2 to the auxiliary device COV to ask the To deliver object pose according to one or more object images.
Wenn beispielsweise das Controller-Bild gefunden wurde, wechselt die Suchstufe zur Verfolgungsstufe, der Prozessor P1 des am Kopf montierten Anzeigegeräts HMD sendet den Verfolgungsbefehl an Prozessor P2 und fragt nach der Controller-Position.For example, if the controller image is found, the search level changes to the tracking level, the processor P1 of the display unit mounted on the head HMD sends the tracking command to processor P2 and asks for the controller position.
In Schritt 880, wenn der Prozessor P2 die Anforderungsinformationen erhält, berechnet der Prozessor P2 die Objektpose gemäß einem oder mehreren Objektbildern.In step 880 when the processor P2 receives the request information, the processor calculates P2 the object pose according to one or more object images.
Wenn der Prozessor P2 über bessere Rechenleistung verfügt, kann er die Objektposition anhand eines oder mehrerer Objektbilder berechnen.If the processor P2 has better computing power, he can calculate the object position using one or more object images.
In Schritt 890 überträgt der Prozessor P2 die Objektpose an den Prozessor P1.In step 890 the processor transfers P2 the object pose to the processor P1 .
In einem Ausführungsbeispiel überträgt der Prozessor P2 die Objektposition an einen Puffer (z.B. RAM) des am Kopf montierten Anzeigegeräts HMD, sobald eine Zubehörkamera (z.B. Zubehörkamera C5) das Objektbild erfasst hat. Der Prozessor P1 kann die Objektpose aus dem Puffer beziehen.In one embodiment, the processor transfers P2 the object position to a buffer (e.g. RAM) of the display device mounted on the head HMD as soon as an accessory camera (e.g. accessory camera C5 ) has captured the object image. The processor P1 can get the object pose from the buffer.
So definiert der Prozessor P2 beispielsweise die Rotation und die absolute Koordinate der X-, Y- und Z-Achse des Controllers CR im dreidimensionalen realen Raum entsprechend dem Muster im Controller-Bild und der Position des am Kopf montierten Anzeigegeräts HMD.This is how the processor defines it P2 for example, the rotation and absolute coordinate of the X, Y, and Z axes of the controller CR in three-dimensional real space according to the pattern in the controller image and the position of the display device mounted on the head HMD .
In Schritt 895 verwendet der Prozessor P1 die vom Prozessor P2 erhaltene Objektpose, oder der Prozessor P1 berechnet die Objektpose gemäß dem von der mindestens einen Hauptkamera C0-C3 aufgenommenen Objektbild.In step 895 the processor uses P1 that of the processor P2 received object pose, or the processor P1 calculates the object pose according to that of the at least one main camera C0-C3 taken object image.
So verfolgt der Prozessor P1 beispielsweise die Bewegung des Controllers CR auf der absoluten Koordinate der X-, Y- und Z-Achse und die Rotation des Controllers CR und berechnet so die relative Koordinate zwischen dem Controller CR und dem am Kopf montierten Anzeigegerät HMD in der virtuellen Realität.So the processor tracks P1 for example the movement of the controller CR on the absolute coordinate of the X, Y and Z axes and the rotation of the controller CR and so calculates the relative coordinate between the controller CR and the head-mounted display device HMD in virtual reality.
Wenn in einem Ausführungsbeispiel die mindestens eine Hauptkamera C0-C3 das Objektbild erfasst, berechnet der Prozessor P1 die Objektpose entsprechend dem von der mindestens einen Hauptkamera C0-C3 erfassten Objektbild. Wenn die mindestens eine Zubehörkamera C4-C5 das Objektbild aufnimmt, berechnet der Prozessor P1 oder P2 die Objektpose entsprechend dem von der mindestens einen Zubehörkamera C4-C5 aufgenommenen Objektbild (nach der Objektverfolgungsverfahren 600 oder 800).If in one embodiment the at least one main camera C0-C3 the processor captures the object image P1 the object pose corresponding to that of the at least one main camera C0-C3 captured object image. If the at least one accessory camera C4-C5 the processor records the object image P1 or P2 the object pose corresponding to that of the at least one accessory camera C4-C5 captured object image (following the object tracking process 600 or 800 ).
Wenn in einem Ausführungsbeispiel sowohl die mindestens eine Hauptkamera C0-C3 als auch die mindestens eine Zubehörkamera C4-C5 die Objektbilder erfassen, berechnen die Prozessoren P1 und P2 unabhängig voneinander die Objektpose entsprechend den Objektbildern. Und der Prozessor P2 überträgt die vom Prozessor P2 berechnete Objektpose an den Prozessor P1. Dann erzeugt der Prozessor P1 eine Fusionspose entsprechend der vom Prozessor P2 berechneten Objektpose und der vom Prozessor P1 berechneten Objektpose.If in one embodiment both the at least one main camera C0-C3 as well as the at least one accessory camera C4-C5 the processors calculate the object images P1 and P2 independently the object pose corresponding to the object pictures. And the processor P2 transfers that from the processor P2 calculated object pose to the processor P1 . Then the processor generates P1 a fusion pose corresponding to that of the processor P2 calculated object pose and that of the processor P1 calculated object pose.
Die Ausführungsbeispiele der vorliegenden Erfindung sehen ein Objektverfolgungssystem und ein Objektverfolgungsverfahren vor, die mit modularisierten Zubehörkameras einer Zusatzeinrichtung versehen sind. Die Zubehörkameras sind je nach Bedarf steckbar. Ein zusätzlicher Prozessor im Zubehörgerät könnte dem am Kopf montierten Anzeigegerät helfen, den Controller zu suchen und zu verfolgen. Auf diese Weise erzielen das Objektverfolgungssystem und die Objektverfolgungsverfahren den Effekt einer besseren verteilten Rechenleistung. Darüber hinaus können das Objektverfolgungssystem und die Objektverfolgungsverfahren flexibel mindestens ein Kameramodul (d.h. Zubehörkamera) zu einem bestehenden Modul (d.h. am Kopf montiertes Anzeigegerät) hinzufügen, um das Sichtfeld des am Kopf montierten Anzeigegeräts zu erweitern. Auch der Objektverfolgungsbereich (z.B. Controller-Verfolgungsbereich) kann erweitert werden.The exemplary embodiments of the present invention provide an object tracking system and an object tracking method, which are provided with modularized accessory cameras of an additional device. The accessory cameras can be plugged in as required. An additional processor in the accessory could help the head-mounted display device find and track the controller. In this way, the object tracking system and object tracking methods achieve the effect of better distributed computing power. In addition, the object tracking system and methods can flexibly add at least one camera module (i.e., accessory camera) to an existing module (i.e., head-mounted display device) to expand the field of view of the head-mounted display device. The object tracking area (e.g. controller tracking area) can also be expanded.
Obwohl die Erfindung in Bezug auf eine oder mehrere Implementierungen illustriert und beschrieben wurde, werden gleichwertige Änderungen und Modifikationen auftreten oder anderen Fachleuten auf der Grundlage des Lesens und Verstehens dieser Spezifikation und der beigefügten Zeichnungen bekannt sein. Darüber hinaus kann ein bestimmtes Merkmal der Erfindung zwar nur in Bezug auf eine von mehreren Ausführungen offenbart worden sein, doch kann ein solches Merkmal mit einem oder mehreren anderen Merkmalen der anderen Ausführungen kombiniert werden, wie es für eine bestimmte oder spezielle Anwendung gewünscht und vorteilhaft sein kann.Although the invention has been illustrated and described in relation to one or more implementations, equivalent changes and modifications will occur or will be known to those skilled in the art based on the reading and understanding of this specification and the accompanying drawings. In addition, while a particular feature of the invention may have been disclosed only with respect to one of several implementations, such a feature may be combined with one or more other features of the other implementations as desired and advantageous for a particular or specific application can.
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant has been generated automatically and is only included for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent literature cited
-
US 62784837 [0001]US 62784837 [0001]
