EP4303697A1

EP4303697A1 - Virtually activated interaction of a user with a physical object

Info

Publication number: EP4303697A1
Application number: EP22183128.2A
Authority: EP
Inventors: Jan Speich; Sven von ASCHWEGE; Elmar SCHRAGE
Original assignee: Deutsche Telekom AG
Current assignee: Deutsche Telekom AG
Priority date: 2022-07-05
Filing date: 2022-07-05
Publication date: 2024-01-10

Abstract

Die Erfindung betrifft eine Lösung zur Interaktion eines Nutzers (10) mit mindestens einem physischen Objekt (11, 12, 2) mithilfe einer durch ein mobiles computerbasiertes Endgerät (6) verarbeiteten Programmanwendung und eines durch diese Programmanwendung an den Brillengläsern einer von dem Nutzer (10) getragenen MR-Brille (5) visualisierbaren virtuellen Trigger-Objektes (31, 32, 4). Die Interaktion erfolgt durch Ausrichten der Blickrichtung oder eines an den Brillengläsern der MR-Brille (5) visualisierten virtuellen Laserpointers (9) auf das hierdurch aktivierte, zuvor in einem Setup-Modus der Programmanwendung mit dem mindestens einen physischen Objekt (11, 12, 2) verknüpfte Trigger-Objekt (31, 32, 4) . Danach wird eine dem aktivierten Trigger-Objekt (31, 32, 4) unterlegte Interaktionsfunktion unmittelbar oder in Reaktion auf eine Geste des Nutzers (10) oder nach Auswahl aus einer Liste mehrerer dem Trigger-Objekt (31, 32, 4) unterlegter Interaktionsfunktionen ausgeführt. Im letztgenannten Fall erfolgt die Auswahl der Interaktionsfunktion durch Ausrichten der Blickrichtung oder des virtuellen Laserpointers (9) auf den entsprechenden Listeneintrag oder durch eine Geste.The invention relates to a solution for the interaction of a user (10) with at least one physical object (11, 12, 2) using a mobile computer-based terminal (6). processed program application and a virtual trigger object (31, 32) that can be visualized by this program application on the lenses of an MR glasses (5) worn by the user (10), 4). The interaction takes place by aligning the viewing direction or a virtual laser pointer (9) visualized on the lenses of the MR glasses (5) to the thereby activated, previously in a setup mode of the program application with the at least one physical object (11 , 12, 2) linked trigger object (31, 32, 4) . An interaction function underlying the activated trigger object (31, 32, 4) is then activated immediately or in response to a gesture by the user (10) or after selection from one List of several interaction functions underlying the trigger object (31, 32, 4) is executed. In the latter case, the interaction function is selected by aligning the viewing direction or the virtual laser pointer (9) with the corresponding list entry or by a gesture.

Description

Die Erfindung betrifft eine Lösung zur virtuell aktivierten Interaktion eines Nutzers mit einem von ihm in seiner Umgebung visuell wahrnehmbaren physischen, also realen Objekt. Die Interaktion erfolgt hierbei mithilfe einer durch ein mobiles computerbasiertes Endgerät des Nutzers verarbeiteten Programmanwendung, durch welche die Interaktion mit dem realen physischen Objekt durch Aktivieren eines diesem physischen Objekt zugeordneten (das heißt mit ihm verknüpften), mit wenigstens einer Interaktionsfunktion unterlegten virtuellen Trigger-Objekts ermöglicht wird. Das vorgenannte virtuelle Trigger-Objekt wird dazu dem Nutzer an den Brillengläsern einer von ihm getragenen MR-Brille, nämlich einer eine gemischte Realität (Mixed Reality) vermittelnden elektronischen Brille, visualisiert. Gegenstände der Erfindung sind ein entsprechendes Verfahren und ein zur Durchführung dieses Verfahrens geeignetes System.The invention relates to a solution for the virtually activated interaction of a user with a physical, i.e. real, object that he can visually perceive in his environment. The interaction takes place with the help of a program application processed by a mobile computer-based device of the user, through which the interaction with the real physical object is made possible by activating a virtual trigger object assigned to this physical object (i.e. linked to it) and with at least one interaction function becomes. For this purpose, the aforementioned virtual trigger object is visualized to the user on the lenses of an MR glasses worn by the user, namely electronic glasses that convey mixed reality. The invention relates to a corresponding method and a system suitable for carrying out this method.

Techniken zur Nutzung einer erweiterten Realität mithilfe dafür ausgebildeter elektronischer Brillen finden eine zunehmende Verbreitung. Entsprechende elektronische Brillen vermitteln hierbei ihrem Nutzer je nach Ausbildung und Anwendungsfall entweder eine so tatsächlich nicht vorhandene, also gewissermaßen simulierte Realität (VR = Virtual Reality) oder eine erweiterte Realität (AR = Augmented Reality), bei welcher der Nutzer über die von ihm getragene Brille einerseits die ihn tatsächlich, also physisch umgebende Realität und andererseits eine diese ergänzende virtuelle Realität wahrnimmt. Soweit dabei eine Interaktion zwischen den an den Brillengläsern der Brille ausgebebenen virtuellen Inhalten und der außerdem durch die Brille wahrgenommenen tatsächlichen Realität möglich ist, spricht man auch von einer gemischten Realität (MR = Mixed Reality). Letzterem bedient sich auch die hier vorgestellte Lösung.Techniques for using augmented reality using specially designed electronic glasses are becoming increasingly widespread. Depending on the training and application, corresponding electronic glasses provide their user with either a reality that actually does not exist, i.e. a simulated reality (VR = Virtual Reality) or an augmented reality (AR = Augmented Reality), in which the user has access to the glasses they are wearing On the one hand, he perceives the reality that actually surrounds him, i.e. physically, and on the other hand, he perceives a virtual reality that complements this. To the extent that an interaction is possible between the virtual content displayed on the lenses of the glasses and the actual reality perceived through the glasses, this is also referred to as mixed reality (MR = Mixed Reality). The solution presented here also uses the latter.

Da auch im Zusammenhang mit VR und AR von einer Realität (Virtual Reality beziehungsweise Augmented Reality) gesprochen wird, ist die Bezeichnung eines Objektes als reales Objekt im Grunde eher ungeeignet, um hierdurch tatsächlich vorhandene Objekte von anderen (nämlich virtuellen) Objekten zu unterscheiden, welche für den Träger einer elektronischer Brille einer der vorgenannten Arten über deren Brillengläser ebenfalls wahrnehmbar sind. Tatsächlich vorhandene, den Nutzer umgebende, das heißt, nicht nur virtuell, mittels eines Computers erzeugte sowie visualisierte Objekte, werden daher in den weiteren Erläuterungen und in den Patentansprüchen durchgängig als physische Objekte bezeichnet.Since reality (virtual reality or augmented reality) is also spoken of in connection with VR and AR, calling an object a real object is basically rather unsuitable for this to distinguish actually existing objects from other (namely virtual) objects, which are also perceptible to the wearer of electronic glasses of one of the aforementioned types via their lenses. Objects that actually exist and surround the user, that is, not just virtual objects created and visualized using a computer, are therefore consistently referred to as physical objects in the further explanations and in the patent claims.

Die zuvor angesprochenen Techniken werden beispielsweise in der Wissenschaft oder in der Wirtschaft, zum Beispiel in den Bereichen der Entwicklung und Konstruktion, oder auch im Zusammenhang mit Computerspielen bereits in größerem Umfang genutzt. Sie ermöglichen es, einem Nutzer unter anderem an einem technischen Objekt auch Merkmale optisch zu erfassen, die so in ihrer tatsächlichen Ausprägung nicht wahrnehmbar sind, weil sie beispielsweise durch andere Objekte oder durch Flächen desselben Objekts verdeckt sind. Darüber hinaus ermöglichen es diese Techniken, nämlich insbesondere Techniken, die sich des schon genannten Prinzips der Mixed Reality bedienen, einem Nutzer vermittels virtueller, also so tatsächlich nicht vorhandener Objekte (Trigger-Objekte) mit ihn umgebenden, tatsächlich vorhandenen physischen Objekten zu interagieren.The previously mentioned techniques are already being used to a large extent in science or business, for example in the areas of development and construction, or in connection with computer games. They enable a user, among other things, to visually detect features of a technical object that are not actually perceptible because they are hidden, for example, by other objects or by surfaces of the same object. In addition, these techniques, namely in particular techniques that make use of the already mentioned principle of mixed reality, enable a user to interact with actual physical objects surrounding him by means of virtual, i.e. non-existent objects (trigger objects).

Ein Einsatzgebiet für Letzteres können aber beispielsweise auch Smart Home Umgebungen (oder ebenso Smart Office Umgebungen) sein. In einer solchen Umgebung kann es dem Nutzer ermöglicht werden, eine MR-Brille gewissermaßen als eine Art universelle Fernbedienung zur Steuerung von Funktionen in die Smart Home Umgebung einbezogener technischer Geräte - bei denen es sich um eine mögliche Ausprägungsform physischer Objekte handelt - zu nutzen. Hierbei tritt der Nutzer mithilfe der MR-Brille und mithilfe durch diese visualisierter virtueller Objekte (Trigger-Objekte) mit diesen Geräten in Interaktion. An dieser Stelle sei jedoch bereits darauf hinwiesen, dass nach dem der hier vorgestellten Lösung zugrunde liegenden Verständnis eine Interaktion mit einem physischen Objekt nicht zwingend gleichzusetzen ist mit der Steuerung von Funktionen hierfür entsprechend ausgebildeter physischer Objekte (elektronische Geräte, Einrichtungen und dergleichen). Vielmehr kann eine solche Interaktion auch mit passiven, also selbst nicht funktional steuerbaren physischen Objekten erfolgen, indem beispielsweise bei einer insoweit im Grunde nur mit dem betreffenden Objekt verknüpften Interaktion mit diesem Objekt assoziierte Informationen ausgegeben werden.An area of application for the latter can also be, for example, smart home environments (or smart office environments). In such an environment, the user can be able to use MR glasses as a kind of universal remote control to control functions of technical devices included in the smart home environment - which are a possible form of physical objects. The user interacts with these devices using the MR glasses and the virtual objects visualized by them (trigger objects). At this point, however, it should already be pointed out that, according to the understanding underlying the solution presented here, an interaction with a physical object is not necessarily the same as the control of functions of appropriately designed physical objects (electronic devices, facilities and the like). Rather, such an interaction can also take place with passive physical objects, i.e. physical objects that cannot be functionally controlled, for example by outputting information associated with this object in an interaction that is basically only linked to the object in question.

Bisher, insbesondere im Bereich von Smart Home oder Smart Office, bekannt gewordenen Konzepte verfolgen hierbei einen Ansatz, bei welchem die Funktionsweise gebräuchlicher physischer Universalfernbedienungen weitgehend auf die virtuelle Ebene übertragen wird, wie sie mithilfe einer VR-Brille oder einer MR-Brille vermittelt wird. Das heißt, für den Nutzer wird eine mit einer physischen Universalfernbedienung vergleichbare virtuelle Fernbedienung an den Brillengläsern der MR-Brille visualisiert.Concepts that have become known so far, particularly in the area of smart home or smart office, follow an approach in which the functionality of common physical universal remote controls is largely transferred to the virtual level, as conveyed using VR glasses or MR glasses. This means that a virtual remote control comparable to a physical universal remote control is visualized for the user on the lenses of the MR glasses.

Wie bei einer physischen Universalfernbedienung auch muss der Nutzer zunächst an der virtuellen Fernbedienung ein elektronisches Gerät, welches er steuern will, respektive ein physisches Objekt, mit dem er in Interaktion treten will, an der virtuellen Fernbedienung auswählen. Erst danach kann er eine für dieses physische Objekt hinterlegte Interaktionsfunktion ausführen. Bei einer in der WO 2021/230975 A1 offenbarten Lösung geben sich dabei die physischen Objekte, mit welchen eine Interaktion unter Nutzung einer VR- oder MR-Brille möglich ist, gegenüber der entsprechenden elektronischen Brille durch das Aussenden hierauf aufmerksam machender Funk-Beacons zu erkennen. Jedoch entspricht eine Interaktion mit einem von mehreren physischen Objekten mithilfe virtueller Techniken, bei denen das betreffende Gerät zunächst aus einer Art Menü auszuwählen ist, im Grunde nicht einer natürlichen, intuitiven Vorgehensweise.As with a physical universal remote control, the user must first select an electronic device that he wants to control on the virtual remote control or a physical object that he wants to interact with on the virtual remote control. Only then can it carry out an interaction function stored for this physical object. At one in the WO 2021/230975 A1 According to the disclosed solution, the physical objects with which an interaction using VR or MR glasses is possible can be recognized compared to the corresponding electronic glasses by sending out radio beacons that draw attention to this. However, interacting with one of a number of physical objects using virtual techniques, where the device in question must first be selected from some sort of menu, is essentially not a natural, intuitive approach.

Aufgabe der Erfindung ist es, eine alternative Lösung für eine virtuell aktivierte Interaktion eines Nutzers mit einem physischen Objekt zur Verfügung zu stellen, welche eine möglichst intuitive Handhabung vermittelt. Hierfür sollen ein entsprechendes Verfahren angegeben und ein zu dessen Durchführung geeignetes System beschrieben werden.The object of the invention is to provide an alternative solution for a virtually activated interaction of a user with a physical object, which provides the most intuitive handling possible. There should be an appropriate one for this Procedures are specified and a system suitable for carrying them out is described.

Die Aufgabe wird durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 charakterisiert. Ein die Aufgabe lösendes, zur Durchführung des Verfahrens geeignetes System wird durch den ersten, das heißt unabhängigen Sachanspruch charakterisiert. Vorteilhafte Aus- und Weiterbildungen der Erfindung sind durch die jeweiligen Unteransprüche gegeben.The task is characterized by a method with the features of patent claim 1. A system that solves the task and is suitable for carrying out the procedure is characterized by the first, i.e. independent, material claim. Advantageous training and further developments of the invention are given by the respective subclaims.

Nach dem zur Lösung der Aufgabe vorgeschlagenen Verfahren wird einem Nutzer eine Interaktion mit einem von ihm in seiner Umgebung visuell wahrnehmbaren physischen Objekt mithilfe einer durch ein mobiles computerbasiertes Endgerät des Nutzers verarbeiteten Programmanwendung durch Aktivieren eines dem physischen Objekt innerhalb eines das mobile Endgerät umfassenden Systems zugeordneten, das heißt mit ihm verknüpften Trigger-Objekts ermöglicht. Hierfür kann der Nutzer in einem Anwendungsmodus dieser Programmanwendung das dem physischen Objekt in einem Setup-Modus dieser Programmanwendung zugeordnete, mit wenigstens einer Interaktionsfunktion unterlegte, dem Nutzer an den Brillengläsern einer von ihm getragenen MR-Brille zumindest im Setup-Modus der Programmanwendung visualisierte virtuelle Trigger-Objekt aktivieren. Zur Einordnung der Kategorien MR-Brille, mobiles computerbasiertes Endgerät und System, welches das computerbasierte Endgerät umfasst, sowie zum Verhältnis dieser Kategorien untereinander, respektive zu deren Zusammenwirken, sollen nähere Ausführungen im Zusammenhang mit der Beschreibung des die Aufgabe lösenden Systems erfolgen.According to the method proposed to solve the problem, a user is able to interact with a physical object that he can visually perceive in his environment using a program application processed by a mobile computer-based terminal of the user by activating a system assigned to the physical object within a system comprising the mobile terminal, that is, the trigger object associated with it. For this purpose, in an application mode of this program application, the user can use the virtual trigger assigned to the physical object in a setup mode of this program application, with at least one interaction function, and visualized to the user on the lenses of an MR glasses he is wearing, at least in the setup mode of the program application -Activate object. To classify the categories of MR glasses, mobile computer-based device and the system that includes the computer-based device, as well as the relationship between these categories and their interaction, more detailed information should be provided in connection with the description of the system that solves the task.

Entsprechend dem zur Lösung der Aufgabe vorgeschlagenen Verfahren wird das dem physischen Objekt zugeordnete Trigger-Objekt durch Ausrichten der Blickrichtung des die MR-Brille tragenden Nutzers oder eines an den Brillengläsern der MR-Brille visualisierten virtuellen Laserpointers auf das Trigger-Objekt aktiviert. Daraufhin wird mindestens einer der nachfolgenden Verfahrensschritte ausgeführt, nämlich:

a) eine dem aktivierten Trigger-Objekt für das physische Objekt unterlegte Interaktionsfunktion unmittelbar ausgeführt,
b) eine dem aktvierten Trigger-Objekt für das physische Objekt unterlegte Interaktionsfunktion in Reaktion auf eine von der MR-Brille erfasste sowie von der Programmanwendung interpretierte Geste des Nutzers ausgeführt,
c) an den Brillengläsern der MR-Brille eine Liste mehrerer, dem aktivierten Trigger-Objekt für das physische Objekt hinterlegter Interaktionsfunktionen visualisiert, von denen eine vom Nutzer durch Ausrichten seiner Blickrichtung oder des virtuellen Laserpointers auf den entsprechenden Listeneintrag oder durch eine von der MR-Brille erfasste sowie von der Programmanwendung interpretierte Geste des Nutzers ausgewählte Interaktionsfunktion ausgeführt.

According to the method proposed to solve the task, the trigger object assigned to the physical object is activated by aligning the viewing direction of the user wearing the MR glasses or a virtual laser pointer visualized on the lenses of the MR glasses to the trigger object. At least one of the following process steps is then carried out, namely:

a) an interaction function underlying the activated trigger object for the physical object is executed immediately,
b) an interaction function underlying the activated trigger object for the physical object is carried out in response to a user gesture detected by the MR glasses and interpreted by the program application,
c) a list of several interaction functions stored in the activated trigger object for the physical object is visualized on the lenses of the MR glasses, one of which can be controlled by the user by aligning his line of sight or the virtual laser pointer to the corresponding list entry or by one of the MR The user's selected interaction function, which is recorded by the glasses and interpreted by the program application, is carried out.

Aus den vorstehenden, den grundlegenden Ansatz der vorgeschlagenen Lösung aus der Sicht des Verfahrens darstellenden Erläuterungen wird sicher ohne weiteres erkennbar, dass dem Nutzer hierdurch eine Interaktion mit physischen, das heißt tatsächlich existierenden Objekten mithilfe virtueller Techniken in einer deutlich intuitiveren Art und Weise als bei den eingangs beschriebenen Lösungen des Standes der Technik ermöglicht wird. Es entspricht eben einer natürlicheren Vorgehensweise, im Zusammenhang mit dem Einsatz einer MR-Brille für die Interaktion mit einem physischen Objekt dessen virtuelles Pendant (das virtuelle Trigger-Objekt) durch Ausrichtung seines Blicks mit der MR-Brille anzuschauen oder auf dieses virtuelle Objekt zu zeigen, und sei es mittels eines ebenfalls nur virtuellen Laserpointers.From the above explanations, which represent the basic approach of the proposed solution from the perspective of the method, it is certainly readily apparent that this allows the user to interact with physical, i.e. actually existing, objects using virtual techniques in a much more intuitive way than with Solutions of the prior art described at the beginning are made possible. When using MR glasses to interact with a physical object, it is a more natural procedure to look at its virtual counterpart (the virtual trigger object) by aligning your gaze with the MR glasses or to point at this virtual object , even if it is using a laser pointer that is also only virtual.

Die unterschiedlichen Möglichkeiten für den oder die sich an die Aktivierung des Trigger-Objekts anschließenden Verfahrensschritte beruhen auf der Unterschiedlichkeit möglicher physischer Objekte, mit welchen ein Nutzer unter Einsatz des Verfahrens in Interaktion treten kann und der damit zusammenhängenden Unterschiedlichkeit der von diesen Objekten jeweils unterstützten oder mit ihnen assoziierten Interaktionsfunktionen. Handelt es sich bei einem solchen physischen Objekt beispielsweise um eine Lampe, bei der die durch diese unterstützte Interaktionsfunktion in der Möglichkeit besteht, diese Lampe mithilfe des virtuellen Trigger-Objekts an- oder auszuschalten, so kann sich im Verfahrensablauf an die Aktivierung des entsprechenden Trigger-Objekts zum Beispiel als weiterer Verfahrensschritt die Alternative a) unmittelbar anschließen.The different options for the procedural step(s) following the activation of the trigger object are based on the variety of possible physical objects with which a user can use the The method can interact and the associated diversity of the interaction functions supported by or associated with these objects. If such a physical object is, for example, a lamp in which the interaction function supported by it is the possibility of switching this lamp on or off using the virtual trigger object, the process can involve activating the corresponding trigger object. Object, for example, immediately follow alternative a) as a further process step.

Gemäß dem Verfahren wird also bei der Aktivierung des mit diesem physischen Objekt, also der Lampe, verknüpften Trigger-Objekts ein Einschalten der Lampe bewirkt, sofern diese bis dahin ausgeschaltet war, oder umgekehrt, ein Ausschalten der bis zur Aktivierung des Trigger-Objekts sich im Einschaltzustand befindenden Lampe. Eine andere Möglichkeit bestünde darin, dass durch das Trigger-Objekt als Interaktionsfunktion eine mit einem Taster vergleichbare Funktion realisiert wird, gemäß welcher die Lampe nur so lange eingeschaltet bleibt, wie der Blick des die MR-Brille tragenden Nutzers oder der virtuelle Laserpointer auf das virtuelle Trigger-Objekt gerichtet ist.According to the method, when the trigger object linked to this physical object, i.e. the lamp, is activated, the lamp is switched on if it was switched off until then, or vice versa, the lamp is switched off until the trigger object is activated lamp in the switched on state. Another possibility would be for the trigger object to be used as an interaction function to implement a function comparable to a button, according to which the lamp only remains switched on as long as the user wearing the MR glasses or the virtual laser pointer is looking at the virtual one Trigger object is directed.

Andererseits ist es natürlich denkbar, dass ein physisches Objekt in Form eines Kommunikationsgeräts, wie zum Beispiel eines Fernsehers, eine größere Zahl von Funktionen aufweist, die bei entsprechender Ausbildung dieses Kommunikationsgeräts - das heißt, das Kommunikationsgerät ist dazu ausgebildet, als Bestandteil in das später noch zu erläuternde System einbezogen zu werden - entsprechend dem vorgestellten Verfahren mithilfe eines virtuellen Trigger-Objekts ausgelöst, respektive zur Ausführung gebracht werden können. Das heißt, in diesem Falle wird das Verfahren nach der Aktivierung des virtuellen Trigger-Objekts, beispielsweise durch Ausrichten der Blickrichtung eines die MR-Brille tragendenden Nutzers auf das Trigger-Objekt, mit dem oben angegebenen Verfahrensschritt gemäß der Alternative c) fortgesetzt. Beispiele für die Ausführung des weiteren Verfahrens gemäß der Alternative b) im Anschluss an die Aktivierung eines entsprechenden virtuellen Trigger-Objekts oder aber auch im Anschluss an den Verfahrensschritt a) sollen später im Zusammenhang mit der Erläuterung eines Ausführungsbeispiels für das System gegeben werden.On the other hand, it is of course conceivable that a physical object in the form of a communication device, such as a television, has a larger number of functions that, if this communication device is designed accordingly - that is, the communication device is designed to be integrated into the later system to be explained - can be triggered or executed using a virtual trigger object according to the method presented. This means that in this case, after the activation of the virtual trigger object, for example by aligning the viewing direction of a user wearing the MR glasses with the trigger object, the method is continued with the above-mentioned method step according to alternative c). Examples of the execution of the further method according to alternative b) following the activation of a corresponding virtual trigger object or also following the Process step a) will be given later in connection with the explanation of an exemplary embodiment of the system.

Die zuvor beispielhaft angesprochenen Möglichkeiten für den Verfahrensablauf bezogen sich auf die unter Nutzung des vorgeschlagenen Verfahrens erfolgende Interaktion mit aktiven, das heißt steuerbaren physischen Objekten. Wie auch in dem Patentanspruch 1 zum Ausdruck gebracht, ermöglicht das Verfahren eine Interaktion mit mindestens einem physischen Objekt. Im Zusammenhang mit praxisrelevanten Implementierungen des Verfahrens kann und wird typischerweise mittels diesem eine Interaktion mit mehreren, sich in der Umgebung eines Nutzers befindenden physischen Objekten ermöglicht werden. In diesem Falle ist jedem dieser physischen Objekte jeweils ein an den Brillengläsern der von dem Nutzer getragenen MR-Brille visualisierbares virtuelles Trigger-Objekt zugeordnet.The previously mentioned options for the process flow referred to the interaction with active, i.e. controllable, physical objects using the proposed process. As also expressed in claim 1, the method enables interaction with at least one physical object. In connection with practical implementations of the method, interaction with several physical objects located in a user's environment can and will typically be made possible by means of this method. In this case, each of these physical objects is assigned a virtual trigger object that can be visualized on the lenses of the MR glasses worn by the user.

Diese Zuordnung geschieht in dem schon früher angesprochenen Setup-Modus der von dem mobilen Endgerät des Nutzers (an dieser Stelle sei schon angedeutet, dass es sich bei dem betreffenden mobilen Endgerät gegebenenfalls auch um die entsprechend ausgestattete MR-Brille selbst handeln kann) ausgeführten Programmanwendung, wobei das einem physischen Objekt zugeordnete virtuelle Trigger-Objekts zumindest in diesem Modus an den Brillengläsern der MR-Brille sichtbar ist. Je nach der Anzahl der in ein zur Ausführung des Verfahrens geeignetes System einbezogenen, eine Interaktion durch Aktivierung eines mit ihnen gekoppelten virtuellen Trigger-Objekts ermöglichenden physischen Objekte kann es sich bei dem oder bei mindestens einem dieser physischen Objekte, wie bereits angesprochen, um ein steuerbares Objekt, nämlich um ein elektronisch steuerbares Gerät handeln. An ein solches steuerbares physisches Objekt werden in diesem Falle Steuersignale übertragen, welche die Ausführung der jeweiligen, in der Bedienung einer elektronischen Funktion des Geräts bestehenden Interaktionsfunktion bewirken.This assignment takes place in the previously mentioned setup mode of the program application executed by the user's mobile device (it should be noted at this point that the mobile device in question can also be the correspondingly equipped MR glasses themselves), wherein the virtual trigger object assigned to a physical object is visible on the lenses of the MR glasses at least in this mode. Depending on the number of physical objects included in a system suitable for carrying out the method and enabling interaction by activating a virtual trigger object coupled to them, the or at least one of these physical objects can, as already mentioned, be controllable Object, namely an electronically controllable device. In this case, control signals are transmitted to such a controllable physical object, which cause the execution of the respective interaction function consisting in the operation of an electronic function of the device.

Darüber hinaus ist es aber auch denkbar, dass es sich bei dem oder bei mindestens einem der physischen Objekte um ein (passives) Objekt handelt, bei welchem in Ausführung der jeweiligen Interaktionsfunktion für dieses physische Objekt an den Brillengläsern der MR-Brille Informationen visualisiert werden, mit denen das physische Objekt in dem System assoziiert wird. Hiervon ist auch die Möglichkeit umfasst, dass es sich bei den mit einem solchen passiven physischen Objekt assoziierten Informationen um Informationen handelt, welche durch das dafür entsprechend ausgebildete System in einer hinsichtlich ihres Inhalts jeweils aktualisierten Form über ein Weitverkehrsnetz, wie das Internet, von einer entfernten Informationsquelle bezogen werden.In addition, it is also conceivable that the or at least one of the physical objects is a (passive) object in which information is visualized on the lenses of the MR glasses when carrying out the respective interaction function for this physical object, with which the physical object is associated in the system. This also includes the possibility that the information associated with such a passive physical object is information which is transmitted from a remote location by the appropriately designed system in a form updated in terms of its content via a wide area network, such as the Internet source of information.

Zu denken ist hierbei beispielsweise an Wetterinformationen, welche zum Beispiel in einer Smart Home Umgebung mit einem Fenster als passivem physischen Objekt assoziiert sind. Blickt der Nutzer mit seiner MR-Brille nun in Richtung des entsprechenden, mit diesem Fenster gekoppelten virtuellen Trigger-Objekts, so werden für ihn die neuesten Wetterinformationen an den Brillengläsern der MR-Brille visualisiert. Oder anders ausgedrückt, sofern das virtuelle Trigger-Objekt, wie bevorzugt, dem tatsächlich existierenden physischen Objekt Fenster als geometrische, im Setup-Modus der Programmanwendung semitransparente und im Anwendungsmodus vorzugsweise volltransparente (unsichtbare) geometrische Form überlagert und dort fixiert wird, so werden dem Nutzer, wenn er mit der MR-Brille aus dem entsprechenden Fenster schaut, aktuelle Wetterinformationen an der MR-Brille zur Ansicht gebracht.One example is weather information, which is associated with a window as a passive physical object in a smart home environment, for example. If the user now looks with his MR glasses in the direction of the corresponding virtual trigger object coupled to this window, the latest weather information is visualized for him on the lenses of the MR glasses. Or to put it another way, if the virtual trigger object, as preferred, is superimposed on the actually existing physical object window as a geometric shape, which is semi-transparent in the setup mode of the program application and preferably fully transparent (invisible) in the application mode, and is fixed there, the user is provided with When he looks out of the corresponding window with the MR glasses, current weather information is displayed on the MR glasses.

Entsprechend einer möglichen Implementierung des Verfahrens kann dieses auch so gestaltet sein, dass das virtuelle Trigger-Objekt zur Ermöglichung einer Interaktion mit dem ihm im System zugeordneten physischen Objekt erst aktiviert wird, sofern der Blick des die MR-Brille tragenden Nutzers oder der virtuelle Laserpointer für eine Mindestdauer von 1 - 3 Sekunden auf dem virtuellen Trigger-Objekt verharrt. Dies hat den Vorteil, dass ungewollte Interaktionen mit einzelnen von gegebenenfalls mehreren physischen Objekten sicherer vermieden werden. Das Verfahren kann vorzugsweise weiterhin so ausgestaltet sein, dass das dem mindestens einen physischen Objekt zugeordnete virtuelle Trigger-Objekt an den Brillengläsern der MR-Brille als eine geometrische Form visualisiert wird, deren Aussehen und/oder Größe und/oder Position durch den Nutzer in dem schon erwähnten Setup-Modus der Programmanwendung variierbar ist. Das heißt, dem Nutzer ist es hierbei möglich, einem in das Verfahren einbezogenen physischen Objekt als virtuelles Trigger-Objekt eine geometrische Form zuzuordnen, durch welche für ihn das mit dem betreffenden virtuellen Trigger-Objekt verknüpfte physische Objekt unmissverständlich und sofort erkennbar ist. Der Nutzer kann hierbei zudem das in diesem Falle semitransparente Trigger-Objekt, respektive die dieses repräsentierende semitransparente geometrische Form, gewissermaßen auch auf das durch ihn durch die Brillengläser wahrgenommene physische Objekt legen und diese geometrische Form, zum Beispiel eine Box, - sofern gewünscht - in Form und Größe an das physische Objekt anpassen.According to a possible implementation of the method, it can also be designed in such a way that the virtual trigger object is only activated to enable interaction with the physical object assigned to it in the system, provided that the gaze of the user wearing the MR glasses or the virtual laser pointer for remains on the virtual trigger object for a minimum period of 1 - 3 seconds. This has the advantage that unwanted interactions with one or more physical objects can be avoided more reliably. The method can preferably further be designed in such a way that the virtual trigger object assigned to the at least one physical object is visualized on the lenses of the MR glasses as a geometric shape, the appearance and / or size and / or position of which can be determined by the user in the The already mentioned setup mode of the program application can be varied. This means that the user is able to assign a geometric shape to a physical object included in the method as a virtual trigger object, through which the physical object linked to the relevant virtual trigger object is unmistakably and immediately recognizable to him. The user can also place the in this case semi-transparent trigger object, or the semi-transparent geometric shape that represents it, on the physical object perceived by him through the glasses and - if desired - place this geometric shape, for example a box, in it Adjust the shape and size to the physical object.

Vorzugsweise wird das Trigger-Objekt, respektive die vorgenannte, dieses symbolisierende geometrische Form durch eine entsprechende Bedienhandlung des Nutzers im Setup-Modus virtuell an dem mit ihm verknüpften physischen Objekt verankert, zum Beispiel durch Anschauen eines dies vorschlagenden, an der Brille visualisierten Menüpunktes oder Ausführen einer dafür festgelegten Geste. Das heißt, das virtuelle Trigger-Objekt "wandert" bei einer Änderung der Blickrichtung des die MR-Brille tragenden Nutzers - ob sichtbar, wie im Setup-Modus der Programmanwendung in jedem Falle, oder unsichtbar, weil volltransparent, wie je nach Implementierung des Verfahrens möglicherweise für den Anwendungsmodus der Programmanwendung vorgesehen - zusammen mit dem mit ihm verknüpften physischen Objekt über die Brillengläser der MR-Brille.Preferably, the trigger object, or the aforementioned geometric shape that symbolizes it, is virtually anchored to the physical object linked to it by a corresponding operating action by the user in the setup mode, for example by viewing a menu item that suggests this and is visualized on the glasses or executing it a designated gesture. This means that the virtual trigger object "moves" when the viewing direction of the user wearing the MR glasses changes - whether visible, as in the setup mode of the program application, or invisible because fully transparent, as is the case depending on the implementation of the method possibly intended for the application mode of the program application - together with the physical object associated with it via the lenses of the MR glasses.

An dieser Stelle sollen einige Ausführungen zu der Frage der Visualisierung, respektive der Sichtbarkeit eines virtuellen Trigger-Objekts, das heißt der dieses repräsentierenden geometrischen Form, erfolgen, wobei dabei vereinfachend von einem Trigger-Objekt gesprochen wird, sich diese Aussagen aber ebenso auf gegebenenfalls weitere vorhandene, respektive zu dem noch zu erläuternden System gehörende Trigger-Objekte beziehen. Das virtuelle Trigger-Objekt ist im Setup-Modus der Programmanwendung in jedem Falle sichtbar, um dem Nutzer beispielsweise eine Änderung seines Erscheinungsbildes (Form, Größe und dergleichen) sowie eine Zuordnung zu einem physischen Objekt und vorzugsweise Verankerung an diesem physischen Objekt zu ermöglichen. Vorzugsweise ist das Trigger-Objekt hierbei, das heißt im Setup-Modus, semitransparent.At this point, some comments should be made on the question of visualization, or the visibility of a virtual trigger object, i.e. the geometric shape that represents it, whereby we speak of a trigger object in a simplified manner, but these statements also refer to other possible ones existing, or that which is yet to be explained Obtain trigger objects belonging to the system. The virtual trigger object is always visible in the setup mode of the program application, for example to allow the user to change its appearance (shape, size and the like) as well as to assign it to a physical object and preferably anchor it to this physical object. The trigger object is preferably semi-transparent here, i.e. in setup mode.

Im Anwendungsmodus der Programmanwendung kann das Trigger-Objekt ebenfalls an den Brillengläser der MR-Brille sichtbar sein - auch hierbei vorzugsweise semitransparent - oder aber unsichtbar, das heißt volltransparent. Im Hinblick auf die Aktivierung des Trigger-Objekt im Anwendungsmodus bedeutet letzteres (das Trigger-Objekt ist im Anwendungsmodus unsichtbar/volltransparent aber an dem physischen Objekt verankert), dass der die MR-Brille tragende Nutzer dazu im Grunde das virtuelle Trigger-Objekt anschaut oder auf dieses mit dem virtuellen Laserpointer zeigt, wobei er aber in seiner Wahrnehmung das physische anschaut oder auf dieses zeigt. Es wird insoweit erkennbar, dass eine Unsichtbarkeit/Volltransparenz des Trigger-Objekts im Anwendungsmodus im Grunde nur sinnvoll ist, wenn dieses an dem mit ihm verknüpften physischen Objekt verankert ist. Die vorstehend erläuterten Möglichkeiten sind im Übrigen auch der Grund dafür, dass im Patentanspruch 1 von einem an den Brillengläsern der MR-Brille "visualisierbaren" Trigger-Objekt gesprochen wird.In the application mode of the program application, the trigger object can also be visible on the lenses of the MR glasses - here too, preferably semi-transparent - or invisible, that is, fully transparent. With regard to the activation of the trigger object in application mode, the latter means (the trigger object is invisible/fully transparent in application mode but anchored to the physical object) that the user wearing the MR glasses basically looks at the virtual trigger object or points at it with the virtual laser pointer, but in his perception he is looking at or pointing at the physical one. It can be seen that invisibility/full transparency of the trigger object in application mode basically only makes sense if it is anchored to the physical object linked to it. The options explained above are also the reason why patent claim 1 speaks of a trigger object that can be “visualized” on the lenses of the MR glasses.

Das die Aufgabe lösende, zur Durchführung des zuvor beschriebenen Verfahrens geeignete System zur Interaktion eines Nutzers mit mindestens einem von ihm in seiner Umgebung visuell wahrnehmbaren physischen Objekt umfasst neben diesem mindestens einen, bei dem System registrierten physischen Objekt, eine von dem Nutzer getragene MR-Brille und ein mobiles computerbasiertes Endgerät des Nutzers. Dieses computerbasierte Endgerät ist mit einer von ihm verarbeiteten Programmanwendung zur Visualisierung eines der Interaktion mit dem mindestens einen physischen Objekt dienenden virtuellen Trigger-Objekts an den Brillengläsern der MR-Brille ausgestattet.The system that solves the problem and is suitable for carrying out the method described above for the interaction of a user with at least one physical object that he can visually perceive in his environment includes, in addition to this at least one physical object registered with the system, MR glasses worn by the user and a mobile computer-based device of the user. This computer-based terminal is equipped with a program application that it processes for visualizing a virtual trigger object on the lenses of the MR glasses that serves to interact with the at least one physical object.

Die letztgenannte Programmanwendung ist dabei außerdem dazu ausgebildet, in einen Setup-Modus der Programmanwendung das mindestens eine physische Objekt mit dem, mit wenigstens einer Interaktionsfunktion unterlegten virtuellen Trigger-Objekt zu verknüpfen und das Trigger-Objekt in einem Anwendungsmodus der Programmanwendung zu aktivieren, wenn der die MR-Brille tragende Nutzer seine Blickrichtung oder einen an den Brillengläsern der MR-Brille visualisierten virtuellen Laserpointer auf dieses Trigger-Objekt ausrichtet.The last-mentioned program application is also designed to link the at least one physical object in a setup mode of the program application with the virtual trigger object underlaid with at least one interaction function and to activate the trigger object in an application mode of the program application if the The user wearing the MR glasses aligns his line of sight or a virtual laser pointer visualized on the lenses of the MR glasses to this trigger object.

Unter Einschluss dieser, durch das mobile Endgerät verarbeiteten Programmanwendung ist das System zudem softwaretechnisch dazu ausgestattet, auf eine Aktivierung des virtuellen Trigger-Objekts mit mindestens einer der nachfolgend genannten Aktionen zu reagieren, nämlich

a) mit der unmittelbaren Ausführung einer dem aktivierten Trigger-Objekt für das mindestens eine physische Objekt unterlegten Interaktionsfunktion,
b) mit der Ausführung einer dem aktivierten Trigger-Objekt für das mindestens eine physische Objekt unterlegten Interaktionsfunktion in Reaktion auf eine von der MR-Brille erfasste und durch die von dem mobilen Endgerät ausgeführte Programmanwendung interpretierte Geste des Nutzers,
c) mit der Visualisierung einer Liste mehrerer dem aktivierten Trigger-Objekt für das mindestens eine physische Objekt unterlegter Interaktionsfunktionen an den Brillengläsern der MR-Brille sowie der Ausführung einer vom Nutzer durch Ausrichten seiner Blickrichtung oder des virtuellen Laserpointers oder mittels einer von der MR-Brille erfassten sowie von der Programmanwendung interpretierten Geste, ausgewählten Interaktionsfunktion.

Including this program application processed by the mobile device, the system is also equipped with software to respond to an activation of the virtual trigger object with at least one of the following actions, namely

a) with the immediate execution of an interaction function underlying the activated trigger object for the at least one physical object,
b) with the execution of an interaction function underlying the activated trigger object for the at least one physical object in response to a gesture of the user detected by the MR glasses and interpreted by the program application executed by the mobile terminal,
c) with the visualization of a list of several interaction functions underlying the activated trigger object for the at least one physical object on the lenses of the MR glasses and the execution of one by the user by aligning his line of sight or the virtual laser pointer or by means of one of the MR glasses Gesture recorded and interpreted by the program application, selected interaction function.

Wie bereits zum Verfahren angedeutet, kann die zum System gehörende, von einem Nutzer zu tragende MR-Brille gleichzeitig auch das die einen Setup-Modus und einen Anwendungsmodus aufweisende Programmanwendung ausführende mobile Endgerät ausbilden. Typischerweise wird es sich jedoch bei dem mobilen Endgerät um ein sogenanntes Companion-Gerät, wie etwa ein mit der MR-Brille, zum Beispiel über Bluetooth gekoppeltes Smartphone, handeln. Darüber hinaus kann das System aber auch noch einen Server - bezogen auf eine Ausbildung als Smart Home System, ein Smart Home Hub oder Smart Home Gateway - umfassen. In einem solchen Server oder Smart Home Hub werden in diesem Falle die hard- und softwaretechnischen Mittel zur Aussendung von Steuerbefehlen an ein ausgewähltes aktives physisches Objekt (steuerbares Objekt) entsprechend einer gewünschten Interaktionsfunktion angesiedelt sein.As already indicated about the method, the MR glasses belonging to the system and to be worn by a user can also simultaneously execute the program application having a setup mode and an application mode train mobile devices. Typically, however, the mobile terminal will be a so-called companion device, such as a smartphone coupled to the MR glasses, for example via Bluetooth. In addition, the system can also include a server - related to training as a smart home system, a smart home hub or smart home gateway. In this case, such a server or smart home hub will contain the hardware and software technical means for sending control commands to a selected active physical object (controllable object) in accordance with a desired interaction function.

In einer entsprechenden Systemkonfiguration werden in dem betreffenden Server (oder Smart Home Hub) außerdem die hard- und softwaretechnischen Mittel (beispielsweise eine Datenbank) angesiedelt sein, um für eine virtuell aktivierte Interaktion geeignete physische Objekte in dem System zu registrieren und darüber hinaus im Zuge einer über eine Schnittstelle erfolgenden Interaktion mit der von dem mobilen Endgerät verarbeiteten Programmanwendung in deren Setup-Modus an diese Programmanwendung mögliche, mit einem jeweiligen physischen Objekt verknüpfbare Trigger-Objekte und die diesen unterlegbaren Interaktionsfunktionen zur Visualisierung an den Brillengläsern der MR-Brille zu übergeben. An dieser Stelle sei jedoch darauf hingewiesen, dass gegebenenfalls auch die im Zusammenhang mit dem Server (dem Smart Home Hub) vorgenannten Funktionen bei entsprechender Ausstattung mit hochintegrierter Technik in der MR-Brille realisiert sein könnten, respektive von dieser ausführt werden könnten. Dies schließt gegebenenfalls sogar die Möglichkeit mit ein, dass die MR-Brille selbst eine Zugangsmöglichkeit zum Internet, beispielsweise in Form einer von dieser aufgenommenen eSIM (embedded Subscriber Identity Module) über einen Zugang zum Internet verfügt, welcher es der MR-Brille ermöglicht, über das Internet mit einem zum System gehörenden physischen Objekt assoziierte sowie aktualisierbare Informationen zu beziehen.In a corresponding system configuration, the server (or smart home hub) in question will also have the hardware and software technical means (for example a database) in order to register physical objects suitable for a virtually activated interaction in the system and, moreover, in the course of a Interacting via an interface with the program application processed by the mobile device in its setup mode, to hand over to this program application possible trigger objects that can be linked to a respective physical object and the interaction functions that can be assigned to them for visualization on the lenses of the MR glasses. However, it should be noted at this point that the functions mentioned above in connection with the server (the smart home hub) could also be implemented in the MR glasses or carried out by them if appropriately equipped with highly integrated technology. This may even include the possibility that the MR glasses themselves have an access option to the Internet, for example in the form of an eSIM (embedded Subscriber Identity Module) recorded by them, which enables the MR glasses to have access to the Internet to obtain updatable information associated with a physical object belonging to the system via the Internet.

Unabhängig von einer eventuellen kompletten Integration in die MR-Brille oder einer Aufteilung auf mehrere Komponenten, nämlich auf MR-Brille, separates mobiles, mit der MR-Brille gekoppeltes Endgerät sowie separaten Server (Smart Home Hub), verfügt das System darüber hinaus vorzugsweise über einen Registriermodus, respektive Konfigurierungsmodus, welcher es dem Nutzer ermöglicht, neu in das System einzubeziehende, für eine virtuell aktivierte Interaktion ausgebildete physische Objekte bei dem System zu registrieren, das heißt, diese zum Beispiel in einer Datenbank abzuspeichern. Hierdurch werden diese physischen Objekte der von dem mobilen Endgerät verarbeiteten Programmanwendung zugänglich, durch welche ihnen in deren Setup-Modus eine mit ihnen zu verknüpfende geometrische Form mit mindestes einer dieser Form unterlegten Interaktionsfunktionen zugeordnet werden kann. Bei ihrer Registrierung kann den physischen Objekten gegebenenfalls eine Objektklasse zugewiesen werden, so dass dem Nutzer im Setup-Modus der Programmanwendung für ein jeweiliges physisches Objekt ein kontextsensitives Menü präsentiert wird, mittels welchem diesem Objekt dann, gefiltert, nur ausgewählte virtuelle Trigger-Objekte mit bestimmten diesen unterlegten Interaktionsfunktionen zugeordnet werden können.Regardless of a possible complete integration into the MR glasses or a division into several components, namely on MR glasses, separate mobile device coupled to the MR glasses and a separate server (smart home hub), the system also preferably has a registration mode or configuration mode, which enables the user to incorporate new physical devices into the system that are trained for a virtually activated interaction Registering objects with the system, that is, storing them in a database, for example. As a result, these physical objects become accessible to the program application processed by the mobile terminal, through which a geometric shape to be linked to them with at least one interaction function underlying this shape can be assigned to them in its setup mode. When registering, the physical objects can, if necessary, be assigned an object class, so that the user is presented with a context-sensitive menu for a respective physical object in the setup mode of the program application, by means of which this object is then filtered and only selected virtual trigger objects with certain ones are given can be assigned to these underlying interaction functions.

Anhand der Fig. 1 soll ein Ausführungsbeispiel der Erfindung gegeben und erläutert werden. Die Fig. 1 zeigt eine mögliche, einfache Ausbildungsform des erfindungsgemäßen Systems in einer stark schematisierten Darstellung, wobei im Zusammenhang mit den zu dieser Ausbildungsform nachfolgend gegebenen Ausführungen auch nochmals auf Aspekte des Verfahrens eingegangen werden soll.Based on Fig. 1 An exemplary embodiment of the invention will be given and explained. The Fig. 1 shows a possible, simple form of training of the system according to the invention in a highly schematic representation, with aspects of the method also being discussed again in connection with the explanations given below on this form of training.

Die beispielhafte, in der Fig. gezeigte Ausbildungsform des erfindungsgemäßen Systems umfasst mehrere physische Objekte 1₁, 1₂, 2, mit denen ein eine MR-Brille 5 tragender Nutzer 10 mittels ihnen jeweils zugeordneten virtuellen Trigger-Objekten 3₁, 3₂, 4 in Interaktion treten kann. Die von dem Nutzer 10 getragene MR-Brille 5 ist vorzugsweise über Bluetooth - darüber hinaus sind selbstverständlich andere, vorzugsweise drahtlose Verbindungstechniken denkbar - mit einem mobilen Endgerät 6 des Nutzers 10, beispielsweise einem Smartphone, als Companion-Gerät gekoppelt. Von dem mobilen Endgerät 6 wird eine Programmanwendung verarbeitet, welche es ermöglicht, den in das System einbezogenen physischen Objekten 1₁, 1₂, 2 in einem Setup-Modus die hier jeweils als ein Quader symbolisierten virtuellen Trigger-Objekte 3₁, 3₂, 4 zuzuordnen.The exemplary embodiment of the system according to the invention shown in the figure comprises several physical objects 1 ₁ , 1 ₂ , 2 with which a user 10 wearing MR glasses 5 can use virtual trigger objects 3 ₁ , 3 ₂ , 4 assigned to them can interact. The MR glasses 5 worn by the user 10 are preferably coupled via Bluetooth - other, preferably wireless connection technologies are of course also conceivable - with a mobile terminal 6 of the user 10, for example a smartphone, as a companion device. A program application is processed by the mobile terminal 6, which makes it possible to integrate it into the system included physical objects 1 ₁ , 1 ₂ , 2 in a setup mode to assign the virtual trigger objects 3 ₁ , 3 ₂ , 4, each symbolized here as a cuboid.

Zu dem System gehört ferner ein mit dem Internet verbundener Smart Home Hub 7, respektive ein Gateway, bei welchem die in das System einbezogenen physischen Objekte 1₁, 1₂, 2 zusammen mit den mit ihnen verknüpften, jeweils mit mindestens einer Interaktionsfunktion unterlegten virtuellen Trigger-Objekte 3₁, 3₂, 4 registriert sind. Der Setup-Modus, das heißt die Zuordnung der Trigger-Objekte 3₁, 3₂, 4 zu den physischen Objekten 1₁, 1₂, 2, gestaltet sich hierbei beispielsweise wie folgt. Der Nutzer 10 wählt aus den bei dem Smart Home Hub 7 registrierten physischen Objekte 1₁, 1₂, 2, für welche ihm eine Interaktion unter Nutzung eines virtuellen Trigger-Objekts ermöglicht werden kann, eines aus. Hierbei wird ihm die besagte Liste der physischen Objekte mittels des die sich im Setup-Modus befindende Programmanwendung verarbeitenden mobilen Endgeräts 6, welches diese Liste bei dem Smart Home Hub 7 abfordert, an den Brillengläsern der von ihm getragenen MR-Brille 5 visualisiert.The system also includes a smart home hub 7 connected to the Internet, or a gateway, in which the physical objects 1 ₁ , 1 ₂ , 2 included in the system together with the virtual triggers linked to them, each with at least one interaction function -Objects 3 ₁ , 3 ₂ , 4 are registered. The setup mode, that is, the assignment of the trigger objects 3 ₁ , 3 ₂ , 4 to the physical objects 1 ₁ , 1 ₂ , 2, is, for example, as follows. The user 10 selects one of the physical objects 1 ₁ , 1 ₂ , 2 registered with the smart home hub 7, for which he can be enabled to interact using a virtual trigger object. Here, the said list of physical objects is visualized on the lenses of the MR glasses 5 he is wearing by means of the mobile terminal 6 which processes the program application that is in setup mode and which requests this list from the Smart Home Hub 7.

Nach der Auswahl des physischen Objekts 1₁, 1₂, 2, für welches der Nutzer 10 die Möglichkeit einer Interaktion unter Nutzung der erfindungsgemäßen Lösung, also des Verfahrens und des Systems, wünscht, wird dem Nutzer 10 an den Brillengläsern der MR-Brille 5 ein mit diesem physischen Objekt 1₁, 1₂, 2 verknüpfbares virtuelles Trigger-Objekt 1₁, 1₂, 2 angeboten, das heißt als eine geometrische Form dargestellt. Diese geometrische Form kann der Nutzer 10 gegebenenfalls in Form und Größe verändern und dann in einer sinnvollen räumlichen Zuordnung zu dem mit ihm zu verknüpfenden physischen Objekt 1₁, 1₂, 2 innerhalb seiner mit der MR-Brille 5 erfassbaren Umgebung positionieren und dort verankern. Vorzugsweise wird er dabei das semitransparente Trigger-Objekt 3₁, 3₂, 4 über das tatsächlich existierende physische Objekt 1₁, 1₂, 2 legen.After selecting the physical object 1 ₁ , 1 ₂ , 2 for which the user 10 wants the possibility of interaction using the solution according to the invention, i.e. the method and the system, the user 10 is presented with the lenses of the MR glasses 5 a virtual trigger object 1 ₁ , 1 ₂ , 2 that can be linked to this physical object 1 ₁ , 1 ₂ , 2 is offered, that is, represented as a geometric shape. The user 10 can change this geometric shape in shape and size if necessary and then position it in a meaningful spatial association with the physical object 1 ₁ , 1 ₂ , 2 to be linked to it within its surroundings that can be detected with the MR glasses 5 and anchor it there. Preferably, he will place the semi-transparent trigger object 3 ₁ , 3 ₂ , 4 over the actually existing physical object 1 ₁ , 1 ₂ , 2.

Entsprechendes macht er weiterhin im Setup-Modus der von dem mobilen Endgerät 6 verarbeiteten Programmanwendung, welche über eine geeignete Softwareschnittstelle und hinsichtlich des Übertragungsmediums vorzugsweise ebenfalls über Funk mit dem Smart Home Hub 7 und einer von diesem verarbeiteten Software zur Verwaltung der physischen Objekte 1₁, 1₂, 2, der mit diesen verbindbaren virtuellen Trigger-Objekte 3₁, 3₂, 4 und der letzteren unterlegten Interaktionsfunktionen verbunden ist, auch für die anderen, einer Interaktion über virtuelle Trigger-Elemente 3₁, 3₂, 4 zugänglichen physischen Objekte 1₁, 1₂, 2. Die zuvor beispielhaft beschriebene Verknüpfung eine physischen Objekts 1₁, 1₂, 2 mit einem virtuellen Trigger-Objekt 3₁, 3₂, 4 kann aber auch in umgekehrter Reihenfolge vonstattengehen. Das heißt der Nutzer wählt zunächst ein Trigger-Objekt 3₁, 3₂, 4 aus, gestaltet dieses gegebenenfalls (Form, Größe) und ordnet diesem dann ein mögliches, im System bereits registriertes physisches Objekt 1₁, 1₂, 2 zu.He continues to do the same in the setup mode of the program application processed by the mobile terminal 6, which uses a suitable software interface and with regard to the transmission medium, preferably also via radio with the smart home hub 7 and software processed by it for managing the physical objects 1 ₁ , 1 ₂ , 2, the virtual trigger objects 3 ₁ , 3 ₂ , 4 and the which can be connected to them the latter underlying interaction functions, also for the other physical objects 1 1 , 1 ₂ , 2 accessible to an interaction via virtual trigger elements 3 ₁ , 3 2 , 4 . The previously described linking of a physical object ₁ ₁ , _{1 2} _, 2 with a virtual trigger object 3 ₁ , 3 ₂ , 4 can also take place in the reverse order. This means that the user first selects a trigger object 3 ₁ , 3 ₂ , 4 , designs it if necessary (shape, size) and then assigns it a possible physical object 1 ₁ , 1 ₂ , 2 that is already registered in the system.

Im Anwendungsmodus der von dem mobilen Endgerät 6 verarbeiteten Programmanwendung kann dann der die MR-Brille 5 tragende Nutzer 10 seinen Blick (oder einen virtuellen Laserpointer 9) auf eines der physischen Objekte 1₁, 1₂, 2 oder genauer gesagt auf eines der einem physischen Objekt 1₁, 1₂, 2 überlagerten virtuellen Trigger-Objekte 3₁, 3₂, 4 richten. Hierdurch aktiviert er das Trigger-Objekt 3₁, 3₂, 4 und kann damit beispielsweise unmittelbar den Schaltzustand einer Lampe (hier zum Beispiel physisches Objekt 1₂) ändern, das heißt diese einschalten, sofern sie bis dahin ausgeschaltet war, oder sie ausschalten, sofern sie bis dahin eingeschaltet war.In the application mode of the program application processed by the mobile terminal 6, the user 10 wearing the MR glasses 5 can then direct his gaze (or a virtual laser pointer 9) to one of the physical objects 1 ₁ , 1 ₂ , 2 or, more precisely, to one of the physical objects Object 1 ₁ , 1 ₂ , 2 overlaid virtual trigger objects 3 ₁ , 3 ₂ , 4 . This activates the trigger object 3 ₁ , 3 ₂ , 4 and can, for example, immediately change the switching state of a lamp (here for example physical object 1 ₂ ), that is, switch it on if it was switched off until then, or switch it off, provided it was switched on until then.

Bei einer anderen Lampe (hier zum Beispiel physisches Objekt 1₁) ist es dem Nutzer 10 durch Aktivierung des diesem physischen Objekt 1₁ an den Brillengläsern der MR-Brille 5 überlagerten Trigger-Objekts 3₁ möglich, diese Lampe zunächst einzuschalten und dann durch eine mit der MR-Brille 5 erfasste und von der Programmanwendung auf dem mobilen Endgerät 6 interpretierte Handgeste, beispielsweise des Auseinanderspreizens zweier Finger, deren Helligkeit zu erhöhen oder diese durch Zusammenführen der beiden Finger wieder zu dimmen. Bei einem dritten physischen Objekt 2 handelt es sich um eine Tür im Smart Home des Nutzers 10. Blickt er mit der MR-Brille 5 dieses physische Objekt 2, respektive das diesem im Anwendungsmodus der Programmanwendung in volltransparenter Darstellung, also nicht sichtbar, überlagerte virtuelle Trigger-Objekt 4, an, so wird ihm an deren Brillengläsern eine mit diesem physischen Objekt 2 assoziierte Information präsentiert. Hierbei kann es sich beispielsweise um den aktuellen Wetterbericht handeln, welcher aufgrund der Aktivierung des mit dem physischen Objekt 2 verknüpften virtuellen Trigger-Objekts 4 im Zusammenwirken der von dem mobilen Endgerät 6 verarbeiteten Anwendungssoftware mit einer Software auf dem Smart Home Hub 7 durch das Smart Home Hub 7 aus dem Internet 8 bezogen, an die Programmanwendung auf dem mobilen Endgerät 6 übergeben und von letzterer an den Brillengläsern der MR-Brille 5 visualisiert wird.With another lamp (here, for example, physical object ₁₁ ), it is possible for the user 10 to first switch on this lamp and then by activating the trigger object ₃₁ superimposed on this physical object ₁₁ on the lenses of the MR glasses 5 Hand gesture detected with the MR glasses 5 and interpreted by the program application on the mobile terminal 6, for example of spreading two fingers apart, increasing their brightness or dimming them again by bringing the two fingers together. A third physical object 2 is a door in the smart home of the user 10. If he looks at this physical object 2 with the MR glasses 5, or the virtual trigger superimposed on it in the application mode of the program application in a fully transparent representation, i.e. not visible -Object 4, then information associated with this physical object 2 is presented to him on the lenses. This can be, for example, the current weather report, which is activated by the smart home due to the activation of the virtual trigger object 4 linked to the physical object 2 in the interaction of the application software processed by the mobile terminal 6 with software on the smart home hub 7 Hub 7 obtained from the Internet 8, transferred to the program application on the mobile device 6 and visualized by the latter on the lenses of the MR glasses 5.

Claims

Method for the interaction of a user (10) with at least one physical object (1 ₁ , 1 ₂ , 2) that he can visually perceive in his environment using a program application processed by a mobile computer-based terminal (6) of the user (10) and a program application processed by this Program application on the lenses of an MR glasses (5) worn by the user (10) of a visualizable virtual trigger object (3 ₁ , 3 ₂ , 4), characterized in that the interaction with the at least one mobile device (6) comprehensive system registered physical object (1 ₁ , 1 ₂ , 2) is made possible for the user (10) in an application mode of the program application by doing so in a setup mode of the program application with the at least one physical object (1 ₁ , 1 ₂ , 2) linked trigger object (3 ₁ , 3 ₂ , 4) with at least one interaction function by aligning its line of sight or a virtual laser pointer (9) visualized on the lenses of the MR glasses (5) to the trigger object Object (3 ₁ , 3 ₂ , 4) is activated and that this is followed by at least one of the following process steps: a.) an interaction function underlying the activated trigger object (3 ₁ , 3 ₂ , 4) for the at least one physical object (1 ₁ , 1 ₂ , 2) is executed immediately,

b.) an interaction function underlying the activated trigger object (3 ₁ , 3 ₂ , 4) for the at least one physical object (1 ₁ , 1 ₂ , 2) is activated in response to one detected by the MR glasses (5). the user's gesture (10) interpreted by the program application is carried out,

c.) a list of several interaction functions underlying the activated trigger object (3 ₁ , 3 ₂ , 4) for the at least one physical object (1 ₁ , 1 ₂ , 2) is visualized on the lenses of the MR glasses (5), of which an interaction function selected by the user (10) by aligning his line of sight or the virtual laser pointer (9) or by a gesture of the user (10) detected by the MR glasses (5) and interpreted by the program application is carried out.

Method according to claim 1, characterized in that the or at least one of the physical objects (1 ₁ , 1 ₂ , 2) is a controllable object (1 ₁ , 1 ₂ ), namely an electronically controllable device which control signals effecting the execution of the respective interaction function existing in the operation of an electronic function of the device are transmitted.

Method according to claim 1, characterized in that the or at least one of the physical objects (1 ₁ , 1 ₂ , 2) is an object (2) in which, in carrying out the respective interaction function with this physical object (2 ) Information is visualized on the lenses of the MR glasses (5) with which this physical object (2) is associated in the system.

Method according to claim 3, characterized in that the information associated with the relevant physical object (2) is information which is transmitted by the system designed for this purpose in a form updated in terms of its content via a wide area network, such as the Internet (8 ), obtained from a remote information source.

Method according to one of claims 1 to 4, characterized in that the virtual trigger object (3 ₁ , 3 ₂ , 4) is activated to enable interaction with the physical object (1 ₁ , 1 ₂ , 2) linked to it, provided the gaze of the user (10) wearing the MR glasses (5) or the virtual laser pointer (9) remains on the trigger object (3 ₁ , 3 ₂ , 4) for a minimum period of 1 to 3 seconds.

Method according to one of claims 1 to 5, characterized in that the virtual trigger object (3 ₁ , 3 ₂ , 4) linked to the at least one physical object (1 ₁ , 1 ₂ , 2) on the lenses of the MR glasses (5) is visualized as a geometric shape, the appearance and/or size and/or Position can be varied by the user (10) in the setup mode of the program application.

Method according to one of claims 1 to 6, characterized in that the virtual trigger object (3 ₁ , 3 ₂ , 4) linked to the at least one physical object (1 ₁ , 1 ₂ , 2) is on the lenses of the MR glasses (5) is represented as a semi-transparent geometric shape.

Method according to one of claims 1 to 6, characterized in that the virtual trigger object (3 ₁ , 3 ₂ , 4) linked to the at least one physical object (1 ₁ , 1 ₂ , 2) is on the lenses of the MR glasses (5) is displayed in the setup mode of the program application as a semi-transparent geometric shape and is positioned above and anchored to the physical object (1 ₁ , 1 ₂ , 2) associated with the trigger object (3 ₁ , ₃ 2 , 4). , whereas in the application mode of the program application this geometric shape is completely transparent, i.e. not visually perceptible to the wearer of the MR glasses, but the trigger object (3 ₁ , 3 ₂ , 4) is still anchored to the associated physical object.

System for the interaction of a user (10) with at least one physical object (1 ₁ , 1 ₂ , 2) that he can visually perceive in his environment, at least comprising the at least one physical object (1 ₁ , 1 ₂ , 2) registered with the system. , MR glasses (5) worn by the user (10) and a mobile computer-based terminal (6) of the user (10), which is equipped with a program application that can be processed by the user for visualizing an interaction with the at least one physical object ( 1 ₁ , 1 ₂ , 2) serving virtual trigger object (3 ₁ , 3 ₂ , 4) on the lenses of the MR glasses (5), characterized in that the program application with which the mobile computer-based terminal (6) is equipped is designed to link the at least one physical object (1 ₁ , 1 ₂ , 2) with the virtual trigger object (3 ₁ , 3 ₂ , 4) underlaid with at least one interaction function in a setup mode of the program application and the trigger object (3 ₁ , 3 ₂ , 4) in an application mode of the program application when the user (10) wearing the MR glasses (5) changes his line of sight or a virtual laser pointer (9) visualized on the lenses of the MR glasses (5). ) is aligned with this trigger object (3 ₁ , 3 ₂ , 4) and that the system, including the program application processed by the mobile terminal (6), is equipped with software to respond to the activation of the virtual trigger object (3 ₁ , 3 ₂ , 4) to respond with at least one of the following actions, viz a.) with the immediate execution of an interaction function underlying the activated trigger object (3 ₁ , 3 ₂ , 4) for the at least one physical object (1 ₁ , 1 ₂ , 2),

b.) with the execution of an interaction function underlying the activated trigger object (3 ₁ , 3 ₂ , 4) for the at least one physical object (1 ₁ , 1 ₂ , 2) in response to one of the MR glasses (5) Gesture of the user (10) recorded and interpreted by the program application executed by the mobile terminal (6),

c.) with the visualization of a list of several interaction functions underlying the activated trigger object (3 ₁ , 3 ₂ , 4) for the at least one physical object (1 ₁ , 1 ₂ , 2) on the lenses of the MR glasses (5) and the execution of an interaction function selected by the user (10) by aligning his line of sight or the virtual laser pointer (9) or by means of a gesture detected by the MR glasses (5) and interpreted by the program application.

System according to claim 9, characterized in that the system comprises actively controllable physical objects (1 ₁ , 1 ₂ ) which are networked with the MR glasses (5) and the mobile computer-based terminal (6) in a local network.

System according to claim 9 or 10, characterized in that the system comprises a server (7) functioning as a smart home hub, which is networked with the MR glasses (5) and the mobile computer-based terminal (6) in a local network and the at least one, an activated virtual one Trigger object (3 ₁ , 3 ₂ , 4) executes an underlying interaction function or controls an active physical object (1 ₁ , 1 ₂ ) for its execution.

System according to one of claims 9 to 11, characterized in that the system is connected to the Internet (8).