DE102021120315A1 - Interacting with smart objects around mobile devices - Google Patents

Interacting with smart objects around mobile devices Download PDF

Info

Publication number
DE102021120315A1
DE102021120315A1 DE102021120315.5A DE102021120315A DE102021120315A1 DE 102021120315 A1 DE102021120315 A1 DE 102021120315A1 DE 102021120315 A DE102021120315 A DE 102021120315A DE 102021120315 A1 DE102021120315 A1 DE 102021120315A1
Authority
DE
Germany
Prior art keywords
mobile device
sensor data
intelligent object
environment
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021120315.5A
Other languages
German (de)
Inventor
Klaus David
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universitaet Kassel
Original Assignee
Universitaet Kassel
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universitaet Kassel filed Critical Universitaet Kassel
Priority to DE102021120315.5A priority Critical patent/DE102021120315A1/en
Priority to PCT/EP2022/071813 priority patent/WO2023012215A1/en
Publication of DE102021120315A1 publication Critical patent/DE102021120315A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/1396—Protocols specially adapted for monitoring users' activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die vorliegende Erfindung betrifft eine Vorrichtung (16) zum Interagieren mit einem intelligenten Objekt (14) in einer Umgebung eines mobilen Geräts (10), mit: einer Eingangsschnittstelle (24) zum Empfangen von Umgebungssensordaten und Ausrichtungssensordaten, wobei die Umgebungssensordaten Informationen zu einer Relativposition des intelligenten Objektes in Bezug zu dem mobilen Gerät umfassen und die Ausrichtungssensordaten Informationen zu einer Ausrichtung des mobilen Geräts in Bezug zu der Umgebung umfassen; einer Ausrichtungseinheit (26) zum Detektieren, ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist, basierend auf den Umgebungssensordaten und den Ausrichtungssensordaten; einer Kommunikationseinheit (28) zum Herstellen einer Kommunikationsverbindung mit dem intelligenten Objekt, wenn das mobile Gerät auf das intelligente Objekt ausgerichtet; und einer Benutzerschnittstelle (30) zum Informieren eines Benutzers des mobilen Geräts, wenn die Kommunikationsverbindung hergestellt wurde. Die vorliegende Erfindung betrifft weiterhin ein mobiles Gerät (19) und ein Verfahren.The present invention relates to a device (16) for interacting with an intelligent object (14) in an environment of a mobile device (10), having: an input interface (24) for receiving environment sensor data and orientation sensor data, the environment sensor data containing information on a relative position of the smart object in relation to the mobile device and the orientation sensor data includes information on an orientation of the mobile device in relation to the environment; an alignment unit (26) for detecting whether the mobile device is aligned with the intelligent object based on the environmental sensor data and the alignment sensor data; a communication unit (28) for establishing a communication link with the intelligent object when the mobile device points at the intelligent object; and a user interface (30) for informing a user of the mobile device when the communication link has been established. The present invention further relates to a mobile device (19) and a method.

Description

Die vorliegende Erfindung betrifft eine Vorrichtung zum Interagieren mit einem intelligenten Objekt in einer Umgebung eines mobilen Geräts. Die vorliegende Erfindung betrifft weiterhin ein mobiles Gerät sowie ein Verfahren zum Interagieren mit einem intelligenten Objekt in einer Umgebung des mobilen Geräts sowie ein Computerprogrammprodukt.The present invention relates to a device for interacting with a smart object in an environment of a mobile device. The present invention further relates to a mobile device and a method for interacting with an intelligent object in an environment of the mobile device and a computer program product.

Städte stehen aktuell vor der Herausforderung, bei der Stadtentwicklung die Digitalisierung der Gesellschaft miteinzubeziehen, um die Stadt effizient und technologisch fortschrittlich zu gestalten. Unter dem Stichwort „Smart City“ werden in diesem Zusammenhang Ansätze zum Anwenden der fortschreitenden Digitalisierung in Städten und Gemeinden zusammengefasst. Insbesondere soll die Aus- und Aufrüstung bestehender und neuer Infrastrukturen mit digitaler Technologie sowie die Verknüpfung bisher getrennter Infrastrukturen oder ihrer Teilsysteme vorangetrieben werden.Cities are currently facing the challenge of including the digitization of society in urban development in order to make the city efficient and technologically advanced. In this context, the keyword "Smart City" summarizes approaches for applying progressive digitization in cities and communities. In particular, the equipping and upgrading of existing and new infrastructures with digital technology and the linking of previously separate infrastructures or their subsystems should be promoted.

Insbesondere Smartphones, aber auch Tablet Computer, Smartglasses, Smartwatches sowie andere mobile Geräte sind omnipräsent und bieten weitreichende Möglichkeiten zur Verwendung in einer Smart City. Anwendungen finden sich dabei unteranderem im Bereich des Transports, beispielsweise beim Anzeigen aktueller Fahrpläne öffentlicher Verkehrsmittel, der Information, beispielsweise beim Leiten und Informieren von Touristen sowie des Umweltschutzes, oder auch des Umweltschutzes, beispielsweise bei der Aufzeichnung und gezielten Vermeidung lokaler Schadstoffbelastungen.Smartphones in particular, but also tablet computers, smart glasses, smart watches and other mobile devices are omnipresent and offer extensive possibilities for use in a smart city. Applications can be found, among other things, in the field of transport, for example when displaying current timetables for public transport, information, for example when guiding and informing tourists, and environmental protection, or environmental protection, for example when recording and specifically avoiding local pollution.

In diesem Zusammenhang wird der Begriff des „Internet of things and services“ oft dahingehend interpretiert, dass in intelligenten Objekten innerhalb einer Smart City Sensoren eingebettet sind, die Daten sammeln und diese für Anwendungen zur Verfügung stellen. Unter einem intelligenten Objekt wird dabei insbesondere ein in irgendeiner Weise kommunikationsfähiges Objekt verstanden, mit dem eine Interaktion im Sinne einer Reaktion des intelligenten Objekts auf Eingaben, Signale oder Abfragen möglich ist. Intelligente Objekte können beispielsweise Fahrplananzeigen an Straßenbahnhaltestellen, Ampeln, Straßenleuchten, Bewässerungseinrichtungen, Litfaßsäulen, Informationstafeln etc. sein.In this context, the term "Internet of things and services" is often interpreted to mean that sensors are embedded in intelligent objects within a Smart City, which collect data and make it available for applications. An intelligent object is understood to mean in particular an object that is capable of communication in some way and with which an interaction in the sense of a reaction of the intelligent object to inputs, signals or queries is possible. Intelligent objects can be, for example, timetable displays at tram stops, traffic lights, street lights, irrigation systems, advertising columns, information boards, etc.

In diesem Zusammenhang wird in US 2020 073 482 A1 ein Verfahren und ein System zur Erkennung von taktilen Interaktionen in der erweiterten Realität offenbart. Programmaktionen können nach einer Detektion einer vordefinierten Geste eines Benutzers mit einem Objekt der realen Welt initiiert werden. Benutzer können mit ihrer Umgebung in einer erweiterten Realität (augmented reality) interagieren durch eine Detektion einer Interaktion mit realen Objekten unter Verwendung einer Kombination einer Orts- und Bewegungsdetektion mit einer Identifikation unter Verwendung tragbarer Sensoren (wearable sensors). Basierend auf einer detektierten Benutzerinteraktion mit einem Objekt der realen Welt kann eine vordefinierte Geste identifiziert werden und eine Programmaktion, die mit einer entsprechenden Zielinteraktion mit dem Objekt der realen Welt zusammenhängt, ausgeführt werden. In einigen Fällen kann die Erfahrung des Benutzers durch Bereitstellung einer haptischen Rückkopplung auf eine taktile Geste und ein Ereignis verbessert werden.In this context, in U.S. 2020 073 482 A1 discloses a method and system for detecting tactile interactions in augmented reality. Program actions may be initiated upon detection of a user's predefined gesture with a real-world object. Users can interact with their environment in augmented reality by detecting interaction with real objects using a combination of location and motion detection with identification using wearable sensors. Based on a detected user interaction with a real-world object, a predefined gesture may be identified and a program action associated with a corresponding target interaction with the real-world object performed. In some cases, the user's experience can be enhanced by providing haptic feedback on a tactile gesture and event.

Eine Herausforderung liegt in diesem Zusammenhang in der Vereinfachung der Interaktion von Stadtbewohnern bzw. von Benutzern mobiler Geräte mit intelligenten Objekten. Beispielsweise haben ältere Menschen oft Schwierigkeiten, moderne Technologien einzusetzen und deren Benutzerschnittstellen intuitiv zu erfassen. Ansätze zur Integration der Digitalisierung in das tägliche Leben in einer Smart City oder in anderen Zusammenhängen sind hinsichtlich ihres Nutzens immer nur so gut wie ihre Schnittstelle bzw. ihre Interaktionsmöglichkeit mit Anwendern.A challenge in this context lies in simplifying the interaction of city dwellers or users of mobile devices with intelligent objects. For example, older people often have difficulties using modern technologies and understanding their user interfaces intuitively. Approaches to integrating digitization into everyday life in a smart city or in other contexts are only as good as their interface or the possibility of interaction with users in terms of their benefits.

Ausgehend hiervon stellt sich der vorliegenden Erfindung die Aufgabe, eine Interaktion mit intelligenten Objekten zu ermöglichen bzw. zu vereinfachen. Insbesondere soll ein Ansatz geschaffen werden, der eine intuitiv erfassbare Interaktion ermöglicht. Unabhängig von der Art des intelligenten Objekts und der bereitgestellten Interaktionsmöglichkeit soll eine einfache und leicht bedienbare Interaktionsmöglichkeit geschaffen werden.Proceeding from this, the object of the present invention is to enable or simplify interaction with intelligent objects. In particular, an approach is to be created that enables an intuitively comprehensible interaction. Regardless of the type of intelligent object and the interaction option provided, a simple and easy-to-use interaction option should be created.

Zum Lösen dieser Aufgabe betrifft die vorliegende Erfindung in einem ersten Aspekt eine Vorrichtung zum Interagieren mit einem intelligenten Objekt in einer Umgebung eines mobilen Geräts, mit:

  • - einer Eingangsschnittstelle zum Empfangen von Umgebungssensordaten und Ausrichtungssensordaten, wobei die Umgebungssensordaten Informationen zu einer Relativposition des intelligenten Objektes in Bezug zu dem mobilen Gerät umfassen und die Ausrichtungssensordaten Informationen zu einer Ausrichtung des mobilen Geräts in Bezug zu der Umgebung umfassen;
  • - einer Ausrichtungseinheit zum Detektieren, ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist, basierend auf den Umgebungssensordaten und den Ausrichtungssensordaten;
  • - einer Kommunikationseinheit zum Herstellen einer Kommunikationsverbindung mit dem intelligenten Objekt, wenn das mobile Gerät auf das intelligente Objekt ausgerichtet; und
  • - einer Benutzerschnittstelle zum Informieren eines Benutzers des mobilen Geräts, wenn die Kommunikationsverbindung hergestellt wurde.
To solve this problem, the present invention relates in a first aspect to a device for interacting with an intelligent object in an environment of a mobile device, with:
  • - an input interface for receiving environment sensor data and orientation sensor data, the environment sensor data comprising information on a relative position of the intelligent object in relation to the mobile device and the orientation sensor data comprising information on an orientation of the mobile device in relation to the environment;
  • - an alignment unit for detecting whether the mobile device is aligned with the intelligent object based on the environmental sensor data and the alignment sensor data;
  • - a communication unit for establishing a communication connection with the intel intelligent object when the mobile device is aimed at the intelligent object; and
  • - a user interface for informing a user of the mobile device when the communication link has been established.

In einem weiteren Aspekt betrifft die vorliegende Erfindung ein mobiles Gerät zum Interagieren mit einem intelligenten Objekt in einer Umgebung des mobilen Geräts, mit:

  • - einem Umgebungssensor zum Erfassen einer Relativposition des intelligenten Objekts;
  • - einem Ausrichtungssensor zum Erfassen einer Ausrichtung des mobilen Geräts; und
  • - einer Vorrichtung wie oben beschrieben.
In a further aspect, the present invention relates to a mobile device for interacting with a smart object in an environment of the mobile device, with:
  • - an environment sensor for detecting a relative position of the intelligent object;
  • - an orientation sensor for detecting an orientation of the mobile device; and
  • - a device as described above.

Weitere Aspekte der Erfindung betreffen ein entsprechend der Vorrichtung ausgebildetes Verfahren und ein Computerprogrammprodukt mit Programmcode zum Durchführen der Schritte des Verfahrens, wenn der Programmcode auf einem Computer ausgeführt wird. Zudem betrifft ein Aspekt der Erfindung ein Speichermedium, auf dem ein Computerprogramm gespeichert ist. Das Computerprogramm bewirkt, wenn es auf einem Computer ausgeführt wird, eine Ausführung des hierin beschriebenen Verfahrens.Further aspects of the invention relate to a method designed according to the device and a computer program product with program code for performing the steps of the method when the program code is executed on a computer. In addition, one aspect of the invention relates to a storage medium on which a computer program is stored. The computer program, when executed on a computer, causes execution of the method described herein.

Bevorzugte Ausgestaltungen der Erfindung werden in den abhängigen Ansprüchen beschrieben. Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen. Insbesondere können das Verfahren, das mobile Gerät und das Computerprogrammprodukt entsprechend der für die Vorrichtung in den abhängigen Ansprüchen beschriebenen Ausgestaltungen ausgeführt sein.Preferred developments of the invention are described in the dependent claims. It goes without saying that the features mentioned above and those still to be explained below can be used not only in the combination specified in each case, but also in other combinations or on their own, without departing from the scope of the present invention. In particular, the method, the mobile device and the computer program product can be implemented in accordance with the configurations described for the device in the dependent claims.

Erfindungsgemäß ist es vorgesehen, dass in der Vorrichtung einerseits Umgebungssensordaten und andererseits Ausrichtungssensordaten verarbeitet werden. Von einem Umgebungssensor werden Informationen zu einer Relativposition des intelligenten Objekts in Bezug zu dem mobilen Gerät umfasst. Es soll festgestellt werden, wo sich das intelligente Objekt befindet. Hierzu wird insbesondere eine absolute oder relative Positionsangabe des intelligenten Objekts empfangen. Von einem Ausrichtungssensor wird eine Information darüber empfangen, wie das mobile Gerät gegenüber der Umgebung ausgerichtet ist. Insbesondere wird also eine relative Lage des mobilen Geräts in Bezug zu der Umgebung empfangen.According to the invention, it is provided that environmental sensor data on the one hand and alignment sensor data on the other hand are processed in the device. Information about a relative position of the intelligent object in relation to the mobile device is comprised by an environment sensor. The aim is to determine where the intelligent object is located. For this purpose, in particular an absolute or relative position information of the intelligent object is received. Information about how the mobile device is oriented in relation to the environment is received by an orientation sensor. In particular, therefore, a relative position of the mobile device in relation to the environment is received.

Ausgehend von den Umgebungssensordaten und Ausrichtungssensordaten kann detektiert werden, ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist. Insbesondere kann ermittelt werden, ob eine für das mobile Gerät vordefinierte Richtung derjenigen Richtung entspricht, in der sich das mobile Objekt befindet. Die für das mobile Geräte vordefinierte Richtung kann beispielsweise einer Richtung orthogonal zu einem Hauptdisplay des mobilen Geräts oder auch eine Richtung entlang einer Längsachse des mobilen Geräts entsprechen, je nach mobilem Gerät.Based on the environmental sensor data and orientation sensor data, it can be detected whether the mobile device is aimed at the intelligent object. In particular, it can be determined whether a direction predefined for the mobile device corresponds to the direction in which the mobile object is located. The direction predefined for the mobile device can correspond, for example, to a direction orthogonal to a main display of the mobile device or also to a direction along a longitudinal axis of the mobile device, depending on the mobile device.

Wenn festgestellt wird, dass das mobile Gerät auf das intelligente Objekt ausgerichtet wird, wird mittels einer Kommunikationseinheit eine Kommunikationsverbindung mit dem intelligenten Objekt hergestellt. Insbesondere wird eine Möglichkeit etabliert, mit dem intelligenten Objekt zu interagieren. Sobald diese Möglichkeit etabliert wurde und die Kommunikationsverbindung hergestellt wurde, wird über eine Benutzerschnittstelle der Vorrichtung bzw. eine entsprechende Ausgabeeinheit des mobilen Geräts der Benutzer des mobilen Geräts hierüber informiert. Der Benutzer kann dann mit dem intelligenten Objekt in seiner Umgebung in Interaktion treten.If it is determined that the mobile device is aimed at the intelligent object, a communication link is established with the intelligent object using a communication unit. In particular, a possibility is established to interact with the intelligent object. As soon as this possibility has been established and the communication connection has been established, the user of the mobile device is informed about this via a user interface of the device or a corresponding output unit of the mobile device. The user can then interact with the intelligent object in its environment.

Im Vergleich zu bisherigen Ansätzen des Herstellens einer Verbindung mit intelligenten Objekten, beispielsweise in einem Smart City-Umfeld, bewirkt die erfindungsgemäß vorgesehene Erkennung der Ausrichtung und Herstellung einer Kommunikationsverbindung in Abhängigkeit einer Ausrichtung eine Vereinfachung. In anderen Worten wird die Initiierung der Kommunikation intuitiver. Im Vergleich zu Ansätzen, bei denen ein Tastendruck oder eine Bedienung eines Touch-Displays notwendig ist, kann beispielsweise auf eine direkte Eingabe des Benutzers verzichtet werden. Für den Benutzer ergibt sich eine intuitive Interaktionsmöglichkeit mit intelligenten Objekten. Der Benutzer kann ohne komplexe Konfiguration direkt mit den intelligenten Objekten interagieren. Hierdurch wird eine Vereinfachung der Interaktion zwischen Benutzern und intelligenten Objekten erreicht, die zu einer verbesserten Annahme von Smart City-Konzepten führen kann.In comparison to previous approaches of establishing a connection with intelligent objects, for example in a smart city environment, the inventively provided detection of the orientation and establishment of a communication connection depending on an orientation brings about a simplification. In other words, initiating communication becomes more intuitive. In comparison to approaches that require a button to be pressed or a touch display to be operated, direct input by the user can be dispensed with, for example. For the user there is an intuitive possibility of interaction with intelligent objects. The user can directly interact with the smart objects without any complex configuration. This simplifies the interaction between users and intelligent objects, which can lead to an improved acceptance of smart city concepts.

In einer bevorzugten Ausgestaltung umfasst die Vorrichtung eine Gesteneinheit zum Erkennen einer Geste, die von einem Benutzer des mobilen Geräts ausgeführt wird, basierend auf den Ausrichtungssensordaten. Die Gesteneinheit ist vorzugsweise zum Erkennen der Geste basierend auf einem Ansatz des maschinellen Lernens, insbesondere basierend auf einem vortrainierten künstlichen neuronalen Netzwerk, ausgebildet. Unter einer Geste wird insbesondere eine Bewegung des mobilen Geräts verstanden, die von dem Benutzer mit dem mobilen Gerät ausgeführt wird. Beispielsweise kann ein Benutzer sein Smartphone schwenken und diese Bewegung kann mittels eines Sensors erfasst werden. Diese Geste kann dann erkannt werden. Insbesondere ist es möglich, dass ein vortrainiertes künstliches neuronales Netzwerk oder ein anderer Ansatz des maschinellen Lernens verwendet wird, um die Geste zuverlässig und schnell zu erkennen. Für die Erkennung kann auch auf eine Datenbank zurückgegriffen werden.In a preferred embodiment, the device comprises a gesture unit for recognizing a gesture performed by a user of the mobile device based on the orientation sensor data. The gesture unit is preferably designed to recognize the gesture based on a machine learning approach, in particular based on a pre-trained artificial neural network. A gesture is understood to mean, in particular, a movement of the mobile device that is carried out by the user using the mobile device. For example a user can swivel his smartphone and this movement can be detected by means of a sensor. This gesture can then be recognized. In particular, it is possible that a pre-trained artificial neural network or other machine learning approach is used to reliably and quickly recognize the gesture. A database can also be used for the recognition.

In einer bevorzugten Ausgestaltung ist die Kommunikationseinheit zum Herstellen der Kommunikationsverbindung ausgebildet, unter der Bedingung, dass zuvor eine Aktivierungsgeste erkannt wurde. Zusätzlich oder alternativ ist die Kommunikationseinheit zum Beenden der Kommunikationsverbindung ausgebildet, wenn die Kommunikationsverbindung hergestellt ist und eine Deaktivierungsgeste erkannt wird. In anderen Worten ist es möglich, dass die Herstellung und Beendigung der Kommunikationsverbindung zusätzlich zu der Detektion der Ausrichtung bzw. der Ausrichtung des mobilen Geräts auf das intelligente Objekt auch noch von einer Geste abhängig gemacht wird. Hierdurch kann erreicht werden, dass ein Benutzer des mobilen Geräts eine Kommunikationsverbindung nur bewusst herstellt. Es wird vermieden, dass unabsichtlich mit intelligenten Objekten interagiert wird. Die Aktivierungs- und Deaktivierungsgesten können dabei beispielsweise Dreh- und/oder Wendebewegungen eines Smartphones entsprechen. Die Interaktionsmöglichkeit wird weiter vereinfacht und die Benutzung wird verbessert.In a preferred refinement, the communication unit is designed to establish the communication connection on the condition that an activation gesture has previously been recognized. Additionally or alternatively, the communication unit is designed to end the communication connection when the communication connection is established and a deactivation gesture is recognized. In other words, it is possible for the establishment and termination of the communication connection to be made dependent on a gesture in addition to the detection of the alignment or the alignment of the mobile device with respect to the intelligent object. In this way it can be achieved that a user of the mobile device only deliberately establishes a communication connection. Unintentionally interacting with smart objects is avoided. The activation and deactivation gestures can, for example, correspond to rotating and/or turning movements of a smartphone. The possibility of interaction is further simplified and the use is improved.

In einer bevorzugten Ausgestaltung ist die Kommunikationseinheit zum Übermitteln eines Steuerbefehls an das intelligente Objekt ausgebildet, wenn die Kommunikationsverbindung hergestellt ist und eine Steuerungsgeste erkannt wird. Es ist weiterhin möglich, dass die eigentliche Interaktion mit dem intelligenten Objekt basierend auf einer Gestenerkennung erfolgt. Eine Steuerungsgeste kann dabei eine Geste sein, durch die eine bestimmte Aktion oder Reaktion des intelligenten Objekts herbeigeführt wird. Beispielsweise kann durch eine Wischbewegung eine weitere Information von dem intelligenten Objekt angefordert werden oder auch eine Anzeige des intelligenten Objekts auf einem Display des intelligenten Objekts verändert werden. Durch die Verwendung einer Gestenerkennung und einer Detektion einer Steuerungsgeste wird eine intuitive und einfach zu verwendende Interaktionsmöglichkeit bereitgestellt. Für Benutzer der erfindungsgemäßen Vorrichtung wird es möglich, in intuitiver Weise mit intelligenten Objekten in Verbindung zu treten.In a preferred refinement, the communication unit is designed to transmit a control command to the intelligent object when the communication connection is established and a control gesture is recognized. It is also possible for the actual interaction with the intelligent object to take place based on gesture recognition. A control gesture can be a gesture that causes a specific action or reaction of the intelligent object. For example, further information can be requested from the intelligent object by a swiping movement, or a display of the intelligent object can be changed on a display of the intelligent object. An intuitive and easy-to-use interaction option is provided through the use of gesture recognition and detection of a control gesture. It becomes possible for users of the device according to the invention to interact with intelligent objects in an intuitive manner.

In einer bevorzugten Ausgestaltung ist die Kommunikationseinheit zum Empfangen von Interaktionsdaten mit Informationen zu Interaktionsmöglichkeiten des Benutzers mit dem intelligenten Objekt ausgebildet. Die Benutzerschnittstelle ist zum Informieren des Benutzers über die Interaktionsmöglichkeiten basierend auf den empfangenen Interaktionsdaten ausgebildet, vorzugsweise mittels eine Anzeige auf einem Display. Vorteilhafterweise werden zunächst verschiedene Optionen zum Interagieren mit dem intelligenten Objekt empfangen (Interaktionsmöglichkeiten). Der Benutzer wird dann über die Interaktionsmöglichkeiten informiert und kann die gewünschte Interaktion beginnen. Beispielsweise können verfügbare Informationen angezeigt werden, sodass der Benutzer des mobilen Geräts entscheiden kann, welche Informationen er benötigt und abfragen möchte. Ebenfalls ist es möglich, dass Steuerungsoptionen angezeigt werden zusammen mit den entsprechenden Benutzereingaben, sodass der Benutzer in die Lage versetzt wird, mit dem intelligenten Objekt zu interagieren und eine entsprechende Steuerung vorzunehmen. Die Interaktionsmöglichkeit wird insoweit weiter verbessert und vereinfacht.In a preferred refinement, the communication unit is designed to receive interaction data with information on the user's options for interacting with the intelligent object. The user interface is designed to inform the user about the interaction options based on the interaction data received, preferably by means of an indication on a display. Advantageously, various options for interacting with the intelligent object are first received (interaction options). The user is then informed about the interaction options and can start the desired interaction. For example, available information can be displayed so that the user of the mobile device can decide what information he needs and wants to query. It is also possible for control options to be displayed along with the appropriate user inputs, enabling the user to interact with and control the smart object. In this respect, the possibility of interaction is further improved and simplified.

In einer bevorzugten Ausgestaltung ist die Benutzerschnittstelle zum Ausgeben eines akustischen, optischen und/oder haptischen Signals ausgebildet, insbesondere eines haptischen Vibrationssignals mittels eine Vibrationsaktors des mobilen Geräts. Die Benutzerschnittstelle kann das Herstellen der Kommunikationsverbindung durch ein entsprechendes Signal an den Benutzer bekanntgeben. Besonders vorteilhaft und intuitiv ist dabei die Verwendung eines Vibrationsaktors des mobilen Geräts. Das mobile Gerät kann also in anderen Worten eine Art Einrasten anzeigen, wenn die Kommunikationsverbindung hergestellt wurde. Die Bedienung wird weiter vereinfacht und für den Benutzer intuitiv gestaltet.In a preferred embodiment, the user interface is designed to output an acoustic, optical and/or haptic signal, in particular a haptic vibration signal, by means of a vibration actuator of the mobile device. The user interface can announce the establishment of the communication connection by a corresponding signal to the user. The use of a vibration actuator of the mobile device is particularly advantageous and intuitive. In other words, the mobile device can display a kind of locking when the communication link has been established. Operation is further simplified and designed to be intuitive for the user.

In einer bevorzugten Ausgestaltung ist die Benutzerschnittstelle zum Visualisieren der Relativposition des intelligenten Objekts und der Ausrichtung des mobilen Geräts basierend auf den Umgebungssensordaten und den Ausrichtungssensordaten ausgebildet, insbesondere durch eine Anzeige einer Position des intelligenten Objekts auf einer auf eine Position des Benutzers zentrierten und basierend auf der Ausrichtung des mobilen Geräts ausgerichteten Karte der Umgebung. Für die Visualisierung kann insbesondere ein Display des mobilen Geräts verwendet werden. Es wird angezeigt, dass sich ein intelligentes Objekt in der Umgebung des Benutzers bzw. des mobilen Geräts befindet. Zudem wird angezeigt, wo, also an welcher Relativposition, sich dieses intelligente Objekt in Bezug zu der Position des Benutzers befindet. Dies ermöglicht dem Benutzer, eine Übersicht über verfügbare intelligente Objekte in seiner Umgebung zu erlangen und darauf basierend mit diesen in Interaktion zu treten. Es ergibt sich eine einfach und intuitiv zu bedienende Interaktionsmöglichkeit.In a preferred embodiment, the user interface is designed to visualize the relative position of the intelligent object and the orientation of the mobile device based on the environmental sensor data and the orientation sensor data, in particular by displaying a position of the intelligent object on a centered on a position of the user and based on the Orientation of the mobile device oriented map of the area. In particular, a display of the mobile device can be used for the visualization. It is indicated that there is a smart object in the vicinity of the user or mobile device. In addition, it is shown where, i.e. at which relative position, this intelligent object is located in relation to the position of the user. This enables the user to get an overview of available intelligent objects in his environment and to interact with them based on this. The result is a simple and intuitive interaction option.

In einer bevorzugten Ausgestaltung ist die Kommunikationseinheit zum Herstellen der Kommunikationsverbindung ausgebildet, wenn das mobile Gerät auf eine über einen vordefinierten Schwellenwert liegende Zeitdauer auf das intelligente Objekt ausgerichtet ist. Zur weiteren Vermeidung von unbeabsichtigt herbeigeführten Kommunikationsverbindungen kann vorgesehen sein, dass ein zeitlicher Schwellenwert überschritten sein muss, bevor die Kommunikationsverbindung hergestellt wird. Das mobile Gerät wird also für eine bestimmte Zeitdauer auf ein intelligentes Objekt ausgerichtet, wodurch der Benutzer anzeigt, dass eine Kommunikationsverbindung hergestellt werden soll. Fehlbedienungen werden vermieden und die Intuitivität wird weiter verbessert.In a preferred refinement, the communication unit is designed to establish the communication connection when the mobile device is aimed at the intelligent object for a period of time that is above a predefined threshold value. To further avoid unintentionally established communication connections, it can be provided that a time threshold value has to be exceeded before the communication connection is established. In other words, the mobile device is pointed at a smart object for a certain period of time, which indicates to the user that a communication link should be established. Operating errors are avoided and the intuitiveness is further improved.

In einer bevorzugten Ausgestaltung ist die Kommunikationseinheit zum Herstellen der Kommunikationsverbindung mit dem intelligenten Objekt über eine direkte Kurzstrecken-Kommunikationsverbindung ausgebildet, insbesondere über Bluetooth Low Energy (BLE). Durch die direkte Kommunikation kann auf eine internetbasierte Kommunikation verzichtet werden. Insoweit kann auch eine Verwendung in eine Umgebung ohne mobile Datenverbindung in Erwägung gezogen werden. Eine Direktverbindung ist dabei zudem oft energiesparender und weist eine geringere Manipulationsanfälligkeit auf.In a preferred refinement, the communication unit is designed to establish the communication connection with the intelligent object via a direct short-distance communication connection, in particular via Bluetooth Low Energy (BLE). Direct communication means that internet-based communication can be dispensed with. In this respect, use in an environment without a mobile data connection can also be considered. A direct connection is often more energy-efficient and less susceptible to manipulation.

In einer bevorzugten Ausgestaltung ist die Ausrichtungseinheit zum Detektieren, ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist, ausgebildet. Diese Detektion kann basierend auf einem Ansatz des maschinellen Lernens, insbesondere basierend auf einem vortrainierten künstlichen neuronalen Netzwerk erfolgen. Zusätzlich oder alternativ kann diese Detektion basierend auf einer für ein mobiles Gerät vordefinierten Zeigerichtung ausgebildet sein. Die Zeigerichtung entspricht dabei der für das mobile Gerät vorgegebenen Richtung, die einer Art Geräteeigenschaft entspricht. Für ein Gerät ist also festgelegt, wie seine Zeigerichtung ist. Beispielsweise wird für ein Gerät festgelegt, dass eine Zeigerichtung orthogonal zu einem Display oder entlang einer Längsachse ist. Diese Zeigerichtung stellt die Basis dar, um festzustellen, ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist. Für die Detektion der Ausrichtung kann ein Ansatz des maschinellen Lernens verwendet werden, der eine zuverlässige und effizient berechenbare Ausführung ermöglicht. Zudem kann eine hohe Genauigkeit erreicht werden.In a preferred refinement, the alignment unit is designed to detect whether the mobile device is aligned with the intelligent object. This detection can be based on a machine learning approach, in particular based on a pre-trained artificial neural network. Additionally or alternatively, this detection can be based on a pointing direction predefined for a mobile device. The pointing direction corresponds to the direction specified for the mobile device, which corresponds to a type of device property. The pointing direction of a device is therefore defined. For example, a device is specified to have a pointing direction orthogonal to a display or along a longitudinal axis. This pointing direction is the basis for determining whether the mobile device is aimed at the smart object. A machine learning approach can be used for the detection of the alignment, which enables a reliable and efficiently computable execution. In addition, a high degree of accuracy can be achieved.

In einer bevorzugten Ausgestaltung umfassen die Umgebungsdaten Positionsangaben von intelligenten Objekten, die basierend auf einer aktuellen Position des mobilen Geräts ermittelt wurden, vorzugsweise durch eine Datenbankabfrage basierend auf einer von einem Satellitennavigationssensor des mobilen Geräts ermittelten Position. Zusätzlich oder alternativ umfassen die Umgebungssensordaten Bilddaten eines Kamerasensors des mobilen Geräts. Insbesondere ist es möglich, dass ein Satellitennavigationssystem verwendet wird, um die aktuelle Position des mobilen Geräts festzustellen (GPS, GALILEO, GLONASS, Beidou etc.). Diese Position kann dann auf einer Karte angezeigt werden, auf der ebenfalls die Positionen von intelligenten Objekten angezeigt werden. Die Positionen der intelligenten Objekte können beispielsweise basierend auf der eigenen Position aus einer Internet-Datenbank unter Berücksichtigung eines Radius um die eigene Position abgefragt werden. Der Benutzer kann sich dann orientieren und beispielsweise intelligente Objekte in der näheren Umgebung ansteuern, um mit diesen zu interagieren.In a preferred embodiment, the environmental data include position information of intelligent objects that were determined based on a current position of the mobile device, preferably by a database query based on a position determined by a satellite navigation sensor of the mobile device. Additionally or alternatively, the environmental sensor data includes image data from a camera sensor of the mobile device. In particular, it is possible that a satellite navigation system is used to determine the current position of the mobile device (GPS, GALILEO, GLONASS, Beidou, etc.). This position can then be displayed on a map, which also shows the positions of smart objects. The positions of the intelligent objects can, for example, be queried based on one's own position from an Internet database, taking into account a radius around one's own position. The user can then orient himself and, for example, control intelligent objects in the immediate vicinity in order to interact with them.

Ebenfalls ist es möglich, dass die Umgebungssensordaten Bilddaten eines Kamerasensors umfassen. Es ist dann beispielsweise zusätzlich denkbar, auch Ansätze der erweiterten Realität (augmented reality) einzusetzen, um die intelligenten Objekte virtuell in den Bilddaten einzublenden.It is also possible for the environmental sensor data to include image data from a camera sensor. It is then also conceivable, for example, to use augmented reality approaches in order to superimpose the intelligent objects virtually in the image data.

In einer bevorzugten Ausgestaltung umfassen die Ausrichtungssensordaten Lagesensordaten, die von einem Beschleunigungs-, Drehraten- und/oder Magnetfeldsensor des mobilen Geräts empfangen werden. Zusätzlich oder alternativ umfassen die Ausrichtungssensordaten Bilddaten eines Kamerasensors des mobilen Geräts. Insbesondere ist es möglich, dass die Ausrichtung basierend auf Lagesensordaten eines Inertialsensors festgestellt wird. Dies ermöglicht zumeist eine zuverlässige und effizient berechenbare Lageschätzung.In a preferred embodiment, the alignment sensor data includes position sensor data that is received from an acceleration sensor, yaw rate sensor, and/or magnetic field sensor of the mobile device. Additionally or alternatively, the orientation sensor data includes image data from a camera sensor of the mobile device. In particular, it is possible for the orientation to be determined based on position sensor data from an inertial sensor. This usually enables a reliable and efficiently calculable position estimate.

Hierin wird unter einem Interagieren einer Vorrichtung bzw. eines mobilen Geräts mit einem intelligenten Objekt insbesondere ein Austausch von Informationen verstanden. Insbesondere können Informationen von dem intelligenten Objekt empfangen werden und/oder Informationen an das intelligente Objekt übermittelt werden. Zusätzlich ist es möglich, dass unter einer Interaktion ein Auslösen einer Aktion an dem mobilen Gerät und/oder an dem intelligenten Objekt durch den jeweiligen Kommunikationspartner verstanden wird. Beispielsweise kann eine Anzeige bewirkt und/oder ein haptisches, taktiles, akustisches oder optisches Feedback ausgegeben werden.Interaction of a device or a mobile device with an intelligent object is understood here to mean, in particular, an exchange of information. In particular, information can be received from the intelligent object and/or information can be transmitted to the intelligent object. In addition, it is possible that an interaction is understood to mean triggering an action on the mobile device and/or on the intelligent object by the respective communication partner. For example, a display can be effected and/or haptic, tactile, acoustic or visual feedback can be output.

Unter einem Umfeld eines mobilen Geräts bzw. eines Benutzers eines mobilen Geräts wird dessen Umgebung verstanden. Beispielsweise kann ein Radius veränderbar vorgegeben sein.The surroundings of a mobile device or of a user of a mobile device are understood to be their surroundings. For example, a radius can be variable.

Unter einem intelligenten Objekt wird insbesondere ein kommunikationsfähiges Artefakt verstanden. Insbesondere kann ein derartiges Artefakt in ein Infrastrukturobjekt bzw. in die Umgebung eingebettet sein. Ein intelligentes Objekt kann in anderen Worten insbesondere ein körperliches Objekt sein, dass über eine Kommunikationsmöglichkeit verfügt bzw. in das eine Kommunikationsmöglichkeit eingebettet ist. Insbesondere kann ein intelligentes Objekt ein körperliches Objekt der Infrastruktur. Beispielsweise stellen Ampeln, Straßenbahnhaltestellen, Sensoren in Grünanlagen, eingebettete Sensoren in einem historischen Gebäude intelligente Objekte dar. Bei einer Straßenbahnhaltestelle kann beispielsweise eine Anzeige aktueller Abfahrtszeiten erfolgen oder auch eine Anforderung eines Fahrplans durchgeführt werden. Es ist aber auch möglich, dass ein intelligentes Objekt lediglich virtuell existiert und insoweit als digitales Objekt (digitales Artefakt, digitaler Gegenstand) ausgebildet ist. Insoweit wird also an einer bestimmten Position ein digitales oder virtuelles intelligentes Objekt bereitgestellt, mit dem ein mobiles Gerät bzw. ein Benutzer eines mobilen Geräts in Interaktion treten kann. Es wird also eine Position mit einer Kommunikationsmöglichkeit verknüpft, wobei die Kommunikation dann beispielsweise mit einem Internetserver erfolgt. Beispielsweise kann ein digitales Objekt auch eine Verknüpfung einer Positionsangabe im Umfeld einer Straßenbahnhaltestelle mit bestimmten Anzeige- und Interaktionsmöglichkeiten sein. Beispielsweise kann an einem öffentlichen Platz ein digitales intelligentes Objekt in der Platzmitte vorgesehen sein, durch das Informationen zu einem Erbauer des Platzes oder einem historischen Hintergrund etc. erhalten werden können. Ebenfalls möglich ist, dass ein digitales intelligentes Objekt in Form eines digitalen Noteboards bzw. einer digitalen Pinnwand ausgebildet ist, sodass mittels eines mobilen Geräts eine (virtuelle) Notiz angebracht und geteilt bzw. auf eine solche reagiert werden kann.In particular, an intelligent object is a communication-capable artefact ver stood. In particular, such an artefact can be embedded in an infrastructure object or in the environment. In other words, an intelligent object can be, in particular, a physical object that has a communication option or in which a communication option is embedded. In particular, an intelligent object can be a physical object of the infrastructure. For example, traffic lights, tram stops, sensors in green areas, embedded sensors in a historic building represent intelligent objects. At a tram stop, for example, current departure times can be displayed or a timetable can be requested. However, it is also possible for an intelligent object to exist only virtually and in this respect to be in the form of a digital object (digital artefact, digital item). To this extent, a digital or virtual intelligent object is provided at a specific position, with which a mobile device or a user of a mobile device can interact. A position is therefore linked to a communication option, with the communication then taking place, for example, with an Internet server. For example, a digital object can also be a link to a position in the vicinity of a tram stop with specific display and interaction options. For example, a digital intelligent object can be provided in the middle of a public square, through which information about a builder of the square or a historical background, etc. can be obtained. It is also possible for a digital, intelligent object to be in the form of a digital noteboard or a digital pinboard, so that a (virtual) note can be attached and shared or a reaction to such can be made using a mobile device.

Unter einer Interaktion mit einem intelligenten Objekt wird insbesondere ein Austausch von Informationen verstanden. Es ist beispielsweise möglich, dass ein Steuerungssignal übermittelt bzw. empfangen wird, um damit eine Aktion bzw. Reaktion des intelligenten Objekts und/oder des mobilen Geräts auszulösen. Ebenfalls möglich ist, dass ein Link bzw. ein Verweis zu einer downloadbaren App angezeigt wird, beispielsweise um einen Zugang zu weiteren Informationen und Steuerungsmöglichkeiten zu ermöglichen. Zudem ist ein Abrufen von aktuellen Informationen oder auch eine Übermittlung eines Anforderungssignals denkbar.An interaction with an intelligent object is understood to mean, in particular, an exchange of information. It is possible, for example, for a control signal to be transmitted or received in order to trigger an action or reaction on the part of the intelligent object and/or the mobile device. It is also possible for a link or a reference to a downloadable app to be displayed, for example to enable access to further information and control options. In addition, retrieving current information or also transmitting a request signal is conceivable.

Die Erfindung wird nachfolgend anhand einiger ausgewählter Ausführungsbeispiele im Zusammenhang mit den beiliegenden Zeichnungen näher beschrieben und erläutert. Es zeigen:

  • 1 eine schematische Darstellung eines erfindungsgemäßen mobilen Geräts in Interaktion mit einem intelligenten Objekt in der Umgebung des mobilen Geräts;
  • 2 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung zum Interagieren mit einem intelligenten Objekt in einer Umgebung eines mobilen Geräts;
  • 3 und 4 eine schematische Darstellung des Herstellens einer Kommunikationsverbindung mit einem intelligenten Objekt und des Steuerns des intelligenten Objekts;
  • 5 eine schematische Darstellung einer Gestenerkennung basierend auf einem erfindungsgemäßen mobilen Gerät; und
  • 6 eine schematische Darstellung eines erfindungsgemäßen Verfahrens.
The invention is described and explained in more detail below using a few selected exemplary embodiments in connection with the accompanying drawings. Show it:
  • 1 a schematic representation of a mobile device according to the invention in interaction with an intelligent object in the environment of the mobile device;
  • 2 a schematic representation of a device according to the invention for interacting with an intelligent object in an environment of a mobile device;
  • 3 and 4 a schematic representation of establishing a communication link with a smart object and controlling the smart object;
  • 5 a schematic representation of a gesture recognition based on a mobile device according to the invention; and
  • 6 a schematic representation of a method according to the invention.

In der 1 ist schematisch ein erfindungsgemäßes mobiles Gerät 10 zum Interagieren mit einem intelligenten Objekt 14 in der Umgebung des mobilen Geräts 10 dargestellt. Die Darstellung ist dabei als schematische Draufsicht zu verstehen. Dargestellt ist, dass ein Benutzer 12 ein mobiles Gerät 10, beispielsweise ein Smartphone oder ein Tablet, in seiner Hand hält. Erfindungsgemäß ist es vorgesehen, dass zwischen mobilem Gerät 10 und intelligentem Objekt 14 eine Kommunikationsverbindung hergestellt wird, wenn das mobile Gerät 10 auf das intelligente Objekt 14 ausgerichtet ist. Dargestellt in der 1 ist ein Sichtfeld 22 des mobilen Geräts 10, das einen Bereich visualisiert, bei dem für ein darin liegendes intelligentes Objekt 14 angenommen wird, dass das mobile Gerät 10 auf dieses ausgerichtet ist.In the 1 a mobile device 10 according to the invention for interacting with an intelligent object 14 in the environment of the mobile device 10 is shown schematically. The illustration is to be understood as a schematic top view. It is shown that a user 12 is holding a mobile device 10, for example a smartphone or a tablet, in his hand. According to the invention, it is provided that a communication connection is established between the mobile device 10 and the intelligent object 14 when the mobile device 10 is aligned with the intelligent object 14 . Shown in the 1 FIG. 12 is a field of view 22 of the mobile device 10 visualizing an area where a smart object 14 located therein is assumed to have the mobile device 10 aligned thereto.

Auf der linken Seite in der 1 ist dargestellt, dass das mobile Gerät 10 nicht auf das intelligente Objekt 14 ausgerichtet ist. Auf der rechten Seite ist dargestellt, dass sich der Benutzer 12 mitsamt dem mobilen Gerät 10 gedreht hat, bis das mobile Gerät 10 auf das intelligente Objekt 14 ausgerichtet ist. Wenn der Benutzer 12 das mobile Gerät 10 auf das intelligente Objekt 14 ausgerichtet hat, wird eine Kommunikationsverbindung zwischen mobilem Gerät 10 und intelligentem Objekt 14 hergestellt und der Benutzer 12 darüber in Kenntnis gesetzt, beispielsweise durch ein Vibrieren des mobilen Geräts 10.On the left in the 1 shows that the mobile device 10 is not aligned with the intelligent object 14 . The right-hand side shows that the user 12 has turned together with the mobile device 10 until the mobile device 10 is aligned with the intelligent object 14 . When the user 12 has aligned the mobile device 10 with the intelligent object 14, a communication link is established between the mobile device 10 and the intelligent object 14 and the user 12 is informed of this, for example by the mobile device 10 vibrating.

Durch das Herstellen einer Kommunikationsverbindung zwischen mobilem Gerät 10 und intelligentem Objekt 14 kann ein Zugang zu digitalen Diensten ermöglicht werden. Intelligente Objekte 14 in Smart Cities können beispielsweise einfacher nutzbar gemacht werden. Im dargestellten Beispiel kann beispielsweise eine Ampelanforderung für Fußgänger umgesetzt sein. Der Benutzer 12 des mobilen Geräts 10 richtet das mobile Gerät 10 auf die Ampel aus. Sobald das mobile Gerät 10 auf die Ampel ausgerichtet ist, wird eine Kommunikationsverbindung hergestellt und dem Benutzer 12 angezeigt, dass die Kommunikationsverbindung hergestellt wurde. Der Benutzer kann dann beispielsweise eine Grünphase anfordern.By establishing a communication link between the mobile device 10 and the intelligent object 14, access to digital services can be made possible. Intelligent objects 14 in smart cities, for example, can be made easier to use. In the example shown, a traffic light request for pedestrians can be implemented, for example. The user 12 of the mobile device 10 directs the mobile device 10 towards the traffic light. Once the mobile device 10 on the traffic light is directed, a communication link is established and the user 12 is notified that the communication link has been established. The user can then request a green phase, for example.

Zum Bereitstellen dieser Funktion umfasst das mobile Gerät 10 im dargestellten Ausführungsbeispiel eine Vorrichtung 16 zum Interagieren mit dem intelligenten Objekt 14, einen Umgebungssensor 18 zum Erfassen einer Relativposition des intelligenten Objekts sowie einen Ausrichtungssensor 20 zum Erfassen einer Ausrichtung des mobilen Geräts 10.To provide this function, the mobile device 10 in the exemplary embodiment shown comprises a device 16 for interacting with the intelligent object 14, an environment sensor 18 for detecting a relative position of the intelligent object, and an orientation sensor 20 for detecting an orientation of the mobile device 10.

Der Umgebungssensor 18 kann insbesondere einen Positionssensor eines Satellitennavigationssystems umfassen. Beispielsweise kann eine aktuelle Absolutposition des mobilen Geräts 10 ermittelt werden, die dann basierend auf einer Datenbankabfrage mit Positionen mobiler intelligenter Objekte 14 abgeglichen wird, um darauf basierend deren Relativpositionen (relativ zu einer eigenen Position des Benutzers bzw. des mobilen Geräts) zu ermitteln.The environment sensor 18 can in particular include a position sensor of a satellite navigation system. For example, a current absolute position of the mobile device 10 can be determined, which is then compared with positions of mobile intelligent objects 14 based on a database query in order to determine their relative positions (relative to the user's or mobile device's own position) based thereon.

Der Ausrichtungssensor 20 kann beispielsweise einen Inertialsensor (Beschleunigungs- und/oder Drehratensensor) und/oder einen Magnetfeldsensor umfassen. Durch einen derartigen Sensor kann eine Lage (beispielsweise in Form einer Angabe der Eulerwinkel) erfasst werden. Insbesondere kann diese Lage dann in Zusammenschau mit der Relativposition dazu verwendet werden, die Ausrichtung des mobilen Geräts in Bezug auf das intelligente Objekt 14 zu bestimmen.The alignment sensor 20 can include, for example, an inertial sensor (acceleration and/or yaw rate sensor) and/or a magnetic field sensor. A position (for example in the form of an indication of the Euler angle) can be detected by such a sensor. In particular, this location can then be used in conjunction with the relative position to determine the alignment of the mobile device in relation to the intelligent object 14.

In der 2 ist schematisch die erfindungsgemäße Vorrichtung 16 dargestellt. Die Vorrichtung 16 umfasst eine Eingangsschnittstelle 24, eine Ausrichtungseinheit 26, eine Kommunikationseinheit 28 sowie eine Benutzerschnittstelle 30. Optional umfasst die Vorrichtung 16 zudem eine Gesteneinheit 32. Die verschiedenen Schnittstellen und Einheiten können dabei in Hard- und/oder in Software implementiert sein und einzeln oder auch in Kombination ausgeführt sein. Insbesondere ist es möglich, dass die Vorrichtung 16 insoweit sozusagen einem Smartphone oder einem anderen Gerät mit einer entsprechenden App entspricht.In the 2 the device 16 according to the invention is shown schematically. The device 16 includes an input interface 24, an alignment unit 26, a communication unit 28 and a user interface 30. Optionally, the device 16 also includes a gesture unit 32. The various interfaces and units can be implemented in hardware and/or in software and individually or also be executed in combination. In particular, it is possible for the device 16 to correspond, so to speak, to a smartphone or another device with a corresponding app.

Über die Eingangsschnittstelle 24 werden die Umgebungssensordaten und die Ausrichtungssensordaten empfangen. Insbesondere kann die Eingangsschnittstelle 24 dazu an entsprechende Sensoren des mobilen Geräts angebunden sein. Es ist aber auch möglich, dass die Eingangsschnittstelle 24 die Informationen von entfernt angeordneten Sensoren erhält, beispielsweise über eine Kurzstrecken-Niedrigenergie-Funkverbindung. Beispielsweise ist es möglich, dass die Vorrichtung in einer intelligenten Brille (Smartglasses) integriert ist und über die Eingangsschnittstelle 24 über Bluetooth Daten von einem Positionssensor eines Smartphones empfangen werden.The environmental sensor data and the orientation sensor data are received via the input interface 24 . In particular, the input interface 24 can be connected to corresponding sensors of the mobile device for this purpose. However, it is also possible for the input interface 24 to receive the information from remotely located sensors, for example via a short-range, low-energy radio link. For example, it is possible for the device to be integrated into intelligent glasses (smart glasses) and for data to be received from a position sensor of a smartphone via the input interface 24 via Bluetooth.

Mittels der Ausrichtungseinheit 26 wird detektiert, ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist. Hierzu werden die Umgebungssensordaten und die Ausrichtungssensordaten verarbeitet. Dabei kann eine Vorverarbeitung der Daten erfolgen und/oder auf weitere Daten zurückgegriffen werden. Insbesondere ist es vorteilhaft, wenn in der Ausrichtungseinheit 26 ein Ansatz des maschinellen Lernens verwendet wird, um zu detektieren, ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist. Insbesondere kann ein vortrainiertes künstliches neuronales Netzwerk verwendet werden, dass basierend auf entsprechenden Trainingsdaten zu einem vorhergehenden Zeitpunkt trainiert wurde.The alignment unit 26 detects whether the mobile device is aligned with the intelligent object. For this purpose, the environmental sensor data and the alignment sensor data are processed. In this case, the data can be pre-processed and/or further data can be accessed. In particular, it is advantageous if a machine learning approach is used in the alignment unit 26 in order to detect whether the mobile device is aligned with the intelligent object. In particular, a pre-trained artificial neural network can be used that was trained based on corresponding training data at a previous point in time.

Zusätzlich oder alternativ ist es möglich, dass zur Detektion, ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist, eine vordefinierte Zeigerichtung des mobilen Geräts verwendet wird. Diese vordefinierte Zeigerichtung kann insbesondere einer für das mobile Gerät spezifizierten Richtung entsprechen, für die dann gegebenenfalls noch eine Abweichung angegeben sein kann.In addition or as an alternative, it is possible for a predefined pointing direction of the mobile device to be used to detect whether the mobile device is aimed at the intelligent object. This predefined pointing direction can, in particular, correspond to a direction specified for the mobile device, for which a deviation can then optionally also be specified.

Die Kommunikationseinheit 28 ist zum Kommunizieren mit dem intelligenten Objekt ausgebildet. Insbesondere kann eine Niedrigenergie-Kurzstreckenkommunikationsverbindung mit dem intelligenten Objekt hergestellt werden. Beispielsweise kann ein Bluetooth Low Energy (BLE)-Kommunikationschip verwendet werden, der über die Kommunikationseinheit 28 in entsprechender Weise angesteuert wird. Ebenfalls ist es möglich, dass die Kommunikationseinheit 28 zum Kommunizieren über das Internet ausgebildet ist, also über einen entsprechenden Internetserver und eine mobile Datenverbindung. Es versteht sich, dass das intelligente Objekt selbst ebenfalls kommunikationsfähig und insoweit ansprechbar/erreichbar ist.The communication unit 28 is designed to communicate with the intelligent object. In particular, a low-power, short-distance communication link can be established with the intelligent object. For example, a Bluetooth Low Energy (BLE) communication chip can be used, which is controlled in a corresponding manner via the communication unit 28 . It is also possible for the communication unit 28 to be designed to communicate via the internet, ie via a corresponding internet server and a mobile data connection. It goes without saying that the intelligent object itself is also capable of communication and to this extent can be addressed/reachable.

Die Benutzerschnittstelle 30 dient zum Informieren des Benutzers des mobilen Geräts, wenn die Kommunikationsverbindung hergestellt wurde. Insbesondere kann hierzu ein Display oder ein anderer Aktor eines mobilen Geräts angesteuert werden. Beispielsweise ist es möglich, dass das Herstellen der Kommunikationsverbindung dem Benutzer durch eine Art „Einrasten“ angezeigt wird. Dieses Einrasten kann basierend auf einer Vibrationsfunktion bzw. einem Vibrationsaktor des mobilen Geräts 10 erfassbar gemacht werden. Zusätzlich kann eine visuelle Ausgabe beispielsweise durch ein Markieren einer Ampel auf einer Visualisierung einer Kartendarstellung auf dem Display des mobilen Geräts 10 erfolgen. Weiter zusätzlich oder alternativ kann ein Signalton ausgegeben werden. Dem Benutzer 12 wird also mit haptischer, akustischer und/oder visueller Rückmeldung angezeigt, dass das Smartphone eingerastet ist und dass eine Aktion im Sinne einer Interaktion mit dem intelligenten Objekt 14 erfolgen kann. Beispielsweise kann dann durch eine Gestensteuerung oder auch durch ein Drücken einer Taste auf einem Touchscreen eine Grünphase der Ampel angefordert werden.The user interface 30 is for informing the user of the mobile device when the communication link has been established. In particular, a display or another actuator of a mobile device can be controlled for this purpose. For example, it is possible that the establishment of the communication connection is indicated to the user by a kind of "snapping". This locking can be made detectable based on a vibration function or a vibration actuator of the mobile device 10 . In addition, a visual output can be made, for example, by marking a traffic light on a visualization of a map representation be done on the display of the mobile device 10. Furthermore, additionally or alternatively, a signal tone can be emitted. The user 12 is thus shown with haptic, acoustic and/or visual feedback that the smartphone is locked and that an action in the sense of an interaction with the intelligent object 14 can take place. For example, a green phase of the traffic light can then be requested by gesture control or by pressing a button on a touch screen.

Die Gesteneinheit 32 dient zum Erkennen einer Geste, die von einem Benutzer des mobilen Geräts ausgeführt wird. Hierzu werden die Ausrichtungssensordaten verarbeitet. Insbesondere kann eine Geste erkannt werden, die der Benutzer des mobilen Geräts mit dem mobilen Gerät ausführt. Beispielsweise kann der Benutzer nicken, für den Fall einer intelligenten Brille, oder auch eine Wisch- oder andere Bewegung mit einem Smartphone oder Tablet ausführen.The gesture unit 32 is for recognizing a gesture performed by a user of the mobile device. To do this, the orientation sensor data is processed. In particular, a gesture that the user of the mobile device performs with the mobile device can be recognized. For example, the user can nod, in the case of smart glasses, or even perform a swipe or other movement with a smartphone or tablet.

Die Erkennung kann dann einerseits als zusätzliche Voraussetzung für das Herstellen der Kommunikationsverbindung verwendet werden. Es kann also für das Herstellen einer Kommunikationsverbindung zusätzlich erforderlich sein, zunächst eine Aktivierungsgeste auszuführen, um so unbeabsichtigte Verbindungsherstellungen zu vermeiden. Weiterhin ist es möglich, dass mittels der Gesteneinheit 32 eine Steuerungsgeste erkannt wird. Der Benutzer des mobilen Geräts kann insoweit ein intelligentes Objekt mittels einer Gestensteuerung fernsteuern, nachdem die Kommunikationsverbindung hergestellt wurde.The detection can then be used on the one hand as an additional prerequisite for establishing the communication link. In order to establish a communication connection, it may also be necessary to first perform an activation gesture in order to avoid unintentional connection establishments. Furthermore, it is possible for a control gesture to be recognized by means of the gesture unit 32 . In this respect, the user of the mobile device can remotely control an intelligent object using gesture control after the communication connection has been established.

In den 3 und 4 ist schematisch eine Möglichkeit des Herstellens einer Kommunikationsverbindung mit einem intelligenten Objekt und des Steuerns des intelligenten Objekts dargestellt. Insbesondere ist eine Ansicht eines Displays 34 eines Smartphones oder Tablets oder andern mobilen Geräts vor ( 3) und nach (4) Herstellen der Kommunikationsverbindung gezeigt.In the 3 and 4 a possibility of establishing a communication connection with an intelligent object and of controlling the intelligent object is shown schematically. In particular, a view of a display 34 of a smartphone or tablet or other mobile device is shown in front of ( 3 ) and after ( 4 ) Establishing the communication connection is shown.

Auf einer Kartendarstellung einer Umgebung des mobilen Geräts werden Relativpositionen R1, R2, R3 dreier intelligenter Objekte in der Umgebung des mobilen Geräts an der Position M visualisiert. Beispielsweise können Miniaturansichten der intelligenten Objekte angezeigt werden. Die Kartendarstellung ist dabei auf die Position M des mobilen Geräts zentriert.Relative positions R1, R2, R3 of three intelligent objects in the area surrounding the mobile device are visualized at position M on a map display of an area surrounding the mobile device. For example, thumbnails of the smart objects can be displayed. The map display is centered on the position M of the mobile device.

Neben den Relativpositionen R1, R2 und R3 ist auch die Ausrichtung des mobilen Geräts visualisiert, da sich die Darstellung mit dem Drehen des mobilen Geräts mitbewegt. Der Benutzer kann sich also in Bezug zu den intelligenten Objekten drehen, wobei sich die Kartendarstellung wie bei einem Kompass die Windrose ebenfalls mit dreht und so die Ausrichtung visualisiert.In addition to the relative positions R1, R2 and R3, the alignment of the mobile device is also visualized, since the display moves with the rotation of the mobile device. The user can therefore rotate in relation to the intelligent objects, with the map display also rotating like a compass and the wind rose, thus visualizing the orientation.

Sobald der Benutzer mit dem mobilen Gerät in Richtung eines intelligenten Objekts zeigt, wird mit diesem eine Kommunikationsverbindung hergestellt. Gegebenenfalls ist hierzu eine Mindestzeit (beispielsweise 2 Sekunden) erforderlich, für die das mobile Gerät auf das intelligente Objekt ausgerichtet sein muss.As soon as the user points the mobile device in the direction of a smart object, a communication link is established with it. This may require a minimum time (for example 2 seconds) for which the mobile device must be aligned with the intelligent object.

Ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist, kann beispielsweise basierend auf einer Zeigerichtung des mobilen Geräts ermittelt werden. Diese Zeigerichtung entspricht einem für das mobile Gerät festgelegten Parameter. Diese Zeigerichtung kann beispielsweise einer Längsachse des mobilen Geräts entsprechen. Unter Bezugnahme auf 1 kann das Sichtfeld eines mobilen Geräts beispielsweise ausgehend von einer Angabe einer maximalen Abweichung von dieser Zeigerichtung definiert sein, beispielsweise 5°.Whether the mobile device is aligned with the intelligent object can be determined based on a pointing direction of the mobile device, for example. This pointing direction corresponds to a parameter set for the mobile device. This pointing direction can correspond to a longitudinal axis of the mobile device, for example. With reference to 1 For example, the field of view of a mobile device can be defined based on an indication of a maximum deviation from this pointing direction, for example 5°.

Im dargestellten Ausführungsbeispiel richtet der Benutzer in der 4 das mobile Gerät auf das intelligente Objekt an Position R2 aus, sodass mit diesem dann eine Kommunikationsverbindung hergestellt werden kann. Um dem Benutzer anzuzeigen, dass die Verbindung hergestellt wurde, vibriert das mobile Gerät beispielsweise. Zudem kann nach dem Herstellen der Kommunikationsverbindung eine Interaktion mit dem intelligenten Objekt durch einen für diesen Zweck eingeblendeten Button 36 erfolgen (4).In the illustrated embodiment, the user directs in the 4 the mobile device to the intelligent object at position R2, so that a communication connection can then be established with it. For example, the mobile device vibrates to indicate to the user that the connection has been established. In addition, after the communication connection has been established, interaction with the intelligent object can take place using a button 36 displayed for this purpose ( 4 ).

In anderen Worten dreht sich die Kartenansicht wie eine Windrose eines Kompasses, sodass am oberen Rand des Displays 34 mobilen Geräts die Richtung zu sehen ist, in welche das mobile Gerät gehalten wird. Diese Richtung kann beispielsweise durch eine Angabe einer Gradzahl angegeben sein. Im dargestellten Beispiel ist die Richtung bei 70 Grad (3). Wenn das mobile Gerät dann gedreht wird, beispielsweise auf 115 Grad (4), ist eine Fußgängerampel als intelligentes Objekt vor ihm. Sobald das mobile Gerät auf die Ampel ausgerichtet ist, erfolgt der zuvor beschriebenen Einrastvorgang und die Ampel wird markiert. Das Smartphone vibriert, es gibt einen Signalton und das Bild eines Anforderungstasters erscheint in Form des Buttons 36. Dies zeigt dem Nutzer mit haptischer, akustischer und visueller Rückmeldung an, dass das mobile Gerät eingerastet ist und dass eine Aktion bzw. eine Interaktion mit dem intelligenten Objekt durchgeführt werden kann.In other words, the map view rotates like a compass rose so that the top of the mobile device display 34 shows the direction in which the mobile device is being held. This direction can be specified, for example, by specifying a number of degrees. In the example shown, the direction is at 70 degrees ( 3 ). If the mobile device is then rotated, for example to 115 degrees ( 4 ), a pedestrian traffic light is in front of him as a smart object. As soon as the mobile device is aligned with the traffic light, the snapping process described above takes place and the traffic light is marked. The smartphone vibrates, there is a beep and the image of a request button appears in the form of button 36. This shows the user with haptic, acoustic and visual feedback that the mobile device is locked and that an action or interaction with the intelligent object can be carried out.

Es versteht sich dabei, dass auch eine andere Interaktionsmöglichkeit vorgesehen sein kann, beispielsweise mittels einer Gestensteuerung. Mit einer leichten Bewegung des mobilen Geräts nach hinten kann beispielsweise eine Grünphase angefordert werden.It goes without saying that another interaction option can also be provided can, for example by means of a gesture control. For example, a green phase can be requested with a slight backward movement of the mobile device.

In diesem Beispiel ist vorgesehen, dass das mobile Gerät ungefähr waagerecht gehalten wird, bis es auf ein intelligentes Objekt zeigt. Es kann dabei auch möglich sein, dass das mobile Gerät um 90 Grad gedreht werden kann, sodass auf dem Display 34 mittels einer auf einer Rückseite des mobilen Geräts angeordneten Kamera dann die reale Umgebung dargestellt werden kann. Die Zeigerichtung entspräche dann also einer Richtung senkrecht zum Display 34. Es ist möglich, dass das Herstellen der Kommunikationsverbindung durch Einrasten in Form einer augmented Reality-Darstellung erfolgt. Es kann beispielsweise das eingerastete intelligente Objekt hervorgehoben werden.In this example, the mobile device is intended to be held approximately level until it points to a smart object. It can also be possible here for the mobile device to be rotated through 90 degrees, so that the real environment can then be shown on the display 34 by means of a camera arranged on the back of the mobile device. The pointing direction would then correspond to a direction perpendicular to the display 34. It is possible for the communication connection to be established by locking in the form of an augmented reality display. For example, the snapped smart object can be highlighted.

In der 5 ist schematisch eine erfindungsgemäß vorgesehene Gestensteuerung dargestellt. Die Gestensteuerung kann beispielsweise in Zusammenhang mit anderen Anwendungen verwendet werden. Beispielsweise kann in einer generellen Smart City-Anwendung für eine Stadt mit vernetzten Bussen, Straßenbahnen, Museen und weiteren Informationen eine entsprechende Gestensteuerung zur Verfügung gestellt werden. Der Benutzer 12 hält ein mobiles Gerät 10 (insbesondere ein Smartphone oder ein Tablet) in der Hand und führt damit eine Bewegung aus.In the 5 a gesture control provided according to the invention is shown schematically. For example, the gesture control can be used in connection with other applications. For example, a corresponding gesture control can be made available in a general smart city application for a city with networked buses, trams, museums and other information. The user 12 holds a mobile device 10 (in particular a smartphone or a tablet) in his hand and uses it to perform a movement.

Zum einen kann es erfindungsgemäß vorgesehen sein, dass zum Herstellen der Kommunikationsverbindung, nachdem das mobile Gerät auf das intelligente Objekt ausgerichtet ist, zunächst eine Aktivierungsgeste ausgeführt erkannt werden muss. Beispielsweise kann diese der gargestellten Wischbewegung entsprechen. Die Aktivierungsgeste kann in anderen Worten also die Voraussetzung zum Herstellen einer Kommunikationsverbindung darstellen.On the one hand, it can be provided according to the invention that, in order to establish the communication connection, after the mobile device is aligned with the intelligent object, an activation gesture must first be recognized. For example, this can correspond to the swipe movement that is made. In other words, the activation gesture can represent the prerequisite for establishing a communication connection.

Ebenfalls ist es möglich, dass die eigentliche Steuerung des intelligenten Objekts mittels einer Gestensteuerung erfolgt. Es kann also sein, dass eine Steuerungsgeste erkannt wird, um damit mit dem intelligenten Objekt zu interagieren. Beispielsweise kann bei einer Ampel eine Grünphase angefordert werden oder von einer intelligenten Straßenbahnhaltestelle ein Fahrplan angefordert werden.It is also possible that the actual control of the intelligent object takes place by means of gesture control. Thus, a control gesture may be recognized to interact with the smart object. For example, a green phase can be requested at a traffic light or a timetable can be requested from an intelligent tram stop.

Es kann vorteilhaft sein, zunächst eine Art Gestensteuerungsmodus zu initiieren, um dann eine Gestenerkennung ausführen zu können. Ebenfalls kann es vorteilhaft sein, wenn eine Rückkehr von der Gestensteuerung zu einer klassischen Bedienung, beispielsweise durch eine Berührung eines Touchscreens, vorgesehen ist. Dies kann die Gefahr des Erkennens einer unabsichtlich ausgeführten Geste verringern. Eine relevante Frage in diesem Zusammenhang ist, wie der Benutzer zur Verwendung der Gestensteuerung gelangen kann bzw. diesen Gestensteuerungsmodus initiieren kann.It can be advantageous to first initiate a type of gesture control mode in order to then be able to carry out gesture recognition. It can also be advantageous if provision is made for a return from gesture control to a classic operation, for example by touching a touch screen. This can reduce the risk of detecting an unintentional gesture. A relevant question in this context is how the user can arrive at the use of gesture control or initiate this gesture control mode.

Eine Möglichkeit hierzu kann ein Aktivieren eines entsprechenden Auswahlpunkts auf einem Touchscreen des mobilen Geräts sein. Es wird also ein entsprechender Button gedrückt, wodurch das mobile Gerät in einen Gestensteuerungs- bzw. Erkennungsmodus versetzt wird.One possibility for this can be activating a corresponding selection point on a touchscreen of the mobile device. A corresponding button is thus pressed, which puts the mobile device into a gesture control or recognition mode.

Alternativ dazu ist es möglich, dass der Gestensteuerungsmodus durch eine typische Geste (beispielsweise eine Rechtsdrehung, wie wenn man mit einem Schlüssel ein Schloss aufschließt, oder eine Geste eines Klickens oder eine individuell erlernte und individuelle Geste) aktiviert wird. Auch hier ist es möglich, dass das Erreichen des Gestensteuerungsmodus durch eine Art Einrasten des mobilen Geräts mittels eines Vibrationsaktors etc. oder in anderer Weise umgesetzt wird. Sobald der Gestensteuerungsmodus aktiviert ist werden Gesten des Benutzers erkannt und er kann dies beispielsweise zur Interaktion mit dem intelligenten Objekt nutzen. In analoger Weise kann auch ein Zurückschalten aus der Gestensteuerung zur klassischen Bedienung erfolgen.Alternatively, it is possible for the gesture control mode to be activated by a typical gesture (e.g., a right turn, like unlocking a lock with a key, or a click gesture, or an individually learned and individual gesture). Here, too, it is possible for the gesture control mode to be reached by a type of locking of the mobile device using a vibration actuator, etc., or in some other way. As soon as the gesture control mode is activated, the user's gestures are recognized and he can use this to interact with the intelligent object, for example. In a similar way, switching back from gesture control to classic operation can also take place.

In der 6 ist schematisch ein erfindungsgemäßes Verfahren zum Interagieren mit einem intelligenten Objekt in einer Umgebung eines mobilen Geräts dargestellt. Das Verfahren umfasst Schritte des Empfangens S10 von Umgebungssensordaten und Ausrichtungssensordaten, des Detektierens S12, ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist, des Herstellens S14 einer Kommunikationsverbindung mit dem intelligenten Objekt und des Informierens S16 eines Benutzers des mobilen Geräts, wenn die Kommunikationsverbindung hergestellt wurde. Das Verfahren kann beispielsweise als Smartphone-App oder als Tablet-App implementiert sein und über einen entsprechenden App-Store zur Verfügung gestellt werden.In the 6 a method according to the invention for interacting with an intelligent object in an environment of a mobile device is shown schematically. The method includes steps of receiving S10 environmental sensor data and orientation sensor data, detecting S12 whether the mobile device is aligned with the intelligent object, establishing S14 a communication link with the intelligent object, and notifying S16 a user of the mobile device when the communication link is established became. The method can be implemented, for example, as a smartphone app or as a tablet app and made available via a corresponding app store.

Die Erfindung wurde anhand der Zeichnungen und der Beschreibung umfassend beschrieben und erklärt. Die Beschreibung und Erklärung sind als Beispiel und nicht einschränkend zu verstehen. Die Erfindung ist nicht auf die offenbarten Ausführungsformen beschränkt. Andere Ausführungsformen oder Variationen ergeben sich für den Fachmann bei der Verwendung der vorliegenden Erfindung sowie bei einer genauen Analyse der Zeichnungen, der Offenbarung und der nachfolgenden Patentansprüche.The invention has been comprehensively described and explained with reference to the drawings and the description. The description and explanation are intended to be exemplary and not limiting. The invention is not limited to the disclosed embodiments. Other embodiments or variations will become apparent to those skilled in the art upon use of the present invention upon a study of the drawings, the disclosure, and the claims that follow.

In den Patentansprüchen schließen die Wörter „umfassen“ und „mit“ nicht das Vorhandensein weiterer Elemente oder Schritte aus. Der undefinierte Artikel „ein“ oder „eine“ schließt nicht das Vorhandensein einer Mehrzahl aus. Ein einzelnes Element oder eine einzelne Einheit kann die Funktionen mehrerer der in den Patentansprüchen genannten Einheiten ausführen. Ein Element, eine Einheit, eine Vorrichtung und ein System können teilweise oder vollständig in Hard- und/oder in Software umgesetzt sein. Die bloße Nennung einiger Maßnahmen in mehreren verschiedenen abhängigen Patentansprüchen ist nicht dahingehend zu verstehen, dass eine Kombination dieser Maßnahmen nicht ebenfalls vorteilhaft verwendet werden kann. Ein Computerprogramm kann auf einem nichtflüchtigen Datenträger gespeichert/vertrieben werden, beispielsweise auf einem optischen Speicher oder auf einem Halbleiterlaufwerk (SSD). Ein Computerprogramm kann zusammen mit Hardware und/oder als Teil einer Hardware vertrieben werden, beispielsweise mittels des Internets oder mittels drahtgebundener oder drahtloser Kommunikationssysteme. Bezugszeichen in den Patentansprüchen sind nicht einschränkend zu verstehen.In the claims, the words "comprising" and "having" do not imply the presence other items or steps. The undefined article "a" or "an" does not exclude the presence of a plural. A single element or unit can perform the functions of several of the units recited in the claims. An element, unit, device, and system may be partially or fully implemented in hardware and/or software. The mere naming of some measures in several different dependent patent claims should not be understood to mean that a combination of these measures cannot also be used to advantage. A computer program may be stored/distributed on a non-volatile medium, such as an optical memory or a solid state drive (SSD). A computer program may be distributed with and/or as part of hardware, for example via the Internet or via wired or wireless communication systems. Reference signs in the claims are not to be understood as restrictive.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

  • US 2020073482 A1 [0005]US2020073482A1 [0005]

Claims (15)

Vorrichtung (16) zum Interagieren mit einem intelligenten Objekt (14) in einer Umgebung eines mobilen Geräts (10), mit: einer Eingangsschnittstelle (24) zum Empfangen von Umgebungssensordaten und Ausrichtungssensordaten, wobei die Umgebungssensordaten Informationen zu einer Relativposition des intelligenten Objektes in Bezug zu dem mobilen Gerät umfassen und die Ausrichtungssensordaten Informationen zu einer Ausrichtung des mobilen Geräts in Bezug zu der Umgebung umfassen; einer Ausrichtungseinheit (26) zum Detektieren, ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist, basierend auf den Umgebungssensordaten und den Ausrichtungssensordaten; einer Kommunikationseinheit (28) zum Herstellen einer Kommunikationsverbindung mit dem intelligenten Objekt, wenn das mobile Gerät auf das intelligente Objekt ausgerichtet; und einer Benutzerschnittstelle (30) zum Informieren eines Benutzers des mobilen Geräts, wenn die Kommunikationsverbindung hergestellt wurde.Device (16) for interacting with a smart object (14) in an environment of a mobile device (10), comprising: an input interface (24) for receiving environment sensor data and orientation sensor data, the environment sensor data comprising information on a relative position of the intelligent object in relation to the mobile device and the orientation sensor data comprising information on an orientation of the mobile device in relation to the environment; an alignment unit (26) for detecting whether the mobile device is aligned with the intelligent object based on the environmental sensor data and the alignment sensor data; a communication unit (28) for establishing a communication link with the intelligent object when the mobile device points at the intelligent object; and a user interface (30) for informing a user of the mobile device when the communication link has been established. Vorrichtung (16) nach Anspruch 1, mit einer Gesteneinheit (32) zum Erkennen einer Geste, die von einem Benutzer des mobilen Geräts (10) ausgeführt wird, basierend auf den Ausrichtungssensordaten, wobei die Gesteneinheit vorzugsweise zum Erkennen der Geste basierend auf einem Ansatz des maschinellen Lernens, insbesondere basierend auf einem vortrainierten künstlichen neuronalen Netzwerk, ausgebildet ist.Device (16) after claim 1 , having a gesture unit (32) for recognizing a gesture performed by a user of the mobile device (10) based on the orientation sensor data, the gesture unit preferably for recognizing the gesture based on a machine learning approach, in particular based on a pre-trained artificial neural network. Vorrichtung (16) nach Anspruch 2, wobei die Kommunikationseinheit (28) zum Herstellen der Kommunikationsverbindung ausgebildet ist, unter der Bedingung, dass zuvor eine Aktivierungsgeste erkannt wurde; und/oder zum Beenden der Kommunikationsverbindung ausgebildet ist, wenn die Kommunikationsverbindung hergestellt ist und eine Deaktivierungsgeste erkannt wird.Device (16) after claim 2 , wherein the communication unit (28) is designed to establish the communication connection, under the condition that an activation gesture was recognized beforehand; and/or is configured to end the communication connection when the communication connection is established and a deactivation gesture is recognized. Vorrichtung (16) nach einem der Ansprüche 2 und 3, wobei die Kommunikationseinheit (28) zum Übermitteln eines Steuerbefehls an das intelligente Objekt (14) ausgebildet ist, wenn die Kommunikationsverbindung hergestellt ist und eine Steuerungsgeste erkannt wird.Device (16) according to one of claims 2 and 3 , wherein the communication unit (28) is designed to transmit a control command to the intelligent object (14) when the communication connection is established and a control gesture is recognized. Vorrichtung (16) nach einem der vorstehenden Ansprüche, wobei die Kommunikationseinheit (28) zum Empfangen von Interaktionsdaten mit Informationen zu Interaktionsmöglichkeiten des Benutzers mit dem intelligenten Objekt (14) ausgebildet ist; und die Benutzerschnittstelle (30) zum Informieren des Benutzers über die Interaktionsmöglichkeiten basierend auf den empfangenen Interaktionsdaten ausgebildet ist, vorzugsweise mittels einer Anzeige auf einem Display.Device (16) according to any one of the preceding claims, wherein the communication unit (28) is designed to receive interaction data with information on interaction options for the user with the intelligent object (14); and the user interface (30) is designed to inform the user about the interaction options based on the interaction data received, preferably by means of an indication on a display. Vorrichtung (16) nach einem der vorstehenden Ansprüche, wobei die Benutzerschnittstelle (30) zum Ausgeben eines akustischen, optischen und/oder haptischen Signals ausgebildet ist, insbesondere eines haptischen Vibrationssignals mittels eines Vibrationsaktors des mobilen Geräts (10).Device (16) according to one of the preceding claims, wherein the user interface (30) is designed to output an acoustic, optical and/or haptic signal, in particular a haptic vibration signal by means of a vibration actuator of the mobile device (10). Vorrichtung (16) nach einem der vorstehenden Ansprüche, wobei die Benutzerschnittstelle (30) zum Visualisieren der Relativposition des intelligenten Objekts (14) und der Ausrichtung des mobilen Geräts (10) basierend auf den Umgebungssensordaten und den Ausrichtungssensordaten ausgebildet ist, insbesondere durch eine Anzeige einer Position des intelligenten Objekts auf einer auf eine Position des Benutzers zentrierten und basierend auf der Ausrichtung des mobilen Geräts ausgerichteten Karte der Umgebung.Device (16) according to one of the preceding claims, wherein the user interface (30) is designed to visualize the relative position of the intelligent object (14) and the orientation of the mobile device (10) based on the environmental sensor data and the orientation sensor data, in particular by displaying a Location of the smart object on a map of the environment centered on a location of the user and oriented based on the orientation of the mobile device. Vorrichtung (16) nach einem der vorstehenden Ansprüche, wobei die Kommunikationseinheit (28) zum Herstellen der Kommunikationsverbindung ausgebildet ist, wenn das mobile Gerät (10) für eine über einem vordefinierten Schwellenwert liegenden Zeitdauer auf das intelligente Objekt (14) ausgerichtet ist.Device (16) according to one of the preceding claims, wherein the communication unit (28) is adapted to establish the communication connection when the mobile device (10) is aligned with the intelligent object (14) for a period of time lying above a predefined threshold value. Vorrichtung (16) nach einem der vorstehenden Ansprüche, wobei die Kommunikationseinheit (28) zum Herstellen der Kommunikationsverbindung mit dem intelligenten Objekt (14) über eine direkte Kurzstrecken-Kommunikationsverbindung ausgebildet ist, insbesondere über Bluetooth Low Energy.Device (16) according to one of the preceding claims, wherein the communication unit (28) is designed to establish the communication connection with the intelligent object (14) via a direct short-distance communication connection, in particular via Bluetooth Low Energy. Vorrichtung nach einem der vorstehenden Ansprüche, wobei die Ausrichtungseinheit (26) zum Detektieren, ob das mobile Gerät (10) auf das intelligente Objekt (14) ausgerichtet ist basierend auf einem Ansatz des maschinellen Lernens, insbesondere basierend auf einem vortrainierten künstlichen neuronalen Netzwerk, ausgebildet ist; und/oder basierend auf einer für ein mobiles Gerät vordefinierten Zeigerichtung ausgebildet ist.Device according to one of the preceding claims, wherein the alignment unit (26) for detecting whether the mobile device (10) is aligned with the intelligent object (14). based on a machine learning approach, in particular based on a pre-trained artificial neural network; and or based on a pointing direction predefined for a mobile device. Vorrichtung (16) nach einem der vorstehenden Ansprüche, wobei die Umgebungssensordaten Positionsangaben von intelligenten Objekten (14) umfassen, die basierend auf einer aktuellen Position des mobilen Geräts (10) ermittelt wurden, vorzugsweise durch eine Datenbankabfrage basierend auf einer von einem Satellitennavigationssensor des mobilen Geräts ermittelten Position; und/oder Bilddaten eines Kamerasensors des mobilen Geräts umfassen.Apparatus (16) according to any one of the preceding claims, wherein the environmental sensor data Position information of intelligent objects (14) which were determined based on a current position of the mobile device (10), preferably by a database query based on a position determined by a satellite navigation sensor of the mobile device; and or Include image data of a camera sensor of the mobile device. Vorrichtung (16) nach einem der vorstehenden Ansprüche, wobei die Ausrichtungssensordaten Lagesensordaten umfassen, die von einem Beschleunigungs-, Drehraten- und/oder Magnetfeldsensor des mobilen Geräts (10) empfangen werden; und/oder Bilddaten eines Kamerasensors des mobilen Geräts umfassen.Device (16) according to one of the preceding claims, wherein the orientation sensor data comprise position sensor data which are received from an acceleration, yaw rate and/or magnetic field sensor of the mobile device (10); and/or image data of a camera sensor of the mobile device. Mobiles Gerät (10) zum Interagieren mit einem intelligenten Objekt (14) in einer Umgebung des mobilen Geräts, mit: einem Umgebungssensor (18) zum Erfassen einer Relativposition des intelligenten Objekts; einem Ausrichtungssensor (20) zum Erfassen einer Ausrichtung des mobilen Geräts; und einer Vorrichtung (16) nach einem der vorstehenden Ansprüche.Mobile device (10) for interacting with a smart object (14) in an environment of the mobile device, comprising: an environment sensor (18) for detecting a relative position of the intelligent object; an orientation sensor (20) for detecting an orientation of the mobile device; and a device (16) according to any one of the preceding claims. Verfahren zum Interagieren mit einem intelligenten Objekt (14) in einer Umgebung eines mobilen Geräts (10), mit: Empfangen (S10) von Umgebungssensordaten und Ausrichtungssensordaten, wobei die Umgebungssensordaten Informationen zu einer Relativposition des intelligenten Objektes in Bezug zu dem mobilen Gerät umfassen und die Ausrichtungssensordaten Informationen zu einer Ausrichtung des mobilen Geräts in Bezug zu der Umgebung umfassen; Detektieren (S12), ob das mobile Gerät auf das intelligente Objekt (14) ausgerichtet ist, basierend auf den Umgebungssensordaten und den Ausrichtungssensordaten; Herstellen (S14) einer Kommunikationsverbindung mit dem intelligenten Objekt, wenn das mobile Gerät auf das intelligente Objekt ausgerichtet; und Informieren (S16) eines Benutzers des mobilen Geräts, wenn die Kommunikationsverbindung hergestellt wurde.A method of interacting with a smart object (14) in a mobile device (10) environment, comprising: receiving (S10) environment sensor data and orientation sensor data, the environment sensor data comprising information on a relative position of the intelligent object in relation to the mobile device and the orientation sensor data comprising information on an orientation of the mobile device in relation to the environment; detecting (S12) whether the mobile device is facing the smart object (14) based on the environmental sensor data and the facing sensor data; Establishing (S14) a communication link with the smart object when the mobile device points at the smart object; and informing (S16) a user of the mobile device when the communication link has been established. Computerprogrammprodukt mit Programmcode zum Ausführen der Schritte des Verfahrens nach Anspruch 14, wenn der Programmcode auf einem Computer ausgeführt wird.Computer program product with program code for carrying out the steps of the method Claim 14 , if the program code is run on a computer.
DE102021120315.5A 2021-08-04 2021-08-04 Interacting with smart objects around mobile devices Pending DE102021120315A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102021120315.5A DE102021120315A1 (en) 2021-08-04 2021-08-04 Interacting with smart objects around mobile devices
PCT/EP2022/071813 WO2023012215A1 (en) 2021-08-04 2022-08-03 Integration with intelligent objects in the surroundings of mobile devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021120315.5A DE102021120315A1 (en) 2021-08-04 2021-08-04 Interacting with smart objects around mobile devices

Publications (1)

Publication Number Publication Date
DE102021120315A1 true DE102021120315A1 (en) 2023-02-09

Family

ID=83115611

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021120315.5A Pending DE102021120315A1 (en) 2021-08-04 2021-08-04 Interacting with smart objects around mobile devices

Country Status (2)

Country Link
DE (1) DE102021120315A1 (en)
WO (1) WO2023012215A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200073482A1 (en) 2017-03-21 2020-03-05 Pcms Holdings, Inc. Method and system for the detection and augmentation of tactile interactions in augmented reality

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10447841B2 (en) * 2017-06-05 2019-10-15 Bose Corporation Wireless pairing and control using spatial location and indication to aid pairing
KR20210136043A (en) * 2019-02-18 2021-11-16 에이알케이에이치 리쏘 홀딩스, 엘엘씨 Interacting with smart devices using pointing controllers

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200073482A1 (en) 2017-03-21 2020-03-05 Pcms Holdings, Inc. Method and system for the detection and augmentation of tactile interactions in augmented reality

Also Published As

Publication number Publication date
WO2023012215A1 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
EP2350799B1 (en) Method and device for displaying information sorted into lists
DE102015017082B3 (en) Somatosensory reporting alarms
DE202016001024U1 (en) Navigation user interface
EP1853465B1 (en) Method and device for voice controlling a device or system in a motor vehicle
DE202017007452U1 (en) Identification of a virtual assistant from nearby computing devices
DE102014114711B4 (en) Information processing method and first electronic device
DE202016001513U1 (en) Device and user interface for processing an intensity of touch contacts
DE112012004785T5 (en) Feature recognition for configuring a vehicle console and associated devices
DE112018004395T5 (en) VIRTUAL ACCESS TO AN ACCESS-LIMITED OBJECT
CN102393808A (en) Camera applications in a handheld device
DE102005061211A1 (en) Man-machine-user interface e.g. mobile telephone, generating method for e.g. controlling industrial robot, involves providing virtual monitoring and/or controlling multi-media object-unit to user for monitoring and/or controlling device
DE202009019125U1 (en) Motion-controlled views on mobile computing devices
DE112019006699T5 (en) CONTROLLING REMOTE DEVICES USING USER INTERFACE TEMPLATES
US10908779B2 (en) Selective display of chat room contents
CN103135916A (en) Intelligent graphical interface in handheld wireless device
WO2015062634A1 (en) Device and method for adapting the content of a status bar
DE202017105761U1 (en) Automatic step control of driver interaction with content
DE112015005511T5 (en) MULTI-USE START FINISH
DE102012009429A1 (en) Method for remote configuration of electric car, involves displaying visually perceptible connection between two graphic elements of two display modes, where one of modes corresponds to actual control arrangement in vehicle
EP3562730B1 (en) Method for automated parking a vehicle
DE102017204976B4 (en) Operating system for controlling at least one operable device, vehicle with an operating system and method for operating an operating system
DE102021120315A1 (en) Interacting with smart objects around mobile devices
EP3802191B1 (en) Method and system for operating an automatic drive function in a vehicle
DE102016212819A1 (en) A method for providing an access device to a personal data source
EP3074265B1 (en) System-wide search in driver information systems

Legal Events

Date Code Title Description
R012 Request for examination validly filed