EP4381719A1 - Interagieren mit intelligenten objekten in der umgebung mobiler geräte - Google Patents

Interagieren mit intelligenten objekten in der umgebung mobiler geräte

Info

Publication number
EP4381719A1
EP4381719A1 EP22761141.5A EP22761141A EP4381719A1 EP 4381719 A1 EP4381719 A1 EP 4381719A1 EP 22761141 A EP22761141 A EP 22761141A EP 4381719 A1 EP4381719 A1 EP 4381719A1
Authority
EP
European Patent Office
Prior art keywords
mobile device
sensor data
intelligent object
user
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22761141.5A
Other languages
English (en)
French (fr)
Inventor
Klaus David
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universitaet Kassel
Original Assignee
Universitaet Kassel
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universitaet Kassel filed Critical Universitaet Kassel
Publication of EP4381719A1 publication Critical patent/EP4381719A1/de
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/1396—Protocols specially adapted for monitoring users' activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information

Definitions

  • the environmental sensor data may include image data from a camera sensor. It is then also conceivable, for example, to use augmented reality approaches in order to superimpose the intelligent objects virtually in the image data.
  • the alignment sensor data includes position sensor data that is received from an acceleration sensor, yaw rate sensor, and/or magnetic field sensor of the mobile device.
  • the orientation sensor data includes image data from a camera sensor of the mobile device.
  • the orientation it is possible for the orientation to be determined based on position sensor data from an inertial sensor. This usually enables a reliable and efficiently calculable position estimate.
  • Interaction of a device or a mobile device with an intelligent object is understood here to mean, in particular, an exchange of information.
  • information can be received from the intelligent object and/or information can be transmitted to the intelligent object.
  • an interaction is understood to mean triggering an action on the mobile device and/or on the intelligent object by the respective communication partner.
  • a display can be effected and/or haptic, tactile, acoustic or visual feedback can be output.
  • the surroundings of a mobile device or of a user of a mobile device are understood to be their surroundings.
  • a radius can be variable.
  • FIG. 1 shows a schematic representation of a mobile device according to the invention in interaction with an intelligent object in the vicinity of the mobile device;
  • Figure 2 is a schematic representation of an inventive
  • FIGS. 3 and 4 show a schematic representation of the establishment of a communication connection with an intelligent object and the control of the intelligent object;
  • FIG. 5 shows a schematic representation of a gesture recognition based on a mobile device according to the invention.
  • FIG. 6 shows a schematic representation of a device according to the invention
  • a mobile device 10 according to the invention for interacting with an intelligent object 14 in the environment of the mobile device 10 is shown schematically in FIG.
  • the representation is to be understood as a schematic plan view. It is shown that a user 12 is holding a mobile device 10, for example a smartphone or a tablet, in his hand. According to the invention, it is provided that a communication connection is established between the mobile device 10 and the intelligent object 14 when the mobile device 10 is aligned with the intelligent object 14 .
  • Shown in FIG. 1 is a field of view 22 of the mobile device 10, which visualizes an area in which, for an intelligent object 14 located therein, it is assumed that the mobile device 10 is aligned with it.
  • the left-hand side in FIG. 1 shows that mobile device 10 is not aligned with intelligent object 14 .
  • the right-hand side shows that the user 12 has turned together with the mobile device 10 until the mobile device 10 is aligned with the intelligent object 14 .
  • a communication link is established between the mobile device 10 and the intelligent object 14 and the user 12 is informed of this, for example by the mobile device 10 vibrating.
  • Intelligent objects 14 in smart cities can be made easier to use.
  • a traffic light request for pedestrians can be implemented, for example.
  • the user 12 of the mobile device 10 directs the mobile device 10 towards the traffic light.
  • a communication link is established and the user 12 is notified that the communication link has been established.
  • the user can then request a green phase, for example.
  • the application in a smart city described above is to be understood as an example. Also could offer a use of the approach in buildings to z. B. in a private apartment with kitchen appliances or other intelligent objects (artefacts) or in public areas (train station, office, etc.) to interact with intelligent objects.
  • the mobile device 10 in the exemplary embodiment shown comprises a device 16 for interacting with the intelligent object 14, an environment sensor 18 for detecting a relative position of the intelligent object, and an orientation sensor 20 for detecting an orientation of the mobile device 10.
  • the environment sensor 18 can in particular include a position sensor of a satellite navigation system. For example, a current absolute position of the mobile device 10 can be determined, which is then compared with positions of mobile intelligent objects 14 based on a database query in order to determine their relative positions (relative to the user's or mobile device's own position) based thereon.
  • the orientation sensor 20 can include, for example, an inertial sensor (acceleration and/or yaw rate sensor) and/or a magnetic field sensor.
  • a position (for example in the form of an indication of the Euler angle) can be detected by such a sensor. In particular, this location can then be used in conjunction with the relative position to determine the alignment of the mobile device in relation to the intelligent object 14.
  • the device 16 according to the invention is shown schematically in FIG.
  • the device 16 includes an input interface 24, a Alignment unit 26, a communication unit 28 and a user interface 30.
  • the device 16 also includes a gesture unit 32.
  • the various interfaces and units can be implemented in hardware and/or software and can be designed individually or in combination. In particular, it is possible for the device 16 to correspond, so to speak, to a smartphone or another device with a corresponding app.
  • the environmental sensor data and the orientation sensor data are received via the input interface 24 .
  • the input interface 24 can be connected to corresponding sensors of the mobile device for this purpose.
  • the input interface 24 it is also possible for the input interface 24 to receive the information from remotely located sensors, for example via a short-range, low-energy radio link.
  • the device it is possible for the device to be integrated into intelligent glasses (smart glasses) and for data to be received from a position sensor of a smartphone via the input interface 24 via Bluetooth.
  • the alignment unit 26 detects whether the mobile device is aligned with the intelligent object. For this purpose, the environmental sensor data and the alignment sensor data are processed. In this case, the data can be pre-processed and/or further data can be accessed. In particular, it is advantageous if a machine learning approach is used in the alignment unit 26 in order to detect whether the mobile device is aligned with the intelligent object. In particular, a pre-trained artificial neural network can be used that was trained based on corresponding training data at a previous point in time.
  • a predefined pointing direction of the mobile device can be used to detect whether the mobile device is aimed at the intelligent object.
  • This predefined pointing direction can in particular correspond to a direction specified for the mobile device, for which a deviation can then optionally be specified.
  • the communication unit 28 is designed to communicate with the intelligent object.
  • a low-power, short-distance communication link can be established with the intelligent object.
  • a Bluetooth Low Energy (BLE) communication chip can be used, which is controlled in a corresponding manner via the communication unit 28 .
  • BLE Bluetooth Low Energy
  • the communication unit 28 it is also possible for the communication unit 28 to be designed to communicate via the internet, ie via a corresponding internet server and a mobile data connection. It goes without saying that the intelligent object itself is also capable of communication and to this extent can be addressed/reachable.
  • the user interface 30 is for informing the user of the mobile device when the communication link has been established.
  • a display or another actuator of a mobile device can be controlled for this purpose.
  • This locking can be made detectable based on a vibration function or a vibration actuator of the mobile device 10 .
  • a visual output can take place, for example, by marking a traffic light on a visualization of a map representation on the display of the mobile device 10 .
  • a signal tone can be emitted.
  • the user 12 is thus shown with haptic, acoustic and/or visual feedback that the smartphone is locked and that an action in the sense of an interaction with the intelligent object 14 can take place. For example, a green phase of the traffic light can then be requested by gesture control or by pressing a button on a touch screen.
  • the user can also make a preselection via the user interface 30 with regard to the intelligent objects to be displayed Will be received. For example, the user can select or define categories of intelligent objects of interest in order to be able to interact with the environment in a more targeted manner and to find the intelligent objects or functionalities relevant to him.
  • the gesture unit 32 is for recognizing a gesture performed by a user of the mobile device. To do this, the alignment sensor data is processed. In particular, a gesture that the user of the mobile device performs with the mobile device can be recognized. For example, the user can nod, in the case of smart glasses, or perform a swipe or other movement with a smartphone or tablet.
  • the detection can then be used on the one hand as an additional prerequisite for establishing the communication link.
  • it may also be necessary to first perform an activation gesture in order to avoid unintentional connection establishments.
  • a control gesture it is possible for a control gesture to be recognized by means of the gesture unit 32 .
  • the user of the mobile device can remotely control an intelligent object using gesture control after the communication connection has been established.
  • FIGS. 3 and 4 one possibility of establishing a communication link with an intelligent object and of controlling the intelligent object is shown schematically.
  • a view of a display 34 of a smartphone or tablet or other mobile device is shown before (FIG. 3) and after (FIG. 4) the establishment of the communication connection.
  • Relative positions R1, R2, R3 of three intelligent objects in the area surrounding the mobile device are visualized at position M on a map of an area surrounding the mobile device. For example, thumbnails of the smart objects can be displayed.
  • the map display is centered on the position M of the mobile device.
  • the alignment of the mobile device is also visualized since the representation moves with the rotation of the mobile device. The user can therefore rotate in relation to the intelligent objects, with the map display also rotating like a compass and the wind rose, thus visualizing the orientation.
  • a communication link is established with it. This may require a minimum time (for example 2 seconds) for which the mobile device must be aligned with the intelligent object.
  • Whether the mobile device is aligned with the intelligent object can be determined based on a pointing direction of the mobile device, for example.
  • This pointing direction corresponds to a parameter set for the mobile device.
  • This pointing direction can correspond to a longitudinal axis of the mobile device, for example.
  • the field of view of a mobile device can be defined, for example, based on an indication of a maximum deviation from this pointing direction, for example 5°.
  • the user in FIG. 4 aligns the mobile device with the intelligent object at position R2, so that a communication connection can then be established with it.
  • the mobile device vibrates to indicate to the user that the connection has been established.
  • interaction with the intelligent object can take place using a button 36 that is displayed for this purpose (FIG. 4).
  • the map view rotates like a compass rose so that the top of the mobile device display 34 shows the direction in which the mobile device is being held.
  • This direction can be specified, for example, by specifying a number of degrees. In the example shown, the direction is at 70 degrees ( Figure 3). If the mobile device is then rotated, for example to 115 degrees ( Figure 4), a Pedestrian traffic light as an intelligent object in front of him. As soon as the mobile device is aligned with the traffic light, the snapping process described above takes place and the traffic light is marked. The smartphone vibrates, there is a beep and the image of a request button appears in the form of button 36. This shows the user with haptic, acoustic and visual feedback that the mobile device is locked and that an action or interaction with the intelligent object can be carried out.
  • a green phase can be requested with a slight backward movement of the mobile device.
  • the mobile device is intended to be held approximately level until it points to a smart object. It can also be possible here for the mobile device to be rotated through 90 degrees, so that the real environment can then be shown on the display 34 by means of a camera arranged on the back of the mobile device. The pointing direction would then correspond to a direction perpendicular to the display 34. It is possible for the communication connection to be established by locking in the form of an augmented reality display. For example, the snapped smart object can be highlighted.
  • a gesture control provided according to the invention is shown schematically in FIG.
  • the gesture control can be used in connection with other applications.
  • a corresponding gesture control can be made available in a general smart city application for a city with networked buses, trams, museums and other information.
  • the user 12 holds a mobile device 10 (in particular a smartphone or a tablet) in his hand and uses it to perform a movement.
  • a mobile device 10 in particular a smartphone or a tablet
  • an activation gesture must first be recognized.
  • this can correspond to the swipe movement that is made.
  • the activation gesture can represent the prerequisite for establishing a communication connection.
  • a control gesture may be recognized to interact with the smart object. For example, a green phase can be requested at a traffic light or a timetable can be requested from an intelligent tram stop.
  • gesture control mode It can be advantageous to first initiate a type of gesture control mode in order to then be able to carry out gesture recognition. It can also be advantageous if provision is made for a return from gesture control to a classic operation, for example by touching a touchscreen. This can reduce the risk of detecting an unintentional gesture.
  • a relevant question in this context is how the user can arrive at the use of gesture control or initiate this gesture control mode.
  • One possibility for this can be activating a corresponding selection point on a touchscreen of the mobile device. A corresponding button is thus pressed, which puts the mobile device into a gesture control or recognition mode.
  • the gesture control mode can be activated by a typical gesture (e.g., a right turn, like unlocking a lock with a key, or a click gesture, or an individually learned and individual gesture).
  • a typical gesture e.g., a right turn, like unlocking a lock with a key, or a click gesture, or an individually learned and individual gesture.
  • reaching gesture control mode is through a kind of snapping of the mobile device is implemented by means of a vibration actuator etc. or in some other way.
  • the gesture control mode is activated, the user's gestures are recognized and he can use this to interact with the intelligent object, for example. In a similar way, switching back from gesture control to classic operation can also take place.
  • a method for interacting with an intelligent object in an environment of a mobile device is shown schematically in FIG.
  • the method includes steps of receiving S10 environmental sensor data and orientation sensor data, detecting S12 whether the mobile device is aligned with the intelligent object, establishing S14 a communication link with the intelligent object, and notifying S16 a user of the mobile device when the communication link is established became.
  • the method can be implemented, for example, as a smartphone app or as a tablet app and made available via a corresponding app store.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die vorliegende Erfindung betrifft eine Vorrichtung (16) zum Interagieren mit einem intelligenten Objekt (14) in einer Umgebung eines mobilen Geräts (10), mit: einer Eingangsschnittstelle (24) zum Empfangen von Umgebungssensordaten und Ausrichtungssensordaten, wobei die Umgebungssensordaten Informationen zu einer Relativposition des intelligenten Objektes in Bezug zu dem mobilen Gerät umfassen und die Ausrichtungssensordaten Informationen zu einer Ausrichtung des mobilen Geräts in Bezug zu der Umgebung umfassen; einer Ausrichtungseinheit (26) zum Detektieren, ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist, basierend auf den Umgebungssensordaten und den Ausrichtungssensordaten; einer Kommunikationseinheit (28) zum Herstellen einer Kommunikationsverbindung mit dem intelligenten Objekt, wenn das mobile Gerät auf das intelligente Objekt ausgerichtet; und einer Benutzerschnittstelle (30) zum Informieren eines Benutzers des mobilen Geräts, wenn die Kommunikationsverbindung hergestellt wurde. Die vorliegende Erfindung betrifft weiterhin ein mobiles Gerät (19) und ein Verfahren.

Description

Universität Kassel
Interagieren mit intelligenten Objekten in der Umgebung mobiler Geräte
Die vorliegende Erfindung betrifft eine Vorrichtung zum Interagieren mit einem intelligenten Objekt in einer Umgebung eines mobilen Geräts. Die vorliegende Erfindung betrifft weiterhin ein mobiles Gerät sowie ein Verfahren zum Interagieren mit einem intelligenten Objekt in einer Umgebung des mobilen Geräts sowie ein Computerprogrammprodukt.
Städte stehen aktuell vor der Herausforderung, bei der Stadtentwicklung die Digitalisierung der Gesellschaft miteinzubeziehen, um die Stadt effizient und technologisch fortschrittlich zu gestalten. Unter dem Stichwort "Smart City" werden in diesem Zusammenhang Ansätze zum Anwenden der fortschreitenden Digitalisierung in Städten und Gemeinden zusammengefasst. Insbesondere soll die Aus- und Aufrüstung bestehender und neuer Infrastrukturen mit digitaler Technologie sowie die Verknüpfung bisher getrennter Infrastrukturen oder ihrer Teilsysteme vorangetrieben werden.
Insbesondere Smartphones, aber auch Tablet Computer, Smartglasses, Smartwatches sowie andere mobile Geräte sind omnipräsent und bieten weitreichende Möglichkeiten zur Verwendung in einer Smart City. Anwendungen finden sich dabei unteranderem im Bereich des Transports, beispielsweise beim Anzeigen aktueller Fahrpläne öffentlicher Verkehrsmittel, der Information, beispielsweise beim Leiten und Informieren von Touristen sowie des Umweltschutzes, oder auch des Umweltschutzes, beispielsweise bei der Aufzeichnung und gezielten Vermeidung lokaler Schadstoffbelastungen.
In diesem Zusammenhang wird der Begriff des "Internet of things and services" oft dahingehend interpretiert, dass in intelligenten Objekten innerhalb einer Smart City Sensoren eingebettet sind, die Daten sammeln und diese für Anwendungen zur Verfügung stellen. Unter einem intelligenten Objekt wird dabei insbesondere ein in irgendeiner Weise kommunikationsfähiges Objekt verstanden, mit dem eine Interaktion im Sinne einer Reaktion des intelligenten Objekts auf Eingaben, Signale oder Abfragen möglich ist. Intelligente Objekte können beispielsweise Fahrplananzeigen an Straßenbahnhaltestellen, Ampeln, Straßenleuchten, Bewässerungseinrichtungen, Litfaßsäulen, Informationstafeln, Sensoren, Stolpersteine, Restaurants (Menükarte, Reservierung) etc. sein.
In diesem Zusammenhang wird in US 2020 073 482 A1 ein Verfahren und ein System zur Erkennung von taktilen Interaktionen in der erweiterten Realität offenbart. Programmaktionen können nach einer Detektion einer vordefinierten Geste eines Benutzers mit einem Objekt der realen Welt initiiert werden. Benutzer können mit ihrer Umgebung in einer erweiterten Realität (augmented reality) interagieren durch eine Detektion einer Interaktion mit realen Objekten unter Verwendung einer Kombination einer Orts- und Bewegungsdetektion mit einer Identifikation unter Verwendung tragbarer Sensoren (wearable sensors). Basierend auf einer detektierten Benutzerinteraktion mit einem Objekt der realen Welt kann eine vordefinierte Geste identifiziert werden und eine Programmaktion, die mit einer entsprechenden Zielinteraktion mit dem Objekt der realen Welt zusammenhängt, ausgeführt werden. In einigen Fällen kann die Erfahrung des Benutzers durch Bereitstellung einer haptischen Rückkopplung auf eine taktile Geste und ein Ereignis verbessert werden.
Eine Herausforderung liegt in diesem Zusammenhang in der Vereinfachung der Interaktion von Stadtbewohnern bzw. von Benutzern mobiler Geräte mit intelligenten Objekten. Beispielsweise haben ältere Menschen oft Schwierigkeiten, moderne Technologien einzusetzen und deren Benutzerschnittstellen intuitiv zu erfassen. Ansätze zur Integration der Digitalisierung in das tägliche Leben in einer Smart City oder in anderen Zusammenhängen sind hinsichtlich ihres Nutzens immer nur so gut wie ihre Schnittstelle bzw. ihre Interaktionsmöglichkeit mit Anwendern.
Ausgehend hiervon stellt sich der vorliegenden Erfindung die Aufgabe, eine Interaktion mit intelligenten Objekten zu ermöglichen bzw. zu vereinfachen. Insbesondere soll ein Ansatz geschaffen werden, der eine intuitiv erfassbare Interaktion ermöglicht. Unabhängig von der Art des intelligenten Objekts und der bereitgestellten Interaktionsmöglichkeit soll eine einfache und leicht bedienbare Interaktionsmöglichkeit geschaffen werden.
Zum Lösen dieser Aufgabe betrifft die vorliegende Erfindung in einem ersten Aspekt eine Vorrichtung zum Interagieren mit einem intelligenten Objekt in einer Umgebung eines mobilen Geräts, mit: einer Eingangsschnittstelle zum Empfangen von Umgebungssensordaten und Ausrichtungssensordaten, wobei die Umgebungssensordaten Informationen zu einer Relativposition des intelligenten Objektes in Bezug zu dem mobilen Gerät umfassen und die Ausrichtungssensordaten Informationen zu einer Ausrichtung des mobilen Geräts in Bezug zu der Umgebung umfassen; einer Ausrichtungseinheit zum Detektieren, ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist, basierend auf den Umgebungssensordaten und den Ausrichtungssensordaten; einer Kommunikationseinheit zum Herstellen einer Kommunikationsverbindung mit dem intelligenten Objekt, wenn das mobile Gerät auf das intelligente Objekt ausgerichtet; und einer Benutzerschnittstelle zum Informieren eines Benutzers des mobilen Geräts, wenn die Kommunikationsverbindung hergestellt wurde. In einem weiteren Aspekt betrifft die vorliegende Erfindung em mobiles Gerat zum Interagieren mit einem intelligenten Objekt in einer Umgebung des mobilen Geräts, mit: einem Umgebungssensor zum Erfassen einer Relativposition des intelligenten Objekts; einem Ausrichtungssensor zum Erfassen einer Ausrichtung des mobilen Geräts; und einer Vorrichtung wie oben beschrieben.
Weitere Aspekte der Erfindung betreffen ein entsprechend der Vorrichtung ausgebildetes Verfahren und ein Computerprogrammprodukt mit Programmcode zum Durchführen der Schritte des Verfahrens, wenn der Programmcode auf einem Computer ausgeführt wird. Zudem betrifft ein Aspekt der Erfindung ein Speichermedium, auf dem ein Computerprogramm gespeichert ist. Das Computerprogramm bewirkt, wenn es auf einem Computer ausgeführt wird, eine Ausführung des hierin beschriebenen Verfahrens.
Bevorzugte Ausgestaltungen der Erfindung werden in den abhängigen Ansprüchen beschrieben. Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen. Insbesondere können das Verfahren, das mobile Gerät und das Computerprogrammprodukt entsprechend der für die Vorrichtung in den abhängigen Ansprüchen beschriebenen Ausgestaltungen ausgeführt sein.
Erfindungsgemäß ist es vorgesehen, dass in der Vorrichtung einerseits Umgebungssensordaten und andererseits Ausrichtungssensordaten verarbeitet werden. Von einem Umgebungssensor werden Informationen zu einer Relativposition des intelligenten Objekts in Bezug zu dem mobilen Gerät umfasst. Es soll festgestellt werden, wo sich das intelligente Objekt befindet. Hierzu wird insbesondere eine absolute oder relative Positionsangabe des intelligenten Objekts empfangen. Von einem Ausrichtungssensor wird eine Information darüber empfangen, wie das mobile Gerät gegenüber der Umgebung ausgerichtet ist. Insbesondere wird also eine relative Lage des mobilen Geräts in Bezug zu der Umgebung empfangen.
Ausgehend von den Umgebungssensordaten und Ausrichtungssensordaten kann detektiert werden, ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist. Insbesondere kann ermittelt werden, ob eine für das mobile Gerät vordefinierte Richtung derjenigen Richtung entspricht, in der sich das mobile Objekt befindet. Die für das mobile Geräte vordefinierte Richtung kann beispielsweise einer Richtung orthogonal zu einem Hauptdisplay des mobilen Geräts oder auch eine Richtung entlang einer Längsachse des mobilen Geräts entsprechen, je nach mobilem Gerät bzw. dessen Ausrichtung. Die für das mobile Gerät vordefinierte Richtung kann in anderen Worten also gegebenenfalls auch basierend auf der Ausrichtung des mobilen Geräts angepasst bzw. geändert werden.
Wenn festgestellt wird, dass das mobile Gerät auf das intelligente Objekt ausgerichtet wird, wird mittels einer Kommunikationseinheit eine Kommunikationsverbindung mit dem intelligenten Objekt hergestellt. Insbesondere wird eine Möglichkeit etabliert, mit dem intelligenten Objekt zu interagieren. Sobald diese Möglichkeit etabliert wurde und die Kommunikationsverbindung hergestellt wurde, wird über eine Benutzerschnittstelle der Vorrichtung bzw. eine entsprechende Ausgabeeinheit des mobilen Geräts der Benutzer des mobilen Geräts hierüber informiert. Der Benutzer kann dann mit dem intelligenten Objekt in seiner Umgebung in Interaktion treten.
Im Vergleich zu bisherigen Ansätzen des Herstellens einer Verbindung mit intelligenten Objekten, beispielsweise in einem Smart City-Umfeld, bewirkt die erfindungsgemäß vorgesehene Erkennung der Ausrichtung und Herstellung einer Kommunikationsverbindung in Abhängigkeit einer Ausrichtung eine Vereinfachung. In anderen Worten wird die Initiierung der Kommunikation intuitiver und passt automatisch zum aktuellen Kontext des Nutzers. Im Vergleich zu Ansätzen, bei denen ein Tastendruck oder eine Bedienung eines Touch-Displays notwendig ist, kann beispielsweise auf eine direkte Eingabe des Benutzers verzichtet werden. Für den Benutzer ergibt sich eine intuitive Interaktionsmöglichkeit mit intelligenten Objekten. Der Benutzer kann ohne komplexe Konfiguration direkt mit den intelligenten Objekten interagieren. Hierdurch wird eine Vereinfachung der Interaktion zwischen Benutzern und intelligenten Objekten erreicht, die zu einer verbesserten Annahme von Smart City-Konzepten führen kann.
In einer bevorzugten Ausgestaltung umfasst die Vorrichtung eine Gesteneinheit zum Erkennen einer Geste, die von einem Benutzer des mobilen Geräts ausgeführt wird, basierend auf den Ausrichtungssensordaten. Die Gesteneinheit ist vorzugsweise zum Erkennen der Geste basierend auf einem Ansatz des maschinellen Lernens, insbesondere basierend auf einem vortrainierten künstlichen neuronalen Netzwerk, ausgebildet. Unter einer Geste wird insbesondere eine Bewegung des mobilen Geräts verstanden, die von dem Benutzer mit dem mobilen Gerät ausgeführt wird. Beispielsweise kann ein Benutzer sein Smartphone schwenken und diese Bewegung kann mittels eines Sensors erfasst werden. Diese Geste kann dann erkannt werden. Insbesondere ist es möglich, dass ein vortrainiertes künstliches neuronales Netzwerk oder ein anderer Ansatz des maschinellen Lernens verwendet wird, um die Geste zuverlässig und schnell zu erkennen. Für die Erkennung kann auch auf eine Datenbank zurückgegriffen werden.
In einer bevorzugten Ausgestaltung ist die Kommunikationseinheit zum Herstellen der Kommunikationsverbindung ausgebildet, unter der Bedingung, dass zuvor eine Aktivierungsgeste erkannt wurde. Zusätzlich oder alternativ ist die Kommunikationseinheit zum Beenden der Kommunikationsverbindung ausgebildet, wenn die Kommunikationsverbindung hergestellt ist und eine Deaktivierungsgeste erkannt wird. In anderen Worten ist es möglich, dass die Herstellung und Beendigung der Kommunikationsverbindung zusätzlich zu der Detektion der Ausrichtung bzw. der Ausrichtung des mobilen Geräts auf das intelligente Objekt auch noch von einer Geste abhängig gemacht wird. Hierdurch kann erreicht werden, dass em Benutzer des mobilen Geräts eine Kommunikationsverbindung nur bewusst herstellt. Es wird vermieden, dass unabsichtlich mit intelligenten Objekten interagiert wird. Die Aktivierungs- und Deaktivierungsgesten können dabei beispielsweise Dreh- und/oder Wendebewegungen eines Smartphones entsprechen. Die Interaktionsmöglichkeit wird weiter vereinfacht und die Benutzung wird verbessert.
In einer bevorzugten Ausgestaltung ist die Kommunikationseinheit zum Übermitteln eines Steuerbefehls an das intelligente Objekt ausgebildet, wenn die Kommunikationsverbindung hergestellt ist und eine Steuerungsgeste erkannt wird. Es ist weiterhin möglich, dass die eigentliche Interaktion mit dem intelligenten Objekt basierend auf einer Gestenerkennung erfolgt. Eine Steuerungsgeste kann dabei eine Geste sein, durch die eine bestimmte Aktion oder Reaktion des intelligenten Objekts herbeigeführt wird. Beispielsweise kann durch eine Wischbewegung eine weitere Information von dem intelligenten Objekt angefordert werden oder auch eine Anzeige des intelligenten Objekts auf einem Display des intelligenten Objekts verändert werden. Durch die Verwendung einer Gestenerkennung und einer Detektion einer Steuerungsgeste wird eine intuitive und einfach zu verwendende Interaktionsmöglichkeit bereitgestellt. Für Benutzer der erfindungsgemäßen Vorrichtung wird es möglich, in intuitiver Weise mit intelligenten Objekten in Verbindung zu treten.
In einer bevorzugten Ausgestaltung ist die Kommunikationseinheit zum Empfangen von Interaktionsdaten mit Informationen zu Interaktionsmöglichkeiten des Benutzers mit dem intelligenten Objekt ausgebildet. Die Benutzerschnittstelle ist zum Informieren des Benutzers über die Interaktionsmöglichkeiten basierend auf den empfangenen Interaktionsdaten ausgebildet, vorzugsweise mittels eine Anzeige auf einem Display. Vorteilhafterweise werden zunächst verschiedene Optionen zum Interagieren mit dem intelligenten Objekt empfangen (Interaktionsmöglichkeiten). Der Benutzer wird dann über die Interaktionsmöglichkeiten informiert und kann die gewünschte Interaktion beginnen. Beispielsweise können verfügbare Informationen angezeigt werden, sodass der Benutzer des mobilen Geräts entscheiden kann, welche Informationen er benötigt und abfragen mochte. Ebenfalls ist es möglich, dass Steuerungsoptionen angezeigt werden zusammen mit den entsprechenden Benutzereingaben, sodass der Benutzer in die Lage versetzt wird, mit dem intelligenten Objekt zu interagieren und eine entsprechende Steuerung vorzunehmen. Die Interaktionsmöglichkeit wird insoweit weiter verbessert und vereinfacht.
In einer bevorzugten Ausgestaltung ist die Benutzerschnittstelle zum Ausgeben eines akustischen, optischen und/oder haptischen Signals ausgebildet, insbesondere eines haptischen Vibrationssignals mittels eine Vibrationsaktors des mobilen Geräts. Die Benutzerschnittstelle kann das Herstellen der Kommunikationsverbindung durch ein entsprechendes Signal an den Benutzer bekanntgeben. Besonders vorteilhaft und intuitiv ist dabei die Verwendung eines Vibrationsaktors des mobilen Geräts. Das mobile Gerät kann also in anderen Worten eine Art Einrasten anzeigen bzw. für den Nutzer erfahrbar machen, wenn die Kommunikationsverbindung hergestellt wurde. Die Bedienung wird weiter vereinfacht und für den Benutzer intuitiv gestaltet.
In einer bevorzugten Ausgestaltung ist die Benutzerschnittstelle zum Visualisieren der Relativposition des intelligenten Objekts und der Ausrichtung des mobilen Geräts basierend auf den Umgebungssensordaten und den Ausrichtungssensordaten ausgebildet, insbesondere durch eine Anzeige einer Position des intelligenten Objekts auf einer auf eine Position des Benutzers zentrierten und basierend auf der Ausrichtung des mobilen Geräts ausgerichteten Karte der Umgebung. Für die Visualisierung kann insbesondere ein Display des mobilen Geräts verwendet werden. Es wird angezeigt, dass sich ein intelligentes Objekt in der Umgebung des Benutzers bzw. des mobilen Geräts befindet. Zudem wird angezeigt, wo, also an welcher Relativposition, sich dieses intelligente Objekt in Bezug zu der Position des Benutzers befindet. Dies ermöglicht dem Benutzer, eine Übersicht über verfügbare intelligente Objekte in seiner Umgebung zu erlangen und darauf basierend mit diesen in Interaktion zu treten. Es ergibt sich eine einfach und intuitiv zu bedienende Interaktionsmöglichkeit. In einer bevorzugten Ausgestaltung ist die Kommunikationseinheit zum Herstellen der Kommunikationsverbindung ausgebildet, wenn das mobile Gerät auf eine über einen vordefinierten Schwellenwert liegende Zeitdauer auf das intelligente Objekt ausgerichtet ist. Zur weiteren Vermeidung von unbeabsichtigt herbeigeführten Kommunikationsverbindungen kann vorgesehen sein, dass ein zeitlicher Schwellenwert überschritten sein muss, bevor die Kommunikationsverbindung hergestellt wird. Das mobile Gerät wird also für eine bestimmte Zeitdauer auf ein intelligentes Objekt ausgerichtet, wodurch der Benutzer anzeigt, dass eine Kommunikationsverbindung hergestellt werden soll. Fehlbedienungen werden vermieden und die Intuitivität wird weiter verbessert.
In einer bevorzugten Ausgestaltung ist die Kommunikationseinheit zum Herstellen der Kommunikationsverbindung mit dem intelligenten Objekt über eine direkte Kurzstrecken-Kommunikationsverbindung ausgebildet, insbesondere über Bluetooth Low Energy (BLE). Durch die direkte Kommunikation kann auf eine internetbasierte Kommunikation verzichtet werden. Insoweit kann auch eine Verwendung in eine Umgebung ohne mobile Datenverbindung in Erwägung gezogen werden. Eine Direktverbindung ist dabei zudem oft energiesparender und weist eine geringere Manipulationsanfälligkeit auf.
In einer bevorzugten Ausgestaltung ist die Ausrichtungseinheit zum Detektie- ren, ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist, ausgebildet. Diese Detektion kann basierend auf einem Ansatz des maschinellen Lernens, insbesondere basierend auf einem vortrainierten künstlichen neuronalen Netzwerk erfolgen. Zusätzlich oder alternativ kann diese Detektion basierend auf einer für ein mobiles Gerät vordefinierten Zeigerichtung ausgebildet sein. Die Zeigerichtung entspricht dabei der für das mobile Gerät vorgegebenen Richtung, die einer Art Geräteeigenschaft entspricht. Für ein Gerät ist also festgelegt, wie seine Zeigerichtung ist. Beispielsweise wird für ein Gerät festgelegt, dass eine Zeigerichtung orthogonal zu einem Display oder entlang einer Längsachse ist. Diese Zeigerichtung stellt die Basis dar, um festzustellen, ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist. Für die Detektion der Ausrichtung kann ein Ansatz des maschinellen Lernens verwendet werden, der eine zuverlässige und effizient berechenbare Ausführung ermöglicht. Zudem kann eine hohe Genauigkeit erreicht werden.
In einer bevorzugten Ausgestaltung umfassen die Umgebungsdaten Positionsangaben von intelligenten Objekten, die basierend auf einer aktuellen Position des mobilen Geräts ermittelt wurden, vorzugsweise durch eine Datenbankabfrage basierend auf einer von einem Satellitennavigationssensor des mobilen Geräts ermittelten Position. Zusätzlich oder alternativ umfassen die Umgebungssensordaten Bilddaten eines Kamerasensors des mobilen Geräts. Insbesondere ist es möglich, dass ein Satellitennavigationssystem verwendet wird, um die aktuelle Position des mobilen Geräts festzustellen (GPS, GALILEO, GLONASS, Beidou etc.). Diese Position kann dann auf einer Karte angezeigt werden, auf der ebenfalls die Positionen von intelligenten Objekten angezeigt werden. Die Positionen der intelligenten Objekte können beispielsweise basierend auf der eigenen Position aus einer Internet-Datenbank unter Berücksichtigung eines Radius um die eigene Position abgefragt werden. Der Benutzer kann sich dann orientieren und beispielsweise intelligente Objekte in der näheren Umgebung ansteuern, um mit diesen zu interagieren.
Ebenfalls ist es möglich, dass die Umgebungssensordaten Bilddaten eines Kamerasensors umfassen. Es ist dann beispielsweise zusätzlich denkbar, auch Ansätze der erweiterten Realität (augmented reality) einzusetzen, um die intelligenten Objekte virtuell in den Bilddaten einzublenden.
In einer bevorzugten Ausgestaltung umfassen die Ausrichtungssensordaten Lagesensordaten, die von einem Beschleunigungs-, Drehraten- und/oder Magnetfeldsensor des mobilen Geräts empfangen werden. Zusätzlich oder alternativ umfassen die Ausrichtungssensordaten Bilddaten eines Kamerasensors des mobilen Geräts. Insbesondere ist es möglich, dass die Ausrichtung basierend auf Lagesensordaten eines Inertialsensors festgestellt wird. Dies ermöglicht zumeist eine zuverlässige und effizient berechenbare Lageschätzung. Hierin wird unter einem Interagieren einer Vorrichtung bzw. eines mobilen Geräts mit einem intelligenten Objekt insbesondere ein Austausch von Informationen verstanden. Insbesondere können Informationen von dem intelligenten Objekt empfangen werden und/oder Informationen an das intelligente Objekt übermittelt werden. Zusätzlich ist es möglich, dass unter einer Interaktion ein Auslösen einer Aktion an dem mobilen Gerät und/oder an dem intelligenten Objekt durch den jeweiligen Kommunikationspartner verstanden wird. Beispielsweise kann eine Anzeige bewirkt und/oder ein haptisches, taktiles, akustisches oder optisches Feedback ausgegeben werden.
Unter einem Umfeld eines mobilen Geräts bzw. eines Benutzers eines mobilen Geräts wird dessen Umgebung verstanden. Beispielsweise kann ein Radius veränderbar vorgegeben sein.
Unter einem intelligenten Objekt wird insbesondere ein kommunikationsfähiges Artefakt verstanden. Insbesondere kann ein derartiges Artefakt in ein Infrastrukturobjekt bzw. in die Umgebung eingebettet sein. Ein intelligentes Objekt kann in anderen Worten insbesondere ein körperliches Objekt sein, dass über eine Kommunikationsmöglichkeit verfügt bzw. in das eine Kommunikationsmöglichkeit eingebettet ist. Insbesondere kann ein intelligentes Objekt ein körperliches Objekt der Infrastruktur. Beispielsweise stellen Ampeln, Straßenbahnhaltestellen, Sensoren in Grünanlagen, eingebettete Sensoren in einem historischen Gebäude intelligente Objekte dar. Bei einer Straßenbahnhaltestelle kann beispielsweise eine Anzeige aktueller Abfahrtszeiten erfolgen oder auch eine Anforderung eines Fahrplans durchgeführt werden. Es ist aber auch möglich, dass ein intelligentes Objekt lediglich virtuell existiert und insoweit als digitales Objekt (digitales Artefakt, digitaler Gegenstand) ausgebildet ist. Insoweit wird also an einer bestimmten Position ein digitales oder virtuelles intelligentes Objekt bereitgestellt, mit dem ein mobiles Gerät bzw. ein Benutzer eines mobilen Geräts in Interaktion treten kann. Es wird also eine Position mit einer Kommunikationsmöglichkeit verknüpft, wobei die Kommunikation dann beispielsweise mit einem Internetserver erfolgt. Beispielsweise kann ein digitales Objekt auch eine Verknüpfung einer Positionsangabe im Umfeld einer Straßenbahnhaltestelle mit bestimmten Anzeige- und Interaktionsmoghchkeiten sein. Beispielsweise kann an einem öffentlichen Platz ein digitales intelligentes Objekt in der Platzmitte vorgesehen sein, durch das Informationen zu einem Erbauer des Platzes oder einem historischen Hintergrund etc. erhalten werden können. Ebenfalls möglich ist, dass ein digitales intelligentes Objekt in Form eines digitalen Noteboards bzw. einer digitalen Pinnwand ausgebildet ist, sodass mittels eines mobilen Geräts eine (virtuelle) Notiz angebracht und geteilt bzw. auf eine solche reagiert werden kann.
Unter einer Interaktion mit einem intelligenten Objekt wird insbesondere ein Austausch von Informationen verstanden. Es ist beispielsweise möglich, dass ein Steuerungssignal übermittelt bzw. empfangen wird, um damit eine Aktion bzw. Reaktion des intelligenten Objekts und/oder des mobilen Geräts auszulösen. Ebenfalls möglich ist, dass ein Link bzw. ein Verweis zu einer downloadbaren App angezeigt wird, beispielsweise um einen Zugang zu weiteren Informationen und Steuerungsmöglichkeiten zu ermöglichen. Zudem ist ein Abrufen von aktuellen Informationen oder auch eine Übermittlung eines Anforderungssignals denkbar.
Die Erfindung wird nachfolgend anhand einiger ausgewählter Ausführungsbeispiele im Zusammenhang mit den beiliegenden Zeichnungen näher beschrieben und erläutert. Es zeigen:
Figur 1 eine schematische Darstellung eines erfindungsgemäßen mobilen Geräts in Interaktion mit einem intelligenten Objekt in der Umgebung des mobilen Geräts;
Figur 2 eine schematische Darstellung einer erfindungsgemäßen
Vorrichtung zum Interagieren mit einem intelligenten Objekt in einer Umgebung eines mobilen Geräts;
Figuren 3 und 4 eine schematische Darstellung des Herstellens einer Kommunikationsverbindung mit einem intelligenten Objekt und des Steuerns des intelligenten Objekts; Figur 5 eine schematische Darstellung einer Gestenerkennung basierend auf einem erfindungsgemäßen mobilen Gerät; und
Figur 6 eine schematische Darstellung eines erfindungsgemäßen
Verfahrens.
In der Figur 1 ist schematisch ein erfindungsgemäßes mobiles Gerät 10 zum Interagieren mit einem intelligenten Objekt 14 in der Umgebung des mobilen Geräts 10 dargestellt. Die Darstellung ist dabei als schematische Draufsicht zu verstehen. Dargestellt ist, dass ein Benutzer 12 ein mobiles Gerät 10, beispielsweise ein Smartphone oder ein Tablet, in seiner Hand hält. Erfindungsgemäß ist es vorgesehen, dass zwischen mobilem Gerät 10 und intelligentem Objekt 14 eine Kommunikationsverbindung hergestellt wird, wenn das mobile Gerät 10 auf das intelligente Objekt 14 ausgerichtet ist. Dargestellt in der Figur 1 ist ein Sichtfeld 22 des mobilen Geräts 10, das einen Bereich visualisiert, bei dem für ein darin liegendes intelligentes Objekt 14 angenommen wird, dass das mobile Gerät 10 auf dieses ausgerichtet ist.
Auf der linken Seite in der Figur 1 ist dargestellt, dass das mobile Gerät 10 nicht auf das intelligente Objekt 14 ausgerichtet ist. Auf der rechten Seite ist dargestellt, dass sich der Benutzer 12 mitsamt dem mobilen Gerät 10 gedreht hat, bis das mobile Gerät 10 auf das intelligente Objekt 14 ausgerichtet ist. Wenn der Benutzer 12 das mobile Gerät 10 auf das intelligente Objekt 14 ausgerichtet hat, wird eine Kommunikationsverbindung zwischen mobilem Gerät 10 und intelligentem Objekt 14 hergestellt und der Benutzer 12 darüber in Kenntnis gesetzt, beispielsweise durch ein Vibrieren des mobilen Geräts 10.
Durch das Herstellen einer Kommunikationsverbindung zwischen mobilem Gerät 10 und intelligentem Objekt 14 kann ein Zugang zu digitalen Diensten ermöglicht werden. Intelligente Objekte 14 in Smart Cities können beispielsweise einfacher nutzbar gemacht werden. Im dargestellten Beispiel kann beispielsweise eine Ampelanforderung für Fußgänger umgesetzt sein. Der Benutzer 12 des mobilen Geräts 10 richtet das mobile Gerät 10 auf die Ampel aus. Sobald das mobile Gerat 10 auf die Ampel ausgerichtet ist, wird eine Kommunikationsverbindung hergestellt und dem Benutzer 12 angezeigt, dass die Kommunikationsverbindung hergestellt wurde. Der Benutzer kann dann beispielsweise eine Grünphase anfordern. Die oben beschriebene Anwendung in einer Smart City ist dabei als Beispiel zu verstehen. Ebenfalls könnte sich eine Verwendung des erfindungsgemäßen Ansatzes in Gebäuden anbieten, um z. B. in einer privaten Wohnung mit Küchengeräten oder anderen intelligenten Objekte (Artefakten) oder in öffentlichen Bereichen (Bahnhof, Amt etc.) mit intelligenten Objekten zu interagieren.
Zum Bereitstellen dieser Funktion umfasst das mobile Gerät 10 im dargestellten Ausführungsbeispiel eine Vorrichtung 16 zum Interagieren mit dem intelligenten Objekt 14, einen Umgebungssensor 18 zum Erfassen einer Relativposition des intelligenten Objekts sowie einen Ausrichtungssensor 20 zum Erfassen einer Ausrichtung des mobilen Geräts 10.
Der Umgebungssensor 18 kann insbesondere einen Positionssensor eines Satellitennavigationssystems umfassen. Beispielsweise kann eine aktuelle Absolutposition des mobilen Geräts 10 ermittelt werden, die dann basierend auf einer Datenbankabfrage mit Positionen mobiler intelligenter Objekte 14 abgeglichen wird, um darauf basierend deren Relativpositionen (relativ zu einer eigenen Position des Benutzers bzw. des mobilen Geräts) zu ermitteln.
Der Ausrichtungssensor 20 kann beispielsweise einen Inertialsensor (Be- schleunigungs- und/oder Drehratensensor) und/oder einen Magnetfeldsensor umfassen. Durch einen derartigen Sensor kann eine Lage (beispielsweise in Form einer Angabe der Eulerwinkel) erfasst werden. Insbesondere kann diese Lage dann in Zusammenschau mit der Relativposition dazu verwendet werden, die Ausrichtung des mobilen Geräts in Bezug auf das intelligente Objekt 14 zu bestimmen.
In der Figur 2 ist schematisch die erfindungsgemäße Vorrichtung 16 dargestellt. Die Vorrichtung 16 umfasst eine Eingangsschnittstelle 24, eine Ausrichtungseinheit 26, eine Kommunikationseinheit 28 sowie eine Benutzerschnittstelle 30. Optional umfasst die Vorrichtung 16 zudem eine Gesteneinheit 32. Die verschiedenen Schnittstellen und Einheiten können dabei in Hard- und/oder in Software implementiert sein und einzeln oder auch in Kombination ausgeführt sein. Insbesondere ist es möglich, dass die Vorrichtung 16 insoweit sozusagen einem Smartphone oder einem anderen Gerät mit einer entsprechenden App entspricht.
Über die Eingangsschnittstelle 24 werden die Umgebungssensordaten und die Ausrichtungssensordaten empfangen. Insbesondere kann die Eingangsschnittstelle 24 dazu an entsprechende Sensoren des mobilen Geräts angebunden sein. Es ist aber auch möglich, dass die Eingangsschnittstelle 24 die Informationen von entfernt angeordneten Sensoren erhält, beispielsweise über eine Kurzstrecken-Niedrigenergie-Funkverbindung. Beispielsweise ist es möglich, dass die Vorrichtung in einer intelligenten Brille (Smartglasses) integriert ist und über die Eingangsschnittstelle 24 über Bluetooth Daten von einem Positionssensor eines Smartphones empfangen werden.
Mittels der Ausrichtungseinheit 26 wird detektiert, ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist. Hierzu werden die Umgebungssensordaten und die Ausrichtungssensordaten verarbeitet. Dabei kann eine Vorverarbeitung der Daten erfolgen und/oder auf weitere Daten zurückgegriffen werden. Insbesondere ist es vorteilhaft, wenn in der Ausrichtungseinheit 26 ein Ansatz des maschinellen Lernens verwendet wird, um zu detektieren, ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist. Insbesondere kann ein vortrainiertes künstliches neuronales Netzwerk verwendet werden, dass basierend auf entsprechenden Trainingsdaten zu einem vorhergehenden Zeitpunkt trainiert wurde.
Zusätzlich oder alternativ ist es möglich, dass zur Detektion, ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist, eine vordefinierte Zeigerichtung des mobilen Geräts verwendet wird. Diese vordefinierte Zeigerichtung kann insbesondere einer für das mobile Gerat spezifizierten Richtung entsprechen, für die dann gegebenenfalls noch eine Abweichung angegeben sein kann.
Die Kommunikationseinheit 28 ist zum Kommunizieren mit dem intelligenten Objekt ausgebildet. Insbesondere kann eine Niedrigenergie-Kurzstreckenkommunikationsverbindung mit dem intelligenten Objekt hergestellt werden. Beispielsweise kann ein Bluetooth Low Energy (BLE)-Kommunikationschip verwendet werden, der über die Kommunikationseinheit 28 in entsprechender Weise angesteuert wird. Ebenfalls ist es möglich, dass die Kommunikationseinheit 28 zum Kommunizieren über das Internet ausgebildet ist, also über einen entsprechenden Internetserver und eine mobile Datenverbindung. Es versteht sich, dass das intelligente Objekt selbst ebenfalls kommunikationsfähig und insoweit ansprechbar/erreichbar ist.
Die Benutzerschnittstelle 30 dient zum Informieren des Benutzers des mobilen Geräts, wenn die Kommunikationsverbindung hergestellt wurde. Insbesondere kann hierzu ein Display oder ein anderer Aktor eines mobilen Geräts angesteuert werden. Beispielsweise ist es möglich, dass das Herstellen der Kommunikationsverbindung dem Benutzer durch eine Art „Einrasten“ angezeigt wird. Dieses Einrasten kann basierend auf einer Vibrationsfunktion bzw. einem Vibrationsaktor des mobilen Geräts 10 erfassbar gemacht werden. Zusätzlich kann eine visuelle Ausgabe beispielsweise durch ein Markieren einer Ampel auf einer Visualisierung einer Kartendarstellung auf dem Display des mobilen Geräts 10 erfolgen. Weiter zusätzlich oder alternativ kann ein Signalton ausgegeben werden. Dem Benutzer 12 wird also mit haptischer, akustischer und/oder visueller Rückmeldung angezeigt, dass das Smartphone eingerastet ist und dass eine Aktion im Sinne einer Interaktion mit dem intelligenten Objekt 14 erfolgen kann. Beispielsweise kann dann durch eine Gestensteuerung oder auch durch ein Drücken einer Taste auf einem Touchscreen eine Grünphase der Ampel angefordert werden.
Es ist optional möglich, dass über die Benutzerschnittstelle 30 zudem eine Vorauswahl des Benutzers hinsichtlich der anzuzeigenden intelligenten Objekte empfangen wird. Der Benutzer kann beispielsweise Kategorien von interessierenden intelligenten Objekten selektieren oder definieren, um so gezielter mit der Umgebung interagieren zu können und die für ihn relevanten intelligenten Objekte bzw. Funktionalitäten aufzufinden.
Die Gesteneinheit 32 dient zum Erkennen einer Geste, die von einem Benutzer des mobilen Geräts ausgeführt wird. Hierzu werden die Ausrichtungssensordaten verarbeitet. Insbesondere kann eine Geste erkannt werden, die der Benutzer des mobilen Geräts mit dem mobilen Gerät ausführt. Beispielsweise kann der Benutzer nicken, für den Fall einer intelligenten Brille, oder auch eine Wischoder andere Bewegung mit einem Smartphone oder Tablet ausführen.
Die Erkennung kann dann einerseits als zusätzliche Voraussetzung für das Herstellen der Kommunikationsverbindung verwendet werden. Es kann also für das Herstellen einer Kommunikationsverbindung zusätzlich erforderlich sein, zunächst eine Aktivierungsgeste auszuführen, um so unbeabsichtigte Verbindungsherstellungen zu vermeiden. Weiterhin ist es möglich, dass mittels der Gesteneinheit 32 eine Steuerungsgeste erkannt wird. Der Benutzer des mobilen Geräts kann insoweit ein intelligentes Objekt mittels einer Gestensteuerung fernsteuern, nachdem die Kommunikationsverbindung hergestellt wurde.
In den Figuren 3 und 4 ist schematisch eine Möglichkeit des Herstellens einer Kommunikationsverbindung mit einem intelligenten Objekt und des Steuerns des intelligenten Objekts dargestellt. Insbesondere ist eine Ansicht eines Displays 34 eines Smartphones oder Tablets oder andern mobilen Geräts vor (Figur 3) und nach (Figur 4) Herstellen der Kommunikationsverbindung gezeigt.
Auf einer Kartendarstellung einer Umgebung des mobilen Geräts werden Relativpositionen R1 , R2, R3 dreier intelligenter Objekte in der Umgebung des mobilen Geräts an der Position M visualisiert. Beispielsweise können Miniaturansichten der intelligenten Objekte angezeigt werden. Die Kartendarstellung ist dabei auf die Position M des mobilen Geräts zentriert. Neben den Relativpositionen R1 , R2 und R3 ist auch die Ausrichtung des mobilen Geräts visualisiert, da sich die Darstellung mit dem Drehen des mobilen Geräts mitbewegt. Der Benutzer kann sich also in Bezug zu den intelligenten Objekten drehen, wobei sich die Kartendarstellung wie bei einem Kompass die Windrose ebenfalls mit dreht und so die Ausrichtung visualisiert.
Sobald der Benutzer mit dem mobilen Gerät in Richtung eines intelligenten Objekts zeigt, wird mit diesem eine Kommunikationsverbindung hergestellt. Gegebenenfalls ist hierzu eine Mindestzeit (beispielsweise 2 Sekunden) erforderlich, für die das mobile Gerät auf das intelligente Objekt ausgerichtet sein muss.
Ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist, kann beispielsweise basierend auf einer Zeigerichtung des mobilen Geräts ermittelt werden. Diese Zeigerichtung entspricht einem für das mobile Gerät festgelegten Parameter. Diese Zeigerichtung kann beispielsweise einer Längsachse des mobilen Geräts entsprechen. Unter Bezugnahme auf Figur 1 kann das Sichtfeld eines mobilen Geräts beispielsweise ausgehend von einer Angabe einer maximalen Abweichung von dieser Zeigerichtung definiert sein, beispielsweise 5°.
Im dargestellten Ausführungsbeispiel richtet der Benutzer in der Figur 4 das mobile Gerät auf das intelligente Objekt an Position R2 aus, sodass mit diesem dann eine Kommunikationsverbindung hergestellt werden kann. Um dem Benutzer anzuzeigen, dass die Verbindung hergestellt wurde, vibriert das mobile Gerät beispielsweise. Zudem kann nach dem Herstellen der Kommunikationsverbindung eine Interaktion mit dem intelligenten Objekt durch einen für diesen Zweck eingeblendeten Button 36 erfolgen (Figur 4).
In anderen Worten dreht sich die Kartenansicht wie eine Windrose eines Kompasses, sodass am oberen Rand des Displays 34 mobilen Geräts die Richtung zu sehen ist, in welche das mobile Gerät gehalten wird. Diese Richtung kann beispielsweise durch eine Angabe einer Gradzahl angegeben sein. Im dargestellten Beispiel ist die Richtung bei 70 Grad (Figur 3). Wenn das mobile Gerät dann gedreht wird, beispielsweise auf 115 Grad (Figur 4), ist eine Fußgangerampel als intelligentes Objekt vor ihm. Sobald das mobile Gerat auf die Ampel ausgerichtet ist, erfolgt der zuvor beschriebenen Einrastvorgang und die Ampel wird markiert. Das Smartphone vibriert, es gibt einen Signalton und das Bild eines Anforderungstasters erscheint in Form des Buttons 36. Dies zeigt dem Nutzer mit haptischer, akustischer und visueller Rückmeldung an, dass das mobile Gerät eingerastet ist und dass eine Aktion bzw. eine Interaktion mit dem intelligenten Objekt durchgeführt werden kann.
Es versteht sich dabei, dass auch eine andere Interaktionsmöglichkeit vorgesehen sein kann, beispielsweise mittels einer Gestensteuerung. Mit einer leichten Bewegung des mobilen Geräts nach hinten kann beispielsweise eine Grünphase angefordert werden.
In diesem Beispiel ist vorgesehen, dass das mobile Gerät ungefähr waagerecht gehalten wird, bis es auf ein intelligentes Objekt zeigt. Es kann dabei auch möglich sein, dass das mobile Gerät um 90 Grad gedreht werden kann, sodass auf dem Display 34 mittels einer auf einer Rückseite des mobilen Geräts angeordneten Kamera dann die reale Umgebung dargestellt werden kann. Die Zeigerichtung entspräche dann also einer Richtung senkrecht zum Display 34. Es ist möglich, dass das Herstellen der Kommunikationsverbindung durch Einrasten in Form einer augmented Reality-Darstellung erfolgt. Es kann beispielsweise das eingerastete intelligente Objekt hervorgehoben werden.
In der Figur 5 ist schematisch eine erfindungsgemäß vorgesehene Gestensteuerung dargestellt. Die Gestensteuerung kann beispielsweise in Zusammenhang mit anderen Anwendungen verwendet werden. Beispielsweise kann in einer generellen Smart City-Anwendung für eine Stadt mit vernetzten Bussen, Straßenbahnen, Museen und weiteren Informationen eine entsprechende Gestensteuerung zur Verfügung gestellt werden. Der Benutzer 12 hält ein mobiles Gerät 10 (insbesondere ein Smartphone oder ein Tablet) in der Hand und führt damit eine Bewegung aus. Zum einen kann es erfmdungsgemaß vorgesehen sein, dass zum Herstellen der Kommunikationsverbindung, nachdem das mobile Gerät auf das intelligente Objekt ausgerichtet ist, zunächst eine Aktivierungsgeste ausgeführt erkannt werden muss. Beispielsweise kann diese der gargestellten Wischbewegung entsprechen. Die Aktivierungsgeste kann in anderen Worten also die Voraussetzung zum Herstellen einer Kommunikationsverbindung darstellen.
Ebenfalls ist es möglich, dass die eigentliche Steuerung des intelligenten Objekts mittels einer Gestensteuerung erfolgt. Es kann also sein, dass eine Steuerungsgeste erkannt wird, um damit mit dem intelligenten Objekt zu interagieren. Beispielsweise kann bei einer Ampel eine Grünphase angefordert werden oder von einer intelligenten Straßenbahnhaltestelle ein Fahrplan angefordert werden.
Es kann vorteilhaft sein, zunächst eine Art Gestensteuerungsmodus zu initiieren, um dann eine Gestenerkennung ausführen zu können. Ebenfalls kann es vorteilhaft sein, wenn eine Rückkehr von der Gestensteuerung zu einer klassischen Bedienung, beispielsweise durch eine Berührung eines Touchscreens, vorgesehen ist. Dies kann die Gefahr des Erkennens einer unabsichtlich ausgeführten Geste verringern. Eine relevante Frage in diesem Zusammenhang ist, wie der Benutzer zur Verwendung der Gestensteuerung gelangen kann bzw. diesen Gestensteuerungsmodus initiieren kann.
Eine Möglichkeit hierzu kann ein Aktivieren eines entsprechenden Auswahlpunkts auf einem Touchscreen des mobilen Geräts sein. Es wird also ein entsprechender Button gedrückt, wodurch das mobile Gerät in einen Gestensteu- erungs- bzw. Erkennungsmodus versetzt wird.
Alternativ dazu ist es möglich, dass der Gestensteuerungsmodus durch eine typische Geste (beispielsweise eine Rechtsdrehung, wie wenn man mit einem Schlüssel ein Schloss aufschließt, oder eine Geste eines Klickens oder eine individuell erlernte und individuelle Geste) aktiviert wird. Auch hier ist es möglich, dass das Erreichen des Gestensteuerungsmodus durch eine Art Einrasten des mobilen Geräts mittels eines Vibrationsaktors etc. oder in anderer Weise umgesetzt wird. Sobald der Gestensteuerungsmodus aktiviert ist werden Gesten des Benutzers erkannt und er kann dies beispielsweise zur Interaktion mit dem intelligenten Objekt nutzen. In analoger Weise kann auch ein Zurückschalten aus der Gestensteuerung zur klassischen Bedienung erfolgen.
In der Figur 6 ist schematisch ein erfindungsgemäßes Verfahren zum Interagieren mit einem intelligenten Objekt in einer Umgebung eines mobilen Geräts dargestellt. Das Verfahren umfasst Schritte des Empfangens S10 von Umgebungssensordaten und Ausrichtungssensordaten, des Detektierens S12, ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist, des Herstellens S14 einer Kommunikationsverbindung mit dem intelligenten Objekt und des Informierens S16 eines Benutzers des mobilen Geräts, wenn die Kommunikationsverbindung hergestellt wurde. Das Verfahren kann beispielsweise als Smartphone- App oder als Tablet-App implementiert sein und über einen entsprechenden App-Store zur Verfügung gestellt werden.
Die Erfindung wurde anhand der Zeichnungen und der Beschreibung umfassend beschrieben und erklärt. Die Beschreibung und Erklärung sind als Beispiel und nicht einschränkend zu verstehen. Die Erfindung ist nicht auf die offenbarten Ausführungsformen beschränkt. Andere Ausführungsformen oder Variationen ergeben sich für den Fachmann bei der Verwendung der vorliegenden Erfindung sowie bei einer genauen Analyse der Zeichnungen, der Offenbarung und der nachfolgenden Patentansprüche.
In den Patentansprüchen schließen die Wörter „umfassen“ und „mit“ nicht das Vorhandensein weiterer Elemente oder Schritte aus. Der Undefinierte Artikel „ein“ oder „eine“ schließt nicht das Vorhandensein einer Mehrzahl aus. Ein einzelnes Element oder eine einzelne Einheit kann die Funktionen mehrerer der in den Patentansprüchen genannten Einheiten ausführen. Ein Element, eine Einheit, eine Vorrichtung und ein System können teilweise oder vollständig in Hard- und/oder in Software umgesetzt sein. Die bloße Nennung einiger Maßnahmen in mehreren verschiedenen abhängigen Patentansprüchen ist nicht dahingehend zu verstehen, dass eine Kombination dieser Maßnahmen nicht ebenfalls vorteilhaft verwendet werden kann. Ein Computerprogramm kann auf einem nichtflüchtigen Datenträger gespeichert/vertrieben werden, beispielsweise auf einem optischen Speicher oder auf einem Halbleiterlaufwerk (SSD). Ein Computerprogramm kann zusammen mit Hardware und/oder als Teil einer Hardware vertrieben werden, beispielsweise mittels des Internets oder mittels drahtgebundener oder drahtloser Kommunikationssysteme. Bezugszeichen in den Patentansprüchen sind nicht einschränkend zu verstehen.

Claims

Patentansprüche
1. Vorrichtung (16) zum Interagieren mit einem intelligenten Objekt (14) in einer Umgebung eines mobilen Geräts (10), mit: einer Eingangsschnittstelle (24) zum Empfangen von Umgebungssensordaten und Ausrichtungssensordaten, wobei die Umgebungssensordaten Informationen zu einer Relativposition des intelligenten Objektes in Bezug zu dem mobilen Gerät umfassen und die Ausrichtungssensordaten Informationen zu einer Ausrichtung des mobilen Geräts in Bezug zu der Umgebung umfassen; einer Ausrichtungseinheit (26) zum Detektieren, ob das mobile Gerät auf das intelligente Objekt ausgerichtet ist, basierend auf den Umgebungssensordaten und den Ausrichtungssensordaten; einer Kommunikationseinheit (28) zum Herstellen einer Kommunikationsverbindung mit dem intelligenten Objekt, wenn das mobile Gerät auf das intelligente Objekt ausgerichtet; und einer Benutzerschnittstelle (30) zum Informieren eines Benutzers des mobilen Geräts, wenn die Kommunikationsverbindung hergestellt wurde.
2. Vorrichtung (16) nach Anspruch 1 , mit einer Gesteneinheit (32) zum Erkennen einer Geste, die von einem Benutzer des mobilen Geräts (10) ausgeführt wird, basierend auf den Ausrichtungssensordaten, wobei die Gesteneinheit vorzugsweise zum Erkennen der Geste basierend auf einem Ansatz des maschinellen Lernens, insbesondere basierend auf einem vortrainierten künstlichen neuronalen Netzwerk, ausgebildet ist.
3. Vorrichtung (16) nach Anspruch 2, wobei die Kommunikationseinheit (28) zum Herstellen der Kommunikationsverbindung ausgebildet ist, unter der Bedingung, dass zuvor eine Aktivierungsgeste erkannt wurde; und/oder zum Beenden der Kommunikationsverbindung ausgebildet ist, wenn die Kommunikationsverbindung hergestellt ist und eine Deaktivierungsgeste erkannt wird.
4. Vorrichtung (16) nach einem der Ansprüche 2 und 3, wobei die Kommunikationseinheit (28) zum Übermitteln eines Steuerbefehls an das intelligente Objekt (14) ausgebildet ist, wenn die Kommunikationsverbindung hergestellt ist und eine Steuerungsgeste erkannt wird.
5. Vorrichtung (16) nach einem der vorstehenden Ansprüche, wobei die Kommunikationseinheit (28) zum Empfangen von Interaktionsdaten mit Informationen zu Interaktionsmöglichkeiten des Benutzers mit dem intelligenten Objekt (14) ausgebildet ist; und die Benutzerschnittstelle (30) zum Informieren des Benutzers über die Interaktionsmöglichkeiten basierend auf den empfangenen Interaktionsdaten ausgebildet ist, vorzugsweise mittels einer Anzeige auf einem Display.
6. Vorrichtung (16) nach einem der vorstehenden Ansprüche, wobei die Benutzerschnittstelle (30) zum Ausgeben eines akustischen, optischen und/oder haptischen Signals ausgebildet ist, insbesondere eines haptischen Vibrationssignals mittels eines Vibrationsaktors des mobilen Geräts (10).
7. Vorrichtung (16) nach einem der vorstehenden Ansprüche, wobei die Benutzerschnittstelle (30) zum Visualisieren der Relativposition des intelligenten Objekts (14) und der Ausrichtung des mobilen Geräts (10) basierend auf den Umgebungssensordaten und den Ausrichtungssensordaten ausgebildet ist, insbesondere durch eine Anzeige einer Position des intelligenten Objekts auf einer auf eine Position des Benutzers zentrierten und basierend auf der Ausrichtung des mobilen Geräts ausgerichteten Karte der Umgebung.
8. Vorrichtung (16) nach einem der vorstehenden Ansprüche, wobei die Kommunikationseinheit (28) zum Herstellen der Kommunikationsverbindung ausgebildet ist, wenn das mobile Gerät (10) für eine über einem vordefinierten Schwellenwert liegenden Zeitdauer auf das intelligente Objekt (14) ausgerichtet ist.
9. Vorrichtung (16) nach einem der vorstehenden Ansprüche, wobei die Kommunikationseinheit (28) zum Herstellen der Kommunikationsverbindung mit dem intelligenten Objekt (14) über eine direkte Kurzstrecken-Kommunikationsverbindung ausgebildet ist, insbesondere über Bluetooth Low Energy.
10. Vorrichtung nach einem der vorstehenden Ansprüche, wobei die Ausrichtungseinheit (26) zum Detektieren, ob das mobile Gerät (10) auf das intelligente Objekt (14) ausgerichtet ist basierend auf einem Ansatz des maschinellen Lernens, insbesondere basierend auf einem vortrainierten künstlichen neuronalen Netzwerk, ausgebildet ist; und/oder basierend auf einer für ein mobiles Gerät vordefinierten Zeigerichtung ausgebildet ist.
11 . Vorrichtung (16) nach einem der vorstehenden Ansprüche, wobei die Umgebungssensordaten
Positionsangaben von intelligenten Objekten (14) umfassen, die basierend auf einer aktuellen Position des mobilen Geräts (10) ermittelt wurden, vorzugsweise durch eine Datenbankabfrage basierend auf einer von einem Satellitennavigationssensor des mobilen Geräts ermittelten Position; und/oder
Bilddaten eines Kamerasensors des mobilen Geräts umfassen.
12. Vorrichtung (16) nach einem der vorstehenden Ansprüche, wobei die Ausrichtungssensordaten
Lagesensordaten umfassen, die von einem Beschleunigungs-, Drehraten- und/oder Magnetfeldsensor des mobilen Geräts (10) empfangen werden; und/oder
Bilddaten eines Kamerasensors des mobilen Geräts umfassen.
26
13. Mobiles Gerat (10) zum Interagieren mit einem intelligenten Objekt (14) in einer Umgebung des mobilen Geräts, mit: einem Umgebungssensor (18) zum Erfassen einer Relativposition des intelligenten Objekts; einem Ausrichtungssensor (20) zum Erfassen einer Ausrichtung des mobilen Geräts; und einer Vorrichtung (16) nach einem der vorstehenden Ansprüche.
14. Verfahren zum Interagieren mit einem intelligenten Objekt (14) in einer Umgebung eines mobilen Geräts (10), mit:
Empfangen (S10) von Umgebungssensordaten und Ausrichtungssensordaten, wobei die Umgebungssensordaten Informationen zu einer Relativposition des intelligenten Objektes in Bezug zu dem mobilen Gerät umfassen und die Ausrichtungssensordaten Informationen zu einer Ausrichtung des mobilen Geräts in Bezug zu der Umgebung umfassen;
Detektieren (S12), ob das mobile Gerät auf das intelligente Objekt (14) ausgerichtet ist, basierend auf den Umgebungssensordaten und den Ausrichtungssensordaten;
Herstellen (S14) einer Kommunikationsverbindung mit dem intelligenten Objekt, wenn das mobile Gerät auf das intelligente Objekt ausgerichtet; und
Informieren (S16) eines Benutzers des mobilen Geräts, wenn die Kommunikationsverbindung hergestellt wurde.
27
15. Computerprogrammprodukt mit Programmcode zum Ausführen der Schritte des Verfahrens nach Anspruch 14, wenn der Programmcode auf einem Computer ausgeführt wird.
28
EP22761141.5A 2021-08-04 2022-08-03 Interagieren mit intelligenten objekten in der umgebung mobiler geräte Pending EP4381719A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021120315.5A DE102021120315A1 (de) 2021-08-04 2021-08-04 Interagieren mit intelligenten Objekten in der Umgebung mobiler Geräte
PCT/EP2022/071813 WO2023012215A1 (de) 2021-08-04 2022-08-03 Interagieren mit intelligenten objekten in der umgebung mobiler geräte

Publications (1)

Publication Number Publication Date
EP4381719A1 true EP4381719A1 (de) 2024-06-12

Family

ID=83115611

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22761141.5A Pending EP4381719A1 (de) 2021-08-04 2022-08-03 Interagieren mit intelligenten objekten in der umgebung mobiler geräte

Country Status (3)

Country Link
EP (1) EP4381719A1 (de)
DE (1) DE102021120315A1 (de)
WO (1) WO2023012215A1 (de)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118312038A (zh) 2017-03-21 2024-07-09 交互数字Vc控股公司 用于增强现实中触觉交互检测和增强的方法和系统
US10447841B2 (en) * 2017-06-05 2019-10-15 Bose Corporation Wireless pairing and control using spatial location and indication to aid pairing
AU2020226861A1 (en) * 2019-02-18 2021-10-14 Arkh Litho Holdings, LLC Interacting with a smart device using a pointing controller

Also Published As

Publication number Publication date
DE102021120315A1 (de) 2023-02-09
WO2023012215A1 (de) 2023-02-09

Similar Documents

Publication Publication Date Title
DE102016113060A1 (de) Verfahren zum Steuern eines Objekts
CN108351221A (zh) 用于生成交互式用户界面的系统和方法
DE102005061211A1 (de) Verfahren zum Erzeugen einer Mensch-Maschine-Benutzer-Oberfläche
EP2467822B1 (de) Kontinuierliche bestimmung einer perspektive
CN102393808A (zh) 手持无线设备中的智能图形界面
DE112016003498T5 (de) Fahrtunterstützungsvorrichtung, fahrtunterstützungssytem, fahrtunterstützungsverfahren, und automatisch fahrendes fahrzeug
DE112019006699T5 (de) Steuerung entfernter vorrichtungen unter verwendung von benutzerschnittstellenvorlagen
CN103135916A (zh) 手持无线设备中的智能图形界面
DE112012004785T5 (de) Merkmalerkennung zum Konfigurieren einer Fahrzeugkonsole und zugeordnete Vorrichtungen
EP3025223A1 (de) Verfahren und vorrichtung zur fernsteuerung einer funktion eines fahrzeugs
DE112016002580T5 (de) Mobile geografische anwendung in automobilumgebung
CN111641933A (zh) 车队管理方法、装置及相关设备
DE102012009429A1 (de) Verfahren zur Fernkonfiguration eines Fahrzeugs durch Visualisierung der Fahrzeugbedienung, sowie Endgerät und Fahrzeug hierfür
DE112018005641T5 (de) Informationsverarbeitungsgerät, informationsverarbeitungsverfahren und programm
WO2019238406A1 (de) Verfahren und vorrichtung zum nicht-mechanischen betätigen einer verschlussanordnung
DE102017204976B4 (de) Bediensystem zur Steuerung zumindest einer bedienbaren Einrichtung, Fahrzeug mit einem Bediensystem und Verfahren zum Betreiben eines Bediensystems
DE102017207805A1 (de) Verfahren zum automatisierten Parken eines Kraftfahrzeugs
EP3485621B1 (de) Verfahren zur bereitstellung einer zugangseinrichtung zu einer persönlichen datenquelle
EP4381719A1 (de) Interagieren mit intelligenten objekten in der umgebung mobiler geräte
DE102015216108A1 (de) Verfahren zum Auslösen mindestens eines Bearbeitungsschrittes durch Zuweisung eines Informationselements zu einem Gerät
EP3802191A1 (de) Verfahren und system zum betreiben einer automatischen fahrfunktion in einem fahrzeug
DE102018123635A1 (de) 3d-kartierung einer prozesssteuerungsumgebung
DE102014220527B4 (de) System und Verfahren für das Steuern einer Fahrzeugtür
EP2697702B1 (de) Vorrichtung und verfahren zur gestensteuerung eines bildschirms in einer leitwarte
EP3108333A1 (de) Anwenderschnittstelle und verfahren zur unterstützung eines anwenders bei der bedienung einer anwenderschnittstelle

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240207

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR