DE102016119241B4

DE102016119241B4 - Operation determining device for determining an operation to be performed by a device

Info

Publication number: DE102016119241B4
Application number: DE102016119241.4A
Authority: DE
Inventors: Patentinhaber gleich
Original assignee: Individual
Current assignee: Individual
Priority date: 2016-10-10
Filing date: 2016-10-10
Publication date: 2018-08-09
Anticipated expiration: 2036-10-11
Also published as: DE102016119241A1

Abstract

Operationsbestimmungsvorrichtung zum Bestimmen einer von einem Gerät durchzuführenden Operation, wobei die Operationsbestimmungsvorrichtung (1) umfasst:- eine Zuordnungsbereitstellungseinheit (2) zum Bereitstellen von Zuordnungen zwischen a) von Geräten durchzuführenden Operationen und b) Objekten,- eine Objektbestimmungseinheit (5) zum Bestimmen eines in einem räumlichen Bereich befindlichen Objekts, wobei der räumliche Bereich von dem Ort und der Orientierung einer Kamera (6) einer Kameravorrichtung (8) zum Aufnehmen eines Bildes abhängt, wobei die Objektbestimmungseinheit (5) angepasst ist, i) den räumlichen Bereich auf Basis eines Orts, einer Orientierung und eines Sichtfelds (9) der Kamera (6) zu bestimmen, ii) Zuordnungen zwischen Orten und Objekten bereitzustellen, und iii) das Objekt (4) so zu bestimmen, dass es einem Ort zugeordnet ist, der sich im bestimmten räumlichen Bereich befindet,- eine Operationsbestimmungseinheit (7) zum Bestimmen einer von einem Gerät durchzuführenden Operation auf Basis der bereitgestellten Zuordnungen und des bestimmten Objekts.An operation determination apparatus for determining an operation to be performed by a device, the operation determination apparatus (1) comprising: an assignment providing unit (2) for providing assignments between a) operations to be performed by apparatuses and b) objects, an object determination unit (5) for determining an in a spatial area object, the spatial area depending on the location and orientation of a camera (6) of a camera device (8) for taking an image, the object determining unit (5) being adapted, i) the spatial area based on a location to determine an orientation and field of view (9) of the camera (6), ii) to provide associations between locations and objects, and iii) to determine the object (4) to be associated with a location located in the particular spatial location An operation determining unit (7) for determining one of a device feeding operation based on the provided mappings and the particular object.

Description

Die Erfindung bezieht sich auf eine Operationsbestimmungsvorrichtung zum Bestimmen einer von einem Gerät durchzuführenden Operation. Die Erfindung bezieht sich zudem auf eine Kameravorrichtung zur Verwendung mit der Operationsbestimmungsvorrichtung und auf ein System zum Bestimmen einer von einem Gerät durchzuführenden Operation, wobei das System die Operationsbestimmungsvorrichtung und die Kameravorrichtung umfasst. Die Erfindung bezieht sich außerdem auf ein Verfahren und ein Computerprogramm zum Bestimmen einer von einem Gerät durchzuführenden Operation.The invention relates to an operation determining apparatus for determining an operation to be performed by a device. The invention also relates to a camera apparatus for use with the operation determination apparatus and to a system for determining an operation to be performed by an apparatus, the system comprising the operation determination apparatus and the camera apparatus. The invention also relates to a method and a computer program for determining an operation to be performed by a device.

DE 102 61 146 A1 offenbart eine Vorrichtung zur Erfassung eines Objekts in eine Szene, wobei die Vorrichtung eine erste Kamera und eine zweite orientierbare Kamera aufweist und wobei die erste Kamera einer ersten Steuereinheit und die zweite orientierbare Kamera einer zweiten Steuereinheit zugeordnet ist. Über einen Objektdetektor ist im Kamerabild der ersten Kamera ein Objekt an einem Bildpunkt und damit ein zugehöriger Weltpunkt in einer durch die erste Kamera erfassten Szene detektierbar. Eine zentrale Steuereinheit berechnet einen Sehstrahl beginnend von der ersten Kamera zum Weltpunkt, wobei anhand dieses Sehstrahls die zweite Steuereinheit die zweite Kamera auf den Weltpunkt ausrichtet. DE 102 61 146 A1 discloses a device for detecting an object in a scene, wherein the device comprises a first camera and a second orientable camera, and wherein the first camera is associated with a first control unit and the second orientable camera is associated with a second control unit. Via an object detector, an object at a pixel and thus an associated world point in a scene captured by the first camera can be detected in the camera image of the first camera. A central control unit calculates a line of sight starting from the first camera to the world point, whereby the second control unit uses this line of sight to align the second camera with the world point.

EP 1 533 768 A1 offenbart ein Sicherheitssystem mit einer Kamera und einem Objekterkennungssystem, das angepasst ist, ein Objekt in einer Videoaufnahme der Kamera zu erkennen, wobei das Sicherheitssystem des Weiteren einen portablen persönlichen digitalen Assistenten (PDA) umfasst, der drahtlos mit dem Objekterkennungssystem und der Kamera verbunden ist. EP 1 533 768 A1 discloses a security system having a camera and an object recognition system adapted to recognize an object in a video recording of the camera, the security system further comprising a portable personal digital assistant (PDA) wirelessly connected to the object recognition system and the camera.

Eine bekannte von einem Gerät durchzuführende Operation ist beispielsweise die Aufnahme eines Bildes mittels einer Webcam. Das Bestimmen dieser Operation oder dieses Dienstes der Aufnahme des Bildes erfolgt üblicherweise mittels einer Internetsuchmaschine, wobei beispielsweise nach einer Webcam an einem bestimmten Ort gesucht wird. Nachdem die Internetsuchmaschine eine entsprechende Webcam gefunden hat, kann diese über das Internet ausgewählt werden, wonach ein Bild der Webcam über das Internet einem Benutzer angezeigt werden kann.A known operation to be performed by a device is, for example, the taking of an image by means of a webcam. The determination of this operation or of the service of recording the image is usually carried out by means of an internet search engine, for example searching for a webcam at a specific location. After the Internet search engine has found a corresponding webcam, it can be selected via the Internet, after which an image of the webcam via the Internet can be displayed to a user.

Es ist eine Aufgabe der vorliegenden Erfindung, eine Operationsbestimmungsvorrichtung bereitzustellen, die eine alternative Möglichkeit des Bestimmens einer von einem Gerät durchzuführenden Operation anbietet, die keine Internetsuchmaschine benötigt.It is an object of the present invention to provide an operation determining apparatus that offers an alternative way of determining an operation to be performed by a device that does not require an internet search engine.

Die Aufgabe wird durch eine Operationsbestimmungsvorrichtung zum Bestimmen einer von einem Gerät durchzuführenden Operation gelöst, wobei die Operationsbestimmungsvorrichtung umfasst:

- eine Zuordnungsbereitstellungseinheit zum Bereitstellen von Zuordnungen zwischen a) von Geräten durchzuführenden Operationen und b) Objekten,
- eine Objektbestimmungseinheit zum Bestimmen eines in einem räumlichen Bereich befindlichen Objekts, wobei der räumliche Bereich von dem Ort und der Orientierung einer Kamera einer Kameravorrichtung zum Aufnehmen eines Bildes abhängt, wobei die Objektbestimmungseinheit angepasst ist, i) den räumlichen Bereich auf Basis eines Orts, einer Orientierung und eines Sichtfelds der Kamera zu bestimmen, ii) Zuordnungen zwischen Orten und Objekten bereitzustellen, und iii) das Objekt so zu bestimmen, dass es einem Ort zugeordnet ist, der sich im bestimmten räumlichen Bereich befindet,
- eine Operationsbestimmungseinheit zum Bestimmen einer von einem Gerät durchzuführenden Operation auf Basis der bereitgestellten Zuordnungen und des bestimmten Objekts.

The object is achieved by an operation determination device for determining an operation to be performed by a device, wherein the operation determination device comprises:

an assignment providing unit for providing associations between a) operations to be performed by equipment and b) objects,
an object determination unit for determining an object located in a spatial area, the spatial area depending on the location and orientation of a camera of a camera apparatus for taking an image, the object determination unit being adapted, i) the spatial area based on a location Ii) determine the orientation and field of view of the camera, ii) provide mappings between locations and objects, and iii) determine the object to be associated with a location located in the particular spatial area;
an operation determination unit for determining an operation to be performed by a device on the basis of the provided assignments and the specific object.

Erfindungsgemäß kann demnach eine von einem Gerät durchzuführende Operation mittels eines Ortes und einer Orientierung einer Kamera bestimmt werden. Ein Benutzer kann beispielsweise eine Operation durch Halten der Kamera in einer gewünschten Orientierung auswählen. Eine Internetsuchmaschine wird hierbei nicht benötigt.According to the invention, therefore, an operation to be performed by a device can be determined by means of a location and an orientation of a camera. For example, a user may select an operation by holding the camera in a desired orientation. An internet search engine is not needed here.

Die von einem Gerät durchzuführende Operation kann beispielsweise die Aufnahme eines Fotos mittels einer Webcam sein. Aber auch andere Geräte und von diesen Geräten durchzuführende Operationen sind möglich. Die Geräte können Aktoren, Sensoren, Maschinen et cetera sein. Zum Beispiel kann das Gerät ein Temperatursensor sein, der als Operation eine Temperaturmessung durchführt.The operation to be performed by a device may, for example, be the taking of a photo by means of a webcam. But other devices and operations to be performed by these devices are possible. The devices can be actuators, sensors, machines et cetera. For example, the device may be a temperature sensor that performs a temperature measurement operation.

In einer bevorzugten Ausführungsform ist die Operationsbestimmungsvorrichtung ein Server, der über das Internet mit einem Smartphone, in das die Kamera integriert ist, in Verbindung steht. Der Ort und die Orientierung der Kamera sind dann durch den Ort und die Orientierung des Smartphones definiert.In a preferred embodiment, the operation determination device is a server communicating via the Internet with a smartphone in which the camera is integrated. The location and orientation of the camera are then defined by the location and orientation of the smartphone.

Die Objektbestimmungseinheit ist angepasst, a) den räumlichen Bereich auf Basis eines Orts und einer Orientierung der Kamera zu bestimmen, b) Zuordnungen zwischen Orten und Objekten bereitzustellen und c) das Objekt so zu bestimmen, dass es einem Ort zugeordnet ist, der sich im bestimmten räumlichen Bereich befindet. Die Objektsbestimmungseinheit ist angepasst, den räumlichen Bereich auf Basis des Ortes, der Orientierung und eines Sichtfelds der Kamera zu bestimmen. Dabei ist die Objektbestimmungseinheit bevorzugt angepasst, den räumlichen Bereich unabhängig davon zu bestimmen, ob im Sichtfeld befindliche Objekte andere Objekte verdecken. Dies ermöglicht es, ein Objekt auszuwählen, ohne beispielsweise ein Bild aufzunehmen. Zudem können auch Objekte bestimmt werden, die in einem Bild nicht sichtbar wären, weil sie von einem anderen Objekt verdeckt werden. Grundsätzlich könnten mehrere Objekte, die sich in dem räumlichen Bereich befinden, bestimmt werden, selbst wenn diese in einem von der Kamera aufgenommenen Bild nicht sichtbar wären.The object determination unit is adapted to: a) determine the spatial area based on a location and orientation of the camera, b) provide mappings between locations and objects, and c) determine the object to be associated with a location located in the particular one spatial area is located. The object determination unit is adapted to the spatial area based on the location, the orientation and to determine a field of view of the camera. In this case, the object determination unit is preferably adapted to determine the spatial area independently of whether objects located in the field of view obscure other objects. This makes it possible to select an object without taking a picture, for example. In addition, objects can be determined that would not be visible in an image because they are obscured by another object. In principle, several objects that are located in the spatial area could be determined, even if they were not visible in an image captured by the camera.

Die Objektbestimmungseinheit kann angepasst sein, den räumlichen Bereich unter Verwendung eines vorgegebenen maximalen Abstands zu der Kamera zu begrenzen. Hierdurch kann die Anzahl bestimmter Objekte begrenzt werden, indem nur Objekte bestimmt werden, die sich innerhalb des durch den vorgegebenen maximalen Abstand befindlichen räumlichen Bereichs befinden.The object determination unit may be adapted to limit the spatial area using a predetermined maximum distance to the camera. In this way, the number of specific objects can be limited by determining only objects that are within the spatial range that is within the given maximum distance.

Die Objektbestimmungseinheit ist bevorzugt angepasst, nur Objekte zu bestimmen, für die es Zuordnungen zu von Geräten durchzuführenden Operationen gibt. Es werden daher bevorzugt Zuordnungen zwischen Orten und Objekten, die zur Objektbestimmung verwendet werden, nur für Objekte bereitgestellt, für die es auch Zuordnungen zu von Geräten durchzuführenden Operationen gibt. Die Zuordnungen zwischen Orten und Objekten können beispielsweise als eine Art Landkarte verstanden werden, wobei auf dieser Landkarte die Objekte eingetragen sind, für die es Zuordnungen zu von Geräten durchzuführenden Operationen gibt. Das Bestimmen eines Objektes könnte dann aufgefasst werden als ein Eintragen des räumlichen Bereichs auf der Landkarte, wobei ein oder mehrere Objekte, die sich dann auf der Landkarte in dem eingetragenen räumlichen Bereich befinden, bestimmt werden.The object determination unit is preferably adapted to only determine objects for which there are assignments to operations to be performed by devices. Therefore, it is preferable to provide mappings between locations and objects used for object determination only for objects for which there are also mappings to operations to be performed by devices. The associations between locations and objects can be understood, for example, as a type of map, on this map, the objects are registered for which there are assignments to be performed by devices operations. The determining of an object could then be understood as an entry of the spatial area on the map, whereby one or more objects, which are then located on the map in the registered spatial area, are determined.

Die Kamera oder eine Kameravorrichtung wie ein Smartphone, in die die Kamera integriert ist, kann eine Ortsbestimmungseinheit zum Bestimmen des Ortes der Kamera und eine Orientierungsbestimmungseinheit zum Bestimmen der Orientierung der Kamera aufweisen. Die Ortsbestimmungseinheit kann beispielsweise angepasst sein, den Ort der Kamera auf Basis von GPS-Daten zu bestimmen. Die Orientierungsbestimmungseinheit kann einen Orientierungssensor umfassen.The camera or a camera device such as a smartphone, in which the camera is integrated, may include a location determining unit for determining the location of the camera and an orientation determining unit for determining the orientation of the camera. The location determination unit can be adapted, for example, to determine the location of the camera on the basis of GPS data. The orientation determination unit may include an orientation sensor.

In einer Ausführungsform kann die Objektbestimmungseinheit angepasst sein, das Objekt in dem Bild zu detektieren, um das in dem räumlichen Bereich befindliche Objekt zu bestimmen. Die Objektbestimmungseinheit kann demnach angepasst sein, in dem Bild befindliche Objekte beispielsweise zu segmentieren, indem bekannte Segmentierungsalgorithmen verwendet werden, wobei die detektierten Objekte mit den Objekten verglichen werden können, für die die Zuordnungsbereitstellungseinheit Zuordnungen zu von Geräten durchzuführenden Operationen bereitstellt. Die Objektbestimmungseinheit kann also angepasst sein, die in dem Bild detektierten Objekte mit den Objekten zu vergleichen, für die Zuordnungen zu Operationen bereitgestellt worden sind, um ein oder mehrere Objekte zu bestimmen, die zum Bestimmen von durchzuführenden Operationen verwendet werden können. Da sich das jeweilige in dem Bild detektierte Objekt natürlich in dem räumlichen Bereich befinden muss, der durch den Ort, die Orientierung und das Sichtfeld der Kamera definiert ist, kann über die Objekterkennung in dem aufgenommenen Bild auf eine relativ einfache Weise ein Objekt bestimmt werden, das sich in dem räumlichen Bereich befindet, der durch den Ort, die Orientierung und das Sichtfeld der Kamera definiert ist.In an embodiment, the object determination unit may be adapted to detect the object in the image to determine the object located in the spatial area. The object determination unit may thus be adapted to segment objects located in the image, for example, by using known segmentation algorithms, wherein the detected objects may be compared with the objects for which the allocation providing unit provides assignments to operations to be performed by devices. The object determination unit can thus be adapted to compare the objects detected in the image with the objects for which assignments to operations have been provided in order to determine one or more objects that can be used to determine operations to be performed. Of course, since the particular object detected in the image must be in the spatial area defined by the location, orientation and field of view of the camera, an object can be determined in a relatively simple manner via the object recognition in the captured image. which is located in the spatial area defined by the location, orientation and field of view of the camera.

Die Operationsbestimmungsvorrichtung umfasst bevorzugt eine Datenverbindungsherstellungseinheit, die angepasst ist, eine Datenverbindung a) zwischen der Kameravorrichtung und der Operationsbestimmungsvorrichtung und b) zwischen der Kameravorrichtung und dem Gerät und/oder zwischen der Operationsbestimmungsvorrichtung und dem Gerät herzustellen. So kann beispielsweise eine Datenverbindung zwischen der Kameravorrichtung, das heißt beispielsweise einem Smartphone mit integrierter Kamera, und der Operationsbestimmungsvorrichtung, das heißt beispielsweise einem Server, insbesondere über das Internet hergestellt werden. Zudem kann eine Datenverbindung zwischen der Kameravorrichtung und dem Gerät, das die Operation ausführt, über den Server oder direkt zwischen der Kameravorrichtung und dem Gerät aufgebaut werden. Die Datenverbindung kann jeweils über das Internet erzeugt werden.The operation determination device preferably comprises a data connection manufacturing unit adapted to establish a data connection a) between the camera device and the operation determination device and b) between the camera device and the device and / or between the operation determination device and the device. Thus, for example, a data connection between the camera device, that is, for example, a smartphone with integrated camera, and the operation determination device, that is, for example, a server, in particular via the Internet are made. In addition, a data connection between the camera device and the device performing the operation can be established via the server or directly between the camera device and the device. The data connection can be generated via the internet.

Die oben genannte Aufgabe wird zudem durch eine Kameravorrichtung zur Verwendung mit der Operationsbestimmungsvorrichtung gelöst, wobei die Kameravorrichtung eine Benutzeroberflächenbereitstellungseinheit zum Bereitstellen einer Benutzeroberfläche aufweist, wobei die Benutzeroberfläche angepasst ist, es einem Benutzer zu ermöglichen, die bestimmte Operation auszuwählen, wonach die ausgewählte Operation von dem Gerät durchgeführt wird. Die Kameravorrichtung umfasst bevorzugt eine Ausgabeeinheit zum Ausgeben eines durch die bestimmte Operation erhaltenen Ergebnisses aufweist.The above object is further achieved by a camera apparatus for use with the operation determination apparatus, the camera apparatus having a user interface providing unit for providing a user interface, the user interface being adapted to allow a user to select the particular operation, after which the selected operation of the Device is performed. The camera apparatus preferably comprises an output unit for outputting a result obtained by the specific operation.

Ein Gerät kann eine Operation oder mehrere Operationen durchführen. Zudem kann einem Objekt ein Gerät oder einem Objekt können mehrere Geräte zugeordnet werden. Des Weiteren können sich in dem räumlichen Bereich, der von dem Ort und der Orientierung der Kamera abhängt, ein Objekt oder mehrere Objekte befinden, so dass die Objektbestimmungseinheit ein Objekt oder mehrere Objekte bestimmen kann. Dementsprechend kann die Operationsbestimmungseinheit nur eine von einem Gerät durchzuführende Operation oder mehrere Operationen, die von einem Gerät oder von mehreren Geräten durchzuführen sind, bestimmen. Insbesondere, wenn mehrere Operationen bestimmt worden sind, kann der Benutzer über die Benutzeroberfläche eine oder mehrere Operationen auswählen, die von dem jeweiligen Gerät auszuführen sind. Ergebnisse der jeweiligen ausgeführten Operation können dann auf der Ausgabeeinheit, die beispielsweise ein Display eines Smartphones ist, ausgegeben werden.A device can perform one or more operations. In addition, an object or an object can be assigned to several devices. Furthermore, in the spatial area, which depends on the location and orientation of the camera, an object or multiple objects are located so that the object determination unit can determine one or more objects. Accordingly, the operation determination unit may determine only one operation to be performed by a device or a plurality of operations to be performed by one or more devices. In particular, when multiple operations have been determined, the user may select one or more operations to be performed by the particular device through the user interface. Results of the respective operation performed can then be output on the output unit, which is, for example, a display of a smartphone.

Weiterhin wird die oben genannte Aufgabe durch ein System zum Bestimmen einer von einem Gerät durchzuführenden Operation gelöst, wobei das System die Operationsbestimmungsvorrichtung und die Kameravorrichtung umfasst.Furthermore, the above object is achieved by a system for determining an operation to be performed by a device, the system comprising the operation determination device and the camera device.

Außerdem wird die oben genannte Aufgabe durch ein Verfahren zum Bestimmen einer von einem Gerät durchzuführenden Operation gelöst, wobei das Verfahren umfasst:

- Bereitstellen von Zuordnungen zwischen a) von Geräten durchzuführenden Operationen und b) Objekten durch eine Zuordnungsbereitstellungseinheit,
- Bestimmen eines in einem räumlichen Bereich befindlichen Objekts durch eine Objektbestimmungseinheit, wobei der räumliche Bereich von dem Ort und der Orientierung einer Kamera einer Kameravorrichtung zum Aufnehmen eines Bildes abhängt,, wobei die Objektbestimmungseinheit den räumlichen Bereich auf Basis eines Orts, einer Orientierung und eines Sichtfelds der Kamera bestimmt, Zuordnungen zwischen Orten und Objekten bereitstellt, und das Objekt so bestimmt, dass es einem Ort zugeordnet ist, der sich im bestimmten räumlichen Bereich befindet,
- Bestimmen einer von einem Gerät durchzuführenden Operation auf Basis der bereitgestellten Zuordnungen und des bestimmten Objekts durch eine Operationsbestimmungseinheit.

In addition, the above object is achieved by a method for determining an operation to be performed by a device, the method comprising:

Providing allocations between a) operations to be performed by devices and b) objects through an allocation providing unit,
Determining an object located in a spatial area by an object determination unit, wherein the spatial area depends on the location and orientation of a camera of a camera device for taking an image, wherein the object determination unit determines the spatial area based on a location, an orientation and a field of view determines the camera, provides mappings between locations and objects, and determines the object to be associated with a location that is in the particular spatial area;
Determining an operation to be performed by a device based on the provided assignments and the particular object by an operation determination unit.

Die oben genannte Aufgabe wird zudem durch ein Computerprogramm zum Bestimmen einer von einem Gerät durchzuführenden Operation gelöst, wobei das Computerprogramm angepasst ist, das Verfahren gemäß Anspruch 9 durchzuführen, wenn es auf einer Operationsbestimmungsvorrichtung gemäß Anspruch 1 ausgeführt wird.The above object is further achieved by a computer program for determining an operation to be performed by a device, wherein the computer program is adapted to perform the method according to claim 9 when executed on an operation determination device according to claim 1.

Es sollte verstanden werden, dass die Operationsbestimmungsvorrichtung nach An- spruch 1, die Kameravorrichtung nach Anspruch 6, das System nach Anspruch 8, das Verfahren nach Anspruch 9 und das Computerprogramm nach Anspruch 10 ähnliche und/oder identische bevorzugte Ausführungsformen aufweisen, wie sie insbesondere in den abhängigen Ansprüchen definiert sind.It should be understood that the operation determination apparatus according to claim 1, the camera apparatus according to claim 6, the system according to claim 8, the method according to claim 9 and the computer program according to claim 10 have similar and / or identical preferred embodiments as described in particular are defined in the dependent claims.

Im Folgenden werden Ausführungsformen der Erfindung unter Bezugnahme auf folgende Figuren beschrieben, wobei

1 schematisch und exemplarisch eine Ausführungsform eines Systems zum Bestimmen einer von einem Gerät durchzuführenden Operation zeigt, und
2 ein Flussdiagramm zeigt, das eine Ausführungsform eines Verfahrens zum Bestimmen einer von einem Gerät durchzuführenden Operation illustriert.

Embodiments of the invention will be described below with reference to the following figures, wherein

1 schematically and exemplarily shows an embodiment of a system for determining an operation to be performed by a device, and
2 FIG. 5 is a flowchart illustrating one embodiment of a method for determining an operation to be performed by a device.

1 zeigt schematisch und beispielhaft eine Ausführungsform eines Systems 20 zum Bestimmen einer von einem Gerät 3 durchzuführenden Operation. In dieser Ausführungsform ist das Gerät 3 eine Webcam, die an dem Eiffelturm 4 in Paris befestigt ist. Das System 20 umfasst eine Operationsbestimmungsvorrichtung 1 und eine Kameravorrichtung 8. In dieser Ausführungsform ist die Kameravorrichtung 8 ein Smartphone mit einer Kamera 6, die ein Sichtfeld 9 aufweist. Die Operationsbestimmungsvorrichtung 1 ist ein Server, der angepasst ist, eine von einem Gerät durchzuführende Operation zu bestimmen. Der Server 1 umfasst eine Zuordnungsbereitstellungseinheit 2 zum Bereitstellen von Zuordnungen zwischen a) von Geräten durchzuführenden Operationen und b) Objekten. Die Zuordnungsbereitstellungseinheit 2 kann beispielsweise eine Datenbank bereitstellen, in der Objekte abgelegt sind, die mit von Geräten durchzuführenden Operationen verknüpft sind. In diesem Ausführungsbeispiel ist eines dieser Objekte der Eiffelturm, wobei in der Datenbank der Eiffelturm mit einer an dem Eiffelturm angebrachten Webcam 3 verknüpft ist. Die Datenbank weist weitere Verknüpfungen zwischen Objekten und von Geräten durchzuführenden Operationen auf, wobei die jeweiligen Geräte nicht zwingend an dem jeweiligen Objekt angeordnet sein müssen. 1 shows schematically and by way of example an embodiment of a system 20 for determining one of a device 3 to be performed operation. In this embodiment, the device is 3 a webcam attached to the Eiffel Tower 4 fastened in Paris. The system 20 comprises an operation determination device 1 and a camera device 8th , In this embodiment, the camera device is 8th a smartphone with a camera 6 that a field of vision 9 having. The operation determination device 1 is a server adapted to determine an operation to be performed by a device. The server 1 includes an assignment delivery unit 2 to provide associations between a) operations to be performed by equipment and b) objects. The allocation delivery unit 2 For example, it may provide a database that stores objects associated with operations to be performed by devices. In this embodiment, one of these objects is the Eiffel Tower, wherein in the database the Eiffel Tower is linked to a webcam 3 attached to the Eiffel Tower. The database has further links between objects and operations to be performed by devices, whereby the respective devices do not necessarily have to be arranged on the respective object.

Der Server 1 umfasst des Weiteren eine Objektbestimmungseinheit 5 zum Bestimmen eines in einem räumlichen Bereich befindlichen Objekts, wobei der räumliche Bereich von dem Ort und der Orientierung der Kamera 6 abhängt. In diesem Ausführungsbeispiel ist die Objektbestimmungseinheit 7 angepasst, den Eiffelturm 4 in einem mit der Kamera 6 aufgenommenen Bild zu detektieren, um das in dem räumlichen Bereich befindliche Objekt zu bestimmen. Hierzu segmentiert die Objektbestimmungseinheit 7 mehrere in dem aufgenommenen Bild befindliche Objekte und überprüft dann, welches dieser segmentierten Objekte in der Datenbank der Zuordnungsbereitstellungseinheit 2 vorhanden ist. In dem vorliegenden Beispiel wird die Objektbestimmungseinheit 7 feststellen, dass sich der segmentierte Eiffelturm in dieser Datenbank befindet, wonach die Objektbestimmungseinheit 5 den Eiffelturm als das hier relevante Objekt bestimmt.The server 1 further comprises an object determination unit 5 for determining an object located in a spatial area, wherein the spatial area of the location and the orientation of the camera 6 depends. In this embodiment, the object determination unit 7 adapted, the Eiffel Tower 4 in one with the camera 6 detected image to determine the object located in the spatial area. For this purpose, the object determination unit segments 7 a plurality of objects in the captured image, and then checks which of those segmented objects in the mapping delivery unit's database 2 is available. In the present example, the object determination unit becomes 7 determine that the segmented Eiffel Tower is in this database, after which the object determination unit 5 determines the Eiffel Tower as the relevant object here.

Die Objektbestimmungseinheit 5 kann auch angepasst sein, ein in einem räumlichen Bereich, der von dem Ort und der Orientierung der Kamera 6 abhängt, befindliches Objekt zu bestimmen, ohne ein von der Kamera 6 aufgenommenes Bild zu verwenden. Hierzu kann die Objektbestimmungseinheit 5 angepasst sein, den räumlichen Bereich auf Basis eines Ortes, einer Orientierung und eines Sichtfeldes 9 der Kamera 6 zu bestimmen, wobei der durch den Ort, die Orientierung und das Sichtfeld 9 der Kamera 6 definierte räumliche Bereich durch einen vorgegebenen maximalen Abstand zu der Kamera 6 weiter definiert werden kann. Dieser maximale Abstand kann fest vorgegeben sein oder mittels einer Benutzeroberfläche, die von der Kameravorrichtung 8 bereitgestellt werden kann, von einem Benutzer wählbar und einstellbar sein. Die Objektbestimmungseinheit 5 kann weiter angepasst sein, Zuordnungen zwischen Orten und Objekten bereitzustellen und das Objekt so zu bestimmen, dass es einem Ort zugeordnet ist, der sich im bestimmten räumlichen Bereich befindet. Diese Zuordnungen zwischen Orten und Objekten können als Karte aufgefasst werden, in der eingetragen ist, an welchen Orten sich welche Objekte befinden. Zusammen mit dem räumlichen Bereich, der durch den Ort, die Orientierung und das Sichtfeld 9 der Kamera 6 definiert ist, können dann ein oder mehrere Objekte bestimmt werden, die sich in diesem räumlichen Bereich befinden. In dem vorliegenden Beispiel könnte festgestellt werden, dass sich der Eiffelturm 4 in dem räumlichen Bereich befindet. Diese Bestimmung von einem Objekt oder mehreren Objekten, die sich in dem so definierten räumlichen Bereich befinden, ermöglicht ein Bestimmen eines Objekts, das in einem entsprechend aufgenommenen Bild nicht sichtbar wäre, da es sich von der Kamera 6 aus gesehen hinter einem anderen Objekt befindet.The object determination unit 5 may also be adapted to a spatial area depending on the location and orientation of the camera 6 depends on determining the object, without one from the camera 6 to use the captured image. For this purpose, the object determination unit 5 be adapted to the spatial area based on a location, an orientation and a field of view 9 the camera 6 being determined by the location, the orientation and the field of view 9 the camera 6 defined spatial area by a given maximum distance to the camera 6 can be further defined. This maximum distance may be fixed or by means of a user interface provided by the camera device 8th can be provided, selectable by a user and adjustable. The object determination unit 5 may be further adapted to provide mappings between locations and objects and to determine the object to be associated with a location located in the particular spatial area. These associations between locations and objects can be understood as a map in which is entered, at which locations which objects are located. Together with the spatial area, the place, the orientation and the field of vision 9 the camera 6 is defined, then one or more objects can be determined which are located in this spatial area. In the present example, it could be stated that the Eiffel Tower 4 located in the spatial area. This determination of one or more objects located in the spatial area thus defined allows a determination of an object that would not be visible in a correspondingly captured image as it is from the camera 6 Seen from behind another object.

Der Server 1 umfasst des Weiteren eine Operationsbestimmungseinheit 7 zum Bestimmen einer von einem Gerät durchzuführenden Operation auf Basis der bereitgestellten Zuordnungen zwischen a) von Geräten durchzuführenden Operationen und b) Objekten und auf Basis des bestimmten Objekts. In diesem Ausführungsbeispiel ist das bestimmte Objekt der Eiffelturm 4, wobei dem Eiffelturm 4 eine Webcam 3 zugeordnet ist, so dass die Operationsbestimmungseinheit 7 als von der Webcam 3 durchzuführende Operation eine Bildaufnahme vom Eiffelturm aus bestimmt. Die Kameravorrichtung 8, die in diesem Beispiel ein Smartphone ist, weist als Ausgabeeinheit 12 ein Display auf, auf dem das von der Webcam 3 aufgenommene Bild angezeigt wird.The server 1 further comprises an operation determination unit 7 for determining an operation to be performed by a device based on the provided associations between a) operations to be performed by devices and b) objects and based on the particular object. In this embodiment, the particular object is the Eiffel Tower 4 , being the Eiffel Tower 4 a webcam 3 is assigned, so that the operation determination unit 7 as from the webcam 3 The operation to be performed determines an image capture from the Eiffel Tower. The camera device 8th , which in this example is a smartphone, points as output unit 12 a display on which the webcam 3 taken picture is displayed.

Um eine Kommunikation zwischen der Kameravorrichtung 8, dem Server 1 und der Webcam 3 zu ermöglichen, umfasst der Server 1 des Weiteren eine Datenverbindungsherstellungseinheit 10, die angepasst ist, über das Internet 13 eine Datenverbindung zwischen der Kameravorrichtung 8 und damit der Kamera 6 und dem Server 1 und eine Datenverbindung zwischen der Webcam 3 und dem Server 1 herzustellen. Die Datenverbindungsherstellungseinheit 10 ist auch angepasst, eine Datenverbindung zwischen der Webcam 3 und der Kameravorrichtung 8 bereitzustellen, so dass das von der Webcam 3 aufgenommene Bild an die Kameravorrichtung 8 übertragen werden kann. Diese Verbindung zwischen der Webcam 3 und der Kameravorrichtung 8 erfolgt über das Internet 13 entweder direkt zwischen der Webcam 3 und der Kameravorrichtung 8 oder über den Server 1.To communicate between the camera device 8th , the server 1 and the webcam 3 To enable the server includes 1 further, a data connection manufacturing unit 10 that is adapted over the internet 13 a data connection between the camera device 8th and with it the camera 6 and the server 1 and a data connection between the webcam 3 and the server 1 manufacture. The data connection manufacturing unit 10 is also adapted to a data connection between the webcam 3 and the camera device 8th provide, so that by the webcam 3 taken picture to the camera device 8th can be transferred. This connection between the webcam 3 and the camera device 8th done via the internet 13 either directly between the webcam 3 and the camera device 8th or via the server 1 ,

Die Kameravorrichtung 8 umfasst des Weiteren eine Benutzeroberflächenbereitstellungseinheit 11 zum Bereitstellen einer Benutzeroberfläche, wobei die Benutzeroberfläche angepasst ist, es einem Benutzer zu ermöglichen, die bestimmte Operation auszuwählen, wonach die ausgewählte Operation von dem Gerät ausgeführt wird. Das heißt, das System 20 kann angepasst sein, die bestimmte Operation erst dann durchzuführen, wenn diese von dem Benutzer mittels der Benutzeroberfläche ausgewählt worden ist.The camera device 8th further comprises a user interface providing unit 11 for providing a user interface, wherein the user interface is adapted to allow a user to select the particular operation, whereafter the selected operation is performed by the device. That is, the system 20 may be adapted to perform the particular operation only when selected by the user via the user interface.

Einem Objekt können mehrere von einem Gerät oder mehreren Geräten durchzuführende Operationen zugeordnet sein. Zudem können sich in dem jeweiligen Bereich mehrere Objekte befinden, denen Operationen zugeordnet sind. Die Operationsbestimmungseinheit 7 kann demnach mehrere Operationen bestimmen. Die von der Benutzeroberflächenbereitstellungseinheit 11 bereitgestellte Benutzeroberfläche kann dann angepasst sein, die mehreren bestimmten Operationen anzuzeigen, wonach der Benutzer eine oder mehrere dieser Operationen auswählen kann. Die eine ausgewählte Operation oder die mehreren ausgewählten Operationen können dann von dem jeweiligen Gerät beziehungsweise den jeweiligen Geräten durchgeführt werden.An object can be assigned multiple operations to be performed by one or more devices. In addition, several objects may be located in the respective area, to which operations are assigned. The operation determination unit 7 can therefore determine several operations. The user interface deployment unit 11 provided user interface may then be adapted to indicate the plurality of particular operations, whereafter the user may select one or more of these operations. The one or more selected operations may then be performed by the respective device (s).

Im Folgenden wird ein Ausführungsbeispiel eines Verfahrens zum Bestimmen einer von einem Gerät durchzuführenden Operation unter Bezugnahme auf ein Flussdiagramm beschrieben, das in der 2 gezeigt ist.Hereinafter, an embodiment of a method for determining an operation to be performed by a device will be described with reference to a flowchart shown in FIG 2 is shown.

In dem Schritt 101 werden Zuordnungen zwischen a) von Geräten durchzuführenden Operationen und b) Objekten durch die Zuordnungsbereitstellungseinheit 5 bereitgestellt. In dem Schritt 102 wird ein in einem räumlichen Bereich befindliches Objekt durch die Objektbestimmungseinheit 5 bestimmt, wobei der räumliche Bereich von dem Ort und der Orientierung der Kamera 6 der Kameravorrichtung 8 abhängt. In dem Schritt 103 wird eine von einem Gerät durchzuführende Operation auf Basis der bereitgestellten Zuordnungen zwischen den von Geräten durchzuführenden Operationen und den Objekten und auf Basis des bestimmten Objekts durch die Operationsbereitstellungseinheit 7 bestimmt. In dem Schritt 104 wird die bestimmte Operation dem Benutzer zur Auswahl mittels der Benutzeroberfläche angezeigt, wonach in dem Schritt 105 die ausgewählte Operation durchgeführt und das Operationsergebnis auf der Ausgabeeinheit 12 der Kameravorrichtung 8 angezeigt wird.In the step 101 Mappings are made between a) operations to be performed by devices and b) objects through the allocation providing unit 5 provided. In the step 102 becomes an object located in a spatial area by the object determination unit 5 determined, with the spatial area of the place and the Orientation of the camera 6 the camera device 8th depends. In the step 103 becomes an operation to be performed by a device based on the provided mappings between the operations to be performed by devices and the objects and based on the particular object by the operation providing unit 7 certainly. In the step 104 the particular operation is displayed to the user for selection by means of the user interface, after which in the step 105 the selected operation is performed and the operation result on the output unit 12 the camera device 8th is shown.

Es sollte verstanden werden, dass 1 natürlich eine rein schematische Figur ist. So bedeckt die Ausgabeeinheit 12, die in diesem Beispiel ein Display ist, bevorzugt eine gesamte Vorderfläche des Smartphones 8.It should be understood that 1 Of course, this is a purely schematic figure. So the output unit covers 12 , which in this example is a display, preferably prefers an entire front surface of the smartphone 8th ,

Es gibt die vielfältigsten Geräte, die mit dem Internet verbunden sind und Dienste, das heißt Operationen, durchführen beziehungsweise abliefern können. Zu diesen Geräten gehören internetfähige Kameras wie die Webcam 3. Personen, das heißt Benutzer, würden diese Dienste gerne nutzen, wenn sie wüssten, welche Dienste in ihrer Nähe vorhanden sind. Beispielsweise könnte es für Personen interessant sein zu wissen, welche Webcams sich in der Umgebung befinden, die die jeweilige Person nutzen könnte. Durch das oben beschriebene System und Verfahren könnte die jeweilige Person durch einen Blick auf das Display 12 erkennen, welche internetfähigen Geräte in der Nähe vorhanden sind, die über den Server 1 ihre Dienste anbieten, wonach der Benutzer durch eine entsprechende Auswahl selektiv eine Verbindung mit einem oder mehreren dieser Geräte herstellen könnte, um deren Dienste zu nutzen. So könnte beispielsweise durch eine einfache Berührung auf ein berührungssensitives Display 12 eine Verbindung mit einer Webcam hergestellt werden, wonach ein von der Webcam aufgenommenes Bild auf dem Display angezeigt werden kann. Auch andere Geräte und/oder Operationen, das heißt Dienste, sind möglich. Beispielsweise kann ein Gerät ein Temperatursensor sein, der als Dienst beziehungsweise Operation eine Temperaturmessung über den Server 1 anbieten kann. Es kann demnach eine Verbindung zwischen einer Kameravorrichtung mit einer Kamera, die beispielsweise ein Smartphone oder ein Tabletcomputer ist, und einem eine Operation beziehungsweise einen Dienst anbietenden Gerät mittels einer visuellen Darstellung der Operation beziehungsweise des Dienstes auf der Kameravorrichtung und eine entsprechende Auswahl hergestellt werden. Die Verbindung kann dann direkt zwischen der Kameravorrichtung und dem jeweiligen ausgewählten Gerät oder über den Server erfolgen.There are the most diverse devices connected to the Internet that can perform or deliver services, that is, operations. These devices include Internet-enabled cameras like the webcam 3 , People, that is, users, would like to use these services if they knew which services were available in their vicinity. For example, it may be interesting for people to know which webcams are in the environment that the individual could use. Through the system and method described above, the respective person could look through the display 12 Detect which Internet-enabled devices are available nearby, via the server 1 offer their services, whereby the user could selectively connect to one or more of these devices through an appropriate selection in order to use their services. For example, by a simple touch on a touch-sensitive display 12 connect to a webcam, after which an image captured by the webcam can be displayed on the screen. Other devices and / or operations, that is services, are possible. For example, a device may be a temperature sensor, which as a service or operation, a temperature measurement via the server 1 can offer. Accordingly, a connection between a camera device with a camera, which is for example a smartphone or a tablet computer, and an apparatus offering an operation or a service can be produced by means of a visual representation of the operation or the service on the camera device and a corresponding selection. The connection can then be made directly between the camera device and the selected device or via the server.

Beispielsweise kann sich der Benutzer in Paris auf dem Montmartre befinden und dann seine Kamera so halten, dass sich der Eiffelturm in einem räumlichen Bereich befindet, der durch den Ort und die Orientierung der Kameravorrichtung definiert ist. Das oben beschriebene System und das oben beschriebene Verfahren würden dann bestimmen, dass sich der Eiffelturm in diesem räumlichen Bereich befindet, wonach eine dem Eiffelturm zugeordnete Operation wie beispielsweise die Aufnahme eines Bildes mittels einer Webcam auf dem Display der Kameravorrichtung angezeigt werden kann. Diese kann dann von dem Benutzer ausgewählt werden, wonach er auf dem Montmartre beispielsweise ein von dem Eiffelturm aus aufgenommenes Bild des Montmartre auf seinem Display sehen kann.For example, the user may be in Montmartre in Paris and then hold his camera so that the Eiffel Tower is in a spatial area defined by the location and orientation of the camera device. The system described above and the method described above would then determine that the Eiffel Tower is in that spatial area, whereafter an operation associated with the Eiffel Tower, such as the taking of an image by means of a webcam, can be displayed on the display of the camera apparatus. This can then be selected by the user, after which he can see on Montmartre, for example, a recorded from the Eiffel Tower image of Montmartre on his display.

Obwohl in den oben aufgeführten Ausführungsformen die Geräte, die die Operation durchführen, und die Objekte, die in dem räumlichen Bereich detektiert werden, unterschiedlich sind, können in anderen Ausführungsformen die detektierten Objekte selbst auch die Geräte sein, die die Operationen durchführen.Although in the above-mentioned embodiments the devices performing the operation and the objects detected in the spatial area are different, in other embodiments, the detected objects themselves may also be the devices performing the operations.

Obwohl in den oben beschriebenen Ausführungsformen das Gerät, das heißt in dem Beispiel die Webcam, an dem Objekt angebracht ist, können die Operationen, die Objekten zugeordnet sind, auch von Geräten durchgeführt werden, die nicht an dem jeweiligen Objekt angeordnet sind. Insbesondere können Operationen dem jeweiligen Objekt zugeordnet sein, die von Geräten durchzuführen sind, die sich innerhalb eines vorgebbaren oder vorgegebenen Abstands zu dem jeweiligen Objekt befinden.Although in the embodiments described above the device, that is, the webcam in the example, is attached to the object, the operations associated with objects may also be performed by devices that are not disposed on the respective object. In particular, operations may be associated with the respective object to be performed by devices that are within a predeterminable or predetermined distance to the respective object.

Obwohl in einer oben aufgeführten Ausführungsform die Verbindung zwischen der Kameravorrichtung 8 und dem Gerät 3 über den Server 1 oder direkt zwischen der Kameravorrichtung 8 und dem Gerät 3 erfolgt, kann in einer anderen Ausführungsform die Verbindung zwischen der Kameravorrichtung 8 und dem Gerät 3 auch auf eine andere Art und Weise erfolgen. Beispielsweise kann ein weiterer Server verwendet werden, um diese Verbindung herzustellen. In diesem Fall hat der Server 1 die Funktion, die Operation zu bestimmen, die von dem jeweiligen Gerät der Kameravorrichtung 8 angeboten wird, wobei dann die eigentliche Verbindung über den weiteren Server erfolgt.Although in an embodiment listed above, the connection between the camera device 8th and the device 3 over the server 1 or directly between the camera device 8th and the device 3 In another embodiment, the connection between the camera device 8th and the device 3 also done in a different way. For example, another server can be used to make this connection. In this case, the server has 1 the function to determine the operation of the respective device of the camera device 8th is offered, in which case the actual connection is made via the other server.

Die Kameravorrichtung 8 kann auch selber eine Operation durchführen, wobei das Operationsergebnis einer anderen Vorrichtung übermittelt werden kann. Die Kameravorrichtung 8 kann demnach auch als ein Gerät aufgefasst werden, das eine Operation durchführt. Diese Operation kann beispielsweise die Aufnahme eines Bildes sein. Die Kameravorrichtung 8 kann ihren Ort der Objektbestimmungsvorrichtung 1 mitteilen, wonach die Zuordnungsbereitstellungseinheit auch eine Zuordnung zwischen der von der Kameravorrichtung 8 durchzuführenden Operation und der Kameravorrichtung selbst, die hier als „Objekt“ fungiert, bereitstellen kann. Wenn sich die Kameravorrichtung 8 in einem von dem Ort und der Orientierung einer weiteren Kameravorrichtung abhängigen räumlichen Bereich befindet, kann die Objektbestimmungseinheit die Kameravorrichtung 8 bestimmen, und die Operationsbestimmungseinheit kann die Operation, die die Kameravorrichtung 8 durchführen kann, als durchzuführende Operation bestimmen, wonach diese durchzuführende Operation, das heißt die Bildaufnahme, der weiteren Kameravorrichtung angezeigt werden kann. Bevorzugt ist das System angepasst, die Operation der Kameravorrichtung 8 der weiteren Kameravorrichtung nur dann anzuzeigen, wenn der Benutzer der Kameravorrichtung 8 mittels einer entsprechenden Benutzeroberfläche sein Einverständnis angezeigt hat. Wenn mittels der weiteren Kameravorrichtung beispielsweise die Aufnahme eines Bildes mittels der Kameravorrichtung 8 ausgewählt worden ist, kann dieses Bild entweder automatisch oder manuell nach entsprechender Aufforderung erzeugt werden.The camera device 8th can also perform an operation itself, the operation result of another device can be transmitted. The camera device 8th can therefore also be understood as a device that performs an operation. This operation may be, for example, the taking of an image. The camera device 8th can its location of the object determination device 1 according to which the allocation providing unit also has an association between that of the camera device 8th and the camera device itself, which here functions as an "object", can provide. When the camera device 8th is in a spatial region dependent on the location and orientation of another camera device, the object determination unit may select the camera device 8th determine, and the operation determination unit can perform the operation that the camera device 8th can determine as to be performed operation, after which this operation to be performed, that is, the image recording, the other camera device can be displayed. Preferably, the system is adapted, the operation of the camera device 8th the other camera device only display when the user of the camera device 8th has indicated his consent by means of an appropriate user interface. If by means of the further camera device, for example, the recording of an image by means of the camera device 8th This image may be generated either automatically or manually upon prompting.

In den Ansprüchen schließen die Wörter „aufweisen“ und „umfassen“ nicht andere Elemente oder Schritte aus und der unbestimmte Artikel „ein“ schließt eine Mehrzahl nicht aus.In the claims, the words "comprising" and "comprising" do not exclude other elements or steps, and the indefinite article "a" does not exclude a plurality.

Eine einzelnes System, eine einzelne Einheit oder eine einzelne Vorrichtung kann die Funktionen mehrerer Elemente durchführen, die in den Ansprüchen aufgeführt sind. Die Tatsache, dass einzelne Funktionen und Elemente in unterschiedlichen abhängigen Ansprüchen aufgeführt sind, bedeutet nicht, dass nicht auch eine Kombination dieser Funktionen oder Elemente vorteilhaft verwendet werden könnte.A single system, unit, or device may perform the functions of multiple elements set forth in the claims. The fact that individual functions and elements are listed in different dependent claims does not mean that a combination of these functions or elements could not be used to advantage.

Vorgänge wie das Bereitstellen von Zuordnungen, das Bestimmen eines in einem räumlichen Bereich befindlichen Objekts, das Bestimmen einer von einem Gerät durchzuführenden Operation et cetera, die von einer oder mehreren Einheiten oder Vorrichtungen durchgeführt werden, können auch von einer anderen Anzahl an Einheiten oder Vorrichtungen durchgeführt werden. Diese Vorgänge und/oder die Steuerung des Systems zum Bestimmen einer von einem Gerät durchzuführenden Operation und/oder der Kameravorrichtung und/oder der Operationsbestimmungsvorrichtung entsprechend den oben beschriebenen Verfahrensschritten können als Programmcode eines Computerprogrammes und/oder als entsprechende Hardware implementiert sein.Operations such as providing mappings, determining an object in a spatial area, determining an operation et cetera to be performed by a device performed by one or more units or devices may also be performed by a different number of units or devices become. These operations and / or the control of the system for determining an operation to be performed by a device and / or the camera device and / or the operation determination device according to the above-described method steps may be implemented as program code of a computer program and / or corresponding hardware.

Ein Computerprogramm kann auf einem geeigneten Medium gespeichert und/oder verteilt werden, wie beispielsweise einem optischen Speichermedium oder einem Festkörperspeichermedium, das zusammen mit oder als Teil anderer Hardware vertrieben wird. Das Computerprogramm kann aber auch in anderen Formen vertrieben werden, beispielsweise über das Internet oder andere Telekommunikationssysteme.A computer program may be stored and / or distributed on a suitable medium, such as an optical storage medium or a solid state storage medium, distributed along with or as part of other hardware. The computer program can also be distributed in other forms, for example via the Internet or other telecommunication systems.

Die Bezugszeichen in den Ansprüchen sind nicht derart zu verstehen, dass der Gegenstand und der Schutzbereich der Ansprüche durch diese Bezugszeichen eingeschränkt sind.The reference signs in the claims are not to be understood as limiting the subject matter and the scope of the claims to these references.

Claims

An operation determination device for determining an operation to be performed by a device, wherein the operation determination device (1) comprises: an assignment providing unit (2) for providing assignments between a) operations to be performed by devices and b) objects, - An object determining unit (5) for determining an object located in a spatial area, wherein the spatial area of the location and orientation of a camera (6) of a camera device (8) for receiving an image depends, wherein the object determining unit (5) is adapted i) determining the spatial area based on a location, orientation and field of view (9) of the camera (6), ii) providing mappings between locations and objects, and iii) determining the object (4) so that is assigned to a place that is in the specific spatial area, an operation determination unit (7) for determining an operation to be performed by a device on the basis of the provided assignments and the determined object.

Operation determination device according to Claim 1 characterized in that the object determination unit (5) is adapted to determine the spatial area independently of whether obscured objects obscure other objects.

Operation determining device according to one of Claims 1 and 2 characterized in that the object determination unit (5) is adapted to limit the spatial area to the camera (6) using a predetermined maximum distance.

An operation determination apparatus according to any one of the preceding claims, characterized in that the object determination unit (5) is adapted to detect the object (4) in the image to determine the object located in the spatial area.

Operation determining device according to one of the preceding claims, characterized characterized in that the operation determination device (1) comprises a data connection manufacturing unit (10) adapted to have a data connection a) between the camera device (8) and the operation determination device (1) and b) between the camera device (8) and the device (3). and / or between the operation-determining device (1) and the device (3).

A camera apparatus for use with the operation determining apparatus according to any one of the preceding claims, characterized in that the camera apparatus (8) comprises a user interface providing unit (11) for providing a user interface, the user interface adapted to allow a user to select the particular operation, then the selected operation is performed by the device (3).

Camera device after Claim 6 characterized in that the camera device (8) has an output unit (12) for outputting a result obtained by the specific operation.

A system for determining an operation to be performed by a device, the system (20) comprising the operation determining device (1) according to Claim 1 and the camera device (8) after Claim 7 ,

A method of determining an operation to be performed by a device, the method comprising: Providing allocations between a) operations to be performed by devices and b) objects through an allocation providing unit (5), Determining an object (4) located in a spatial area by an object determining unit (5), the spatial area depending on the location and orientation of a camera (6) of a camera device (8) for taking an image, wherein the object determining unit (5 ) determines the spatial area based on a location, an orientation and a field of view (9) of the camera (6), provides associations between locations and objects, and determines the object (4) to be associated with a location located in certain spatial area, - Determining an operation to be performed by a device (3) on the basis of the provided assignments and the specific object (4) by an operation determination unit (10).

A computer program for determining an operation to be performed by a device, wherein the computer program is adapted, the method according to Claim 9 when acting on an operation determination device according to Claim 1 is performed.