DE102013107980A1 - Method for operating or controlling functions, in particular for model railways - Google Patents

Method for operating or controlling functions, in particular for model railways Download PDF

Info

Publication number
DE102013107980A1
DE102013107980A1 DE201310107980 DE102013107980A DE102013107980A1 DE 102013107980 A1 DE102013107980 A1 DE 102013107980A1 DE 201310107980 DE201310107980 DE 201310107980 DE 102013107980 A DE102013107980 A DE 102013107980A DE 102013107980 A1 DE102013107980 A1 DE 102013107980A1
Authority
DE
Germany
Prior art keywords
data processing
processing device
functional elements
display
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE201310107980
Other languages
German (de)
Inventor
Lothar Düning
Szabolcs Vita
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Viessmann Modelltechnik GmbH
Original Assignee
Viessmann Modelltechnik GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Viessmann Modelltechnik GmbH filed Critical Viessmann Modelltechnik GmbH
Priority to DE201310107980 priority Critical patent/DE102013107980A1/en
Publication of DE102013107980A1 publication Critical patent/DE102013107980A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H19/00Model railways
    • A63H19/24Electric toy railways; Systems therefor
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H19/00Model railways
    • A63H19/24Electric toy railways; Systems therefor
    • A63H2019/246Remote controls

Abstract

Die vorliegende Erfindung betrifft ein Verfahren und eine Steuerungsanordnung zum Bedienen und/oder zum Steuern der Funktionen von Funktionselementen durch eine Bedienperson mittels einem Datenverarbeitungsgerät, das ein Anzeige-/Eingabebildschirm aufweist, wobei das Verfahren wenigstens die folgenden Schritte umfasst: – Bereitstellen eines Datenverarbeitungsgerätes (15) in handhaltbarer Ausführung, das eine Kamera (16) aufweist, – Erfassen von Bildern der Umgebung des Datenverarbeitungsgerätes (15) mit der Kamera (16), – Erkennen der Funktionselemente (10, 11, 12) im erfassten Bild durch eine Bilderkennungssoftware und – Darstellen der erfassten Umgebung in Abhängigkeit vom Standort der Bedienperson (13) mit Anzeige der Funktionselemente (10, 11, 12) im Anzeige-/Eingabebildschirm (15) unter Wiedergabe zusätzlicher Informationen (21) über die Funktionselemente (10, 11, 12) und – Bedienen und/oder Steuern der Funktionselemente (10, 11, 12) durch die Bedienperson (13) über den Anzeige-/Eingabebildschirm (15) des Datenverarbeitungsgerätes (15).The present invention relates to a method and a control arrangement for operating and / or controlling the functions of functional elements by an operator by means of a data processing device having a display / input screen, the method comprising at least the following steps: - providing a data processing device (15 ) in a hand-holdable embodiment, which has a camera (16), - capturing images of the environment of the data processing device (15) with the camera (16), - recognizing the functional elements (10, 11, 12) in the captured image by an image recognition software, and Representing the detected environment depending on the location of the operator (13) with display of the functional elements (10, 11, 12) in the display / input screen (15) while playing additional information (21) on the functional elements (10, 11, 12) and - Operating and / or controlling the functional elements (10, 11, 12) by the operator (13) ü via the display / input screen (15) of the data processing device (15).

Description

Die vorliegende Erfindung betrifft ein Verfahren sowie eine Steuerungsanordnung zum Bedienen und/oder zum Steuern der Funktionen von Funktionselementen durch eine Bedienperson. The present invention relates to a method and a control arrangement for operating and / or controlling the functions of functional elements by an operator.

STAND DER TECHNIK STATE OF THE ART

Aus der DE 10 2004 005 166 A1 ist beispielsweise ein Verfahren zum Bedienen und/oder zum Steuern der Funktionen von Funktionselementen durch eine Bedienperson bekannt, wobei die Funktionselemente Bestandteil einer Modellbahnanlage sind. Vorgeschlagen wird hierfür eine sogenannte Digitalzentrale, und die Bedienung und/oder die Steuerung der Modellbahnanlage kann über die Digitalzentrale vorgenommen werden, indem ein Modulationssignal beispielsweise für die Schienenspannung in digitaler Form über Software- und Hardwarekomponenten eines Datenverarbeitungsgerätes gesteuert wird, die wie ein analoges Audiosignal übertragen wird. Die Ansteuerung der Modellbahnanlage wird damit nicht mehr über digitale Schnittstellen eines ansteuernden Datenverarbeitungsgeräts realisiert, sondern über einen Audioausgang. Das Datenverarbeitungsgerät kann dabei mobil ausgeführt sein, und es wird beschrieben, dass das mobile Datenverarbeitungsgerät sowohl die Funktion einer Digitalzentrale als auch die Funktion eines Fahrreglers eines Schienenfahrzeugs einer Modellbahnanlage übernehmen kann. Zur Steuerung der Fahrfunktionen kann eine Kamera herangezogen werden, und der Bediener kann zum Beispiel die Kamera auf eine Weiche in einem grafisch dargestellten Gleisbild oder auf ein entsprechend grafisch dargestelltes Symbol einer Lokomotive halten und durch einfachen Tastendruck die Umschaltung der Steuerung auf die entsprechende Weiche oder Lokomotive durchführen. Dabei werden die Funktionselemente durch einfach zu interpretierende Symbole grafisch dargestellt, wobei das mobile Datenverarbeitungsgerät mit der Kamera vorzugsweise an einer festen Position fixiert werden soll. From the DE 10 2004 005 166 A1 For example, a method for operating and / or controlling the functions of functional elements by an operator is known, wherein the functional elements are part of a model railway layout. Proposed for this purpose is a so-called digital center, and the operation and / or the control of the model railway system can be made via the digital center by a modulation signal, for example, for the rail voltage in digital form via software and hardware components of a data processing device is controlled, which transmit as an analog audio signal becomes. The control of the model railway system is thus no longer realized via digital interfaces of a controlling data processing device, but via an audio output. The data processing device can be designed to be mobile, and it is described that the mobile data processing device can take over both the function of a digital control center and the function of a driving controller of a rail vehicle of a model railway layout. For controlling the driving functions, a camera can be used, and the operator can, for example, hold the camera on a switch in a graphically displayed track or on a corresponding graphically displayed locomotive icon and switch the control to the appropriate switch or locomotive by simply pressing a button carry out. In this case, the functional elements are represented graphically by symbols that are easy to interpret, wherein the mobile data processing device with the camera should preferably be fixed at a fixed position.

Nachteilhafterweise muss der Bediener die Kamera vorher zum gewünschten Funktionselement bewegen, um dieses zu beeinflussen. Eine volldigitale und mobile Steuerung der Modellbahnanlage unabhängig vom Standort der Bedienperson mit dem Datenverarbeitungsgerät ist damit nicht möglich. Disadvantageously, the operator must first move the camera to the desired functional element in order to influence it. A fully digital and mobile control of the model railway system regardless of the location of the operator with the data processing device is not possible.

Seit einiger Zeit ist eine sogenannte Augmented Reality Technologie bekannt, mit der virtuelle Objekte in realen Umgebungen in einer digital erzeugten Überlagerung dargestellt werden können, und beispielsweise kann mit einem Datenverarbeitungsgerät eine Umgebung durch eine Kamera erfasst werden, und Funktionselemente in der Umgebung werden mit Informationen angereichert. So beschreibt beispielsweise die DE 103 09 355 A1 ein System zur Anzeige von virtuellen Objekten in realen Umgebungen im Sinne der Augmented Reality Technologie, und das System basiert auf einem mobilen Datenverarbeitungsgerät in Form eines kopfgetragenen Bildschirmsystems, und mit dem Bildschirmsystem erfasste Daten werden mit einem stationären Rechner kommuniziert, und vom stationären Rechner bereitgestellte Daten werden an das kopfgetragene Bildschirmsystem übertragen und einem Benutzer angezeigt. For some time, a so-called augmented reality technology has been known, with which virtual objects can be displayed in real environments in a digitally generated overlay, and for example, with a data processing device, an environment can be detected by a camera, and functional elements in the environment are enriched with information , For example, describes the DE 103 09 355 A1 a system for displaying virtual objects in real environments in the context of augmented reality technology, and the system is based on a mobile data processing device in the form of a head-mounted screen system, and data recorded with the screen system is communicated with a stationary computer and data provided by the stationary computer are transmitted to the head-mounted screen system and displayed to a user.

Kopfgetragene Bildschirmsysteme sind für einen flexiblen alltäglichen Einsatz ungeeignet und eignen sich in der Regel nicht zum Bedienen und/oder zum Steuern der Funktionen von Funktionselementen, und es ist wünschenswert, ein Datenverarbeitungsgerät bereitzustellen, das für einen spontanen Einsatz gekoppelt mit der Möglichkeit des Bedienens und/oder des Steuerns der Funktionen von Funktionselementen, beispielsweise zur Bedienung und Steuerung von Einrichtungen mit Funktionselementen im Alltag, im Haushalt oder am Arbeitsplatz, insbesondere in der Industrie, geeignet ist. Head-mounted display systems are unsuitable for flexible everyday use and are generally not suitable for operating and / or controlling the functions of functional elements, and it is desirable to provide a data processing device that is suitable for spontaneous use coupled with the possibility of operating and / or or controlling the functions of functional elements, for example, for the operation and control of devices with functional elements in everyday life, in the household or at work, in particular in industry, is suitable.

Aufgabe der Erfindung ist es, ein Verfahren vorzuschlagen, das auf einfache Weise die Bedienung und/oder die Steuerung der Funktionen von Funktionselementen basierend auf der Nutzung eines Datenverarbeitungsgerätes unter einfacher Bereitstellung von die Bedienung oder die Steuerung anreichernder Zusatzinformationen ermöglicht. Insbesondere ist es die Aufgabe, ein solches Verfahren und eine Steuerungsanordnung basierend auf einem Datenverarbeitungsgerät vorzuschlagen, das zur verbesserten und flexiblen Bedienung und/oder zur Steuerung der Funktionen von Funktionselementen einer Modellbahnanlage dienen kann. The object of the invention is to propose a method which enables in a simple manner the operation and / or the control of the functions of functional elements based on the use of a data processing device with simple provision of additional information enriching the operation or control. In particular, it is the object to propose such a method and a control arrangement based on a data processing device, which can serve for improved and flexible operation and / or for controlling the functions of functional elements of a model railway layout.

Diese Aufgabe wird ausgehend von einem Verfahren zum Bedienen und/oder zum Steuern der Funktionen von Funktionselementen sowie ausgehend von einer zugeordneten Steuerungsanordnung gemäß den bereits bekannten Merkmalen der Ansprüche 1 und 9 in Verbindung mit den jeweils kennzeichnenden Merkmalen gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben. This object is achieved on the basis of a method for operating and / or controlling the functions of functional elements as well as starting from an associated control arrangement according to the already known features of claims 1 and 9 in conjunction with the respective characterizing features. Advantageous developments of the invention are specified in the dependent claims.

Zur Lösung dieser Aufgabe schlägt die Erfindung ein Verfahren zum Bedienen und/oder zum Steuern der Funktionen von Funktionselementen durch eine Bedienperson mittels einem Datenverarbeitungsgerät vor, das ein Anzeige-/Eingabebildschirm aufweist, und das Verfahren weist den Schritt des Bereitstellens eines Datenverarbeitungsgerätes in handhaltbarer Ausführung auf, wobei das Datenverarbeitungsgerät eine Kamera aufweist, gefolgt vom Schritt des Erfassens von Bildern der Umgebung des Datenverarbeitungsgerätes mit der Kamera, gefolgt von dem Schritt des Erkennens der Funktionselemente im erfassten Bild durch eine Bilderkennungssoftware und von dem Schritt der Darstellung der erfassten Umgebung in Abhängigkeit vom Standort der Bedienperson mit Anzeige des Funktionselementes im Anzeige-/Eingabebildschirm unter Wiedergabe zusätzlicher Informationen über das Funktionselement und schließlich gefolgt von dem Schritt des Bedienens und/oder des Steuerns des Funktionselementes durch die Bedienperson über den Anzeige-/Eingabebildschirm des Datenverarbeitungsgerätes. To achieve this object, the invention proposes a method for operating and / or controlling the functions of functional elements by an operator by means of a data processing device having a display / input screen, and the method comprises the step of providing a data processing device in hand-held execution wherein the data processing device comprises a camera, followed by the step of capturing images of the environment of the data processing device with the camera, followed by the step of recognizing the Functional elements in the captured image by an image recognition software and by the step of representing the detected environment depending on the location of the operator with display of the functional element in the display / input screen playing additional information about the functional element and finally followed by the step of operating and / or Control the functional element by the operator via the display / input screen of the data processing device.

Die Erfindung geht dabei von dem Gedanken aus, eine Augmented Reality Technologie mit einem handhaltbaren Datenverarbeitungsgerät bereitzustellen, mit dem Funktionselemente mit Informationen angereichert werden können, und die Funktionselemente können zusätzlich über einen Anzeige-/Eingabebildschirm des Datenverarbeitungsgerätes bedient und/oder gesteuert werden. Das erfindungsgemäße Verfahren kann damit sowohl in Alltagssituationen als auch für geschäftliche Vorgänge, insbesondere für den industriellen Einsatz, Verwendung finden oder zum Bedienen und Steuern bestimmter Einrichtungen mit Funktionselementen verwendet werden. Das handhaltbare Datenverarbeitungsgerät kann beispielsweise als Tabletcomputer, als mobiles Endgerät der Telekommunikation oder als portabler Rechner einer sonstigen Bauart ausgeführt sein. Die Erfindung geht dabei von einem Datenverarbeitungsgerät mit einer Kamera aus, die als separate Kamera ausgeführt sein kann oder die vorzugsweise im Datenverarbeitungsgerät integriert ausgebildet ist. Durch die handhaltbare Ausführung kann der Benutzer die Kamera auf ein Funktionselement, auf einen Bereich von Funktionselementen oder insbesondere in eine bestimmte Richtung halten, sodass die Kamera Bilder der aktuellen Umgebung der Bedienperson und insbesondere Bilder der zu bedienenden oder zu steuernden Einrichtung erfassen kann, insbesondere Bilder in der Richtung, in der die Bedienperson das Datenverarbeitungsgerät mit der Kamera ausrichtet und damit durch die handgeführte Ausrichtung gezielt angewählt werden kann. Durch eine Bilderkennungssoftware, die beispielsweise im Datenverarbeitungsgerät betrieben werden kann, kann das Datenverarbeitungsgerät die aktuelle Position der Bedienperson erfassen und die Umgebung real oder abstrahiert, insbesondere beispielsweise in realer oder virtueller Form, auf dem Anzeige-/Eingabebildschirm wiedergeben. Insbesondere die Funktionselemente können abstrahiert, hervorgehoben, in sonstiger Weise markiert oder aktiviert angezeigt werden. Dabei können insbesondere die Funktionselemente aktiviert angezeigt werden, die mit zusätzlichen Informationen hinterlegt sind, und die in der aktuellen Perspektive sichtbar sind, wobei die aktuelle Perspektive sich auch für das auf dem Anzeige-/Eingabebildschirm ergebende Bild ergibt, abhängig vom aktuellen Standort der Bedienperson und der Ausrichtung, in der die Bedienperson das handhaltbare Datenverarbeitungsgerät hält. The invention is based on the idea of providing an augmented reality technology with a handheld data processing device, with which functional elements can be enriched with information, and the functional elements can additionally be operated and / or controlled via a display / input screen of the data processing device. The method according to the invention can thus be used both in everyday situations and for business processes, in particular for industrial use, or for operating and controlling certain devices with functional elements. The handheld data processing device can be designed, for example, as a tablet computer, as a mobile terminal of telecommunications or as a portable computer of another type. The invention is based on a data processing device with a camera, which can be designed as a separate camera or which is preferably integrated in the data processing device. The hand-held design allows the user to hold the camera on a functional element, on a range of functional elements or in particular in a particular direction so that the camera can capture images of the operator's current environment and, in particular, images of the device to be operated or controlled, in particular images in the direction in which the operator aligns the data processing device with the camera and thus can be targeted by the hand-held alignment. By an image recognition software that can be operated, for example, in the data processing device, the data processing device can detect the current position of the operator and the environment real or abstracted, especially in real or virtual form, play on the display / input screen. In particular, the functional elements can be abstracted, highlighted, marked in any other way or displayed activated. In particular, the functional elements can be activated, which are backed up with additional information, and which are visible in the current perspective, wherein the current perspective also results for the image resulting on the display / input screen, depending on the current location of the operator and the orientation in which the operator holds the hand-held data processing device.

Die zusätzlichen Informationen, die nach Art einer Augmented Reality der Bedienperson auf dem Anzeige-/Eingabebildschirm angezeigt werden können, können beispielsweise Funktionen der Funktionselemente umfassen und beschreiben, und die zusätzlichen Informationen können beispielsweise Angaben enthalten, wie und auf welche Weise die Bedienperson das Funktionselement bedienen und/oder steuern kann. Beispielsweise kann bei Verwendung des erfindungsgemäßen Verfahrens im Haushalt, beispielsweise in einem Raum, angezeigt werden, wo sich ein Lichtschalter befindet und beispielsweise welche Lampe mit dem Lichtschalter bedient werden kann. Im Sinne der vorliegenden Erfindung können die zusätzlichen Informationen auf den Anzeige-/Eingabebildschirm des Datenverarbeitungsgerätes Bedienflächen umfassen, um der Bedienperson eine Auswahl von Bedien- und/oder Steuerungsfunktionen der Funktionselemente anzugeben, und über die Schaltflächen kann die Bedienperson mittels des Datenverarbeitungsgerätes schließlich die Funktionen der Funktionselemente steuern. The additional information, which may be displayed in the manner of an augmented reality of the operator on the display / input screen, may include and describe, for example, functions of the functional elements, and the additional information may include, for example, how and how the operator manipulates the functional element and / or can control. For example, when using the method according to the invention in the home, for example in a room, be displayed where a light switch is located and, for example, which lamp can be operated with the light switch. For the purposes of the present invention, the additional information on the display / input screen of the data processing device may include control surfaces to indicate to the operator a selection of control and / or control functions of the functional elements, and via the buttons, the operator can use the data processing device finally the functions of Control functional elements.

Die Bilderkennungssoftware zur Erkennung der Funktionselemente und sich daran anschließende Rechenabläufe können im Datenerfassungsgerät selbst oder peripher vorgesehen sein. Wird die Bilderkennungssoftware peripher betrieben, erfolgt vorzugsweise ein Datenaustausch mit dem Datenerfassungsgerät. The image recognition software for recognizing the functional elements and subsequent computational processes can be provided in the data acquisition device itself or peripherally. If the image recognition software is operated peripherally, data exchange preferably takes place with the data acquisition device.

Vorteilhafterweise weist das Datenverarbeitungsgerät einen Speicher auf, in dem die Topografie insbesondere in Verbindung mit den Funktionselementen der erfassbaren Umgebung des Datenverarbeitungsgerätes abgespeichert und bereitgehalten wird. Die Bereithaltung von zusätzlichen Informationen zu einzelnen Funktionselementen in der Topografie einer Umgebung müssen zuvor in einem Speicher des Datenverarbeitungsgerätes abgespeichert werden, um diese schließlich bei Verwendung des Datenverarbeitungsgerätes zum Betrieb des erfindungsgemäßen Verfahrens bereitzuhalten. Im Speicher des Datenverarbeitungsgerätes können daher die Informationen über die Funktionselemente zusätzlich bereitgehalten werden, die im Anzeige-/Eingabebildschirm in Verbindung mit erkannten Funktionselementen für die Bedienperson angezeigt werden. Jedoch kanndie Topografie auch alternativ oder zusätzlich insbesondere in Verbindung mit den Funktionselementen der erfassbaren Umgebung des Datenverarbeitungsgerätes peripher abgespeichert und bereitgehalten werden. Advantageously, the data processing device has a memory in which the topography is stored and kept available, in particular in connection with the functional elements of the detectable environment of the data processing device. The provision of additional information on individual functional elements in the topography of an environment must first be stored in a memory of the data processing device in order to finally make it available when using the data processing device for operating the method according to the invention. In the memory of the data processing device, therefore, the information about the functional elements can be additionally provided, which are displayed in the display / input screen in conjunction with recognized functional elements for the operator. However, alternatively or additionally, the topography can also be peripherally stored and kept available, in particular in connection with the functional elements of the detectable environment of the data processing device.

Wird das Verfahren mit der zugehörigen Software mit dem Datenverarbeitungsgerät aktiviert, so erfasst die Bilderkennungssoftware über das von der Kamera aufgenommene Bild zunächst die Topografie der Umgebung und gleicht diese mit der abgespeicherten Topografie aus dem Speicher des Datenverarbeitungsgerätes oder einem peripheren Speicher ab. Durch die Funktion der Bilderkennungssoftware erkennt das Datenverarbeitungsgerät die aktuelle Position der Bedienperson und die Ausrichtung des Datenverarbeitungsgerätes aus der errechneten Topographie der erfassten Bilder. Damit kann die Umgebung real oder abstrahiert, insbesondere im Sinne einer virtuellen Realität, auf dem Anzeige-/Eingabebildschirm wiedergegeben werden. Die Funktionselemente, die sich im erfassten Ausschnitt der aktuell erfassten Topografie befinden, können im angezeigten Bildausschnitt auf dem Anzeige-/Eingabebildschirm ebenfalls angezeigt werden. If the process with the associated software is activated with the data processing device, the image recognition software will detect the data from the device Camera recorded image initially the topography of the environment and compares them with the stored topography from the memory of the data processing device or a peripheral memory. Due to the function of the image recognition software, the data processing device recognizes the current position of the operator and the orientation of the data processing device from the calculated topography of the captured images. Thus, the environment can be real or abstracted, in particular in the sense of a virtual reality, reproduced on the display / input screen. The functional elements that are located in the captured section of the currently acquired topography can also be displayed in the displayed image section on the display / input screen.

Das Laden der zusätzlichen Informationen zu den Funktionselementen kann dabei bereits während der Anzeige im Anzeige-/Eingabebildschirm erfolgen, oder das Laden der Informationen aus dem Speicher des Datenverarbeitungsgerätes oder dem externen Speicher kann dann erfolgen, wenn die Funktionen beispielsweise fingertaktil auf dem Anzeige-/Eingabebildschirm angewählt werden. Beispielsweise können die Darstellungen der Funktionselemente selber bereits beim Darstellen des Bildausschnittes auf dem Anzeige-/Eingabebildschirm aus einem der Speicher geladen werden, und erst wenn die Bedienperson das Funktionselement anwählt, beispielsweise durch die fingertaktile Anwahl des Anzeige-/Eingabebildschirms, können die den Funktionselementen hinterlegten zusätzlichen Informationen in den Arbeitsspeicher des Datenverarbeitungsgerätes hochgeladen werden. The loading of the additional information on the functional elements can already take place during the display in the display / input screen, or the loading of the information from the memory of the data processing device or the external memory can be done when the functions, for example, fingertaktil on the display / input screen be selected. For example, the representations of the functional elements themselves can already be loaded from one of the memories when displaying the image section on the display / input screen, and only when the operator selects the functional element, for example by the finger-tactile selection of the display / input screen, can the functional elements deposited additional information is uploaded to the main memory of the data processing device.

Die Bedienung und/oder die Steuerung der Funktionselemente der Einrichtung über das Datenverarbeitungsgerät erfolgt über eine Informationsübertragungsverbindung zwischen der Einrichtung und dem Datenverarbeitungsgerät, die auf verschiedenste Weise ausgebildet sein kann. The operation and / or the control of the functional elements of the device via the data processing device via an information transfer connection between the device and the data processing device, which may be formed in various ways.

Beispielsweise kann gemäß einer vorteilhaften Weiterbildung des erfindungsgemäßen Verfahrens das Datenverarbeitungsgerät eine Verbindung zu einer Netzwerkschnittstelleneinrichtung aufweisen, wobei an und/oder mit der Netzwerkschnittstelleneinrichtung Informationen zum Bedienen und/oder zum Steuern von Funktionen der Funktionselemente übermittelt werden. Netzwerkschnittstelleneinrichtungen werden auch als Hub bezeichnet und beschreiben Geräte in der Telekommunikationstechnik, die Netzknoten sternförmig verbinden können. Durch die Verwendung eines Hubs ergibt sich die Möglichkeit, das Datenverarbeitungsgerät mit weiteren Komponenten zu verbinden, beispielsweise mit einer Steuerungseinrichtung zur Steuerung einer technischen Anlage. Somit ergibt sich der Vorteil, dass beim Bedienen und/oder beim Steuern der Funktionselemente durch die Bedienperson über den Anzeige-/Eingabebildschirm des Datenverarbeitungsgerätes mittels der Netzwerkschnittstelleneinrichtung eine Steuerung einer technischen Anlage möglich wird. Die Kommunikationsverbindung zwischen dem Datenverarbeitungsgerät und der Netzwerkschnittstelleneinrichtung kann insbesondere drahtlos erfolgen, beispielsweise über ein WLAN. For example, according to an advantageous development of the method according to the invention, the data processing device has a connection to a network interface device, wherein information on operating and / or controlling functions of the functional elements is transmitted to and / or with the network interface device. Network interface devices are also referred to as a hub and describe devices in telecommunication technology that can connect network nodes in a star shape. By using a hub, it is possible to connect the data processing device with other components, for example with a control device for controlling a technical system. Thus, there is the advantage that when operating and / or when controlling the functional elements by the operator via the display / input screen of the data processing device by means of the network interface device, a control of a technical system is possible. The communication connection between the data processing device and the network interface device can in particular be wireless, for example via a WLAN.

Die Netzwerkschnittstelleneinrichtung kann eine Rechen-/ und Speichereinheit aufweisen, in der die Bilderkennungssoftware betrieben wird, mit der wenigstens teilweise und insbesondere hauptsächlich die Funktionselemente im durch die Kamera erfassten Bild zur Positionsbestimmung verarbeitet werden. Die Verteilung der Rechen- und Speichervorgänge zwischen dem Datenerfassungsgerät und der Netzwerkschnittstelleneinrichtung kann dabei vorteilhafterweise so ausgebildet sein, dass auch und insbesondere vorzugsweise in der Netzwerkschnittstelleneinrichtung Rechenleistung zum Erkennen eines Bildausschnitts einer erfassten Umgebung erbracht werden kann. The network interface device may have a computing / storage unit in which the image recognition software is operated, with which at least partially and in particular mainly the functional elements in the image captured by the camera are processed for position determination. The distribution of the arithmetic and memory operations between the data acquisition device and the network interface device can advantageously be designed so that computing power can also be provided in the network interface device to detect an image detail of a detected environment.

Der Vorteil liegt darin, dass die erforderliche Rechenleistung nicht zwingend im Datenverarbeitungsgerät vorgehalten werden muss, sodass das Datenverarbeitungsgerät energiesparend betrieben werden kann. Beispielsweise kann es vorteilhaft sein, im Datenverarbeitungsgerät nur eine rudimentäre Vorverarbeitung der Daten vorzusehen. Damit können auch leistungsschwächere Geräte benutzt werden und man wird unabhängiger vom verwendeten Betriebssystem eines Tabletcomputers, eines Smartphones oder dergleichen. Sinngemäß gilt dies natürlich auch für die Abspeicherung z.B. der Topologie. Diese wird dann notwendigerweise auch eher in der Netzwerkschnittstelleneinrichtung, beispielsweise in einem Hub, abgespeichert als im Datenverarbeitungsgerät, oder eben in der Netzwerkschnittstelleneinrichtung und im Datenverarbeitungsgerät. Der Hub benötigt die Kenntnis von der Topographie, um letztendlich den Bildausschnitt während der Berechnung festzulegen. Das erfindungsgemäße Verfahren eignet sich zum Bedienen und/oder zum Steuern der Funktionen von Funktionselementen durch eine Bedienperson, wobei die Funktionselemente Bestandteil des Haushalts, einer Produktionsstätte, der Bedienung eines technischen Gerätes oder dergleichen aus Haushalt und Industrie betreffen können. Mit besonderem Vorteil kann das erfindungsgemäße Verfahren jedoch zur Steuerung einer Modellbahnanlage dienen. Die Modellbahnanlage kann eine Steuerungseinrichtung umfassen, wobei die Steuerungseinrichtung mit der Netzwerkschnittstelleneinrichtung verbunden werden kann, sodass die Steuerungseinrichtung über die Netzwerkschnittstelleneinrichtung mit dem handhaltbaren Datenverarbeitungsgerät Daten austauscht und insbesondere gesteuert wird. Dabei kann die Modellbahnanlage vollständig über das handhaltbare Datenverarbeitungsgerät gesteuert werden, wobei basierend auf der Bilderkennung, die im handhaltbaren Datenverarbeitungsgerät oder in der Netzwerkschnittstelleneinrichtung erfolgt, der Standort der Bedienperson an oder in der Modellbahnanlage durch den Anzeige-/Eingabebildschirm bildlich angezeigt wird, indem mit Hilfe der Kamera des Datenverarbeitungsgerätes die Position desselben in der Modellbahnanlage erkannt wird. Insbesondere kann die Modellbahnanlage derart im Anzeige-/Eingabebildschirm dargestellt werden, dass die Darstellung der ortsabhängigen Perspektive der Bedienperson entspricht. Über die Kamera des Datenverarbeitungsgerätes kann der Standort der Person ermittelt werden, und die Funktionselemente, die bedient und gesteuert werden sollen, können Bestandteil der Modellbahnanlage sein. Die Funktionselemente können dabei abhängig vom Standort der Bedienperson im standortzugehörigen Bereich der Modellbahnanlage im Anzeige-/Eingabebildschirm insbesondere mit Zusatzinformationen angezeigt und über dieses bedient und/oder gesteuert werden. The advantage is that the required computing power does not necessarily have to be kept in the data processing device, so that the data processing device can be operated energy-saving. For example, it may be advantageous to provide only a rudimentary preprocessing of the data in the data processing device. This also weaker devices can be used and you become more independent of the operating system used a tablet computer, a smartphone or the like. Naturally, this naturally also applies to the storage of eg the topology. This is then necessarily also stored in the network interface device, for example in a hub, as in the data processing device, or even in the network interface device and in the data processing device. The hub needs knowledge of the topography in order to finally determine the image section during the calculation. The inventive method is suitable for operating and / or controlling the functions of functional elements by an operator, wherein the functional elements part of the household, a production facility, the operation of a technical device or the like may relate to household and industry. However, the method according to the invention can be used to control a model railway system with particular advantage. The model railway system may comprise a control device, wherein the control device may be connected to the network interface device, so that the control device exchanges data with the handheld data processing device via the network interface device and is in particular controlled. The model railway system can be complete be controlled via the handheld data processing device, wherein based on the image recognition, which takes place in the handheld data processing device or in the network interface device, the location of the operator is displayed on or in the model train layout by the display / input screen by using the camera of the data processing device Position of the same is recognized in the model railway layout. In particular, the model railway system can be displayed in the display / input screen such that the representation corresponds to the location-dependent perspective of the operator. The camera of the data processing device, the location of the person can be determined, and the functional elements that are to be operated and controlled, may be part of the model railway layout. Depending on the location of the operator in the location-related area of the model railway layout, the functional elements can be displayed in the display / input screen, in particular with additional information, and can be operated and / or controlled via this.

In der Steuerungseinrichtung der Modellbahnanlage kann beispielsweise ein Gleisplan abgelegt sein, und der Gleisplan kann auf gleiche Weise auch im Datenverarbeitungsgerät oder in der Netzwerkschnittstelleneinrichtung abgelegt sein, sodass die Modellbahnanlage basierend auf dem Gleisplan vollständig über das Datenverarbeitungsgerät bedient werden kann. For example, a track plan can be stored in the control device of the model railway installation, and the track plan can likewise be stored in the data processing device or in the network interface device, so that the model railway installation can be completely operated via the data processing device based on the track plan.

Befindet sich die Bedienperson an einer bestimmten Stelle in der Modellbahnanlage, so erfasst die Kamera des Datenverarbeitungsgerätes das zugehörige Bild, das sich durch die Position der Bedienperson in der Modellbahnanlage ergibt. Aus dem Speicher des Datenverarbeitungsgerätes oder der Netzwerkschnittstelleneinrichtung lädt anschließend das Datenverarbeitungsgerät oder die Netzwerkschnittstelleneinrichtung die zum Standort gehörende Topografie mit den hinterlegten Funktionselementen. Diese werden dem Benutzer über den Anzeige-/Eingabebildschirm angezeigt. Die Bedienperson kann dann die Funktionselemente, die beispielsweise das Schienenfahrzeug, eine Signalanlage oder eine Weiche der Modellbahnanlage betreffen, über den Anzeige-/Eingabebildschirm steuern. If the operator is at a certain point in the model railway installation, then the camera of the data processing device acquires the associated image, which results from the position of the operator in the model railway installation. From the memory of the data processing device or the network interface device, the data processing device or the network interface device subsequently loads the topography associated with the location with the stored functional elements. These are displayed to the user via the display / input screen. The operator may then control the functional elements concerning, for example, the rail vehicle, a signal system or a switch of the model railway layout via the display / input screen.

Die vorliegende Erfindung betrifft weiterhin eine Steuerungsanordnung zum Bedienen und/oder zum Steuern der Funktionen von Funktionselementen durch eine Bedienperson, umfassend ein Datenverarbeitungsgerät, das einen Anzeige-/Eingabebildschirm aufweist, wobei das Datenverarbeitungsgerät handhaltbar ausgeführt ist und eine Kamera aufweist, und mit der Kamera können Bilder der Umgebung des Datenverarbeitungsgerätes erfassbar sein, wobei eine Bilderkennungssoftware beispielsweise wenigstens teilweise im Datenverarbeitungsgerät vorgesehen ist, mit der Funktionselemente im erfassten Bild erkennbar sind, wobei die erfasste Umgebung in Abhängigkeit vom Standort der Bedienperson mit Anzeige der Funktionselemente im Anzeige-/Eingabebildschirm unter Wiedergabe zusätzlicher Informationen zu den Funktionselementen darstellbar ist und wobei zwischen dem Datenverarbeitungsgerät und der die Funktionselemente umfassenden Einrichtung eine Datenaustauschverbindung ausgebildet ist, über die Funktionselemente mittels des Anzeige-/Eingabebildschirms durch die Bedienperson bedien- und/oder steuerbar sind. Das Datenverarbeitungsgerät der Steuerungsanordnung kann so ausgeführt sein, dass die Umgebung des Datenverarbeitungsgerätes mit den Funktionselementen und mit zusätzlichen Informationen aus einer Perspektive im Anzeige-/Eingabebildschirm darstellbar ist, die der ortsabhängigen Perspektive der Bedienperson entspricht. The present invention further relates to a control arrangement for operating and / or controlling the functions of functional elements by an operator, comprising a data processing device having a display / input screen, wherein the data processing device is hand-held and has a camera, and with the camera Images of the environment of the data processing device to be detected, wherein an image recognition software, for example, at least partially provided in the data processing device, with the functional elements in the captured image are recognizable, the detected environment depending on the location of the operator with display of the functional elements in the display / input screen with playback additional Information about the functional elements can be displayed and wherein between the data processing device and the device comprising the functional elements, a data exchange connection is formed, via the radio tion elements by means of the display / input screen by the operator can be operated and / or controlled. The data processing device of the control arrangement can be designed such that the environment of the data processing device with the functional elements and with additional information from a perspective in the display / input screen can be displayed, which corresponds to the location-dependent perspective of the operator.

Die Steuerungsanordnung kann mit dem Datenverarbeitungsgerät insbesondere zum Bedienen und/oder zum Steuern der Funktionen von Funktionselementen einer Modellbahnanlage ausgebildet sein. The control arrangement can be designed with the data processing device in particular for operating and / or controlling the functions of functional elements of a model railway layout.

Gemäß einer weiteren vorteilhaften Ausbildung der Steuerungsanordnung kann eine Netzwerkschnittstelleneinrichtung vorgesehen sein, mit der weitere Steuerungseinrichtungen beispielsweise der Modellbahnanlage steuerbar sind. Dabei kann die Steuerungseinrichtung mit der Netzwerkschnittstelleneinrichtung verbunden sein, sodass zwischen der Steuerungseinrichtung und dem handhaltbaren Datenverarbeitungsgerät über die Netzwerkschnittstelleneinrichtung Daten austauschbar sind und insbesondere wobei die Steuerungseinrichtung über die Netzwerkschnittstelleneinrichtung mit dem handhaltbaren Datenverarbeitungsgerät steuerbar ist. Die Verbindung zwischen der Netzwerkschnittstellenrichtung und der Steuerungseinrichtung kann beispielsweise eine drahtgebundene Verbindung sein oder die Verbindung zwischen der Netzwerkschnittstelleneinrichtung und dem Datenverarbeitungsgerät kann drahtlos ausgebildet sein. Nach einer weiteren vorteilhaften Ausführungsform kann die Netzwerkschnittstelleneinrichtung als Hub ausgeführt sein. Dabei können bevorzugterweise sowohl das Datenverarbeitungsgerät als auch die wenigstens eine oder beispielsweise auch mehrere Steuerungseinrichtungen drahtlos mit dem Hub kommunizieren. According to a further advantageous embodiment of the control arrangement, a network interface device may be provided with which further control devices, for example, the model railway system are controllable. In this case, the control device can be connected to the network interface device, so that data can be exchanged between the control device and the handheld data processing device via the network interface device, and in particular wherein the control device can be controlled via the network interface device with the handheld data processing device. The connection between the network interface device and the controller may be, for example, a wired connection or the connection between the network interface device and the data processing device may be wireless. According to a further advantageous embodiment, the network interface device can be designed as a hub. In this case, preferably both the data processing device and the at least one or, for example, a plurality of control devices can communicate wirelessly with the hub.

Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung eines bevorzugten Ausführungsbeispiels der Erfindung anhand einer einzigen Figur näher dargestellt. Es zeigt: Further, measures improving the invention will be described in more detail below together with the description of a preferred embodiment of the invention with reference to a single figure. It shows:

die Figur eine schematische Ansicht einer Steuerungsanordnung zur Ausführung eines Verfahrens zum Bedienen und/oder zum Steuern von Funktionen von Funktionselementen am Beispiel einer Modellbahnanlage. the figure is a schematic view of a control arrangement for carrying out a method for operating and / or for controlling Functions of functional elements using the example of a model railway layout.

Die Figur zeigt eine Bedienperson 13, die ein portables Datenverarbeitungsgerät 14 in den Händen hält. Das Datenverarbeitungsgerät 14 kann beispielsweise ein Tablet-PC, insbesondere ein PDA, ein Smartphone oder vorzugsweise ein iPad sein. Am Datenverarbeitungsgerät 14 befindet sich eine Kamera 16, die zur beispielhaften Darstellung außerhalb des Datenverarbeitungsgerätes 14 dargestellt ist. Die Kamera 16 kann alternativ im Datenverarbeitungsgerät 14 integriert ausgeführt sein. The figure shows an operator 13 that is a portable computing device 14 holds in his hands. The data processing device 14 For example, a tablet PC, in particular a PDA, a smartphone or preferably an iPad. At the data processing device 14 there is a camera 16 for exemplary representation outside the data processing device 14 is shown. The camera 16 may alternatively in the data processing device 14 be executed integrated.

Weiterhin dargestellt ist eine Modellbahnanlage 20, die mehrere Funktionselemente 10, 11 und 12 aufweist. Die Funktionselemente 10, 11 und 12 sind beispielhaft als ein Schienenfahrzeug 10, eine Signalanlage 11 und eine Weiche 12 dargestellt. Zur Steuerung der Modellbahnanlage 20 kann eine konventionelle Steuerungseinrichtung 19 vorgesehen sein, in der ein Gleisplan 22 abgelegt ist. Die Steuerungseinrichtung 19 kann autark betreibbar ausgeführt sein, sodass allein mit der Steuerungseinrichtung 19 bereits sämtliche Funktionen der Modellbahnanlage 20 steuerbar sind. Also shown is a model railway layout 20 that have multiple functional elements 10 . 11 and 12 having. The functional elements 10 . 11 and 12 are exemplary as a rail vehicle 10 , a signal system 11 and a switch 12 shown. To control the model railway layout 20 may be a conventional control device 19 be provided in the a track plan 22 is stored. The control device 19 can be designed to operate autonomously, so that alone with the control device 19 already all functions of the model railway layout 20 are controllable.

Das Beispiel zeigt eine Verbindung der Steuerungseinrichtung 19 zu einer Netzwerkschnittstelleneinrichtung 18 mit einer Rechen-/ und Speichereinheit 23, wobei die Netzwerkschnittstelleneinrichtung 18 beispielhaft als Hub ausgeführt ist. Dabei ist das Datenverarbeitungsgerät 14 zur drahtlosen Kommunikation mit der Netzwerkschnittstelleneinrichtung 18 ausgeführt, sodass das Datenverarbeitungsgerät 14 über die Netzwerkschnittstelleneinrichtung 18 mit der Steuerungseinrichtung 19 beispielsweise über WLAN kommunizieren kann. The example shows a connection of the control device 19 to a network interface device 18 with a computing and storage unit 23 , wherein the network interface device 18 is exemplified as a hub. This is the data processing device 14 for wireless communication with the network interface device 18 running, so the computing device 14 via the network interface device 18 with the control device 19 For example, you can communicate via WLAN.

Das Datenverarbeitungsgerät 14 weist ein Anzeige-/Eingabebildschirm 15 auf, über den Informationen an die Bedienperson anzeigbar sind, und über den die Bedienperson 13 Eingaben an das Datenverarbeitungsgerät 14 vornehmen kann. Dafür ist der Anzeige-/Eingabebildschirm 15 beispielsweise als Touchscreen zur fingertaktilen Steuerung ausgeführt. The data processing device 14 has a display / input screen 15 over which information can be displayed to the operator, and about which the operator 13 Inputs to the data processing device 14 can make. This is the display / input screen 15 For example, designed as a touchscreen for finger-tactile control.

Beispielhaft ist auf dem Anzeige-/Eingabebildschirm 15 der Lageplan der Modellbahnanlage 20 dargestellt. Die Darstellung umfasst dabei insbesondere die Funktionselemente wie das Schienenfahrzeug 10, die Signalanlage 11 oder die Weiche 12. An example is on the display / input screen 15 the layout of the model railway layout 20 shown. The representation encompasses in particular the functional elements such as the rail vehicle 10 , the signal system 11 or the switch 12 ,

Die Funktion des erfindungsgemäßen Verfahrens wird nachfolgend am dargestellten Beispiel zur Steuerung von Funktionselementen 10, 11 und 12 einer Modellbahnanlage 20 vorgestellt:
Die Bedienperson 13 befindet sich an einem bestimmten Standort neben der Modellbahnanlage 20, beispielsweise am linken Rand. Die Position ergibt eine bestimmte Perspektive, die mit der Kamera 16 aufgenommen wird und an das Datenverarbeitungsgerät 14 weitergegeben wird. Das von der Kamera 16 erfasste Bild der Umgebung wird mit einer Bilderkennungssoftware im Datenverarbeitungsgerät 14 analysiert, und aus dem Speicher 17 wird eine abgelegte Topografie geladen, die mit dem erfassten Bild der Modellbahnanlage 20 korrespondiert. Die Topographie kann aber auch teilweise oder vollständig in der Rechen- und/oder Speichereinheit 23 der Netzwerkschnittstelleneinrichtung 18 hinterlegt sein.
The function of the method according to the invention is described below for the example of the control of functional elements 10 . 11 and 12 a model railway layout 20 presented:
The operator 13 is located at a certain location next to the model railway 20 , for example, on the left edge. The position gives a certain perspective with the camera 16 is taken and sent to the data processing device 14 is passed on. That from the camera 16 captured image of the environment is using an image recognition software in the data processing device 14 analyzed, and from memory 17 a stored topography is loaded with the captured image of the model railway layout 20 corresponds. The topography can also be partially or completely in the computing and / or storage unit 23 the network interface device 18 be deposited.

Mit der im Speicher 17 des Datenverarbeitungsgerätes 14 oder der in der Rechen-/ und Speichereinheit 23 der Netzwerkschnittstelleneinrichtung 18 abgelegten Topografie sind Informationen über die Funktionselemente 10, 11 und 12 ebenfalls abgespeichert, die in das Datenverarbeitungsgerät 14 hochgeladen werden können. Die Darstellung der Umgebung auf dem Anzeige-/Eingabebildschirm 15 kann beispielsweise durch das reale über die Kamera 16 erfasste Bild vorgesehen sein, und nur die Funktionselemente 10, 11, 12 oder sogar nur die Zusatzinformationen 21 zu den Funktionselementen 10, 11, 12 können virtuell überlagert werden. Die Zusatzinformationen 21 können dabei auch Steuer- und Bedienfunktionen, beispielsweise Schaltflächen, zu den Funktionselementen 10, 11, 12 umfassen. With the in the store 17 of the data processing device 14 or in the compute / storage unit 23 the network interface device 18 stored topography are information about the functional elements 10 . 11 and 12 also stored in the data processing device 14 can be uploaded. The representation of the environment on the display / input screen 15 For example, by the real thing about the camera 16 captured image, and only the functional elements 10 . 11 . 12 or even just the additional information 21 to the functional elements 10 . 11 . 12 can be superimposed virtually. The additional information 21 can also control and operating functions, such as buttons, to the functional elements 10 . 11 . 12 include.

Die sich in der aktuellen Perspektive der Bedienperson 13 befindenden Funktionselemente, beispielsweise das Schienenfahrzeug 10, die Signalanlage 11 oder die Weiche 12, werden auf dem Anzeige-/Eingabebildschirm 15 beispielsweise in hervorgehobener Form dargestellt. Dabei müssen nicht alle Funktionselemente dargestellt werden, sondern beispielsweise nur diejenigen, die abhängig von der aktuellen Position der Bedienperson 13 vor der Modellbahnanlage 20 für die Bedienperson 13 von Interesse sind. Which is in the current perspective of the operator 13 located functional elements, such as the rail vehicle 10 , the signal system 11 or the switch 12 , are displayed on the display / input screen 15 for example, in highlighted form. Not all functional elements need to be displayed, for example, but only those that depend on the current position of the operator 13 in front of the model railway layout 20 for the operator 13 are of interest.

Weiterhin sind zu den Funktionselementen 10, 11 und 12 im Speicher 17 des Datenverarbeitungsgerätes 14 Zusatzinformationen 21 abgespeichert, die in Zusammenhang mit den Funktionselementen 10, 11 und 12 ebenfalls auf dem Anzeige-/Eingabebildschirm 15 angezeigt werden. Die Zusatzinformationen 21 können zudem Bedien- und/oder Steuerungsfunktionen umfassen, die die Bedienperson 13 anwählen kann, um schließlich das Funktionselement 10, 11 und 12 über die taktile Steuerung des Anzeige-/Eingabebildschirms 15 zu steuern. Furthermore, to the functional elements 10 . 11 and 12 In the storage room 17 of the data processing device 14 Further information 21 stored in connection with the functional elements 10 . 11 and 12 also on the display / input screen 15 are displayed. The additional information 21 may also include operating and / or control functions that the operator 13 can finally select the functional element 10 . 11 and 12 via the tactile control of the display / input screen 15 to control.

Das Beispiel der Modellbahnanlage 20 ermöglicht eine jeweilige Zusatzinformation 21 zu den Funktionselementen 10, 11 und 12 basierend auf einem Gleisplan 22, der beispielhaft in der Steuerungseinrichtung 19 der Modellbahnanlage 20 abgespeichert ist. Der Gleisplan 22 kann ebenfalls im Datenverarbeitungsgerät 14 oder vorzugsweise in der Rechen-/ und Speichereinheit 23 im Netzwerkschnittstelleneinrichtung 18 abgespeichert sein. Somit können die Zusatzinformationen 21 mit dem Gleisplan 22 korrelieren, und insbesondere können Steuerungsfunktionen für die Bedienperson 13 abhängig von der Position des Schienenfahrzeugs 10 bereitgestellt werden oder ausgeblendet bleiben. The example of the model railway layout 20 allows a respective additional information 21 to the functional elements 10 . 11 and 12 based on a track plan 22 which is exemplary in the control device 19 the model railway layout 20 is stored. The track plan 22 can also in the Computing device 14 or preferably in the computing / storage unit 23 in the network interface device 18 be stored. Thus, the additional information 21 with the track plan 22 correlate, and in particular, control functions for the operator 13 depending on the position of the rail vehicle 10 be provided or hidden.

Auch die Darstellung des Gleisplans 22 kann abhängig von der Position der Bedienperson 13 angezeigt werden, und für die Bedienperson kann beispielsweise immer nur ein relevanter Gleisplanausschnitt angezeigt werden. Auf dem Gleisplan wird damit alles, was für die aktuelle Position der Bedienperson 13 bedienbar oder wenigstens von Interesse ist, auch bei Berührung des Anzeige-/Eingabebildschirms 15 zunächst aktiviert, das heißt, mittels beispielsweise farbiger Markierung oder dergleichen hervorgehoben. Funktionselemente 10, 11, 12 werden damit kontextrichtig eingeblendet und können dann die gewünschte Funktion auslösen. Die entsprechenden Befehle werden dabei über die Netzwerkschnittstelleneinrichtung 18, beispielhaft ausgeführt als Hub, errechnet und an die Steuerungseinrichtung 19 ausgegeben. Also the presentation of the track plan 22 may depend on the position of the operator 13 are displayed, and for example, only a relevant track plan section can always be displayed to the operator. On the track plan it will do everything for the current position of the operator 13 is operable or at least of interest, even when touching the display / input screen 15 initially activated, that is, highlighted by means of, for example, colored marking or the like. functional elements 10 . 11 . 12 are thus displayed in context-correct way and can then trigger the desired function. The corresponding commands are sent via the network interface device 18 , exemplified as a stroke, and calculated to the controller 19 output.

In einer bevorzugten Version kann die Bedienperson 13 zwischen einer vorbildgerechten Stellwerkanzeige oder einer realistischen, beziehungsweise realitätsnahen Anzeige wählen. Kleinere Korrekturen der Perspektive kann die Bedienperson 13 mit einer an sich bekannten Gestensteuerung steuern, das heißt, die Bedienperson 13 kann die Größe der Bildausschnitte auf dem Anzeige-/Eingabebildschirm 15 verändern oder den Bildausschnitt verschieben. Die Funktionselemente 10, 11 und 12 der Modellbahnanlage 20 können Weichen 12, Signale 11, Drehschreiben, Bahnübergänge, schaltbare Funktionen wie Beleuchtungen und bewegte Figuren, Lokomotiven und Schienenfahrzeuge 10, Car-Systeme und dergleichen umfassen. In a preferred version, the operator 13 choose between a prototypical signal box display or a realistic or realistic display. Smaller corrections of the perspective can be the operator 13 control with a gesture control known per se, that is, the operator 13 can resize the images on the display / input screen 15 change or move the image section. The functional elements 10 . 11 and 12 the model railway layout 20 can switch 12 , Signals 11 , Rotary letters, level crossings, switchable functions such as lighting and moving figures, locomotives and rail vehicles 10 , Car systems and the like.

Weiterführende Versionen können die Anzeige beispielsweise auch aus der Perspektive einer Lok eines Schienenfahrzeugs 10 ermöglichen, und es werden ausschließlich Gleisplananteile angezeigt, die aktuell zu bedienen sind, um den Fahrauftrag zu erfüllen. Damit wird davon Gebrauch gemacht, dass die Steuerungseinrichtung erfasst, was auf der Strecke rund um die aktuelle Position der Lok eines Schienenfahrzeugs 10 an bedienbaren Komponenten vorhanden ist, beziehungsweise bedient werden muss. Das Datenverarbeitungsgerät 14 oder die Netzwerkschnittstelleneinrichtung 18 stellt dann immer den relevanten Gleisplanausschnitt im Anzeige-/Eingabebildschirm 15 dar. For further versions, the display can also, for example, from the perspective of a locomotive of a rail vehicle 10 and only track plan components are displayed which are currently to be operated in order to fulfill the driving task. This makes use of the fact that the control device detects what is on the track around the current position of the locomotive of a rail vehicle 10 is present at operable components, or must be operated. The data processing device 14 or the network interface device 18 then always displays the relevant track plan section in the display / input screen 15 represents.

Die Erfindung beschränkt sich in ihrer Ausführung nicht auf das vorstehend angegebene bevorzugte Ausführungsbeispiel. Vielmehr ist eine Anzahl von Varianten denkbar, welche von der dargestellten Lösung auch bei grundsätzlich anders gearteten Ausführungen Gebrauch macht. Sämtliche aus den Ansprüchen, der Beschreibung oder den Zeichnungen hervorgehenden Merkmale und/oder Vorteile, einschließlich konstruktiven Einzelheiten, räumliche Anordnungen und Verfahrensschritte, können sowohl für sich als auch in den verschiedensten Kombinationen erfindungswesentlich sein. The invention is not limited in its execution to the above-mentioned preferred embodiment. Rather, a number of variants is conceivable, which makes use of the illustrated solution even with fundamentally different types of use. All features and / or advantages resulting from the claims, the description or the drawings, including design details, spatial arrangements and method steps, can be essential to the invention, both individually and in the most diverse combinations.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

10 10
Funktionselement, Schienenfahrzeug Functional element, rail vehicle
11 11
Funktionselement, Signalanlage Functional element, signaling system
12 12
Funktionselement, Weiche Function element, switch
13 13
Bedienperson operator
14 14
Datenverarbeitungsgerät Computing device
15 15
Anzeige-/Eingabebildschirm An input / display screen
16 16
Kamera camera
17 17
Speicher Storage
18 18
Netzwerkschnittstelleneinrichtung Network interface device
19 19
Steuerungseinrichtung control device
20 20
Modellbahnanlage Model railway
21 21
Zusatzinformation extra information
22 22
Gleisplan track plan
23 23
Rechen-/ und Speichereinheit Computing and storage unit

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102004005166 A1 [0002] DE 102004005166 A1 [0002]
  • DE 10309355 A1 [0004] DE 10309355 A1 [0004]

Claims (14)

Verfahren zum Bedienen und/oder zum Steuern der Funktionen von Funktionselementen durch eine Bedienperson mittels einem Datenverarbeitungsgerät, das einen Anzeige-/Eingabebildschirm aufweist, wobei das Verfahren wenigstens die folgenden Schritte umfasst: – Bereitstellen eines Datenverarbeitungsgerätes (14) in handhaltbarer Ausführung, das eine Kamera (16) aufweist, – Erfassen von Bildern der Umgebung des Datenverarbeitungsgerätes (14) mit der Kamera (16), – Erkennen der Funktionselemente (10, 11, 12) im erfassten Bild durch eine Bilderkennungssoftware und – Darstellen der erfassten Umgebung in Abhängigkeit vom Standort der Bedienperson (13) mit Anzeige der Funktionselemente (10, 11, 12) im Anzeige-/Eingabebildschirm (15) unter Wiedergabe zusätzlicher Informationen (21) zu den Funktionselementen (10, 11, 12) und – Bedienen und/oder Steuern der Funktionselemente (10, 11, 12) durch die Bedienperson (13) über den Anzeige-/Eingabebildschirm (15) des Datenverarbeitungsgerätes (14). Method for operating and / or controlling the functions of functional elements by an operator by means of a data processing device having a display / input screen, the method comprising at least the following steps: - providing a data processing device ( 14 ) in hand-held design, which is a camera ( 16 ), - capturing images of the environment of the data processing device ( 14 ) with the camera ( 16 ), - recognition of the functional elements ( 10 . 11 . 12 ) in the captured image by means of an image recognition software and - representing the detected environment depending on the location of the operator ( 13 ) with display of the functional elements ( 10 . 11 . 12 ) in the display / input screen ( 15 ) reproducing additional information ( 21 ) to the functional elements ( 10 . 11 . 12 ) and - operating and / or controlling the functional elements ( 10 . 11 . 12 ) by the operator ( 13 ) via the display / input screen ( 15 ) of the data processing device ( 14 ). Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Datenverarbeitungsgerät (14) einen Speicher (17) aufweist, in dem die Topographie insbesondere in Verbindung mit den Funktionselementen (10, 11, 12) der erfassbaren Umgebung des Datenverarbeitungsgerätes (14) abgespeichert und bereitgehalten wird. Method according to claim 1, characterized in that the data processing device ( 14 ) a memory ( 17 ), in which the topography in particular in connection with the functional elements ( 10 . 11 . 12 ) of the detectable environment of the data processing device ( 14 ) is stored and kept. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Bilderkennungssoftware im Datenverarbeitungsgerät (14) gespeichert ist und abgearbeitet wird. A method according to claim 1 or 2, characterized in that the image recognition software in the data processing device ( 14 ) is stored and processed. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass im Speicher (17) des Datenverarbeitungsgerätes (14) Informationen (21) über die Funktionselemente (10, 11, 12) bereitgehalten werden, die im Anzeige-/Eingabebildschirm (15) in Verbindung mit erkannten Funktionselementen (10, 11, 12) für die Bedienperson (13) angezeigt werden. Method according to one of claims 1 to 3, characterized in that in the memory ( 17 ) of the data processing device ( 14 ) Information ( 21 ) via the functional elements ( 10 . 11 . 12 ), which are displayed in the display / input screen ( 15 ) in connection with recognized functional elements ( 10 . 11 . 12 ) for the operator ( 13 ) are displayed. Verfahren nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass das Datenverarbeitungsgerät (14) eine Verbindung zu einer Netzwerkschnittstelleneinrichtung (18) aufweist, wobei an und/oder mit der Netzwerkschnittstelleneinrichtung (18) Informationen (21) zum Bedienen und/oder zum Steuern von Funktionen der Funktionselemente (10, 11, 12) übermittelt werden. Method according to one of the preceding claims, characterized in that the data processing device ( 14 ) connect to a network interface device ( 18 ), at and / or with the network interface device ( 18 ) Information ( 21 ) for operating and / or controlling functions of the functional elements ( 10 . 11 . 12 ). Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Netzwerkschnittstelleneinrichtung (18) eine Rechen- und/oder Speichereinheit (23) aufweist, in der die Bilderkennungssoftware betrieben wird mit der wenigstens teilweise und insbesondere hauptsächlich die Funktionselemente (10, 11, 12) im durch die Kamera (16) erfassten Bild zur Positionsbestimmung verarbeitet werden. Method according to claim 5, characterized in that the network interface device ( 18 ) a computing and / or storage unit ( 23 ) in which the image recognition software is operated with the at least partially and in particular mainly the functional elements ( 10 . 11 . 12 ) in the camera ( 16 ) captured image are processed for position determination. Verfahren nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass eine Steuerungseinrichtung (19) einer Modellbahnanlage (20) vorgesehen ist, wobei die Steuerungseinrichtung (19) mit der Netzwerkschnittstelleneinrichtung (18) verbunden ist, sodass die Steuerungseinrichtung (19) über die Netzwerkschnittstelleneinrichtung (18) mit dem handhaltbaren Datenverarbeitungsgerät (14) Daten austauscht und insbesondere gesteuert wird. Method according to one of the preceding claims, characterized in that a control device ( 19 ) of a model railway installation ( 20 ) is provided, wherein the control device ( 19 ) with the network interface device ( 18 ), so that the control device ( 19 ) via the network interface device ( 18 ) with the handheld data processing device ( 14 ) Exchanges data and in particular is controlled. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass basierend auf der Bilderkennung im handhaltbaren Datenverarbeitungsgerät (14) der Standort der Bedienperson (13) an oder in der Modellbahnanlage (20) durch den Anzeige-/Eingabebildschirm (15) bildlich angezeigt wird und insbesondere dass die Modellbahnanlage (20) derart im Anzeige-/Eingabebildschirm (15) dargestellt wird, dass die Darstellung der ortsabhängigen Perspektive der Bedienperson (13) entspricht. A method according to claim 7, characterized in that based on the image recognition in the handheld data processing device ( 14 ) the location of the operator ( 13 ) on or in the model railway layout ( 20 ) through the display / input screen ( 15 ) and in particular that the model railway layout ( 20 ) in the display / input screen ( 15 ) that the representation of the location-dependent perspective of the operator ( 13 ) corresponds. Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die Funktionselemente (10, 11, 12) Bestandteil der Modellbahnanlage (20) sind, wobei diese abhängig vom Standort der Bedienperson (13) im standortzugehörigen Bereich der Modellbahnanlage (20) im Anzeige-/Eingabebildschirm (15) insbesondere mit Zusatzinformationen (21) angezeigt und über dieses bedient und/oder gesteuert werden. Method according to claim 7 or 8, characterized in that the functional elements ( 10 . 11 . 12 ) Part of the model railway layout ( 20 ), depending on the location of the operator ( 13 ) in the site-related area of the model railway layout ( 20 ) in the display / input screen ( 15 ), in particular with additional information ( 21 ) are displayed and operated and / or controlled by this. Verfahren nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass in der Steuerungseinrichtung (19) der Modellbahnanlage (20) und/oder in der Netzwerkschnittstelleneinrichtung (18) ein Gleisplan (22) abgelegt ist, wobei die Steuerung der Modellbahnanlage (20) auf Grundlage des Gleisplanes (22) für die Bedienperson (13) über das handhaltbare Datenverarbeitungsgerät (14) insbesondere in Wechselwirkung mit der Rechen-/ und Speichereinheit (23) der Netzwerkschnittstelleneinrichtung (18) ermöglicht ist. Method according to one of claims 7 to 9, characterized in that in the control device ( 19 ) of the model railway installation ( 20 ) and / or in the network interface device ( 18 ) a track plan ( 22 ), wherein the control of the model railway system ( 20 ) based on the track plan ( 22 ) for the operator ( 13 ) via the handheld data processing device ( 14 ) in particular in interaction with the arithmetic and memory unit ( 23 ) of the network interface device ( 18 ) is possible. Steuerungsanordnung zum Bedienen und/oder zum Steuern der Funktionen von Funktionselementen (10, 11, 12) einer Einrichtung durch eine Bedienperson, umfassend – ein Datenverarbeitungsgerät, das ein Anzeige-/Eingabebildschirm aufweist, wobei das Datenverarbeitungsgerät (14) handhaltbar ausgeführt ist und eine Kamera (16) aufweist, – wobei mit der Kamera (16) Bilder der Umgebung des Datenverarbeitungsgerätes (14) erfassbar sind und wobei eine Bilderkennungssoftware vorgesehen ist, mit der Funktionselemente (10, 11, 12) im erfassten Bild erkennbar sind, und – wobei die erfasste Umgebung in Abhängigkeit vom Standort der Bedienperson (13) mit Anzeige der Funktionselemente (10, 11, 12) im Anzeige-/Eingabebildschirm (15) unter Wiedergabe zusätzlicher Informationen (21) zu den Funktionselementen (10, 11, 12) darstellbar ist und – wobei zwischen dem Datenverarbeitungsgerät (14) und der die Funktionselemente (10, 11, 12) umfassenden Einrichtung eine Datenaustauschverbindung ausgebildet ist, über die die Funktionselemente (10, 11, 12) mittels des Anzeige-/Eingabebildschirms (15) durch die Bedienperson (13) bedien- und/oder steuerbar sind. Control arrangement for operating and / or controlling the functions of functional elements ( 10 . 11 . 12 ) a device by an operator, comprising - a data processing device having a display / input screen, wherein the data processing device ( 14 ) is hand-held and a camera ( 16 ), wherein with the camera ( 16 ) Images of the environment of the data processing device ( 14 ) are detectable and wherein an image recognition software is provided, with the functional elements ( 10 . 11 . 12 ) are visible in the captured image, and - the detected environment being dependent on the location of the operator ( 13 ) with display of the functional elements ( 10 . 11 . 12 ) in the display / input screen ( 15 ) reproducing additional information ( 21 ) to the functional elements ( 10 . 11 . 12 ) and wherein - between the data processing device ( 14 ) and the functional elements ( 10 . 11 . 12 ) is formed a data exchange connection via which the functional elements ( 10 . 11 . 12 ) by means of the display / input screen ( 15 ) by the operator ( 13 ) are operable and / or controllable. Steuerungsanordnung nach Anspruch 11, wobei die Umgebung des Datenverarbeitungsgerätes (14) mit den Funktionselementen (10, 11, 12) und zusätzlichen Informationen (21) aus einer Perspektive im Anzeige-/Eingabebildschirm (15) darstellbar ist, die der ortsabhängigen Perspektive der Bedienperson (13) entspricht. Control arrangement according to claim 11, wherein the environment of the data processing device ( 14 ) with the functional elements ( 10 . 11 . 12 ) and additional information ( 21 ) from a perspective in the display / input screen ( 15 ), the location-dependent perspective of the operator ( 13 ) corresponds. Steuerungsanordnung nach Anspruch 11 oder 12, ausgebildet zum Bedienen und/oder zum Steuern der Funktionen von Funktionselementen (10, 11, 12) einer Modellbahnanlage (20). Control arrangement according to Claim 11 or 12, designed to operate and / or control the functions of functional elements ( 10 . 11 . 12 ) of a model railway installation ( 20 ). Steuerungsanordnung nach Anspruch 11 bis 13, mit einer Netzwerkschnittstelleneinrichtung (18) und mit einer Steuerungseinrichtung (19) der Modellbahnanlage (20), wobei die Steuerungseinrichtung (19) mit der Netzwerkschnittstelleneinrichtung (18) verbunden ist, sodass zwischen der Steuerungseinrichtung (19) und dem handhaltbaren Datenverarbeitungsgerät (14) über die Netzwerkschnittstelleneinrichtung (18) Daten austauschbar sind und insbesondere wobei die Steuerungseinrichtung (19) über die Netzwerkschnittstelleneinrichtung (18) mit dem handhaltbaren Datenverarbeitungsgerät (14) steuerbar ist. Control arrangement according to Claims 11 to 13, having a network interface device ( 18 ) and with a control device ( 19 ) of the model railway installation ( 20 ), wherein the control device ( 19 ) with the network interface device ( 18 ) is connected so that between the control device ( 19 ) and the handheld data processing device ( 14 ) via the network interface device ( 18 ) Data are exchangeable and in particular wherein the control device ( 19 ) via the network interface device ( 18 ) with the handheld data processing device ( 14 ) is controllable.
DE201310107980 2013-07-25 2013-07-25 Method for operating or controlling functions, in particular for model railways Withdrawn DE102013107980A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE201310107980 DE102013107980A1 (en) 2013-07-25 2013-07-25 Method for operating or controlling functions, in particular for model railways

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201310107980 DE102013107980A1 (en) 2013-07-25 2013-07-25 Method for operating or controlling functions, in particular for model railways

Publications (1)

Publication Number Publication Date
DE102013107980A1 true DE102013107980A1 (en) 2015-01-29

Family

ID=52273923

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201310107980 Withdrawn DE102013107980A1 (en) 2013-07-25 2013-07-25 Method for operating or controlling functions, in particular for model railways

Country Status (1)

Country Link
DE (1) DE102013107980A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10309355A1 (en) 2003-03-03 2004-09-23 Augmented Solutions Gmbh Mobile augmented reality computer system, uses image generating device as part of mobile unit for recording environment of user
DE102004005166A1 (en) 2004-02-02 2005-08-18 Stefan Hahn Amplifier can be operated selectively in audio mode or as booster for digital model railway unit and has separate or reversible input for modulation signals
US20120122529A1 (en) * 2010-11-15 2012-05-17 Bally Gaming, Inc. System and method for augmented gaming venue using a mobile device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10309355A1 (en) 2003-03-03 2004-09-23 Augmented Solutions Gmbh Mobile augmented reality computer system, uses image generating device as part of mobile unit for recording environment of user
DE102004005166A1 (en) 2004-02-02 2005-08-18 Stefan Hahn Amplifier can be operated selectively in audio mode or as booster for digital model railway unit and has separate or reversible input for modulation signals
US20120122529A1 (en) * 2010-11-15 2012-05-17 Bally Gaming, Inc. System and method for augmented gaming venue using a mobile device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Ji Eun Kim; George Boulos; John Yackovich; Tassilo Barth; Christian Beckel; Daniel Mosse: "Seamless Integration of Heterogeneous Devices and Access Control in Smart Homes", IEEE Intelligent Environments (IE), 2012 8th International Conference on Intelligent Environments (IE), 2012-06-26, ISBN 978-1-4673-2093-1, ISBN 1-4673-2093-5, XP032218223, doi:10.1109/IE.2012.57 *

Similar Documents

Publication Publication Date Title
EP3092143B1 (en) Display operator control unit and method for displaying additional instructions on a display unit
WO2018224407A1 (en) Motor vehicle having a driving mode and a simulation mode
DE112005001152T5 (en) Method and system for retrieving and displaying technical data for an industrial facility
DE102018200011A1 (en) Test system and method for testing a control of an at least partially autonomous vehicle in a virtual environment
EP3383598B1 (en) Manipulator system and method for identifying operating devices
EP1462895A1 (en) Method and device for controlling a plurality of manipulators
EP3774499B1 (en) Method for monitoring and controlling a remotely-controlled parking or maneuvering operation of a vehicle
WO2015110227A1 (en) User interface and method for adapting a view of a display unit
DE102014214514A1 (en) Apparatus and method for exchanging data between vehicles for setting up a convoy
DE102015105885A1 (en) A method of using a Bluetooth based tire pressure monitoring system
DE102012009429A1 (en) Method for remote configuration of electric car, involves displaying visually perceptible connection between two graphic elements of two display modes, where one of modes corresponds to actual control arrangement in vehicle
DE102013021978A1 (en) Method for augmented display of real control element and real object on terminal, involves displaying virtual real and additional information with respect to control elements and objects based on change in terminal current position
EP3007050A1 (en) User interface and method for adapting a menu bar on a user interface
DE102013000071A1 (en) Method for synchronizing data between devices integrated in motor car and mobile terminal, involves transmitting synchronization data for detecting predetermined gesture command comprised in free space by running movement of operator hand
EP3418839B1 (en) Method for monitoring an automation assembly
DE102013201624A1 (en) Method for transmitting data from mobile terminal to function of vehicle, involves determining data, which is transmitted to function of vehicle, where position of mobile terminal is determined with respect to location
WO2019081072A1 (en) Method, device, computer program and computer program product for operating a display unit in a vehicle
WO2017140569A1 (en) Motor vehicle operator control apparatus and method for operating an operator control apparatus in order to cause an interaction between a virtual presentation plane and a hand
DE102013107980A1 (en) Method for operating or controlling functions, in particular for model railways
WO2015169462A1 (en) User interface and method for changing between screen views of a user interface
DE102015010572A1 (en) System and method for interactively assisting a driver of a vehicle in operating the vehicle
DE102022210333A1 (en) System for remote calibration and testing of a vehicle and a method therefor
DE102008014627B4 (en) Method for operating a mobile data processing device in a motor vehicle
WO2015131954A1 (en) User interface and method for operating a user interface using gestures performed freely in a space
WO2015106804A1 (en) Method and device for providing a user with feedback on an input

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R002 Refusal decision in examination/registration proceedings
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee