DE102008023890A1 - Control unit for electrically controlled user interface assembly for motor vehicle, has indicator unit and sensor unit, which determines objects, particularly parts of human hand within certain ranges in environment of indicator unit - Google Patents

Control unit for electrically controlled user interface assembly for motor vehicle, has indicator unit and sensor unit, which determines objects, particularly parts of human hand within certain ranges in environment of indicator unit Download PDF

Info

Publication number
DE102008023890A1
DE102008023890A1 DE102008023890A DE102008023890A DE102008023890A1 DE 102008023890 A1 DE102008023890 A1 DE 102008023890A1 DE 102008023890 A DE102008023890 A DE 102008023890A DE 102008023890 A DE102008023890 A DE 102008023890A DE 102008023890 A1 DE102008023890 A1 DE 102008023890A1
Authority
DE
Germany
Prior art keywords
display device
signal
display
operating device
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102008023890A
Other languages
German (de)
Inventor
Martin Sjöström
Dennis Heltorp
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Priority to DE102008023890A priority Critical patent/DE102008023890A1/en
Publication of DE102008023890A1 publication Critical patent/DE102008023890A1/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Abstract

The control unit has an indicator unit (1) and a sensor unit (5,6), which determines objects, particularly parts of a human hand (7) within certain ranges in the environment of the indicator unit. The different kinds of the reciprocal effect are permitted between the respective objects and the control unit as a function of the distance of the objects from the indicator unit. An independent claim is included for a method for operating a control unit.

Description

Die Erfindung liegt auf dem Gebiet der Bedieninterfaces, also Steuer- und Bedieneinrichtungen für zu steuernde Aggregate, wobei deren effiziente Bedienbarkeit besonders im Vordergrund steht.The Invention lies in the area of the operating interfaces, ie control and controls for units to be controlled, wherein their efficient usability is in the foreground.

Entsprechende Bedieneinrichtungen sind in vielfältiger Weise in Form von Steuerknöpfen, Bedienrädern und Hebeln und dergleichen bekannt. Insbesondere im Bereich komplizierter elektrischer und elektronischer Maschinen, zum Beispiel in einem Fahrzeug- oder Flugzeug-Cockpit sind durch die Vielzahl der zu steuernden Aggregate viele Bedienelemente notwendig, die allerdings vom Fahrer auch kontrolliert und im Auge behalten werden müssen. Zu diesem Zweck sind inzwischen vielfach Bedienelemente sowie vielfach-Kontrollinstrumente bekannt, wie beispielsweise beim PKW Blinkerhebel, die sowohl zusätzlich zur Bedienung des Fernlichts als auch eines Autopiloten dienen.Appropriate Operating devices are in many ways in shape of control knobs, control wheels and levers and the like known. Especially in the field of complicated electrical and electronic machines, for example in a vehicle or Airplane cockpit are due to the large number of units to be controlled many controls necessary, but also controlled by the driver and have to be kept in mind. For this purpose are meanwhile many controls and multiple control instruments known, such as the car turn signal lever, which in addition to both to operate the high beam as well as an autopilot.

Besondere Beachtung verdienen hierbei Anzeigepanels, die aufgrund flexibler elektronischer Ansteuerung unterschiedliche Anzeigen, auch unterschiedlicher Aggregate, darstellen können. Es können dies beispielsweise umstellbare Analog- oder Digitalanzeigen sein, wobei die Größe, die gerade angezeigt wird, zusätzlich innerhalb der Anzeige kenntlich gemacht sein kann. Beispielsweise kann eine Digitalanzeige in verschiedenen Farben funktionieren und in jeder Farbe eine andere Größe anzeigen.Special Attention should be paid to display panels, which are more flexible electronic control different displays, also different Aggregates, can represent. It can do this, for example convertible analog or digital displays, where the size, which is currently displayed, additionally within the display can be identified. For example, a digital display work in different colors and in each color a different one Show size.

Dieses Prinzip wird noch weiter getrieben durch Bildschirmanzeigen, die teilweise völlig frei programmierbar sind oder zumindest verschiedene Standardanzeigen darstellen können.This Principle is driven even further by screen displays that partially completely free programmable or at least can display different standard displays.

Solche Bildschirmanzeigen können im Sinne einer graphischen Benutzeroberfläche mit Hilfe eines gesonderten Bedienelementes, wie dies von Personalcomputern bekannt ist, auch zur Steuerung direkt verwendet werden. Dazu wird mit Hilfe eines Steuerhebels oder Rades ein graphisches Anzeigeelement in den Bereich eines graphischen Anzeigeelementes innerhalb der Bildschirmoberfläche gebracht und dort durch einen Klick ein Bestätigungsbefehl abgegeben, der zur Betätigung eines bestimmten Aggregates führt.Such Screen displays may be in the sense of a graphical user interface with the help of a separate control element, such as personal computers is known to be used directly for control. This will be by means of a control lever or wheel, a graphical display element in the area of a graphical display element within the screen surface brought and there by clicking the confirmation command delivered, which leads to the operation of a specific aggregate.

Derartige Steuerungssysteme sind auch aus dem Kraftfahrzeugbereich in vielfältiger Weise bekannt.such Control systems are also more diverse in the automotive sector Way known.

Beispielsweise ist aus der DE 4033832 C2 eine Berührungsfeldeinrichtung mit einem Bildschirm bekannt.For example, is from the DE 4033832 C2 a touch panel device with a screen known.

Aus der Fachzeitschrift Elektronik, 10/21.5.1982, Seite 51 bis 56 ist bereits seit langem eine ähnliche Vorrichtung in der Anwendung für ein Kraftfahrzeug, speziell für eine Navigationseinrichtung bekannt.From the Trade Journal Electronics, 10 / 21.5.1982, pages 51 to 56 has long been a similar device in the application for a motor vehicle, especially for a navigation device known.

Weiter ist beispielsweise aus der DE 3314868 A1 die Darstellung von betätigbaren Tasten auf einem Bildschirm mit einer entsprechenden Bildschirmbetätigung der Tasten bekannt.Next is for example from the DE 3314868 A1 the representation of actuable buttons on a screen with a corresponding on-screen operation of the buttons known.

Aus der WO 2007/021263 A1 ist eine Bedieneinrichtung mit einem Anzeigebildschirm bekannt, mit einer Berührungsfunktion, wobei zusätzlich wenigstens ein Mikrofon zur Bedienung vorgesehen ist.From the WO 2007/021263 A1 an operating device with a display screen is known, with a touch function, wherein additionally at least one microphone is provided for operation.

Der vorliegenden Erfindung liegt vor dem Hintergrund des Standes der Technik die Aufgabe zugrunde, eine Bedieneinrichtung zu schaffen, die eine besonders einfache und möglichst fehlerfreie Bedienung auch komplexer Systeme auf intuitive Art ermöglicht.Of the The present invention is based on the prior art The technical object of the invention is to provide an operating device, the one very simple and error-free operation even more complex systems in an intuitive way.

Die Aufgabe wird gemäß der Erfindung mit den Merkmalen des Patentanspruchs 1 beziehungsweise mittels eines Verfahrens gemäß Patentanspruch 11 gelöst.The Task is according to the invention with the features of claim 1 or by means of a method according to claim 11 solved.

Es ist hierzu bei der erfindungsgemäßen Bedieneinrichtung eine Anzeigeeinrichtung und eine Sensoreinrichtung vorgesehen, wobei die Sensoreinrichtung die Position eines Gegenstandes, insbesondere einer menschlichen Hand, erfasst, die vor der Anzeigeeinrichtung positioniert oder bewegt wird. In Abhängigkeit von der Entfernung des Gegenstandes von der Anzeigeeinrichtung sind unterschiedliche Arten der Wechselwirkung möglich.It This is the case with the control device according to the invention a display device and a sensor device are provided, wherein the sensor device the position of an object, in particular a human hand, captured in front of the display device is positioned or moved. Depending on the Removal of the object from the display device are different Types of interaction possible.

Einerseits kann hierdurch eine bequemere Bedienung der Bedieneinrichtung möglich sein, da beispielsweise eine Hand, die zum Bedienen benutzt wird, nicht bis zu der Bedieneinrichtung beziehungsweise der Anzeigeeinrichtung ausgestreckt werden muss. Andererseits bleibt die Anzeigeeinrichtung zumindest zum Teil gut sichtbar, da der zur Bedienung verwendete Gegenstand auch im Abstand von der Anzeigeeinrichtung schon zur Beeinflussung der Bedieneinrichtung aktiv sein kann.On the one hand This allows a more convenient operation of the control unit possible because, for example, a hand used to operate not up to the operating device or the display device must be stretched out. On the other hand, the display remains at least partially clearly visible, since the used for the operation Subject even at a distance from the display device already for Influencing the control device can be active.

Vorteilhaft kann zur weiteren Ausgestaltung der Erfindung vorgesehen sein, dass wenigstens zwei Bereiche vorgesehen sind, von denen ein erster Bereich weiter von der Anzeigeeinrichtung entfernt ist als der zweite Bereich, wobei im zweiten Bereich durch Annäherung des Gegenstandes an die Anzeigeeinheit bis zu einem zweiten Schwellenabstand an die Bedieneinrichtung ein Signal, insbesondere ein Auswahlsignal, abgegeben wird.Advantageous can be provided for further embodiment of the invention, that at least two areas are provided, of which a first area farther away from the display than the second area, being in the second area by approaching the object to the display unit up to a second threshold distance to the Operating device, a signal, in particular a selection signal issued becomes.

Der Gegenstand beziehungsweise die Hand kann dabei in dem zweiten Bereich positioniert und dann bis zum Schwellabstand an die Anzeigeeinrichtung angenähert werden, um ein entsprechendes Signal abzugeben. Dies kann zudem bezüglich seines Inhalts noch von der genauen Position im Bezug auf die Anzeigeeinrichtung abhängig sein. Hierzu kann vorteilhaft vorgesehen sein, dass die Sensoreinrichtung sowohl die Entfernung des Gegenstandes von der Anzeigeeinrichtung erfasst als auch die Position in einer Fläche, die im wesentlichen senkrecht zu einer den Gegenstand und die Anzeigeeinrichtung verbindenden Strecke liegt und dass das Signal abhängig ist von der erfassten Position des Gegenstandes in dieser Fläche.The object or the hand can be positioned in the second area and then up to the threshold distance to the Anzeigeeinrich tion to give a corresponding signal. This may also be dependent on the content of the exact position with respect to the display device. For this purpose, it can be advantageously provided that the sensor device detects both the distance of the object from the display device and the position in a surface which is substantially perpendicular to a distance connecting the object and the display device and that the signal is dependent on the detected position of the object in this area.

Konkreter kann auch vorteilhaft vorgesehen sein, dass in einem zweiten Bereich, der sich bis unmittelbar zu der Anzeigeeinrichtung erstreckt, durch Berühren eines Anzeigeelementes der Anzeigeeinrichtung an die Bedieneinrichtung ein Signal, insbesondere ein Auswahlsignal abgegeben wird.concretely can also be advantageously provided that in a second area, which extends directly to the display device by touching a display element of the display device to the operating device a signal, in particular a selection signal is emitted.

Auch bei dieser Variante kann die Erfindung derart realisiert sein, dass das Signal abhängig ist von dem berührten Anzeigeelement oder von der Stelle, an der der Gegenstand die Anzeigeeinrichtung berührt.Also In this variant, the invention can be implemented such that the signal is dependent on the touched display element or from the location where the item is the display device touched.

Die Erfindung kann außerdem vorteilhaft dadurch ausgestaltet sein, dass bei einer Positionierung des Gegenstandes, insbesondere einer menschlichen Hand, in einem ersten Bereich, der weiter von der Anzeigeeinrichtung entfernt ist als der zweite Bereich, durch Unterschreiten eines ersten Schwellabstandes und/oder Überschreiten einer bestimmten Bewegungsgeschwindigkeit des Gegenstandes ein Signal, insbesondere ein Navigationssignal an die Bedieneinrichtung gegeben wird.The In addition, the invention can be advantageously configured be that when positioning the object, in particular a human hand, in a first area further from the display device is removed as the second area, by Fall below a first threshold distance and / or exceeding a certain speed of movement of the object a signal, in particular, given a navigation signal to the operating device becomes.

Dies hat zur Folge, dass bei der Annäherung an die Bedieneinrichtung beziehungsweise ihre Anzeigeeinrichtung zunächst Signale einer ersten Art, beispielsweise Navigationssignale, abgegeben werden können, die zum Beispiel zur Auswahl bestimmter zu steuernder Aggregate oder zur genaueren Auswahl der zu steuernden Eigenschaften dieser Aggregate verwendet werden können. Beispielsweise kann bei Bewegung der Hand in dem ersten Bereich innerhalb eines Kraftfahrzeuges unter den zu steuernden Aggregaten ein Navigationssystem ausgewählt werden. Es kann auch innerhalb des Navigationssystems eine Menüvariante wie beispielsweise die Zieleingabe ausgewählt werden. Dies geschieht nach entsprechender Positionierung der Hand in einer vor der Anzeigeeinrichtung angeordneten Fläche durch weitere Annäherung der Hand oder eines Fingers auf die Anzeigeeinrichtung zu bis dass der erste Schwellabstand unterschritten wird. Erscheint dann auf der Anzeige ein Auswahlmenü, so kann durch weitere Annäherung der Hand an den Bildschirm beispielsweise auf eine Entfernung unterhalb eines Zentimeters unter den dann dargebotenen Auswahlmöglichkeiten eine endgültige Auswahl getroffen werden. Hiermit ergibt sich insgesamt eine mehrstufige Bedienung, wobei die verschiedenen Abstandsstufen der menschlichen Hand oder eines zum Steuern verwendeten Gegenstandes von der Anzeigeeinrichtung verschiedenen Abstraktionsstufen oder hierarchischen Stufen der Steuerung entsprechen können.This As a result, when approaching the operating device or their display device first signals a first type, such as navigation signals, are delivered which, for example, can be used to select specific ones to control Aggregates or for a more precise selection of the properties to be controlled These aggregates can be used. For example, can upon movement of the hand in the first area within a motor vehicle A navigation system is selected among the units to be controlled become. It can also be a menu variant within the navigation system such as the destination input are selected. This happens after appropriate positioning of the hand in a before the display device arranged surface by more Approach of the hand or a finger on the display device to until the first threshold distance is exceeded. appear then on the display a selection menu, so can by more Approach of the hand to the screen, for example a distance below one centimeter below that then offered Choices made a final selection become. This results in a total of a multi-level operation, the different distance levels of the human hand or an object used for controlling different from the display device Levels of abstraction or hierarchical levels of control can.

Eine endgültige Signalabgabe kann dabei jeweils von der Unterschreitung eines individuellen Schwellabstandes in jeder Entfernungsstufe abhängen, jedoch auch von der Bewegung eines Teiles der Hand in eine bestimmte Richtung oder mit einer bestimmten Mindestgeschwindigkeit, die von der Sensoreinrichtung ebenfalls erfasst und überwacht werden können. Hierzu kann die Bedieneinrichtung innerhalb der Sensoreinrichtung beispielsweise wenigstens einen Infrarotsensor und/oder einen kapazitiven Sensor aufweisen, um im Abstand das Vorhandensein eines entsprechenden Gegenstandes vor der Anzeigeeinrichtung nachweisen und diesen Gegenstand auch mit der notwendigen Genauigkeit lokalisieren zu können.A final signal output can in each case from the undershooting depend on an individual threshold distance at each distance level, but also from the movement of a part of the hand into a certain one Direction or with a certain minimum speed of the sensor device also be detected and monitored can. For this purpose, the operating device within the Sensor device, for example, at least one infrared sensor and / or have a capacitive sensor to the distance the presence evidence of a corresponding object in front of the display device and locate this object with the necessary accuracy to be able to.

Die Erfindung bezieht sich außer auf eine Bedieneinrichtung wie oben beschrieben auch auf ein Verfahren zum Betrieb einer Bedieneinrichtung gemäß einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass mittels einer Sensoreinrichtung sowohl der Abstand eines Gegenstandes, insbesondere eines Teils einer menschlichen Hand von der Anzeigeeinrichtung als auch dessen Position in einer Fläche, die senkrecht zu einer den Gegenstand mit der Anzeigeeinrichtung verbindenden Linie liegt, überwacht und das Unterschreiten wenigstens eines Schwellabstandes überwacht wird.The Invention refers except to an operating device As described above, also to a method for operating an operating device according to a of claims 1 to 10, characterized in that by means of a sensor device both the distance of an object, in particular a portion of a human hand from the display device as also its position in a plane perpendicular to a line connecting the article to the display device is, monitors and monitors the falling below at least one threshold distance becomes.

Vorteilhaft kann dabei zusätzlich vorgesehen sein, dass die Sensoreinrichtung wenigstens eine Geschwindigkeitskomponente des Gegenstands erfasst und überwacht.Advantageous can additionally be provided that the sensor device detects at least one velocity component of the object and monitored.

Im folgenden wird die Erfindung anhand eines Ausführungsbeispiels in einer Zeichnung gezeigt und anschließend beschrieben.in the The following is the invention with reference to an embodiment shown in a drawing and then described.

Dabei zeigtthere shows

1 eine schematische Darstellung einer Anzeigeeinrichtung und mehrerer dieser vorgelagerten Bereiche; 1 a schematic representation of a display device and a plurality of these upstream areas;

2 eine Ansicht der Anzeigeeinrichtung und der Schwellabstände für die Bedienung von oben; 2 a view of the display device and the threshold distances for the operation from above;

3 ein Ablaufschema des Bedienprozesses; 3 a flowchart of the operating process;

4 eine mögliche Anzeige der Anzeigeeinrichtung; 4 a possible ad display Facility;

5 eine weitere Anzeige; 5 another ad;

6 eine durch ein Navigationssignal weiter detaillierte Anzeige sowie 6 a by a navigation signal further detailed display as well

7 das Berühren der Anzeigeeinrichtung zum Abgeben eines Auswahlsignals. 7 touching the display device to output a selection signal.

1 zeigt zunächst schematisch als Rechteck dargestellt eine Anzeigeeinrichtung 1 und in dreidimensionaler Darstellung dieser vorgelagert eine Fläche 2 in einem zweiten Schwellabstand von der Anzeigeeinrichtung 1 sowie eine weitere Fläche 3 im ersten Schwellabstand von der Anzeigeeinrichtung 1. Weiterhin ist zur weiteren Orientierung ein Koordinatensystem mit x- und y-Richtung eingezeichnet. 1 shows first schematically shown as a rectangle a display device 1 and in three-dimensional representation of this upstream of a surface 2 at a second threshold distance from the display device 1 as well as another area 3 in the first threshold distance from the display device 1 , Furthermore, a coordinate system with x and y direction is shown for further orientation.

Die 2 zeigt eine ähnliche Anordnung wie die 1 in einer Ansicht von oben, wobei wieder die Anzeigeeinrichtung in Form eines Bildschirms beispielsweise eines LCD-Bildschirms mit 1 bezeichnet ist. Diese ist durch eine Ansteuereinrichtung 4 gesteuert. Sie funktioniert grundsätzlich wie ein bekanntes Touchpad und ist durch Berührung der Oberfläche bedienbar wie schematisch durch die während der Berührung der Oberfläche dargestellte Hand gezeigt ist. Dabei kann in üblicher Weise ein Symbol auf dem Bildschirm 1 angezeigt und dieses durch Berühren an der selben Stelle aktiviert beziehungsweise ein entsprechendes Signal, insbesondere ein Auswahlsignal abgegeben werden. Es kann jedoch auch im Rahmen der Erfindung vorgesehen sein, dass das entsprechende Signal bereits bei Unterschreiten des zweiten Schwellabstandes 2 abgegeben wird, der beispielsweise in einer Entfernung von 10 mm vor der Anzeigeeinrichtung 1 liegen kann.The 2 shows a similar arrangement as the 1 in a view from above, wherein again the display device in the form of a screen, for example, an LCD screen with 1 is designated. This is by a drive device 4 controlled. It works in principle like a known touchpad and can be operated by touching the surface as shown schematically by the hand shown during the contact of the surface. It can in the usual way a symbol on the screen 1 displayed and this activated by touching at the same point or a corresponding signal, in particular a selection signal are issued. However, it can also be provided within the scope of the invention that the corresponding signal already falls below the second threshold distance 2 discharged, for example, at a distance of 10 mm in front of the display device 1 can lie.

Das Unterschreiten des zweiten Schwellabstandes 2 sowie die x/y-Koordinaten der Position, an der dies geschieht können beispielsweise durch Ortungssensoren 5, 6, die als kapazitive Sensoren oder als Infrarotsensoren arbeiten, erfasst werden.Falling below the second threshold distance 2 as well as the x / y coordinates of the position at which this can happen, for example by location sensors 5 . 6 , which work as capacitive sensors or as infrared sensors, are detected.

Insbesondere sind solche Sensoren auch notwendig, um das Unterschreiten eines ersten Schwellabstandes festzustellen, der beispielsweise in einer Entfernung von 15 cm vor der Anzeigeeinrichtung 1 liegen kann. Die entsprechende Fläche 3 kann eben oder auch gekrümmt sein.In particular, such sensors are also necessary to determine the falling below a first threshold distance, for example, at a distance of 15 cm in front of the display device 1 can lie. The corresponding area 3 can be even or curved.

Die Bedieneinrichtung kann dazu eingerichtet sein, bereits bei Unterschreiten des ersten Schwellabstandes und Passieren der Fläche 3 ein Navigationssignal zu registrieren, dessen Inhalt genauer von der x- und y-Position eines Gegenstandes, beispielsweise eines Fingers 7 im Bereich der Fläche 3 abhängen kann, ebenso wie dies bei Abgabe eines Auswahlsignals durch Berühren der Anzeigeeinrichtung 1 direkt oder Unterschreiten der zweiten Schwelle und Passieren der zweiten Fläche 2 der Fall ist.The operating device can be set up, already at falling below the first threshold distance and passing the surface 3 to register a navigation signal whose content is more accurate from the x and y position of an object, such as a finger 7 in the area of the area 3 can depend, as well as upon delivery of a selection signal by touching the display device 1 directly or below the second threshold and passing the second surface 2 the case is.

Ein genaueres Beispiel für die verschiedenen Arten von Signalen, die bei Passieren verschiedener Schwellabstände gegeben werden können, geht weiter unten aus der Beschreibung der 4 bis 7 hervor.A more specific example of the different types of signals that can be given when passing different thresholds is discussed below 4 to 7 out.

Im Rahmen der 3 wird ein Ablaufdiagramm eines Bedienprozesses dargestellt, wobei in einem ersten Schritt 8 das Überschreiten beziehungsweise Unterschreiten eines Schwellabstandes durch Passieren einer Fläche 2, 3 registriert wird. In einem zweiten Schritt 9 wird dann durch Ermittlung der x- und y-Koordinaten festgestellt, an welcher Stelle die entsprechende Fläche berührt oder durchstoßen wird.As part of the 3 a flow chart of an operating process is shown, wherein in a first step 8th the exceeding or falling below a threshold distance by passing a surface 2 . 3 is registered. In a second step 9 is determined by determining the x and y coordinates, at which point the corresponding surface is touched or pierced.

Alternativ oder zusätzlich dazu kann in einem parallelen Verfahrensschritt 10 auch wenigstens eine Geschwindigkeitskomponente des Gegenstandes, der zur Bedienung benutzt wird, festgestellt und hiervon ein abgegebenes Signal abhängig gemacht werden. Dies führt beispielsweise dazu, dass bestimmte Signale durch eine Art Wink oder impulsartiges Zustoßen gegeben werden können.Alternatively or additionally, in a parallel process step 10 Also at least one speed component of the object, which is used for the operation, determined and made of a delivered signal dependent. This leads, for example, to certain signals being able to be given by a kind of wink or pulse-like transmission.

Im nächsten Verfahrensschritt 11 wird ein entsprechendes Navigations- oder Auswahlsignal gegeben und daraufhin entweder direkt ein Aggregat 12 angesteuert oder die Bedieneinrichtung durch nochmaliges Durchlaufen der dargestellten Schleife weiter betrieben, um zu einem detaillierteren Signal beziehungsweise zu einem detaillierteren abzugebenden Befehl zu gelangen.In the next process step 11 a corresponding navigation or selection signal is given and then either directly an aggregate 12 driven or the operating device operated by running through the loop again to get to a more detailed signal or to a more detailed command to be issued.

4 zeigt eine Anzeigeeinrichtung 1 in der Ansicht von vorne mit drei Anzeigeelementen 13, 14, 15. Jedes der Anzeigeelemente 13, 14, 15 kann beispielsweise ein zu bedienendes Aggregat eines Kraftfahrzeuges repräsentieren. 4 shows a display device 1 in the front view with three display elements 13 . 14 . 15 , Each of the display elements 13 . 14 . 15 For example, it may represent an aggregate of a motor vehicle to be operated.

In der 5 ist eine Hand 16 in einem Abstand vor der Anzeigeeinrichtung 1 gezeigt, der größer ist als der erste Schwellabstand der ersten Fläche 3 vor der Anzeigeeinrichtung 1.In the 5 is a hand 16 at a distance in front of the display device 1 shown, which is greater than the first threshold distance of the first surface 3 in front of the display device 1 ,

Ist beabsichtigt, das durch das Anzeigeelement 13 repräsentierte Aggregat zu bedienen, so kann dies durch eine entsprechende Bewegung der Hand 16 bis zum ersten Schwellabstand geschehen, beispielsweise dadurch dass dieser Schwellabstand an einer Stelle unterschritten wird, deren x- und y-Koordinaten etwa den x- und y-Koordinaten des Anzeigeelementes 13 entsprechen. Ein entsprechender auf das Anzeigeelement 13 gerichteter Navigationsbefehl kann beispielsweise auch durch eine Winkbewegung der Hand 16 im Bereich der Fläche 3 übermittelt werden.Is intended by the indicator 13 To represent represented aggregate, this can be done by a corresponding movement of the hand 16 done to the first threshold distance, for example, characterized in that this threshold distance is exceeded at one point, their x and y coordinates about the x and y coordinates of the display element 13 correspond. A corresponding to the display element 13 directional navigation command, for example, by a wave motion of the hand 16 in the area of the area 3 above be averaged.

Durch das Absetzen des entsprechenden Navigationsbefehls gelangt der Benutzer zu einer in 6 beispielhaft dargestellten Anzeige, in der das Anzeigeelement 13 weiter aufgeschlüsselt und detailliert ist, dadurch dass beispielsweise im vorliegenden Fall verschiedene, in Bezug auf eine Multimediaeinheit beziehungsweise Audioeinheit mögliche Auswahlbefehle detaillierter angezeigt werden. Im vorliegenden Fall wird beispielsweise eine Kanalwahl, eine Lautstärkenauswahl und ähnliches angeboten.By placing the appropriate navigation command, the user gets to a 6 exemplified display, in which the display element 13 is further broken down and detailed, in that in the present case, for example, various selection commands that are possible with respect to a multimedia unit or audio unit are displayed in more detail. In the present case, for example, a channel selection, a volume selection and the like offered.

Gleichzeitig können optional die übrigen Anzeigeelemente 14, 15 vorübergehend von der Anzeigeeinrichtung gelöscht oder weiter an den Rand der Anzeige geschoben werden, um mehr Platz für die detaillierte Anzeige des Anzeigeelementes 13 zu schaffen.At the same time, optionally the other display elements 14 . 15 be temporarily deleted by the display device or pushed further to the edge of the display to give more space for the detailed display of the display element 13 to accomplish.

Umgekehrt würde, wenn eines der anderen Anzeigeelemente 14, 15 ausgewählt würde, dieses entsprechend detaillierter aufgeschlüsselt und die übrigen Anzeigeelemente könnten verschwinden oder zum Rand der Anzeige gedrängt werden.Conversely, if any of the other display elements 14 . 15 would be selected accordingly, and the remaining display elements could disappear or be forced to the edge of the display.

Um eine weitere Detaillierung der Auswahl zu erreichen, kann beispielsweise eine weitere Ebene vor der Anzeigeeinrichtung 1 vorgesehen sein, in der eine nächste Auswahlstufe passiert werden kann.To achieve further detailing of the selection, for example, another level in front of the display device 1 be provided, in which a next selection stage can be passed.

Im vorliegenden Beispiel wird bei Unterschreiten der zweiten Abstandsschwelle, das heißt Durchstoßen der Fläche 2, eine Auswahl eines Befehls getroffen, der von der Stelle abhängt, an der bezüglich der x- und y-Koordinaten die Fläche 2 durchstoßen beziehungsweise der Bildschirm 1 berührt wird. Dies ist beispielhaft in der 7 dargestellt, in der durch Berühren des Bildschirms in der oberen rechten Ecke ein Befehl „geklickt” wird.In the present example, falls below the second distance threshold, ie piercing the surface 2 , made a selection of a command that depends on the location at the x and y coordinates of the area 2 pierced or the screen 1 is touched. This is exemplary in the 7 is displayed by clicking on the screen in the top right corner and clicking on a command.

Somit erlaubt die vorliegende Erfindung eine intuitive Bedienung einer graphischen Bedieneinrichtung, wobei insbesondere in einer ersten Stufe der Bedienung, wenn der zur Bedienung verwendete Gegenstand beziehungsweise die menschliche Hand noch von der Anzeigeeinrichtung weit entfernt ist, ein Verdecken der Anzeigeeinrichtung verhindert wird und damit ein optimaler Überblick für den Fahrer erhalten bleibt.Consequently The present invention allows intuitive operation of a graphical operating device, in particular in a first Level of operation when the item used for operation or the human hand still from the display device is far away, obscuring the display prevents and thus an optimal overview for the Driver is preserved.

11
Anzeigeeinrichtungdisplay
2, 32, 3
Flächearea
44
Ansteuereinrichtungdriving
5, 65, 6
Ortungssensorenlocation sensors
77
Finger, HandFinger, hand
8, 9, 10, 118th, 9, 10, 11
Verfahrensschrittesteps
1212
Aggregataggregate
13, 14, 1513 14, 15
Anzeigeelementeindicators
1616
Handhand

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • - DE 4033832 C2 [0007] - DE 4033832 C2 [0007]
  • - DE 3314868 A1 [0009] - DE 3314868 A1 [0009]
  • - WO 2007/021263 A1 [0010] WO 2007/021263 A1 [0010]

Zitierte Nicht-PatentliteraturCited non-patent literature

  • - Fachzeitschrift Elektronik, 10/21.5.1982, Seite 51 bis 56 [0008] - Fachzeitung Elektronik, 10 / 21.5.1982, pages 51 to 56 [0008]

Claims (12)

Bedieneinrichtung für wenigstens ein elektrisch ansteuerbares Aggregat (12) mit einer Anzeigeeinrichtung (1) und einer Sensoreinrichtung (5, 6), die Gegenstände (7), insbesondere Teile einer menschlichen Hand in bestimmten Bereichen in der Umgebung der Anzeigeeinrichtung erfasst, dadurch gekennzeichnet, dass in Abhängigkeit von der Entfernung des Gegenstandes (7) von der Anzeigeeinrichtung (1) unterschiedliche Arten der Wechselwirkung zwischen dem jeweiligen Gegenstand und der Bedieneinrichtung ermöglicht sind.Operating device for at least one electrically controllable unit ( 12 ) with a display device ( 1 ) and a sensor device ( 5 . 6 ), things ( 7 ), in particular parts of a human hand in certain areas in the surroundings of the display device, characterized in that, depending on the distance of the object ( 7 ) from the display device ( 1 ) different types of interaction between the respective object and the operating device are possible. Bedieneinrichtung nach Anspruch 1, dadurch gekennzeichnet, dass wenigstens zwei Bereiche vorgesehen sind, von denen ein erster Bereich weiter von der Anzeigeeinrichtung entfernt ist als der zweite Bereich, wobei im zweiten Bereich durch Annäherung des Gegenstandes (7) an die Anzeigeeinheit (1) bis zu einem zweiten Schwellenabstand an die Bedieneinrichtung ein Signal, insbesondere ein Auswahlsignal, abgegeben wird.Operating device according to claim 1, characterized in that at least two regions are provided, of which a first region is farther away from the display device than the second region, wherein in the second region by approaching the article ( 7 ) to the display unit ( 1 ) is delivered to a second threshold distance to the operating device, a signal, in particular a selection signal. Bedieneinrichtung nach Anspruch 2, dadurch gekennzeichnet, dass die Sensoreinrichtung sowohl die Entfernung des Gegenstandes (7) von der Anzeigeeinrichtung (1) erfasst als auch die Position in einer Fläche (2, 3), die im wesentlichen senkrecht zu einer den Gegenstand (7) und die Anzeigeeinrichtung verbindenden Strecke liegt und dass das Signal abhängig ist von der erfassten Position des Gegenstandes (7) in dieser Fläche (2, 3).Operating device according to claim 2, characterized in that the sensor device both the removal of the object ( 7 ) from the display device ( 1 ) as well as the position in a surface ( 2 . 3 ) substantially perpendicular to an object ( 7 ) and the display device connecting the distance and that the signal is dependent on the detected position of the object ( 7 ) in this area ( 2 . 3 ). Bedieneinrichtung nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass in einem zweiten Bereich, der sich bis unmittelbar zu der Anzeigeeinrichtung erstreckt, durch Berühren eines Anzeigeelementes (13, 14, 15) der Anzeigeeinrichtung (1) an die Bedieneinrichtung ein Signal, insbesondere ein Auswahlsignal abgegeben wird.Operating device according to claim 1, 2 or 3, characterized in that in a second region extending directly to the display device by touching a display element ( 13 . 14 . 15 ) of the display device ( 1 ) to the operating device, a signal, in particular a selection signal is delivered. Bedieneinrichtung nach Anspruch 4, dadurch gekennzeichnet, dass das Signal abhängig ist von dem berührten Anzeigeelement (13, 14, 15) oder von der Stelle, an der der Gegenstand (7) die Anzeigeeinrichtung (1) berührt.Operating device according to claim 4, characterized in that the signal is dependent on the touched display element ( 13 . 14 . 15 ) or from where the object ( 7 ) the display device ( 1 ) touched. Bedieneinrichtung nach einem der Ansprüche 2 bis 5, dadurch gekennzeichnet, dass bei einer Positionierung des Gegenstandes, insbesondere einer menschlichen Hand, in einem ersten Bereich, der weiter von der Anzeigeeinrichtung entfernt ist als der zweite Bereich, durch Unterschreiten eines ersten Schwellabstandes und/oder Überschreiten einer bestimmten Bewegungsgeschwindigkeit des Gegenstandes ein Signal, insbesondere ein Navigationssignal an die Bedieneinrichtung gegeben wird.Operating device according to one of claims 2 to 5, characterized in that in a positioning of the Object, in particular a human hand, in a first Area farther from the display than the second area, by falling below a first threshold distance and / or exceeding a certain speed of movement the object is a signal, in particular a navigation signal is given to the operating device. Bedieneinrichtung nach Anspruch 6, dadurch gekennzeichnet, dass das Signal, insbesondere Navigationssignal von der Position des Gegenstandes (7) innerhalb einer Fläche (3) abhängt, die senkrecht zu der Verbindungslinie zwischen dem Gegenstand und der Anzeigeeinrichtung liegt.Operating device according to claim 6, characterized in that the signal, in particular navigation signal from the position of the object ( 7 ) within a surface ( 3 ) which is perpendicular to the line of connection between the article and the display device. Bedieneinrichtung nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass das Signal, insbesondere Navigationssignal, von der Bewegungsrichtung des Gegenstandes (7) abhängt.Operating device according to claim 6 or 7, characterized in that the signal, in particular navigation signal, from the direction of movement of the object ( 7 ) depends. Bedieneinrichtung nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Sensoreinrichtung (5, 6) wenigstens einen Infrarotsensor aufweist.Operating device according to one of claims 1 to 8, characterized in that the sensor device ( 5 . 6 ) has at least one infrared sensor. Bedieneinrichtung gemäß einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Sensoreinrichtung (5, 6) wenigstens einen kapazitiven Sensor aufweist.Operating device according to one of claims 1 to 9, characterized in that the sensor device ( 5 . 6 ) has at least one capacitive sensor. Verfahren zum Betrieb einer Bedieneinrichtung gemäß einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass mittels einer Sensoreinrichtung (5, 6) sowohl der Abstand eines Gegenstandes (7), insbesondere eines Teils einer menschlichen Hand von der Anzeigeeinrichtung (1) als auch dessen Position in einer Fläche (2, 3), die senkrecht zu einer den Gegenstand mit der Anzeigeeinrichtung verbindenden Linie liegt, erfasst und das Unterschreiten wenigstens eines Schwellabstandes überwacht wird.Method for operating an operating device according to one of claims 1 to 10, characterized in that by means of a sensor device ( 5 . 6 ) both the distance of an object ( 7 ), in particular a part of a human hand from the display device ( 1 ) as well as its position in a surface ( 2 . 3 ), which is perpendicular to a line connecting the object with the display device, detected and the falling below at least one threshold distance is monitored. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass die Sensoreinrichtung (5, 6) wenigstens eine Geschwindigkeitskomponente des Gegenstands (7) erfasst und überwacht.Method according to claim 11, characterized in that the sensor device ( 5 . 6 ) at least one velocity component of the object ( 7 ) and monitored.
DE102008023890A 2008-05-16 2008-05-16 Control unit for electrically controlled user interface assembly for motor vehicle, has indicator unit and sensor unit, which determines objects, particularly parts of human hand within certain ranges in environment of indicator unit Ceased DE102008023890A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102008023890A DE102008023890A1 (en) 2008-05-16 2008-05-16 Control unit for electrically controlled user interface assembly for motor vehicle, has indicator unit and sensor unit, which determines objects, particularly parts of human hand within certain ranges in environment of indicator unit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102008023890A DE102008023890A1 (en) 2008-05-16 2008-05-16 Control unit for electrically controlled user interface assembly for motor vehicle, has indicator unit and sensor unit, which determines objects, particularly parts of human hand within certain ranges in environment of indicator unit

Publications (1)

Publication Number Publication Date
DE102008023890A1 true DE102008023890A1 (en) 2009-11-19

Family

ID=41180459

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102008023890A Ceased DE102008023890A1 (en) 2008-05-16 2008-05-16 Control unit for electrically controlled user interface assembly for motor vehicle, has indicator unit and sensor unit, which determines objects, particularly parts of human hand within certain ranges in environment of indicator unit

Country Status (1)

Country Link
DE (1) DE102008023890A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010032221A1 (en) * 2010-07-26 2012-01-26 Continental Automotive Gmbh Manually controlled electronic display device for motor car, has operating elements arranged on picture screen, where activation of operation field is switchable on operated operation fields by guiding user hand to new operating field
DE102012206960B4 (en) 2012-04-26 2019-10-17 Bayerische Motoren Werke Aktiengesellschaft Method and device for detecting at least one predetermined actuating movement for an operating device of a vehicle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3314868A1 (en) 1983-04-25 1984-10-25 Siemens Ag Terminal with a key screen
DE4033832C2 (en) 1989-10-24 1992-04-30 Mitsubishi Denki K.K., Tokio/Tokyo, Jp
DE4121180A1 (en) * 1991-06-27 1993-01-07 Bosch Gmbh Robert Finger input type interactive screen display system for road vehicle navigation - has panel screen with matrix of sensing elements that can be of infrared or ultrasonic proximity devices or can be touch foil contacts
WO2007021263A1 (en) 2005-08-10 2007-02-22 Autoliv Asp, Inc. Improved steering apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3314868A1 (en) 1983-04-25 1984-10-25 Siemens Ag Terminal with a key screen
DE4033832C2 (en) 1989-10-24 1992-04-30 Mitsubishi Denki K.K., Tokio/Tokyo, Jp
DE4121180A1 (en) * 1991-06-27 1993-01-07 Bosch Gmbh Robert Finger input type interactive screen display system for road vehicle navigation - has panel screen with matrix of sensing elements that can be of infrared or ultrasonic proximity devices or can be touch foil contacts
WO2007021263A1 (en) 2005-08-10 2007-02-22 Autoliv Asp, Inc. Improved steering apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Fachzeitschrift Elektronik, 10/21.5.1982, Seite 51 bis 56

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010032221A1 (en) * 2010-07-26 2012-01-26 Continental Automotive Gmbh Manually controlled electronic display device for motor car, has operating elements arranged on picture screen, where activation of operation field is switchable on operated operation fields by guiding user hand to new operating field
DE102012206960B4 (en) 2012-04-26 2019-10-17 Bayerische Motoren Werke Aktiengesellschaft Method and device for detecting at least one predetermined actuating movement for an operating device of a vehicle

Similar Documents

Publication Publication Date Title
EP2350799B1 (en) Method and device for displaying information sorted into lists
EP3113969B1 (en) User interface and method for signalling a 3d position of input means during gesture detection
EP2121372B1 (en) Contactless activated display and operation device
DE102018221024A1 (en) DEVICE AND METHOD FOR OPERATING A STEERING WHEEL BASED ON A TOUCH CONTROL
EP2867762B1 (en) Method for receiving an input on a touch-sensitive panel
EP3507681B1 (en) Method for interacting with image contents displayed on a display device in a vehicle
EP2574881A1 (en) Method for operating a control system for a vehicle and control system for a vehicle
DE102015122602A1 (en) Vehicle with an image acquisition unit and an operating system for operating devices of the vehicle and method for operating the operating system
EP3508968A1 (en) Human-machine interface and method for operating a human-machine interface
DE102008061987A1 (en) Operating method and operating device
DE102016108899A1 (en) Combined input and output device and method for operating an input and output device
DE102012011179A1 (en) Device for operating a motor vehicle
EP3755567B1 (en) Input device and method for controlling at least one functional unit for a vehicle with a visual displacement of an operation icon
WO2017140569A1 (en) Motor vehicle operator control apparatus and method for operating an operator control apparatus in order to cause an interaction between a virtual presentation plane and a hand
DE102009039114B4 (en) Operating device for a vehicle
DE102008023890A1 (en) Control unit for electrically controlled user interface assembly for motor vehicle, has indicator unit and sensor unit, which determines objects, particularly parts of human hand within certain ranges in environment of indicator unit
DE102012011177A1 (en) Method for operating functions of a vehicle and corresponding device
DE102010009622A1 (en) Method for operating user interface, involves representing display contents on display surface which has partial view of overall view of graphical object
DE102013006174A1 (en) Method for operating a control system of a motor vehicle and operating system for a motor vehicle
EP2917062B1 (en) Method for displaying information in a vehicle, and a device for controlling the display
EP2703205B1 (en) Method for displaying and operating functional groups and/or functions and a display and operating device
EP3426516B1 (en) Operating device and method for detecting a user selection of at least one operating function of the operating device
DE102014222751A1 (en) Device for vehicles for operating multi-level GUIs
DE102015201722A1 (en) Method for operating an input device, input device
DE102013223518A1 (en) Display device and method for controlling a display device

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
8180 Miscellaneous part 1

Free format text: PFANDRECHT AUFGEHOBEN

8180 Miscellaneous part 1

Free format text: PFANDRECHT

8127 New person/name/address of the applicant

Owner name: GM GLOBAL TECHNOLOGY OPERATIONS LLC , ( N. D. , US

R081 Change of applicant/patentee

Owner name: GM GLOBAL TECHNOLOGY OPERATIONS LLC (N. D. GES, US

Free format text: FORMER OWNER: GM GLOBAL TECHNOLOGY OPERATIONS, INC., DETROIT, US

Effective date: 20110323

Owner name: GM GLOBAL TECHNOLOGY OPERATIONS LLC (N. D. GES, US

Free format text: FORMER OWNER: GM GLOBAL TECHNOLOGY OPERATIONS, INC., DETROIT, MICH., US

Effective date: 20110323

R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06F0003037000

Ipc: G06F0003048400

R012 Request for examination validly filed

Effective date: 20150508

R082 Change of representative

Representative=s name: LKGLOBAL ] LORENZ & KOPF PARTG MBB PATENTANWAE, DE

R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final