DE102022111443A1 - Berührungslose Steuereinrichtung für einen Präsentationsbereich sowie Bedieneinheit - Google Patents

Berührungslose Steuereinrichtung für einen Präsentationsbereich sowie Bedieneinheit Download PDF

Info

Publication number
DE102022111443A1
DE102022111443A1 DE102022111443.0A DE102022111443A DE102022111443A1 DE 102022111443 A1 DE102022111443 A1 DE 102022111443A1 DE 102022111443 A DE102022111443 A DE 102022111443A DE 102022111443 A1 DE102022111443 A1 DE 102022111443A1
Authority
DE
Germany
Prior art keywords
palm
control device
image data
hand
display content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022111443.0A
Other languages
English (en)
Inventor
Igor Zaton
Joachim Lyszus
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Diehl AKO Stiftung and Co KG
Original Assignee
Diehl AKO Stiftung and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Diehl AKO Stiftung and Co KG filed Critical Diehl AKO Stiftung and Co KG
Priority to DE102022111443.0A priority Critical patent/DE102022111443A1/de
Publication of DE102022111443A1 publication Critical patent/DE102022111443A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die vorliegende Erfindung betrifft eine Berührungslose Steuereinrichtung zum berührungslosen An- bzw. Auswählen eines Anzeigeinhalts mittels Hand- und/oder Finger-Gesten einer Bedienperson miteinem Präsentationsbereich (1), welcher dazu eingerichtet ist, einen Anzeigeinhalt (1a) anzuzeigen,Bilderfassungsmittel, welche dazu eingerichtet sind, Hand- und/oder Finger-Gesten einer Bedienperson zu erfassen und daraus Bilddaten zu ge-nerieren,einer Datenverarbeitungseinheit (2) zur Verarbeitung der Bilddaten und Generierung von Steuerdaten für das berührungslosen An- bzw. Auswählen eines Anzeigeinhalts auf dem Präsentationsbereich(1),einer einzigen Kamera (3) als Bilderfassungsmittel, mittel welcher ausschließlich monokulare Bilddaten zur Verarbeitung in der Datenverarbei-tungseinheit (2) erzeugt werden,einem Handflächen-Modell (5), welches eine Vielzahl von Handflächenkoordinationspunkten (FKPO- FKPn) festlegt, wobei die von der Kamera erzeugten monokularen Bilddaten mit der Vielzahl von Handflächenkoor-dinationspunkten (FKPO- FKPn) des Handflächen-Modells (5) abgeglichen werden und daraus eine Hand- und/oder Finger-Gesten Schätzung, vorzugsweise in Ist-Zeit, vorgenommen wird, wobeider Abgleich der monokularen Bilddaten mit den Handflächenkoordinationspunkten (FKPO- FKPn) des Handflächen-Modells (5) mit einem neu-ronalen Netzwerk (6) vorgenommen wird.

Description

  • Die vorliegende Erfindung betrifft zum einen eine berührungslose Steuereinrichtung zum berührungslosen An- bzw. Auswählen eines Anzeigeinhalts an einem Präsentationsbereich mittels Hand- und/oder Finger-Gesten einer Bedienperson sowie zum anderen eine Bedieneinheit unter Verwendung einer entsprechenden Steuereinrichtung.
  • Technologischer Hintergrund
  • Berührungslose Display Steuereinrichtungen sind bereits seit geraumer Zeit bekannt. Vor allem im Bereich der Kfz-Technik haben Gestensteuerungen für die Bedienung von unterschiedlichsten Funktionen im Automotive-Bereich in den vergangenen Jahren stark an Bedeutung zugenommen. Ihre Anwendung verringert einerseits den Grad der Ablenkung vom Verkehrsgeschehen bei der Bedienung von Funktionen in einem Fahrzeug. Andererseits erlauben es solche Steuerungseinrichtungen, Bedieneinrichtungen generell sehr viel einfacher auszugestalten, da jeweils herstellungstechnisch aufwändige Bedienelemente wie z. B. Bedienungsschalter, Drehknöpfe, usw. vollständig entfallen können. Hierdurch kann die Fertigungstiefe entsprechender Bedieneinrichtungen per Gestensteuerung erheblich reduziert werden. Allerdings sind entsprechende Steuerungen bislang dennoch aufwendig und kostenintensiv in ihrer Herstellung und demzufolge nur für beschränkte Anwendungsbereiche umsetzbar.
  • Druckschriftlicher Stand der Technik
  • Die DE 10 2014 207 637 A1 betrifft eine Gestenerkennungseinheit für ein Fahrerinformationssystem eines Fahrzeugs, bei der eine aktuelle Position einer Geste im Erfassungsbereich vor einem Display mittels Stereoskopie d. h. unter Verwendung von zwei Kameras erfolgt.
  • Aus der DE 10 2916 212 682 A1 ist eine Gestensteuerung unter Verwendung eines Zeitlaufmessungskamerasystems bekannt. Hierbei werden in einem Steuergerät hinterlegte Referenzwerte für eine dynamische Geste mit den durch das Zeitlaufmessungskamerasystem erfassten Bewegungsparametern abgeglichen.
  • In der DE 10 2017 210 316 A1 wird ein Verfahren zum Erfassen einer Nutzereingabe anhand einer Geste beschrieben, bei dem Bilddaten mit zumindest zwei Einzelbildern erfasst werden, wobei den Einzelbildern Aufnahmezeitpunkte zugeordnet sind. Die Bilddaten werden mit einer sogenannten Time-of-Flight-Kamera oder einer Stereokamera erzeugt. Time-of-Flight-Kameras haben den Nachteil, dass Mehrfachreflexionen sowie Hintergrundlicht die Gestensteuerung nachteilig beeinträchtigen.
  • Aufgabe der vorliegenden Erfindung
  • Die Aufgabe der vorliegenden Erfindung besteht darin, eine einfach und kostengünstig zu realisierende aber gleichwohl effektive Steuereinrichtung zum berührungslosen An- bzw. Auswählen eines Anzeigeinhalts mittels Hand- und/oder Finger-Gesten einer Bedienperson zur Verfügung zu stellen.
  • Lösung der Aufgabe
  • Die vorstehende Aufgabe wird durch die Merkmale des Anspruchs 1 gelöst. Zweckmäßige Ausgestaltungen sind in den abhängigen Ansprüchen beansprucht.
  • Gemäß der Erfindung werden mit nur einer einzigen Kamera ausschließlich monokulare Bilddaten zur Verarbeitung in der Datenverarbeitungseinheit erzeugt. Ferner wird ein virtuelles Handflächen-Modell verwendet, welches eine Vielzahl von Handflächenkoordinationspunkten festlegt, wobei die von der Kamera erzeugten monokularen Bilddaten mit der Vielzahl von Handflächenkoordinationspunkten des virtuellen Handflächen-Modells abgeglichen werden. Daraus kann eine Hand- und/oder Finger-Gesten Schätzung, vorzugsweise in Ist-Zeit, vorgenommen wird.
  • Der Abgleich der monokularen Bilddaten mit den Handflächenkoordinationspunkten des Handflächen-Modells erfolgt erfindungsgemäß mit einem neuronalen Netzwerk. Daraus resultiert eine vergleichsweise kostengünstige aber dennoch leistungsfähige Steuereinrichtung für ein berührungslosen An- bzw. Auswählen eines Anzeigeinhalts mittels Hand- und/oder Finger-Gesten einer Bedienperson. Zudem bietet die erfindungsgemäße Steuereinrichtung den Vorteil, dass anders als bei Verwendung von Time-of-Flight-Kameras weniger Mehrfachreflexionen auftreten sowie Hintergrundlicht die Gestensteuerung nicht nachteilig beeinträchtigen kann. Der Anzeigeninhalt kann beliebig sein, z. B. ein Bedienungssymbol einer Bedienungseinrichtung oder z. B. eine Darstellung eines Kaufobjekts.
  • Bei den monokularen Bilddaten handelt es sich vorzugsweise um Sequenzen von Einzelbildern.
  • Vorzugsweise umfasst das neuronale Netzwerk folgendes: eine Input Schicht, in der zu jedem der Handflächenkoordinationspunkte ein Input für die Bilddaten vorgesehen ist, mindestens eine verdeckte Schicht, in der eine Gewichtung der Bilddaten in Bezug auf eine Teilmenge der Handflächenkoordinationspunkte vorgenommen wird sowie eine Output Schicht zur Ausgabe von Output Daten zur Generierung von Steuerdaten für das berührungslosen An- bzw. Auswählen eines Anzeigeinhalts auf dem Präsentationsbereich. Hierdurch wird es möglich, aus einer Vielzahl von Bilddaten eine Gewichtung hin zu einer Auswahlentscheidung für eine über die einzige Kamera erfasste Geste vorzunehmen, bei der über die Steuereinheit ein An- bzw. Auswählen eines Anzeigeinhalts auf dem Display ausgelöst werden kann.
  • Vorzugsweise umfasst das neuronale Netzwerk eine Mehrzahl von verdeckten Schichten. Bevorzugt weist das neuronale Netzwerk eine erste sowie zweite verdeckte Schicht auf. Hierdurch kann eine ausreichende Gewichtung erreicht werden.
  • Gemäß einer zweckmäßigen Ausgestaltung sind alle Knoten benachbarter Schichten, bzw. benachbarter verdeckter Schichten, des neuronalen Netzwerks vollständig untereinander verknüpft. Das bedeutet, dass jeder Knoten mit jedem Knoten der benachbarten Schicht verknüpft ist.
  • Was das Handflächen-Modell anbelangt, können vorteilhaft mehrere Handflächenkoordinationspunkte jeweils entlang eines jeden Fingers einer Hand vorgesehen sein. Hierdurch wird der Verlauf der Finger (jeweils gestreckt oder gekrümmt) einer Hand abgebildet. Bestimmte Handflächenkoordinationspunkte markieren die jeweilige Fingerspitze sowie den jeweiligen Beginn des Fingers an der der Fingerspitze gegenüberliegenden Seite des Fingers.
  • Vorzugsweise ist zumindest ein Handflächenkoordinationspunkt im Bereich der Handwurzel positioniert ist. Dieser kennzeichnet z. B. die Lage der Handwurzel, insbesondere deren Mitte, in Relation zu den einzelnen Handflächenkoordinationspunkten der Finger.
  • Bei den Handflächenkoordinationspunkten handelt es sich insbesondere um dreidimensionale Handflächenkoordinationspunkte, die jeweils durch einen x-Koordinatenpunkt, einen y-Koordinatenpunkt sowie einen z-Koordinatenpunkt festgelegt sind. Bei dem z-Koordinatenpunkt handelt es sich um eine relative Tiefenerstreckung bezüglich der von dem x-Koordinatenpunkt sowie y-Koordinatenpunkt festgelegten Fläche. Die Schätzung der relativen Erstreckung kann in dem Handflächen-Modell zusätzlich auf Basis von empirischen Daten unterstützt werden.
  • In vorteilhafter Weise erfolgt der Abgleich der monokularen Bilddaten mit den Handflächenkoordinationspunkten des Handflächen-Modells hinsichtlich der z-Koordinate in dem neuronalen Netzwerk im Vergleich zur x-Koordinate und/oder y-Koordinate überproportional. Mit dem neuronalen Netzwerk kann somit vor allem bezüglich der z-Koordinate der Handflächenkoordinationspunkt eine überproportionale Gewichtung im Vergleich zu den beiden weiteren Koordinaten vorgenommen werden. Dies ist besonders vorteilhaft für die Gestenerkennung bei Verwendung von nur einer einzigen Kamera.
  • Zum An- bzw. Auswählen eines Anzeigeinhalts kann vorzugsweise eine Finger-Geste, vorzugsweise eine ausgestreckte Finger-Geste vorgesehen sein, wobei der Finger z. B. in einer definierten Zeitspanne andauernden Halteposition oder Ruheposition auf die Position des Anzeigeinhalts des Präsentationsbereichs deutet.
  • Ferner kann zum An- bzw. Auswählen eines Anzeigeinhalts eine Push-Pull-Bewegung der Hand oder eines Fingers, vorzugsweise eines ausgestreckten Fingers, der Hand vorgesehen sein.
  • In vorteilhafter Weise kann bei einem erfolgten An- bzw. Auswählen eines Anzeigeinhalts ein optisches und/oder akustisches Signal ausgegeben werden.
  • Ferner kann bei der Hand- und/oder Finger-Gesten Schätzung ein visueller Tracker am oder auf dem Präsentationsbereich generiert und/oder positioniert werden. Dieser erlaubt es der Bedienungsperson zu erkennen, wo auf dem Präsentationsbereich die Steuerungseinrichtung die Geste erkennt. Bei dem visuellen Tracker kann es sich um eine Leuchte, z. B. LED, einen LCD, einen Lichtpointer, einen Laserpointer oder eine Lampe handeln. Ebenso kann als visueller Tracker bei einem Display als Präsentationsbereich ein Cursor vorgesehen sein.
  • Als Kamera kann vorteilhaft eine herkömmliche RGB-Kamera verwenden werden. Dies ist besonders vorteilhaft, da RGB-Kameras häufig in Displayeinrichtungen bereits herstellerseitig integriert sind. Es müssen somit keine Spezialkameras verwendet werden.
  • Als Präsentationsbereich kann vorzugsweise ein Display vorgesehen sein.
  • Alternativ kann als Präsentationsbereich auch eine in einem Raum, beispielsweise in einem Verkaufsautomaten angeordnete Produkt- und/oder Informationsplatzierung vorgesehen sein. Letztere kann von einer Person z. B. durch eine Sichtscheibe oder durch einzelne z. B. einzelnen Produkten zugeordnete Sichtfenster von außen eingesehen werden und durch eine Geste angewählt oder ausgewählt werden.
  • Die vorliegende Erfindung betrifft ferner eine Bedieneinheit für ein manuelles berührungsloses An- bzw. Auswählen eines Anzeigeinhalts mittels Hand- und/oder Finger-Gesten einer Bedienperson unter Verwendung einer Steuereinrichtung nach den Ansprüchen 1 bis 14.
  • Eine erfindungsgemäße Bedieneinheit kann folgendes sein oder zumindest Bestandteil davon sein: Ein Self-service Checkout, ein intelligenter Spiegel, eine Küchenbedieneinheit, eine Hausinstallationsbedieneinheit oder eine Self-service Verkaufseinrichtung (Vending Machine), ein Schaufenster oder eine Werbewand.
  • Beschreibung der Erfindung anhand von Ausführungsbeispielen
  • Nachfolgend werden Beispiele einer erfindungsgemäßen berührungslosen Steuereinrichtung für einen Präsentationsbereich näher beschrieben. Gleiche Merkmale werden der Übersichtlichkeit halber lediglich einmal mit einer Bezugsziffer versehen. Es zeigen:
    • 1 eine Bedieneinheit zum berührungslosen An- bzw. Auswählen eines Anzeigeinhalts eines Präsentationsbereichs in Form eines Displays mittels Hand- und/oder Fingergesten einer Bedienperson unter Einsatz einer erfindungsgemäßen berührungslosen Steuereinrichtung in stark vereinfachter perspektivischer Darstellungsweise;
    • 2 ein Beispiel eines virtuellen Handflächen-Modells zur Erzeugung einer Vielzahl von Handflächenkoordinationspunkten als Basis für die erfindungsgemäße berührungslose Display Steuereinrichtung in stark vereinfachter schematischer Darstellungsweise;
    • 3 ein Beispiel eines neuronalen Netzwerkes zur Verwendung in der berührungslosen Steuereinrichtung für einen Präsentationsbereich gemäß der vorliegenden Erfindung in stark vereinfachter schematischer Darstellungsweise;
    • 4 eine stark vereinfachte schematische Darstellung eines Beispiels der Eingabedaten für das neuronale Netzwerk gemäß der 3;
    • 5 eine stark vereinfachte schematische Darstellung der einzelnen Funktionseinheiten einer erfindungsgemäßen Bedieneinheit;
    • 6 eine stark vereinfachte schematische Darstellung eines Beispiels einer Push-Pull Bewegung bei der Auswahl eines Anzeigeinhalts, sowie
    • 7 ein weiteres Beispiel einer Bedieneinheit zum berührungslosen An- bzw. Auswählen eines Anzeigeinhalts eines Präsentationsbereichs in Form eines Ausgabeautomaten mittels Hand- und/oder Fingergesten einer Bedienperson unter Einsatz der erfindungsgemäßen berührungslosen Steuereinrichtung ebenfalls in stark vereinfachter perspektivischer Darstellungsweise.
  • Die Bezugsziffer 4 in 1 bezeichnet ein Beispiel einer Bedieneinheit zur berührungslosen Auswahl eines Anzeigeinhalts 1a eines Präsentationsbereichs 1 in Form eines Displays. Auf dem Display befindet sich eine Mehrzahl von Anzeigeinhalten 1a, die von einer Bedienungsperson je nach Bedarf mittels einer Geste der Hand berührungslos ausgewählt bzw. angewählt werden können.
  • Die Bedieneinheit 4 umfasst neben dem Display lediglich eine einzige Kamera 3, die, wie beispielsweise in 1 gezeigt, an der Oberseite des Displays positioniert sein kann. Die Kamera 3 kann jedoch auch an jeder beliebigen anderen Position im Bereich des Displays positioniert sein.
  • Die Bedieneinheit 4 umfasst eine berührungslose Steuereinrichtung für das Display, die die lediglich eine einzige Kamera 3 umfasst, bei der somit ausschließlich monokulare Bilddaten zur Verarbeitung in einer Datenverarbeitungseinrichtung der berührungslosen Display Steuereinrichtung erzeugt werden.
  • Die berührungslose Steuereinrichtung basiert auf der Verwendung eines virtuellen Handflächen-Modells 5, wie es in 2 in Form eines Beispiels wiedergegeben ist. Das Handflächen-Modell 5 legt eine Vielzahl von dreidimensionalen Handflächenkoordinationspunkten FKPO - FKPn fest. In dem Handflächen-Modell 5 der 2 sind beispielsweise insgesamt 21 Handflächenkoordinationspunkte festgelegt. Jeder Handflächenkoordinationspunkt z. B. FKP2 wird durch einen Wert einer x-Koordinate, einer y-Koordinate sowie einer z-Koordinate. Der betreffende Handflächenkoordinationspunkt definiert daher eine bestimmte Position im Raum. Mit den einzelnen Handflächenkoordinationspunkten werden jeweils die Bereiche der Finger „gemapped“.
  • Wie aus 2 ersichtlich, befindet sich in dem Bereich der vier Hauptfinger jeweils ein Flächenkoordinationspunkt im Bereich der Fingerspitze sowie am Bereich des Fingeranfangs sowie zwei Flächenkoordinationspunkte dazwischen. Gleiches gilt für den Daumen, bei dem der Fingeranfang durch den Flächenkoordinationspunkt FKP2 festgelegt wird. Zusätzlich ist ein Flächenkoordinationspunkt FKPO im Bereich der Handwurzel positioniert. Je nach Bewegung der Hand verändern sich die Koordinaten zu den Handflächenkoordinationspunkten FKPO - FKPn, und zwar sowohl hinsichtlich der x-Koordinate, y-Koordinate sowie z-Koordinate. Dies wird miteinander abgeglichen und daraus die Geste geschätzt.
  • Erfindungsgemäß kommt bei der berührungslosen Steuereinrichtung hierzu ein sogenanntes neuronales Netzwerk 6 zum Einsatz. Das neuronale Netzwerk 6 umfasst eine Input Schicht 6a, in der zu jedem Handflächenkoordinationspunkt FKPO - FKP21 ein Input für Bilddaten der Kamera 3 vorgesehen ist. Des Weiteren umfasst das neuronale Netzwerk 6 in dem in 3 gezeigten Beispiel zwei verdeckte Schichten 6b und 6c, in denen eine Gewichtung der Bilddaten in Bezug auf eine Teilmenge der Handflächenkoordinationspunkt FKPO - FKP21 vorgenommen wird. Die Knoten der benachbarten Schichten 6b und 6c des neuronalen Netzwerks 6 sind alle vollständig untereinander verknüpft. Aus der Vielzahl der Bilddaten werden unter Abgleich mit den Handflächenkoordinationspunkten FKPO - FKPn über die verdeckten Schichten 6b und 6c bestimmte Bilddaten stärker gewichtet im Vergleich zu anderen Bilddaten. Die Gewichtung wird solange vorgenommen bis an der Output Schicht 6d aus der Vielzahl der Bilddaten eine entsprechende Auswahl getroffen worden ist, anhand der die Steuerung der berührungslosen Display Steuereinrichtung vorgenommen werden kann. Bei dem 3 gezeigten Beispiel des neuronalen Netzwerks sind z. B. insgesamt zwei verdeckte Schichten 6b und 6c vorgesehen. Im Bereich der Output Schicht 6d erfolgt die Datenausgabe.
  • Durch die Gewichtung der Bilddaten in dem neuronalen Netzwerk 6 kann somit aus einer Fülle von monokularen Bilddaten einer einzigen, zu verwendenden Kamera 3 eine Output Information erzeugt werden, die zur Steuerung der berührungslosen Steuereinrichtung herangezogen werden kann.
  • Besonders vorzugsweise ist die Gewichtung der Bilddaten innerhalb der verdeckten Schichten 6b und 6c des neuronalen Netzwerks 6 bezüglich der z-Koordinate im Vergleich zur x-Koordinate sowie y-Koordinate überproportional. Diese spezifische Maßnahme ist in doppelter Hinsicht vorteilhaft: Zum einen sind insbesondere bei Verwendung einer einzigen Kamera zur Erzeugung monokularer Bilddaten die Umstände einer Auswertung in z-Richtung (also in der Bildtiefe) bereits grundsätzlich schwieriger. Zum anderen ermöglicht die überproportionale Gewichtung auch eine sicherere Erkennung einer Push-Pull Bewegung der Hand zur Auswahl und Bestätigung des Anzeigeinhalts 1a auf dem Display.
  • Das neuronale Netzwerk 6 gemäß 3 ist so organisiert, dass in den verdeckten Schichten 6b und 6c eine Gewichtung der Inputs aller Netzwerkpunkte erfolgt, so dass für jede Eingabe der FKPO - FKP21 ein konkreter x/y-Wert an der Output Schicht ausgegeben wird.
  • Gemäß 4 werden die monokularen Bilddaten der Kamera 3 auf Basis des Handflächen-Modells 5 verarbeitet und ein Output für die Steuerung der berührungslosen Steuereinrichtung erzeugt. Zusätzlich ist es bei Bedarf möglich, empirische Daten mit zu verarbeiten, wodurch die Ergebnisse der Steuerung noch verbessert werden können.
  • 5 zeigt die funktionalen Bestandteile einer Bedieneinheit 4 unter Verwendung der erfindungsgemäßen berührungslosen Steuereinrichtung, z.B. bei einem Display gem. 1. In dem Display sind eine Mehrzahl von Anzeigeinhalten 1a wiedergegeben, die mittels der Geste einer Hand 11 ausgewählt werden können. Beispielsweise kann durch ein Deuten des Zeigefingers der Hand 11 auf den betreffenden Anzeigeinhalt 1a somit ein Anzeigeinhalt 1a, der von der Bedienungsperson ausgewählt werden soll, festgestellt werden. Vorzugsweise kann ein Tracker 7 am Display zusätzlich angezeigt werden, was es der Bedienperson erleichtert, festzustellen, ob der betreffende Anzeigeinhalt 1a mit der Geste tatsächlich getroffen worden ist. Bei Bewegung der Hand 11 mit dem ausgestreckten Finger vollzieht der Tracker 7 eine der Geste entsprechende Bewegung auf dem Display, sodass die Bedienperson erkennt, wo sich der Tracker auf dem betreffenden Anzeigeinhalt befindet und wo er sich hinbewegt. Die Steuerung erkennt somit ständig die Position des gestreckten Zeigefingers und gibt der Bedienungsperson somit eine Kontrollmöglichkeit.
  • Bezugszeichen 2 in 5 bezeichnet eine Datenverarbeitungseinheit, mittels der die von der Kamera 3 erzeugten monokularen Bilddaten mit der Vielzahl der Handflächenkoordinationspunkte FKPO - FKPn des Handflächen-Modells 5 abgeglichen und daraus eine Hand- und/oder Fingergestenschätzung vorgenommen wird. Vorzugsweise erfolgt die Schätzung in Ist-Zeit.
  • An der Bedieneinheit 4 können des Weiteren eine optische Anzeigeeinrichtung und/oder eine akustische Anzeigeeinrichtung 8 bzw. 9 vorgesehen sein, welche der Bedienperson rückbestätigen, dass eine Anwahl bzw. Auswahl eines Anzeigeinhalts 1a wirksam durchgeführt worden ist. Die optische Anzeigeeinrichtung 8 bzw. akustische Anzeigeeinrichtung 9 sind in 5 lediglich funktionell dargestellt. Die optische Anzeigeeinrichtung 8 kann beispielsweise auch durch ein bestimmtes, z.B. visuelles und/oder akustisches, Signal auf dem Display realisiert sein. Die akustische Anzeigeeinrichtung 9 kann ebenfalls durch ein entsprechendes akustisches Signal realisiert sein.
  • Bezugsziffer 10 zeigt lediglich beispielshaft eine Ausgabeeinrichtung 10, die nach erfolgter Anwahl eine Ausgabe des angewählten Produkts an die Bedienperson ermöglicht.
  • Zur Anwahl und/oder Bestätigung der Anwahl des betreffenden Ausgabeinhalts 1a kann aufgrund der erfindungsgemäßen berührungslosen Display Steuereinrichtung von der Hand 11 der Bedienperson mit z. B. gestrecktem Zeigefinger eine sogenannte Push-Pull Bewegung 12 durchgeführt werden, bei der der Zeigefinger der Hand 11 zu dem betreffenden Anzeigeinhalt 1a hindeutet, wobei zur Auswahl die Hand 11 mit gleichbleibender Geste kurz nach vorne hin zum Display und wieder zurückgezogen wird, wie dies beispielhaft in 6 dargestellt ist. Diese Push-Pull Bewegung 12 ist somit das Auslösesignal für den Auswahlprozess.
  • Bezugsziffer 13 in 6 deutet den optischen Winkel der Kamera 3 an. Bei der Kamera 3 handelt es sich vorzugsweise um eine herkömmliche RGB-Kamera. Die Kamera 3 kann insbesondere ein bereits vorkonfektionierter Bestandteil eines Displays sein, was insbesondere bei RGB-Kameras häufig der Fall ist.
  • 7 zeigt eine Bedieneinheit 400 mit einem Präsentationsbereich 100 der nicht als Display ausgebildet ist, sondern in dem als Anzeigeinhalt 100a Produkte (oder Informationen) 101 in einem dreidimensionalen Raum z. B. innerhalb eines Gehäuses 106 positioniert sind und über ein Sichtfeld 104 ausgewählt werden können. Bei dem in 7 gezeigten Beispiel kann z. B. jedem Produkt 101 ein eigenes Sichtfeld 104 zugeordnet sein. Alternativ können die Produkte (oder Informationen) 101 auch hinsichtlich einer durchgängigen Scheibe als einheitlichem Sichtfeld positioniert sein.
  • Die augenblickliche Position der Geste kann auch hier mittels einer visuellen Markierung 107 angezeigt werden. Die visuelle Markierung 107 kann z. B. durch eine Lichtausgabeeinrichtung (z.B. LED oder LCD) oder durch einen Lichtpointer bzw. Laserpointer erfolgen. Bezugsziffer 102 kennzeichnet einen Bezahlterminal sowie Bezugsziffer 103 eine Ausgabeöffnung für ein ausgewähltes und bezahltes Produkt 101. Bei Bedarf oder je nach den Umständen der konkreten Anwendung kann ein Präsentationsbereich 100 Produkte (oder Informationen) auch ohne einer zwischen dem Benutzer und dem jeweiligen Produkt (oder Information) befindlichen Abtrennung vorgesehen sein, beispielsweise bei einer Self-Service-Kaufplattform.
  • Was die übrigen Merkmale anbelangt, entspricht die Ausgestaltung der Erfindung nach 7 den Ausgestaltung der Erfindung nach den vorherigen Ausführungen.
  • Die erfindungsgemäße berührungslose Steuereinrichtung kann Bestandteil verschiedenster Bedieneinheiten sein. Beispielsweise kann es sich bei der Bedieneinheit um einen Self-service Checkout z. B eines Hotels, um eine Self-service Verkaufseinrichtung z. B. eines Warenhauses, um eine Bedieneinheit für eine Küche und/oder eine Hausinstallationsbedieneinrichtung oder um einen intelligenten Spiegel oder um ein Schaufenster oder Werbewand handeln.
  • Die erfindungsgemäße berührungslose Steuereinrichtung zeichnet sich durch besonders geringe Produktionskosten bei gleichzeitig hoher Effektivität aus und stellt daher eine ganz besondere Bereicherung des einschlägigen Standes der Technik dar. Es wird ausdrücklich darauf hingewiesen, dass auch Unterkombinationen der vorstehend beschriebenen Merkmale als erfindungswesentlich angesehen werden.
  • BEZUGSZEICHENLISTE
  • 1
    Präsentationsbereich
    1a
    Anzeigeinhalt
    2
    Datenverarbeitungseinheit
    3
    Kamera
    4
    Bedieneinheit
    5
    Handflächen-Modell
    6
    neuronales Netzwerk
    6a
    Input Schicht
    6b
    erste verdeckte Schicht
    6c
    zweite verdeckte Schicht
    6d
    dritte verdeckte Schicht
    6f
    Output Schicht
    7
    Tracker
    8
    optische Anzeigeeinrichtung
    9
    akustische Anzeigeeinrichtung
    10
    Ausgabeeinrichtung
    11
    Hand
    12
    Push-Pull Bewegung
    13
    optischer Winkel
    100
    Präsentationsbereich
    100a
    Anzeigeinhalt
    101
    Produkt
    102
    Bezahlterminal
    103
    Ausgabeöffnung
    104
    Sichtfeld
    105
    Lichtausgabeeinrichtung
    106
    Gehäuse
    107
    visuelle Markierung
    400
    Bedienelement
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102014207637 A1 [0003]
    • DE 102916212682 A1 [0004]
    • DE 102017210316 A1 [0005]

Claims (16)

  1. Berührungslose Steuereinrichtung zum berührungslosen An- bzw. Auswählen eines Anzeigeinhalts mittels Hand- und/oder Finger-Gesten einer Bedienperson mit einem Präsentationsbereich (1, 100), welcher dazu eingerichtet ist, einen Anzeigeinhalt (1a, 100a) anzuzeigen, Bilderfassungsmittel, welche dazu eingerichtet sind, Hand- und/oder Finger-Gesten einer Bedienperson zu erfassen und daraus Bilddaten zu generieren, einer Datenverarbeitungseinheit (2) zur Verarbeitung der Bilddaten und Generierung von Steuerdaten für das berührungslosen An- bzw. Auswählen eines Anzeigeinhalts auf dem Präsentationsbereich (1, 100), einer einzigen Kamera (3) als Bilderfassungsmittel, mittel welcher ausschließlich monokulare Bilddaten zur Verarbeitung in der Datenverarbeitungseinheit (2) erzeugt werden, einem Handflächen-Modell (5), welches eine Vielzahl von Handflächenkoordinationspunkten (FKPO- FKPn) festlegt, wobei die von der Kamera erzeugten monokularen Bilddaten mit der Vielzahl von Handflächenkoordinationspunkten (FKPO- FKPn) des Handflächen-Modells (5) abgeglichen werden und daraus eine Hand- und/oder Finger-Gesten Schätzung, vorzugsweise in Ist-Zeit, vorgenommen wird, wobei der Abgleich der monokularen Bilddaten mit den Handflächenkoordinationspunkten (FKPO- FKPn) des Handflächen-Modells (5) mit einem neuronalen Netzwerk (6) vorgenommen wird.
  2. Steuereinrichtung nach Anspruch 1, dadurch gekennzeichnet, dass das neuronale Netzwerk (6) folgendes umfasst: eine Input Schicht (6a), in der zu jedem der Handflächenkoordinationspunkte (FKPO- FKPn) ein Input für die Bilddaten vorgesehen ist, mindestens eine verdeckte Schicht (6b-6d), in der eine Gewichtung der Bilddaten in Bezug auf eine Teilmenge der Handflächenkoordinationspunkte (FKPO- FKPn) vorgenommen wird sowie eine Output Schicht (6f) zur Ausgabe von Output Daten zur Generierung von Steuerdaten für das berührungslosen An- bzw. Auswählen eines Anzeigeinhalts auf dem Präsentationsbereich (1, 100).
  3. Steuereinrichtung nach Anspruch 2, dadurch gekennzeichnet, dass das neuronale Netzwerk (6) eine erste (6b) sowie eine zweite (6c) verdeckte Schicht aufweist.
  4. Steuereinrichtung nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass alle Knoten benachbarter Schichten des neuronales Netzwerks (6) vollständig untereinander verknüpft sind.
  5. Steuereinrichtung nach den vorhergehenden Ansprüchen, dadurch gekennzeichnet, dass mehrere Handflächenkoordinationspunkte (FKP2- FKPn) jeweils entlang eines jeden Fingers einer Hand vorgesehen sind.
  6. Steuereinrichtung nach den vorhergehenden Ansprüchen, dadurch gekennzeichnet, dass ein Handflächenkoordinationspunkt (FKPO) im Bereich der Handwurzel positioniert ist.
  7. Steuereinrichtung nach den vorhergehenden Ansprüchen, dadurch gekennzeichnet, dass es sich bei den Handflächenkoordinationspunkten um dreidimensionale Handflächenkoordinationspunkte (FKPO- FKPn) handelt, die jeweils durch einen x-Koordinatenpunkt, einen y-Koordinatenpunkt sowie einen z-Koordinatenpunkt festgelegt sind.
  8. Steuereinrichtung nach den vorhergehenden Ansprüchen, dadurch gekennzeichnet, dass der Abgleich der monokularen Bilddaten mit den Handflächenkoordinationspunkten (FKPO- FKPn) des Handflächen-Modells (5) hinsichtlich der z-Koordinate mit dem neuronalen Netzwerk (6) im Vergleich zur x-Koordinate und/oder y-Koordinate überproportional erfolgt.
  9. Steuereinrichtung nach den vorhergehenden Ansprüchen, dadurch gekennzeichnet, dass zum An- bzw. Auswählen eines Anzeigeinhalts eine Finger-Geste, vorzugsweise eine ausgestreckter Finger-Geste vorgesehen ist, wobei der Finger in einer Halteposition auf die Position des Anzeigeinhalts (1a) auf dem Präsentationsbereich (1, 100) deutet.
  10. Steuereinrichtung nach den vorhergehenden Ansprüchen, dadurch gekennzeichnet, dass zum An- bzw. Auswählen eines Anzeigeinhalts eine Push-Pull-Bewegung der Hand oder eines Fingers, vorzugsweise eines ausgestreckten Fingers, der Hand vorgesehen ist.
  11. Steuereinrichtung nach den vorhergehenden Ansprüchen, dadurch gekennzeichnet, dass bei einem erfolgten An- bzw. Auswählen eines Anzeigeinhalts (1a) ein visuelles und/oder akustisches Signal ausgegeben wird.
  12. Steuereinrichtung nach den vorhergehenden Ansprüchen, dadurch gekennzeichnet, dass bei der Hand- und/oder Finger-Gesten Schätzung ein visueller Tracker (7) auf dem Präsentationsbereich (1, 100) generiert und/oder positioniert wird.
  13. Steuereinrichtung nach den vorhergehenden Ansprüchen, dadurch gekennzeichnet, dass als Kamera (3) eine RGB-Kamera vorgesehen ist.
  14. Steuereinrichtung nach den vorhergehenden Ansprüchen, dadurch gekennzeichnet, dass als Präsentationsbereich (1) ein Display oder als Präsentationsbereich (100) eine in einem Raum angeordnete Produkt- (101) und/oder Informationsplatzierung vorgesehen ist.
  15. Bedieneinheit (4, 400) für ein manuelles berührungsloses An- bzw. Auswählen eines Anzeigeinhalts mittels Hand- und/oder Finger-Gesten einer Bedienperson gekennzeichnet durch eine Steuereinrichtung nach den vorhergehenden Ansprüchen.
  16. Bedieneinheit (4, 400) nach Anspruch 15, dadurch gekennzeichnet, dass die Bedieneinheit folgendes ist oder zumindest Bestandteil davon ist: Self-service Checkout, Intelligenter Spiegel, Küchenbedieneinheit, Self-service Verkaufseinrichtung, Schaufenster, Werbewand oder Hausinstallationsbedieneinheit.
DE102022111443.0A 2022-05-09 2022-05-09 Berührungslose Steuereinrichtung für einen Präsentationsbereich sowie Bedieneinheit Pending DE102022111443A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022111443.0A DE102022111443A1 (de) 2022-05-09 2022-05-09 Berührungslose Steuereinrichtung für einen Präsentationsbereich sowie Bedieneinheit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022111443.0A DE102022111443A1 (de) 2022-05-09 2022-05-09 Berührungslose Steuereinrichtung für einen Präsentationsbereich sowie Bedieneinheit

Publications (1)

Publication Number Publication Date
DE102022111443A1 true DE102022111443A1 (de) 2023-11-09

Family

ID=88414386

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022111443.0A Pending DE102022111443A1 (de) 2022-05-09 2022-05-09 Berührungslose Steuereinrichtung für einen Präsentationsbereich sowie Bedieneinheit

Country Status (1)

Country Link
DE (1) DE102022111443A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014207637A1 (de) 2014-04-23 2015-10-29 Bayerische Motoren Werke Aktiengesellschaft Gesteninteraktion mit einem Fahrerinformationssystem eines Fahrzeuges
DE102016212682A1 (de) 2016-07-12 2018-01-18 Audi Ag Gestensteuerung mittels eines Laufzeitmessungskamerasystems
DE102017210316A1 (de) 2017-06-20 2018-12-20 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Erfassen einer Nutzereingabe anhand einer Geste

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014207637A1 (de) 2014-04-23 2015-10-29 Bayerische Motoren Werke Aktiengesellschaft Gesteninteraktion mit einem Fahrerinformationssystem eines Fahrzeuges
DE102016212682A1 (de) 2016-07-12 2018-01-18 Audi Ag Gestensteuerung mittels eines Laufzeitmessungskamerasystems
DE102017210316A1 (de) 2017-06-20 2018-12-20 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Erfassen einer Nutzereingabe anhand einer Geste

Similar Documents

Publication Publication Date Title
EP1998996B1 (de) Interaktive bedienvorrichtung und verfahren zum betreiben der interaktiven bedienvorrichtung
DE60028894T2 (de) Präsentationssystem mit einer interaktiven Darstellung
DE102016210288A1 (de) Bedienvorrichtung mit Eyetrackereinheit und Verfahren zum Kalibrieren einer Eyetrackereinheit einer Bedienvorrichtung
DE102010007455A1 (de) System und Verfahren zum berührungslosen Erfassen und Erkennen von Gesten in einem dreidimensionalen Raum
EP1128317A2 (de) Verfahren und Anordnung zur Interaktion mit einer in einem Schaufenster sichtbaren Darstellung
DE102009032637A1 (de) Bildvergrößerungssystem für eine Computerschnittstelle
EP1262740A2 (de) Fahrzeugrechner-System und Verfahren zur Steuerung eines Cursors für ein Fahrzeugrechner-System
DE102006037154A1 (de) Navigationsgerät und Verfahren zum Betreiben eines Navigationsgeräts
EP2070008A1 (de) Automatische erkennungsvorrichtung
DE102017218120A1 (de) Verfahren zur Bereitstellung einer haptischen Rückmeldung an einen Bediener einer berührungssensitiven Anzeigeeinrichtung
EP2876526B1 (de) Verfahren zur Erkennung von Gesten und Vorrichtung zur Gestenerkennung
DE102013114794A1 (de) Gekrümmter Bildschirm
DE102007041333B4 (de) Berührungslos arbeitendes Zählsystem
DE102022111443A1 (de) Berührungslose Steuereinrichtung für einen Präsentationsbereich sowie Bedieneinheit
DE19918072A1 (de) Bedienverfahren und Bedienvorrichtung für einen bildschirmgesteuerten Prozeß
EP2380077A2 (de) Gerät mit einer eingabevorrichtung zur eingabe von steuerbefehlen
DE102019206606A1 (de) Verfahren zur berührungslosen Interaktion mit einem Modul, Computerprogrammprodukt, Modul sowie Kraftfahrzeug
EP1983406A1 (de) Verfahren und Vorrichtung zur Eingabe von Daten in eine Datenverarbeitungsanlage
DE102014201313A1 (de) Verfahren zur Erkennung einer Bewegungsbahn mindestens eines bewegten Objektes innerhalb eines Erfassungsbereiches, Verfahren zur Gestikerkennung unter Einsatz eines derartigen Erkennungsverfahrens sowie Vorrichtung zur Durchführung eines derartigen Erkennungsverfahrens
DE102020122969B4 (de) Verfahren zur Erkennung einer Bewegung eines Eingabegegenstands gegenüber einer Anzeigevorrichtung über optische Merkmale, Aufnahmevorrichtung mit Recheneinheit, Anzeigevorrichtung und Kraftfahrzeug
WO2019057492A1 (de) Verfahren zum anzeigen von informationspunkten auf einer digitalen landkarte
DE102019105764B3 (de) Verfahren zum Kalibrieren einer Benutzerschnittstelle sowie Benutzerschnittstelle
DE102018205445A1 (de) Optische Anzeigevorrichtung sowie Verfahren zur Gestenerkennung von Nutzern auf einer optischen Anzeigeeinrichtung
WO2003056504A1 (de) Interaktives projektions- und eingabesystem
DE102011075877A1 (de) Auswertungsverfahren für eine Folge von zeitlich aufeinander folgenden Tiefenbildern

Legal Events

Date Code Title Description
R012 Request for examination validly filed