DE102005008221A1 - Handbildschaltvorrichtung - Google Patents

Handbildschaltvorrichtung Download PDF

Info

Publication number
DE102005008221A1
DE102005008221A1 DE200510008221 DE102005008221A DE102005008221A1 DE 102005008221 A1 DE102005008221 A1 DE 102005008221A1 DE 200510008221 DE200510008221 DE 200510008221 DE 102005008221 A DE102005008221 A DE 102005008221A DE 102005008221 A1 DE102005008221 A1 DE 102005008221A1
Authority
DE
Germany
Prior art keywords
image data
hand
difference
luminance
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE200510008221
Other languages
English (en)
Inventor
Hiromitsu Sato
Keiichi Yamamoto
Shinji Yokohama Ozawa
Hideo Yokohama Saito
Hiroya Yokohama Igarashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Fuso Truck and Bus Corp
Keio University
Original Assignee
Mitsubishi Fuso Truck and Bus Corp
Keio University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Fuso Truck and Bus Corp, Keio University filed Critical Mitsubishi Fuso Truck and Bus Corp
Publication of DE102005008221A1 publication Critical patent/DE102005008221A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Abstract

Eine Kamera zur Aufnahme der Bewegung einer Hand und eine Handmuster-Schaltvorrichtung zum Betrieb eines Bedienungsobjekts auf Basis des Ergebnisses einer Aufnahme durch die Kamera (3), umfassend ein Speichermittel (S1), das ein Bild, das aufgenommen wurde, während im Aufnahmebereich der Kamera keine Hand vorhanden war, als Anfangsbilddaten speichert, ein Differenzmittel (S2), das Differenzbilddaten zwischen Rohbilddaten, bei denen es sich um ein Bild handelt, das aufgenommen wurde, während im Aufnahmebereich der Kamera eine Hand vorhanden war, und den Anfangsbilddaten erhält, ein Leuchtdichtefeststellmittel (S6), das auf der Basis der vom Differenzmittel erhaltenen Bilddaten in der Nähe der Handwurzel eine durchschnittliche Leuchtdichte in der Nähe der Handwurzel ermittelt, und ein Verarbeitungsmittel (S8), das gemäß einem Schwellenwert auf Basis der durch das Leuchtdichtefeststellmittel berechneten durchschnittlichen Leuchtdichte eine Binärverarbeitung der Rohbilddaten vornimmt.

Description

  • 1. Gebiet der Erfindung
  • Die vorliegende Erfindung betrifft eine Handmuster-Schaltvorrichtung, die für eine leichte Bedienung von Fahrzeugeinbauvorrichtungen wie Klimageräten oder Audiogeräten oder von Fahrzeugnebenvorrichtungen wie Seitenspiegeln ohne Berührung des Bedienungsfelds der Einbauvorrichtung oder Beeinträchtigung des Betriebs des Fahrzeugs ideal ist.
  • Als eine Technik zur Bedienung von Fahrzeugeinbauvorrichtungen ohne Berührung des Bedienungsfelds der Einbauvorrichtung wurde vorgeschlagen, eine Kamera zu verwenden, einen Teil des Körpers des Fahrers (zum Beispiel die linke Hand) aufzunehmen, dieses Bildmuster zu erkennen, und so Bedienungsinformationen hinsichtlich der Fahrzeugein bauvorrichtung zu erhalten (siehe zum Beispiel die Offenlegungsschrift Nr. (1999) 11-134090). Es wurde auch vorgeschlagen, Form oder Bewegung der Hand des Fahrers zu erkennen und so Bedienungsinformationen hinsichtlich der Fahrzeugeinbauvorrichtung zu erhalten (siehe zum Beispiel die Offenlegungsschrift Nr. 2001-216069).
  • Diese Art von Technik wird etwa durch ein Mustererkennungsverfahren, das zum Beispiel aus dem aufgenommenen Bild einer Hand die Form der Hand erkennt, oder durch ein Bewegungsfeststellverfahren, das durch das Verfolgen der Positionsveränderung der erkannten Hand deren Bewegung feststellt, verwirklicht, und wird hier aus Gründen der Bequemlichkeit als Handmuster-Schaltvorrichtung o.ä. bezeichnet.
  • Bei der Bedienung einer Fahrzeugeinbauvorrichtung unter Verwendung der erwähnten Handmuster-Schaltvorrichtung ist es nötig, die Form der Hand des Fahrers (der Bedienungsperson) oder deren Bewegung sicher und darüber hinaus genau festzustellen. Im Folgenden umfasst die "Hand" sowohl die Finger als auch die Handfläche, weshalb je nach den Umständen der Ausdruck "Finger" oder "Handfläche" benutzt werden wird. Zu diesem Zweck muss zunächst genau erkannt werden, bei welchem Bereich des aufgenommenen Bilds der Hand des Fahrers (der Bedienungsperson) es sich um die Hand oder um die Handfläche handelt.
  • Zur Erkennung der Hand aus dem aufgenommenen Bild ist es nötig, die Hand und den Hintergrund zu trennen. Da der Bereich der Hand im Bild hell (weiß) ist, während der verbleibende Hintergrund dunkel (schwarz) ist, wurde der Bereich der Hand vom Hintergrund extrahiert, indem eine Umwandlung zu "weiß" erfolgte, wenn die Leuchtdichte des aufgenommenen Bilds größer als ein Schwellenwert war, bzw. zu "schwarz" erfolgte, wenn die Leuchtdichte geringer als der Schwellenwert war.
  • Übrigens verändert sich die Leuchtstärke der Umgebung, in der die Hand des Fahrers (der Bedienungsperson) aufgenommen wird. Wenn der erwähnte Schwellenwert fest ist, obwohl sich die Umgebung verändert, kommt es zum Problem, dass der Bereich der Hand nicht genau vom Hintergrund extrahiert werden kann.
  • KURZDARSTELLUNG DER ERFINDUNG
  • Aufgabe der vorliegenden Erfindung ist es, eine Handmuster-Schaltvorrichtung bereitzustellen, die die Hand auch bei einer Veränderung der Leuchtstärke der Aufnahmeumgebung genau erkennen kann.
  • Nach einem Gesichtspunkt der vorliegenden Erfindung wird eine Handmuster-Schaltvorrichtung vorgeschlagen, die Folgendes umfasst: ein Speichermittel, das ein Bild, das aufgenommen wurde, während im Aufnahmebereich eines Aufnahmemittels keine Hand vorhanden war, als Anfangsbilddaten speichert; ein Differenzmittel, das Differenzbilddaten zwischen Rohbilddaten, bei denen es sich um ein Bild handelt, das aufgenommen wurde, während im Aufnahmebereich des Aufnahmemittels eine Hand vorhanden war, und den Anfangsbilddaten erhält; ein Leuchtdichtefeststellmittel, das auf Basis der vom Differenzmittel erhaltenen Bilddaten in der Nähe der Handwurzel eine durchschnittliche Leuchtdichte in der Nähe der Handwurzel ermittelt; und ein Verarbeitungsmittel, das gemäß einem Schwellenwert auf Basis der durch das Leuchtdichtefeststellmittel berechneten durchschnittlichen Leuchtdichte eine Binärverarbeitung der Rohbilddaten vornimmt.
  • Weitere Aufgaben und Vorteile der Erfindung werden in der nachfolgenden Beschreibung dargelegt werden und teilweise aus der Beschreibung offensichtlich sein, oder können durch die Ausführung der Erfindung erfahren werden. Die Aufgaben und Vorteile der Erfindung können durch die nachstehend besonders aufgezeigten Hilfsmittel und Kombinationen verwirklicht und erhalten werden.
  • KURZE BESCHREIBUNG DER VERSCHIEDENEN ANSICHTEN DER ZEICHNUNGEN
  • Die beiliegenden Zeichnungen, die in die Beschreibung aufgenommen sind und einen Teil davon bilden, veranschaulichen gegenwärtig bevorzugte Ausführungsformen der Erfindung und dienen zusammen mit der oben gegebenen allgemeinen Beschreibung und der nachstehend gegebenen ausführlichen Beschreibung der bevorzugten Ausführungsformen dazu, die Grundsätze der Erfindung zu erklären.
  • 1 zeigt den schematischen Aufbau einer Handmuster-Schaltvorrichtung nach einer Ausführungsform der vorliegenden Erfindung;
  • 2 zeigt den Aufnahmebereich der Hand bei der in 1 gezeigten Handmuster-Schaltvorrichtung;
  • 3 zeigt ein Ablaufdiagramm zur Erklärung der Binärverarbeitung nach dieser Ausführungsform;
  • 4 zeigt ein Anfangsbild nach dieser Ausführungsform;
  • 5 zeigt ein Rohbild nach dieser Ausführungsform;
  • 6 zeigt ein Differenzbild nach dieser Ausführungsform; und
  • 7 zeigt den Bereich der Beurteilung des Schwellenwerts des Differenzbilds nach dieser Ausführungsform.
  • AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
  • Nachstehend wird unter Bezugnahme auf die Zeichnungen eine Ausführungsform der vorliegenden Erfindung erklärt. 1 ist eine Darstellung des schematischen Aufbaus des wichtigsten Teils der Vorrichtung der Ausführungsform, die den Zustand des Fahrersitzes in einem Fahrzeug und die durch einen Mikrocomputer oder dergleichen verwirklichte Funktion einer Handmuster-Schaltvorrichtung zeigt. Vor dem Fahrersitz sind ein durch den Fahrer bedientes Lenkrad 1 und ein (nicht dargestellter) Kombinationsschalter angeordnet. Im Armaturenbrett ist ein Bedienungsbereich 2 für ein Audiogerät, ein Klimagerät o.ä. ausgebildet. Schräg über dem Fahrersitz ist in der Decke eine Videokamera 3 ausgebildet, deren Aufnahmebereich sich seitlich des Lenkrads 1 befindet, und die die Hand des Fahrers aufnimmt, der den Arm zum Aufnahmebereich hin ausstreckt. Diese Kamera 3 ist etwa eine kleine CCD-Kamera. Die Bedienung der Handmuster-Schaltvorrichtung erfolgt so, dass die Handfläche im Aufnahmebereich etwa waagerecht positioniert wird, in diesem Zustand ein bestimmter Finger, z.B. der Daumen, selektiv gebogen (gestreckt und eingezogen) wird, und gleichzeitig die Position der Hand nach links bzw. rechts verändert (bewegt) wird. Die Kamera 3 nimmt zwar den Handrücken auf, doch wird hier der aufgenommene Handrücken als Handfläche bezeichnet.
  • Die Handmuster-Schaltvorrichtung erkennt und verarbeitet im Grunde die Form und die Bewegung der von der Kamera 3 aufgenommenen Hand des Fahrers aus dem Eingangsbild, erhält aufgrund des Erkennungsergebnisses bestimmte Schalterbedienungsinformationen, und hat zur Aufgabe, anstelle des Bedienungsbereichs 2 Schalterbedienungsinformationen für das Audiogerät oder das Klimagerät bereitzustellen. Konkret umfasst die Handmuster-Schaltvorrichtung einen Binärverarbeitungsteil 11, der eine Binärverarbeitung des durch die Kamera 3 aufgenommenen Eingangsbilds vornimmt, den Hintergrundbildbestandteil beseitigt, und den Bildbestandteil des vorderen Endes des Arms und insbesondere der Handfläche und der Hand extrahiert, einen Schwerpunktfeststellteil 12, der aus dem durch die Binärverarbeitung extrahierten Bild der Handfläche und der Hand deren Schwerpunktposition ermittelt, und einen Formerkennungsteil 13, der die Form der Hand erkennt.
  • Ferner umfasst die Handmuster-Schaltvorrichtung einen Bedienungsanweisungserkennungsteil 14, der gemäß dem Erkennungsergebnis des Formerkennungsteils 13 und der durch den Schwerpunktfeststellteil 12 festgestellten Schwerpunktposition der Hand die durch die Form bzw. die Bewegung der Hand des Fahrers angezeigte Schalterbedienung erkennt. Dieser Bedienungsanweisungserkennungsteil 14 umfasst einen Funktionsbeurteilungsteil 16, der spezifizierte Handformmuster, die schematisch in einem Speicher 15 voraufgezeichnet sind, in Bezug auf ihre Aufgabe betrachtet und die Art der Bedienung, die durch die wie oben erkannte Handform beabsichtigt ist, beurteilt (unterscheidet), einen Positionsveränderungsausmaßfeststellteil 17, der die Verlagerung der Schwerpunktposition der Hand mit einer bestimmten Fingerspitzenform oder die Bewegung der Finger verfolgt und deren Standardposition oder Positionsveränderungsausmaß feststellt, und einen Zeitgeber 18, der die Bewegung der Hand im Zeitverlauf überwacht. Der Bedienungsanweisungserkennungsteil 14 ermittelt auf Basis der Ergebnisse der Beurteilung und der Überwachung die durch die Form und die Bewegung der Hand des Fahrers spezifizierte bestimmte Schalterbedienung und gibt diese Schalterbedienungsinformation zum Beispiel an das erwähnte Audiogerät oder Klimagerät aus.
  • Im Bedienungsanweisungserkennungsteil 14 ist ein Informationsteil 19 ausgebildet, der dem Fahrer gemäß dem obigen Beurteilungsergebnis eine bestimmte Information gibt. Diese Information wird dem Fahrer als Stimmnachricht, die zum Beispiel das Audiogerät oder das Klimagerät (das Objekt der Bedienung) und dann die Lautstärke oder die Kanaleinstellung oder das Lüftungsausmaß oder die Temperatur (die Bedienungsfunktion) spezifiziert, oder als Bestätigungston, der die Schalterbedie nung (das Bedienungsausmaß) beispielsweise als kurzen oder langen Piepton anzeigt, über einen Lautsprecher 20 gegeben. Das konkrete Verhalten im Bedienungsanweisungserkennungsteil 14, das heißt, die Steuerung der Ausgabe der Schalterbedienungsinformationen an die verschiedenen Steuerobjekte des Audiogeräts oder des Klimageräts wird nachstehend erläutert werden.
  • Der Aufnahmebereich A der Kamera 3 ist, wie in 2 gezeigt, als eine seitlich des Lenkrads 1 gelegene, vom Außenumfang des Lenkrads 1 zumindest 50 mm entfernte und vorzugsweise etwa 100 mm entfernte Position festgelegt. Insbesondere handelt es sich um eine Position, in die der Fahrer seinen Arm, während dieser auf einer neben dem Fahrersitz ausgebildeten Armablage (Armlehne) 5 ruht, ausstrecken kann, ohne seine Fahrhaltung aufzugeben, wobei eine Position festgelegt ist, in der die Hand den Bedienungsbereich 2 des Audiogeräts o.ä. nicht berührt. Dieser Bedienungsbereich A kann zum Beispiel auch als etwa rechteckiger Bereich festgelegt sein, der eine Größe von etwa 600 mm in Vorwärtsrichtung der Hand des Fahrers, der seinen Arm neben dem Lenkrad 1 ausstreckt, ohne dabei seine Fahrhaltung aufzugeben, bzw. etwa 350 mm in der Breitenrichtung der Hand aufweist. Die Grundfarbe dieses Aufnahmebereichs A ist schwarz.
  • Anschließend erfolgt eine Erläuterung des Betriebs der wie oben aufgebauten Ausführungsform der vorliegenden Erfindung. Bei der vorliegenden Ausführungsform wird durch die Erkennungsverarbeitung der von der Kamera 3 aufgenommenen Hand leicht eine Schalterbedienungsanweisung gegeben. Dieses Erkennungsverfahren beginnt mit einer Binärverarbeitung im Binärverarbeitungsteil 11, wobei erst ein Eingangsbild des pro Bildabtastzeit (zum Beispiel 15 Hz) aufgenommenen Aufnahmebereichs A gemäß einem Schwellenwert abgetastet wird, welcher zu einer Beurteilungsabtastzeit mit der gleichen Periode wie die Bildabtastzeit berechnet wird, und zum Beispiel der dem Hintergrund entsprechende Bereich als schwarz und der dem Arm und der Hand im Bild entsprechende Bereich als weiß angesetzt wird.
  • Diese Binärverarbeitung wird anhand des Ablaufdiagramms von 3 erläutert. Zuerst wird ein Bild, bei dem die Hand des Fahrers nicht im Aufnahmebereich A vorhanden ist, als Anfangsbild im Speicher 15 gespeichert (Schritt S1). Bei diesem Anfangsbild wird, wie in 4 gezeigt, die Leuchtdichte des Bilds über den gesamten Aufnahmebereich A hinweg gespeichert.
  • Dann wird durch die Kamera 3 ein Bild aufgenommen, bei dem die Hand des Fahrers im Aufnahmebereich A vorhanden ist. Die Aufnahme durch die Kamera 3 erfolgt pro Abtastzeit von 15 Hz. Dieses Bild, bei dem die Hand des Fahrers im Aufnahmebereich A vorhanden ist, wird als Rohbild, wie in 5 gezeigt, im Speicher 15 gespeichert. Bei den durch die Kamera 3 aufgenommenen Bilddaten weist ein Bild eine Leuchtdichte von 8 Bit pro 1 Pixel, das heißt, eine Leuchtdichte von 1 (schwarz) bis 256 (weiß), auf.
  • Dann wird ein Differenzbild berechnet, für das die Leuchtdichte des Anfangsbilds als Hintergrund vom Rohbild abgezogen wurde (Schritt S2). Diese Differenzbilddaten werden, wie in 6 gezeigt, im Speicher 15 gespeichert.
  • Dann wird von diesen im Speicher 15 gespeicherten Differenzbilddaten nur der untere Randbereich B als Schwellenwertbeurteilungsbereich B betrachtet (Schritt S3). Das heißt, es werden die Adressen des Anfangspunkts a und des Endpunkts b des Schwellenwertbeurteilungsbereichs B erfasst. Der Grund, weswegen der Bereich B betrachtet wird, ist, dass sich dort jedenfalls ein Vorhandensein der Hand vorhersagen lässt.
  • Dann wird der Anteil der zum Schwellenwertbeurteilungsbereich B gehörenden Differenzbilddaten, der sich von den Anfangsbilddaten unterscheidet, so bearbeitet, dass er zu Weißdaten ("1") umgewandelt wird, während der Rest zu Schwarzdaten ("0") umgewandelt wird (Schritt S4).
  • Das heißt, der Bereich des Schwellenwertbeurteilungsbereichs B, in dem die Hand vorhanden ist, wird zu "1" (weiß) umgewandelt, während der Rest zu "0" (schwarz) umgewandelt wird.
  • Dann wird jener Bereich des in Schritt 4 umgewandelten Schwellenwertbeurteilungsbereichs B, in dem die Fläche von "1" (weiß) am größten ist, extrahiert (Schritt S5). Das heißt, jener Bereich, in dem die Fläche von "1" (weiß) im Schwellenwertbeurteilungsbereich B am größten ist, wird als Handbereich (konkret als Handgelenksbereich) C des Fahrers beurteilt.
  • Dann wird die durchschnittliche Leuchtdichte des Handbereichs C der im Speicher 15 gespeicherten Rohbilddaten berechnet (Schritt 6). Bei dieser durchschnittlichen Leuchtdichte handelt es sich um Daten von 8 Bit.
  • Dann wird auf Grundlage der durchschnittlichen Leuchtdichte ein binärer Schwellenwert bestimmt und im Speicher 15 gespeichert (Schritt S7).
  • Dann werden die im Speicher 15 gespeicherten Rohbilddaten gemäß diesem binären Schwellenwert einer Binärverarbeitung unterzogen (Schritt S8).
  • Der binäre Schwellenwert wird wie folgt bestimmt. Wenn die im Schritt S6 berechnete durchschnittliche Leuchtdichte des Handbereichs C "150" beträgt, wird "150 – 30 (Einstellwert) = 120" als binärer Feststellwert verwendet. Wenn die durchschnittliche Leuchtdichte des Handbereichs C der Rohbilddaten als x angenommen wird, stellt sich heraus, dass die tatsächliche Leuchtdichte der gesamten Hand eine Verteilung von x ± 30 aufweist. Wenn nun einfach weiß angesetzt wird, wenn die Leuchtdichte der Rohbilddaten über der durchschnittlichen Leuchtdichte von x liegt, bzw. schwarz angesetzt wird, wenn sie unter der durchschnittlichen Leuchtdichte liegt, werden die Rohbilddaten von "x – 30" bis x in schwarz umgewandelt, wodurch die Gefahr besteht, dass beurteilt wird, dass die Hand kleiner als die eigentliche Hand ist.
  • Um dies zu vermeiden, wird hier "die durchschnittliche Leuchtdichte x – 30" als binärer Schwellenwert eingesetzt. Bei diesem Schwellenwert werden Graubereiche (Bereiche, in denen weiß und schwarz nicht klar sind, z.B. in der Nähe der Konturen der Hand im Rohbild) aufgrund des verglichen mit der durchschnittlichen Leuchtdichte x kleineren Schwellenwerts leicht eher als weiß beurteilt. Daher kann eine der eigentlichen Hand ähnliche Hand beurteilt werden. Wenn der Schwellenwert als "durchschnittliche Leuchtdichte x + 30" angesetzt würde, würde der Schellenwert im Vergleich zur durchschnittlichen Leuchtdichte x größer und die obigen Graubereiche würden leicht eher als schwarz beurteilt werden. Daher würde beurteilt werden, dass die Hand noch kleiner als die durch die durchschnittliche Leuchtdichte x beurteilte Hand ist.
  • Dann wird der Anteil der im Speicher 15 gespeicherten Rohbilddaten mit Ausnahme des Bereichs, in dem die Fläche am größten wird, beseitigt (Schritt S9). Zum Beispiel werden weiße Objekte, die neben der Hand im Aufnahmebereich A vorhanden sind, z.B. das Vorhandensein einer Zigarettenschachtel, als unnötige Bilddaten (Rauschen) aus den Rohbilddaten beseitigt.
  • Auf diese Weise wird nach der Binärverarbeitung durch den Schwerpunktfeststellteil 12 aus dem Bild der Hand deren Schwerpunktposition ermittelt, durch den Formerkennungsteil 13 die Form der Hand erkannt, und durch den Bedienungsanweisungserkennungsteil 14 je nach der Handform des Fahrers eine Schalterbedienungsinformation ermittelt.
  • Auf diese Weise werden die Bilddaten der im Aufnahmebereich A vorhandenen Hand des Fahrers pro Bildabtastzeit von 15 Hz gelesen, ein binärer Schwellenwert wird ebenfalls mit 15 Hz bestimmt, und danach wird eine Binärverarbeitung vorgenommen, wodurch die Form der Hand durch den Formerkennungsteil 13 beinahe in Echtzeit erkannt werden kann.
  • Daher kann die Binärverarbeitung auch bei einer Veränderung der Umgebung des Aufnahmebereichs A dieser Veränderung der Umgebung folgen. Das heißt, die Form der im Aufnahmebereich A vorhandenen Hand des Fahrers kann auch beim Einfahren in einen Tunnel oder bei dessen Verlassen sicher erkannt werden.
  • Die Verarbeitung des obigen Schritts S4 kann auch während des Schritts S2 vorgenommen werden.
  • Ferner ist der Schwellenwertbeurteilungsbereich B nicht unbedingt auf die Stelle in der Ausführungsform beschränkt. Zum Beispiel kann auch die Umgebung des Schalthebels als Schwellenwertbeurteilungsbereich eingesetzt werden.
  • Zudem kann auf Basis der Verteilung der Häufigkeit der Leuchtdichte auch ein Häufigkeitsverteilungsbereich erfasst werden.
  • Fachleuten werden leicht zusätzliche Vorteile und Abänderungen einfallen. Daher ist die Erfindung in ihren weiteren Gesichtspunkten nicht auf die hierin gezeigten und beschriebenen besonderen Einzelheiten und stellvertretenden Ausführungsformen beschränkt. Demgemäß können verschiedene Abänderungen vorgenommen werden, ohne vom Geist oder vom Umfang des allgemeinen erfinderischen Konzepts, wie dieses durch die beigefügten Ansprüche und ihre Entsprechungen definiert ist, abzuweichen.

Claims (6)

  1. Handmuster-Schaltvorrichtung zum Betrieb eines Bedienungsobjekts auf Basis des Ergebnisses einer Aufnahme durch ein Aufnahmemittel (3), das das Verhalten einer Hand aufnimmt, dadurch gekennzeichnet, dass die Schaltvorrichtung Folgendes umfasst: ein Speichermittel (S1), das ein Bild, das aufgenommen wurde, während im Aufnahmebereich des Aufnahmemittels (3) keine Hand vorhanden war, als Anfangsbilddaten speichert; ein Differenzmittel (S2), das Differenzbilddaten zwischen Rohbilddaten, bei denen es sich um ein Bild handelt, das aufgenommen wurde, während im Aufnahmebereich des Aufnahmemittels eine Hand vorhanden war, und den Anfangsbilddaten erhält; ein Leuchtdichtefeststellmittel (S6), das auf Basis der vom Differenzmittel erhaltenen Bilddaten in der Nähe der Handwurzel eine durchschnittliche Leuchtdichte in der Nähe der Handwurzel ermittelt; und ein Verarbeitungsmittel (S8), das gemäß einem Schwellenwert auf Basis der durch das Leuchtdichtefeststellmittel berechneten durch schnittlichen Leuchtdichte eine Binärverarbeitung der Rohbilddaten vornimmt.
  2. Handmuster-Schaltvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass das Leuchtdichtefeststellmittel (S6) Folgendes umfasst: ein Umwandlungsmittel (S4), das jenen Anteil der Differenzbilddaten, der eine Differenz aufweist, zu weiß, und jenen Anteil, der keine Differenz aufweist, zu schwarz umwandelt; und ein Extraktionsmittel (S5), das den größten Bereich der nach der Umwandlung durch das Umwandlungsmittel weiß gewordenen Fläche als Handbereich extrahiert.
  3. Handmuster-Schaltvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass das Verarbeitungsmittel (S8) die Rohbilddaten zu weiß umwandelt, wenn diese größer als ein Wert sind, für den die durch das Leuchtdichtefeststellmittel (S6) festgestellte durchschnittliche Leuchtdichte um einen Einstellwert vermindert wurde.
  4. Handmuster-Schaltvorrichtung zum Betrieb eines Bedienungsobjekts auf Basis des Ergebnisses einer Aufnahme durch ein Aufnahmemittel (3), das das Verhalten einer Hand aufnimmt, dadurch gekennzeichnet, dass die Schaltvorrichtung Folgendes umfasst: ein Speichermittel (S1), das ein Bild, das aufgenommen wurde, während im Aufnahmebereich des Aufnahmemittels keine Hand vorhanden war, als Anfangsbilddaten speichert; ein Differenzmittel (S2), das Differenzbilddaten zwischen Rohbilddaten, bei denen es sich um ein Bild handelt, das aufgenommen wurde, während im Aufnahmebereich des Aufnahmemittels eine Hand vorhanden war, und den Anfangsbilddaten erhält, und jenen Anteil der Differenzbilddaten, der eine Differenz aufweist, zu weiß, und jenen Anteil, der keine Differenz aufweist, zu schwarz umwandelt; ein Leuchtdichtefeststellmittel (S6), das auf Basis der vom Differenzmittel erhaltenen Bilddaten in der Nähe der Handwurzel eine durchschnittliche Leuchtdichte in der Nähe der Handwurzel ermittelt; und ein Verarbeitungsmittel (S8), das gemäß einem Schwellenwert auf Basis der durch das Leuchtdichtefeststellmittel berechneten durchschnittlichen Leuchtdichte eine Binärverarbeitung der Rohbilddaten vornimmt.
  5. Handmuster-Schaltvorrichtung nach Anspruch 4, dadurch gekennzeichnet, dass das Leuchtdichtefeststellmittel ein Extraktionsmittel (S5) umfasst, das den größten Bereich der nach der Umwandlung durch das Differenzmittel weiß gewordenen Fläche als Handbereich extrahiert.
  6. Handmuster-Schaltvorrichtung nach Anspruch 4, dadurch gekennzeichnet, dass das Verarbeitungsmittel (S8) die Rohbilddaten zu weiß umwandelt, wenn diese größer als ein Wert sind, für den die durch das Leuchtdichtefeststellmittel (S6) festgestellte durchschnittliche Leuchtdichte um einen Einstellwert vermindert wurde.
DE200510008221 2004-02-26 2005-02-22 Handbildschaltvorrichtung Withdrawn DE102005008221A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004052014A JP2005242694A (ja) 2004-02-26 2004-02-26 ハンドパターンスイッチ装置
JP2004-052014 2004-02-26

Publications (1)

Publication Number Publication Date
DE102005008221A1 true DE102005008221A1 (de) 2005-09-29

Family

ID=34908654

Family Applications (1)

Application Number Title Priority Date Filing Date
DE200510008221 Withdrawn DE102005008221A1 (de) 2004-02-26 2005-02-22 Handbildschaltvorrichtung

Country Status (5)

Country Link
US (1) US7499569B2 (de)
JP (1) JP2005242694A (de)
KR (1) KR20060042192A (de)
CN (1) CN1324437C (de)
DE (1) DE102005008221A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007015495B4 (de) * 2006-03-31 2013-07-25 Denso Corporation Objekterfassungsvorrichtung und Verfahren zum Extrahieren eines Bedienobjekts

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100663515B1 (ko) * 2004-11-08 2007-01-02 삼성전자주식회사 휴대 단말 장치 및 이를 위한 데이터 입력 방법
DE102006049965A1 (de) * 2006-02-11 2007-10-18 Volkswagen Ag Vorrichtung und Verfahren zur interaktiven Informationsausgabe und/oder Hilfestellung für den Benutzer eines Kraftfahrzeugs
KR100791389B1 (ko) * 2006-12-26 2008-01-07 삼성전자주식회사 스트럭쳐드 라이트를 이용한 거리 측정 장치 및 방법
US8094189B2 (en) * 2007-01-30 2012-01-10 Toyota Jidosha Kabushiki Kaisha Operating device
JP5228439B2 (ja) 2007-10-22 2013-07-03 三菱電機株式会社 操作入力装置
US9417700B2 (en) * 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
JP5648207B2 (ja) * 2009-09-04 2015-01-07 現代自動車株式会社 車両用操作装置
US20110063425A1 (en) * 2009-09-15 2011-03-17 Delphi Technologies, Inc. Vehicle Operator Control Input Assistance
JP5005758B2 (ja) * 2009-12-25 2012-08-22 株式会社ホンダアクセス 自動車における車載機器の操作装置
KR101184460B1 (ko) * 2010-02-05 2012-09-19 연세대학교 산학협력단 마우스 포인터 제어 장치 및 방법
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US8467599B2 (en) 2010-09-02 2013-06-18 Edge 3 Technologies, Inc. Method and apparatus for confusion learning
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US8919848B2 (en) * 2011-11-16 2014-12-30 Flextronics Ap, Llc Universal console chassis for the car
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
JP5330444B2 (ja) * 2011-03-28 2013-10-30 株式会社ホンダアクセス 自動車の車載機器操作装置における手の判定方法および判定装置
WO2012147961A1 (ja) * 2011-04-28 2012-11-01 Necシステムテクノロジー株式会社 情報処理装置、情報処理方法及び記録媒体
JP5885395B2 (ja) * 2011-04-28 2016-03-15 オリンパス株式会社 撮影機器及び画像データの記録方法
DE102011101090A1 (de) * 2011-05-10 2012-11-15 Felix Heidrich Sitzmöbel mit Bedieneinheit für ein elektronisches Gerät
US8693726B2 (en) * 2011-06-29 2014-04-08 Amazon Technologies, Inc. User identification by gesture recognition
CN102968177B (zh) * 2011-08-31 2015-10-28 敦宏科技股份有限公司 手势感测方法
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
JP5593339B2 (ja) * 2012-02-07 2014-09-24 日本システムウエア株式会社 自動車のステアリングハンドルを用いるジェスチャー認識装置と手の認識方法及びそのプログラム
US9305229B2 (en) 2012-07-30 2016-04-05 Bruno Delean Method and system for vision based interfacing with a computer
CN103631157A (zh) * 2012-08-29 2014-03-12 杨尧任 利用手势识别技术控制汽车电器的装置及其应用方法
DE102012216193B4 (de) * 2012-09-12 2020-07-30 Continental Automotive Gmbh Verfahren und Vorrichtung zur Bedienung einer Kraftfahrzeugkomponente mittels Gesten
JP5944287B2 (ja) * 2012-09-19 2016-07-05 アルプス電気株式会社 動作予測装置及びそれを用いた入力装置
TWI479362B (zh) * 2012-09-19 2015-04-01 Wistron Corp 雙模式遙控方法
TW201415291A (zh) * 2012-10-08 2014-04-16 Pixart Imaging Inc 基於物件追蹤的手勢辨識方法及系統
CN103777741B (zh) * 2012-10-19 2017-08-01 原相科技股份有限公司 基于物件追踪的手势辨识方法及系统
JP6202810B2 (ja) * 2012-12-04 2017-09-27 アルパイン株式会社 ジェスチャ認識装置および方法ならびにプログラム
CN103869959B (zh) * 2012-12-18 2017-06-09 原相科技股份有限公司 电子装置控制方法以及电子装置
JP6322364B2 (ja) * 2013-01-29 2018-05-09 矢崎総業株式会社 電子制御装置
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
CN103576862B (zh) * 2013-11-18 2015-05-20 合一网络技术(北京)有限公司 一种手势控制拍摄的方法和装置
GB2525840B (en) * 2014-02-18 2016-09-07 Jaguar Land Rover Ltd Autonomous driving system and method for same
US9330306B2 (en) * 2014-06-11 2016-05-03 Panasonic Intellectual Property Management Co., Ltd. 3D gesture stabilization for robust input control in mobile environments
US9857869B1 (en) 2014-06-17 2018-01-02 Amazon Technologies, Inc. Data optimization
JP2016004541A (ja) * 2014-06-19 2016-01-12 本田技研工業株式会社 車両用操作入力装置
KR101513540B1 (ko) * 2014-07-14 2015-04-21 연세대학교 산학협력단 손 제스처 인식에 의한 차량 제어 장치 및 방법
TWI552892B (zh) * 2015-04-14 2016-10-11 鴻海精密工業股份有限公司 車輛控制系統及其操作方法
US10372977B2 (en) 2015-07-09 2019-08-06 Analog Devices Gloval Unlimited Company Video processing for human occupancy detection
JP2019113881A (ja) 2016-03-23 2019-07-11 株式会社ソニー・インタラクティブエンタテインメント 頭部装着装置
JP2016197474A (ja) * 2016-09-01 2016-11-24 三菱電機株式会社 運転支援装置および運転支援方法
US11383676B2 (en) 2018-05-31 2022-07-12 Shanghai Sensetime Intelligent Technology Co., Ltd Vehicles, vehicle door unlocking control methods and apparatuses, and vehicle door unlocking systems
CN108846924A (zh) * 2018-05-31 2018-11-20 上海商汤智能科技有限公司 车辆及车门解锁控制方法、装置和车门解锁系统
KR102659158B1 (ko) * 2018-08-10 2024-04-18 스미토모 겐키 가부시키가이샤 쇼벨
CN111077993B (zh) * 2019-06-09 2023-11-24 广东小天才科技有限公司 一种学习场景的切换方法、电子设备及存储介质

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5203704A (en) * 1990-12-21 1993-04-20 Mccloud Seth R Method of communication using pointing vector gestures and mnemonic devices to assist in learning point vector gestures
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
JP3419050B2 (ja) * 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US6088468A (en) * 1995-05-17 2000-07-11 Hitachi Denshi Kabushiki Kaisha Method and apparatus for sensing object located within visual field of imaging device
DE19536170A1 (de) 1995-09-29 1997-04-03 Ibm Ermittlung von Schwellwerten bei der Digitalisierung von Bildern durch eine Verteilungsanalyse der Informationen
JPH09206473A (ja) * 1996-02-02 1997-08-12 Ricoh Elemex Corp 遊戯対戦装置
US5815147A (en) * 1996-06-07 1998-09-29 The Trustees Of The University Of Pennsylvania Virtual play environment for disabled children
US6002808A (en) * 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
DE19654944A1 (de) 1996-12-13 1998-06-25 Andreas Bohn Systemsteuerung
EP0849697B1 (de) * 1996-12-20 2003-02-12 Hitachi Europe Limited Verfahren und System zur Erkennung von Handgesten
US6236736B1 (en) * 1997-02-07 2001-05-22 Ncr Corporation Method and apparatus for detecting movement patterns at a self-service checkout terminal
JP3968477B2 (ja) * 1997-07-07 2007-08-29 ソニー株式会社 情報入力装置及び情報入力方法
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
JP3795647B2 (ja) 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
JPH11134090A (ja) * 1997-10-30 1999-05-21 Tokai Rika Co Ltd 操作信号出力装置
US6681031B2 (en) * 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6950534B2 (en) * 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
DE69936620T2 (de) * 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
DE19845030A1 (de) * 1998-09-30 2000-04-20 Siemens Ag Bildsystem
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
JP2000293666A (ja) * 1999-04-05 2000-10-20 Kubota Corp 疵検出方法及び疵検出装置並びに記録媒体
JP4332649B2 (ja) 1999-06-08 2009-09-16 独立行政法人情報通信研究機構 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
US6766036B1 (en) * 1999-07-08 2004-07-20 Timothy R. Pryor Camera based man machine interfaces
US7050606B2 (en) * 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
US6788809B1 (en) * 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
DE10039432C1 (de) 2000-08-11 2001-12-06 Siemens Ag Bedieneinrichtung
US6804396B2 (en) 2001-03-28 2004-10-12 Honda Giken Kogyo Kabushiki Kaisha Gesture recognition system
US7006055B2 (en) * 2001-11-29 2006-02-28 Hewlett-Packard Development Company, L.P. Wireless multi-user multi-projector presentation system
US6564144B1 (en) 2002-01-10 2003-05-13 Navigation Technologies Corporation Method and system using a hand-gesture responsive device for collecting data for a geographic database
JP3837505B2 (ja) * 2002-05-20 2006-10-25 独立行政法人産業技術総合研究所 ジェスチャ認識による制御装置のジェスチャの登録方法
KR100575906B1 (ko) * 2002-10-25 2006-05-02 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
DE602004006190T8 (de) * 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
JP3752246B2 (ja) * 2003-08-11 2006-03-08 学校法人慶應義塾 ハンドパターンスイッチ装置
US20070122033A1 (en) 2003-12-10 2007-05-31 Qingmao Hu Methods and apparatus for binarising images
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007015495B4 (de) * 2006-03-31 2013-07-25 Denso Corporation Objekterfassungsvorrichtung und Verfahren zum Extrahieren eines Bedienobjekts

Also Published As

Publication number Publication date
US20050238202A1 (en) 2005-10-27
CN1324437C (zh) 2007-07-04
KR20060042192A (ko) 2006-05-12
US7499569B2 (en) 2009-03-03
CN1661621A (zh) 2005-08-31
JP2005242694A (ja) 2005-09-08

Similar Documents

Publication Publication Date Title
DE102005008221A1 (de) Handbildschaltvorrichtung
DE102004038965B4 (de) Handbildschaltvorrichtung
EP1027235B1 (de) Verfahren zum detektieren von auf einer windschutzscheibe befindlichen objekten sowie vorrichtung
DE102008027194B4 (de) Gesichtsbildaufnahmevorrichtung
DE10212915B4 (de) Elektroendoskopsystem mit Elektroendoskopen mit verschiedenen Pixelanzahlen
DE102008048325A1 (de) Betätigungseingabegerät
EP3291172B1 (de) Verfahren zur ermittlung von ergebnisbilddaten
DE102008043737A1 (de) Vorrichtung und Verfahren zur Detektion von Regentropfen auf einer Scheibe
DE102017210316A1 (de) Verfahren und Vorrichtung zum Erfassen einer Nutzereingabe anhand einer Geste
DE102009055269A1 (de) Verfahren zur Bestimmung der Relativbewegung mittels einer HDR-Kamera
DE10358738B3 (de) Verfahren und Anordnung zur elektronischen Aufnahme abgerollter Fingerabdrücke
DE102019122667A1 (de) Verfahren zur Unterdrückung von Bildrauschen in einem Videobildstrom, sowie zugehöriges medizinisches Bildaufnahmesystem und Computerprogrammprodukt
DE102007060716A1 (de) Bildsignalübertragungssystem, elektronisches Endoskop und Endoskopprozessor
EP3253045B1 (de) Verfahren zur erkennung und korrektur von bildfehlern sowie bildverarbeitungseinheit und computerprogramm hierzu
DE102017207438B4 (de) Verfahren, Vorrichtung und deren Verwendung zur Ermittlung des Knickwinkels eines Gespanns
DE102008042537A1 (de) Verfahren zum Kalibrieren eines Bilderfassunssystems in einem Kraftfahrzeug
EP1447985A1 (de) Vorrichtung und Verfahren zur Verbesserung der Sicht in Kraftfahrzeugen
DE102012024650A1 (de) Verfahren zur Reduktion einer HDR-Bewegungsunschärfe bei einem HDR-Bild, HDR-Kameraeinrichtung und Kraftfahrzeug
DE102015119871A1 (de) Verfahren zum Betreiben eines Kamerasystems mit einer Vielzahl von Bildsensorelementen und Kraftfahrzeug
DE102018201909A1 (de) Verfahren und Vorrichtung zur Objekterkennung
DE102017210317A1 (de) Verfahren und Vorrichtung zum Erfassen einer Nutzereingabe anhand einer Geste
DE102016011141A1 (de) Verfahren zur Überwachung eines Zustandes zumindest eines Insassen eines Fahrzeuges
WO2000008507A2 (de) Vorrichtung und verfahren zur automatischen fokussierung und belichtung von bildaufnahmesystemen
DE102014207897A1 (de) Verfahren zum Erzeugen eines Anzeigebildes
DE102018208604A1 (de) Ermitteln eines Aufnahmeverhaltens einer Aufnahmeeinheit

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8139 Disposal/non-payment of the annual fee