DE102008016215B4 - Informationsvorrichtungsbediengerät - Google Patents

Informationsvorrichtungsbediengerät Download PDF

Info

Publication number
DE102008016215B4
DE102008016215B4 DE102008016215.9A DE102008016215A DE102008016215B4 DE 102008016215 B4 DE102008016215 B4 DE 102008016215B4 DE 102008016215 A DE102008016215 A DE 102008016215A DE 102008016215 B4 DE102008016215 B4 DE 102008016215B4
Authority
DE
Germany
Prior art keywords
light
operating
image
lighting device
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE102008016215.9A
Other languages
English (en)
Other versions
DE102008016215A1 (de
Inventor
Shinji Niwa
Takeshi Kawashima
Ichiro Akahori
Toshiyuki Morishita
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of DE102008016215A1 publication Critical patent/DE102008016215A1/de
Application granted granted Critical
Publication of DE102008016215B4 publication Critical patent/DE102008016215B4/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)
  • Traffic Control Systems (AREA)

Abstract

Informationsvorrichtungsbediengerät zum Extrahieren eines Bedienobjekts mit Hilfe einer Bildverarbeitung, wobei das Bedienobjekt für eine Bedienung einer Zielvorrichtung verwendet wird und das Informationsvorrichtungsbediengerät aufweist: – eine Bildaufnahmevorrichtung (20), die an einer Position zur Aufnahme eines Bildes einer gegenüberliegenden Oberfläche des Bedienobjekts, die einer Fremdlicht empfangenden Empfangsoberfläche des Bedienobjekts gegenüberliegt, angeordnet ist; – eine Beleuchtungsvorrichtung (30), die an einer Position zur Erzeugung von Licht angeordnet ist, das auf die gegenüberliegende Oberfläche des Bedienobjekts gestrahlt wird; – ein Steuermittel (40) zur Steuerung der Beleuchtungsvorrichtung (30), um das Licht unter einer Mehrzahl von Helligkeitszuständen zu erzeugen, und zur Steuerung der Bildaufnahmevorrichtung (20), um das Bild aufzunehmen; – ein Bildspeichermittel (50) zur Speicherung einer Mehrzahl von Bildern, die unter einer Mehrzahl von Beleuchtungsstärkezuständen von der Bildaufnahmevorrichtung (20) erfasst werden, wobei die Mehrzahl von Beleuchtungsstärkezuständen durch die vom Steuermittel (40) gesteuerte Beleuchtungsvorrichtung (30) erzeugt wird, um die Mehrzahl von Helligkeitszuständen zu erzeugen; – ein Bedienobjektextraktionsmittel (60) zur Extrahierung des Bedienobjekts durch einen Vergleich der Mehrzahl von Bildern; – ein Erfassungsmittel (70) zur Erfassung des Schwerpunkts des extrahierten Bedienobjekts und zur Erfassung einer vorbestimmten Form und/oder einer Bewegung des mit Hilfe des Bedienobjektextraktionsmittels (60) extrahierten Bedienobjekts; und – ein Signalausgabemittel (80) zur Ausgabe eines Signals an die Zielvorrichtung, wobei das Signal der vorbestimmten Form und/oder der Bewegung des Bedienobjekts, die vom Erfassungsmittel (70) erfasst werden, entspricht, wobei ...

Description

  • Die vorliegende Erfindung betrifft ein Informationsvorrichtungsbediengerät.
  • Die JP 2005-63090 A offenbart ein herkömmliches Sicherheitssystem zum Betreiben einer Fahrzeugvorrichtung, wie beispielsweise eines Fahrzeugnavigationssystems. Das Sicherheitssystem weist ein Funktionswahlmittel auf, um jedes Mal, wenn eine Bewegung oder eine Position eines bestimmten Fingers, wie beispielsweise eines Daumens, bezüglich einer Handfläche erfasst wird, periodisch eines von einer Mehrzahl von Steuerzielen zu wählen. Das Sicherheitssystem weist ferner ein Vorrichtungsbedienmittel auf, um das durch das Funktionswahlmittels gewählte Steuerziel mit einem Steuerbetrag zu versehen, der proportional zu einer Bewegung der Handfläche mit einer vorgegebenen Fingerform, wie beispielsweise einer zeigenden Form, ist.
  • Bei dem obigen Sicherheitssystem wird die Mehrzahl von Steuerzielvorrichtungen periodisch gewählt, indem der Daumen gefaltet und entfaltet wird, während die anderen Finger zur Handfläche gefaltet sind, um eine teilweise geballte Faust zu bilden. Die obige Bedienweise wird auf eine so natürliche Weise ausgeführt, als wenn ein von der Handfläche gehaltener Druckschalter mit dem Daumen gedrückt bzw. betätigt wird. Auf diese Weise kann die eine der Mehrzahl von Steuerzielvorrichtungen problemlos und auf einfache Weise gewählt werden, was zu einer Verbesserung der Bedienbarkeit führt.
  • Bei dem obigen Sicherheitssystem ist eine Kamera jedoch über dem Bedienobjekt angeordnet, um ein Bild einer Fremdlicht von außerhalb empfangenden Oberfläche des Bedienobjekts aufzunehmen. In der Umgebung der Fahrzeugvorrichtungen ändert sich das Fremdlicht jedoch deutlich, was dazu führt, dass sich die Helligkeit des Bedienobjekts bei dem obigen Aufbau deutlich ändert. Dies führt dazu, dass ein Handbereich oder eine der Hand entsprechende Fläche nur schwer extrahiert werden kann. Folglich kann das obige Problem dazu führen, dass die Fingerform oder die Handbewegung fehlerhaft erfasst werden.
  • Ferner müssen ein Winkel der Handfläche oder ein Abstand der Hand zur Kamera dann, wenn die Navigationskarte durch eine dreidimensionale Bewegung der Hand bedient wird, genau erfasst werden. Wenn die obige genaue Erfassung realisiert werden soll, kann die durch den Abstand oder den Winkel bedingte Änderung der Helligkeit erfasst werden, indem die Hand beleuchtet und das Bild mit der Kamera aufgenommen wird.
  • Wenn die Kamera und eine Beleuchtungseinrichtung an der Fahrzeugdecke angebracht werden, um den obigen Aufbau in einem Fahrzeug zu realisieren, wird der Abstand zur Hand jedoch verhältnismäßig groß. Folglich muss gegebenenfalls eine Stereokamera vorgesehen werden, um die Änderung der Helligkeit, welche der Änderung des Winkels der Hand entsprechen kann, zu erfassen. Dies kann in unvorteilhafter Weise zu einer komplexen Konfiguration der Vorrichtung führen.
  • Relevanter Stand der Technik ist bekannt aus der US 6 578 962 B1 ; der EP 1 608 157 A2 ; WILLIAMS, LANCE: Performance-Driven Facial Animation. ACM Computer Graphics, Volume 24, Number 4. August 1990, Seiten 235–242; der JP 2005-135439 A ; der JP 10177449 A und der JP 2000-331170 A .
  • Aufgabe der vorliegenden Erfindung ist es, ein Informationsvorrichtungsbediengerät bereitzustellen, das eine Zielvorrichtung auf der Grundlage einer Handbewegung bedienen kann und in beschränktem Maße durch das Fremdlicht beeinflusst wird.
  • Die Lösung der Aufgabe erfolgt durch die Merkmale des Anspruchs 1. Ausgestaltungen ergeben sich aus den Unteransprüchen.
  • Gemäß einer Ausgestaltung der vorliegenden Erfindung weist ein Informationsvorrichtungsbediengerät zum Extrahieren eines Bedienobjekts mit Hilfe einer Bildverarbeitung eine Bildaufnahmevorrichtung, eine Beleuchtungsvorrichtung, ein Steuermittel, ein Bildspeichermittel, ein Operationsobjektextraktionsmittel, ein Erfassungsmittel und ein Signalausgabemittel auf. Das Bedienobjekt wird für eine Bedienung einer Zielvorrichtung verwendet. Die Bildaufnahmevorrichtung ist an einer Position zur Aufnahme eines Bildes einer gegenüberliegenden Oberfläche des Bedienobjekts, die einer Fremdlicht empfangenden Empfangsoberfläche des Bedienobjekts gegenüberliegt, angeordnet. Die Beleuchtungsvorrichtung ist an einer Position zur Erzeugung von Licht angeordnet, das auf die gegenüberliegende Oberfläche des Bedienobjekts gestrahlt wird. Das Steuermittel steuert die Beleuchtungsvorrichtung, um das Licht unter einer Mehrzahl von Helligkeitszuständen zu erzeugen. Das Steuermittel steuert die Bildaufnahmevorrichtung, um das Bild aufzunehmen. Das Bildspeichermittel speichert eine Mehrzahl von Bildern, die unter einer Mehrzahl von Beleuchtungsstärkezuständen von der Bildaufnahmevorrichtung erfasst werden. Die Mehrzahl von Beleuchtungsstärkezuständen wird durch die vom Steuermittel gesteuerte Beleuchtungsvorrichtung erzeugt, um die Mehrzahl von Helligkeitszuständen zu erzeugen. Das Bedienobjektextraktionsmittel extrahiert das Bedienobjekt durch einen Vergleich der Mehrzahl von Bildern. Das Erfassungsmittel erfasst eine vorbestimmte Form und/oder eine Bewegung des mit Hilfe des Bedienobjektextraktionsmittels extrahierten Bedienobjekts. Das Signalausgabemittel gibt ein Signal an die Zielvorrichtung, wobei das Signal der vorbestimmten Form und/oder der Bewegung des Bedienobjekts, die vom Erfassungsmittel erfasst werden, entspricht.
  • Weitere Eigenschaften und Vorteile der vorliegenden Erfindung werden aus der nachfolgenden detaillierten Beschreibung, die unter Bezugnahme auf die beigefügte Zeichnung gemacht wurde, näher ersichtlich sein. In der Zeichnung zeigt/zeigen:
  • 1 ein Blockdiagramm eines Aufbaus eines Fahrzeugnavigationsbediengeräts gemäß einer ersten Ausführungsform;
  • 2A eine Abbildung zur Veranschaulichung eines Differenzbildes einer Hand eines Fahrers, das bei einer Bildverarbeitung zur Erfassung eines Drehwinkels, einer Bewegungsrichtung und eines Bewegungsbetrags der Hand verwendet wird;
  • 2B eine Abbildung zur Veranschaulichung eines Kantenbildes der Hand des Fahrers, das bei der Bildverarbeitung verwendet wird;
  • 2C eine Abbildung zur Veranschaulichung einer Position eines Schwerpunkts in einem Bild bei der Bildverarbeitung;
  • 2D eine Abbildung zur Veranschaulichung einer Bewegung einer mittleren Schwerpunktsposition bei der Bildverarbeitung;
  • 3 ein Blockdiagramm eines Aufbaus eines Fahrzeugnavigationsbediengeräts gemäß einer zweiten Ausführungsform;
  • 4A eine Abbildung eines Differenzbildes, das bei einer Raumdrehwinkelerfassung verwendet wird;
  • 4B eine Konturenzeichnung der in der 4A gezeigten Abbildung;
  • 4C eine Abbildung eines binarisierten Bildes, das bei der Raumdrehwinkelerfassung verwendet wird;
  • 4D eine Konturenzeichnung der in der 4C gezeigten Abbildung;
  • 4E eine Abbildung zur Veranschaulichung von Schwerpunkten in unterteilten Bereichen;
  • 4F eine Konturenzeichnung der in der 4E gezeigten Abbildung;
  • 4G eine Abbildung zur Veranschaulichung einer mittleren Helligkeit jedes Bereichs am Schwerpunkt;
  • 4H eine Abbildung zur Veranschaulichung einer korrigierten mittleren Helligkeit jedes Bereichs;
  • 4I eine Abbildung zur Veranschaulichung eines Prozesses zur Erfassung einer Approximationsebene;
  • 5 ein Ablaufdiagramm für eine Erfassungsverarbeitung;
  • 6 ein Ablaufdiagramm eines Unterprogramms für eine Raumdrehwinkelerfassung;
  • 7 ein Ablaufdiagramm eines Unterprogramms für eine Raumbewegungserfassung;
  • 8A ein Blockdiagramm eines Aufbaus eines Fahrzeugnavigationsbediengeräts gemäß einer dritten Ausführungsform;
  • 8B eine Draufsicht auf ein berührungsempfindliches Bedienfeld und Abstandssensoren des Fahrzeugnavigationsbediengeräts der dritten Ausführungsform;
  • 9A ein Blockdiagramm eines Aufbaus eines Fahrzeugnavigationsbediengeräts gemäß einer vierten Ausführungsform;
  • 9B eine Abbildung zur Veranschaulichung eines Bildes der Hand in einem Zustand, in welchem die Hand das berührungsempfindliche Bedienfeld berührt;
  • 9C eine Abbildung zur Veranschaulichung eines Bildes der Hand in einem anderen Zustand, in welchem die Hand vom berührungsempfindlichen Bedienfeld beabstandet angeordnet ist;
  • 10A eine Abbildung zur Veranschaulichung eines alternativen Teilungsverfahrens zur Unterteilung eines Bildes der Hand des Fahrers;
  • 10B eine Konturenzeichen der in der 10A gezeigten Abbildung;
  • 10C eine Abbildung zur Veranschaulichung eines weiteren alternativen Teilungsverfahrens zur Unterteilung des Bildes der Hand des Fahrers;
  • 10D eine Konturenzeichnung der in der 10C gezeigten Abbildung; und
  • 11 eine Abbildung zur Veranschaulichung eines Zustands, in welchem das Informationsvorrichtungsbediengerät auf einen PC angewandt wird.
  • Nachstehend werden die Ausführungsformen unter Bezugnahme auf die beigefügte Zeichnung beschrieben. Es sollte jedoch wahrgenommen werden, dass die vorliegende Erfindung nicht auf die nachstehend beschriebenen Ausführungsformen beschränkt ist, sondern auf verschiedene Weise ausgestaltet werden kann, ohne ihren Schutzumfang zu verlassen.
  • (Erste Ausführungsform)
  • Nachstehend wird ein Fahrzeugnavigationsbediengerät 1 zur Bedienung eines Fahrzeugnavigationssystems 10 unter Bezugnahme auf die 1 und 2 beschrieben. 1 zeigt ein schematisches Blockdiagramm eines Aufbaus des Fahrzeugnavigationsbediengeräts 1, und die 2A bis 2D zeigen Abbildungen zur Veranschaulichung einer Bildverarbeitung zur Erfassung eines Drehwinkels, einer Bewegungsrichtung und eines Bewegungsbetrags der Hand des Fahrers. Die Hand dient als Bedienobjekt.
  • Das Fahrzeugnavigationsbediengerät 1 extrahiert, wie in 1 gezeigt, die Hand des Fahrers mit Hilfe der Bildverarbeitung, wobei die Hand zur Bedienung des Fahrzeugnavigationssystems 10 verwendet wird. Das Fahrzeugnavigationsbediengerät 1 weist eine Kamera 20, eine Beleuchtungseinrichtung 30, einen Steuerabschnitt 40, einen Bildspeicher 50, einen Bedienobjektextraktionsabschnitt 60, einen Erfassungsabschnitt 70 und einen Signalausgabeabschnitt 80 auf.
  • Die Kamera 20 ist in Form einer klein ausgebildeten CCD-Kamera oder einer klein ausgebildeten CMOS-Kamera vorgesehen und derart angeordnet, dass sie ein Bild einer gegenüberliegenden Oberfläche der Hand des Fahrers aufnehmen kann, die einer Oberfläche der Hand gegenüberliegt, welche das Fremdlicht empfängt. D. h., die Kamera 20 ist unterhalb eines in der 1 gezeigten berührungsempfindlichen Bedienfeldes 100 angeordnet.
  • Die Beleuchtungseinrichtung 30 ist derart angeordnet, dass sie Licht auf die gegenüberliegende Oberfläche der Hand des Fahrers strahlen kann, welche der das Fremdlicht empfangenden Oberfläche gegenüberliegt. D. h., die Beleuchtungseinrichtung 30 ist, wie in 1 gezeigt, unterhalb des berührungsempfindlichen Bedienfeldes 100 angeordnet.
  • Der Steuerabschnitt 40 steuert die Helligkeit der Beleuchtungseinrichtung 30 und die Bilderfassung der Kamera 20 zur Erfassung bzw. Aufnahme des Bildes. Üblicherweise steuert der Steuerabschnitt 40 eine Mehrzahl von Helligkeitzuständen der Beleuchtungseinrichtung 30. Der Steuerabschnitt 40 schaltet die Beleuchtungseinrichtung 30 beispielsweise ein und aus. D. h., der Steuerabschnitt 40 steuert die Beleuchtungseinrichtung 30, um das Licht unter einer Mehrzahl von Helligkeitzuständen zu erzeugen, und steuert die Kamera 20, um das Bild aufzunehmen.
  • Der Bildspeicher 50 speichert Bilder, die von der Kamera 20 unter der Mehrzahl von Beleuchtungsstärkezuständen erfasst werden, die realisiert werden, wenn der Steuerabschnitt 40 die Beleuchtungseinrichtung 30 derart steuert, dass diese die Mehrzahl von Helligkeitzuständen realisiert. Der Bildspeicher 50 kann beispielsweise als RAM oder als Festplatte vorgesehen sein.
  • Der Bedienobjektextraktionsabschnitt 60 vergleicht die unter der Mehrzahl von Beleuchtungsstärkezuständen erfassten gespeicherten Bilder und extrahiert die Hand des Fahrers mit Hilfe der Bildverarbeitung. Anschließend erfasst der Erfassungsabschnitt 70 eine vorbestimmte Form und eine vorbestimmte Bewegung der mit Hilfe des Bedienobjektextraktionsabschnitts 60 extrahierten Hand des Fahrers.
  • Insbesondere erfasst die Kamera 20 zwei Bilder unter zwei verschieden Beleuchtungsstärkezuständen (hell und dunkel), um, wie in 2A gezeigt, ein Differenzbild zu erzeugen. Anschließend wird die Hand des Fahrers aus dem obigen erfassten Differenzbild extrahiert. Das von der Beleuchtungseinrichtung 30 erzeugte Licht wird von der Hand des Fahrers reflektiert, von anderen Bereichen, die sich von der Hand unterscheiden, jedoch nicht reflektiert. Wenn die Hand des Fahrers mit zwei verschiedenen Beleuchtungsstärkegraden oder mit einer hohen Beleuchtungsstärke und mit einer geringen Beleuchtungsstärke beleuchtet wird, weist ein Handteil des Bild, dass unter beiden der obigen Zustände erfasst wurde, durch den Helligkeitsunterschied bedingt einen hohen Kontrast auf. Der Handteil des Bildes zeigt hierbei das Bild der Hand des Fahrers. Dies führt dazu, dass die Hand des Fahrers auf der Grundlage der Differenz extrahiert werden kann.
  • Der Erfassungsabschnitt 70 erfasst eine Bewegung der Hand des Fahrers in zwei Richtungen, die rechtwinklig zueinander und entlang einer Ebene verlaufen, die senkrecht zu einer optischen Achse der Kamera 20 verläuft. Insbesondere erfasst der Erfassungsabschnitt 70 die Bewegung der Hand des Fahrers über dem berührungsempfindlichen Bedienfeld 100 und weist der Erfassungsabschnitt 70 einen Drehwinkeldetektor 72 und einen Bewegungsdetektor 74 auf. Der Drehwinkeldetektor 72 erfasst den Drehwinkel der Hand des Fahrers über dem berührungsempfindlichen Bedienfeld 100, und der Bewegungsdetektor 74 erfasst eine Bewegungsrichtung und einen Bewegungsbetrag der Hand des Fahrers. Der Drehwinkeldetektor 72 erfasst beispielsweise den Drehwinkel der Hand des Fahrers bezüglich einer von der Kamera 20 aufgenommenen Bildebene. Die Bildebene erstreckt sich im Allgemeinen senkrecht zur optischen Achse der Kamera 20.
  • Der Drehwinkeldetektor 72 verwendet, wie in 2B gezeigt, einen Differenzoperator erster Ordnung, wie beispielsweise einen Sobel-Operator, um einen Helligkeitsgradienten Dx in einer x-Richtung und einen Helligkeitsgradienten Dy in einer y-Richtung jedes Pixels für das im Bildspeicher 50 gespeicherte extrahierte Bild zu erlangen (siehe 2A). Anschließend erfasst der Drehwinkeldetektor 72 unter Verwendung der folgenden Gleichungen eine Kantenstärke (edge intensity) und eine Kantenrichtung (edge direction). Kantenstärke: (Dx 2 + Dy 2)1/2 Kantenrichtung: tan–1(Dy/Dx)
  • Anschließend erfasst der Drehwinkeldetektor 72 eine mittlere Richtung der Kanten hoher Bildhelligkeit auf der Grundlage der Kantenrichtung jedes Pixels. Die Kante hoher Bildhelligkeit ist hierbei ein Teil der erfassten Kante mit einer über einem vorbestimmten Schwellenwert liegenden Bildhelligkeit bzw. Beleuchtungsstärke (siehe 2B). Anschließend wird die erfasste mittlere Kantenrichtung als Winkel der Hand des Fahrers bestimmt.
  • In dem obigen Fall kann die ”mittlere Kantenrichtung” einem Mittelwert der Kantenrichtungen entsprechen. ”Mittlere Kantenrichtung” kann jedoch ferner ein Modalwert (Mode) oder Median der Kantenrichtungen sein. Die Kantenrichtung muss ferner nicht für jedes Pixel berechnet werden. Es können vielmehr die Helligkeitsgradienten Dx in der x-Richtung und die Helligkeitsgradienten Dy in der y-Richtung für die Pixel berechnet werden, welche die über einem vorbestimmten Schwellenwert liegende Kantenstärke bzw. Kantenintensität aufweisen. Anschließend werden die Helligkeitsgradienten Dx und die Helligkeitsgradienten Dy gemittelt, um Mittelwerte zur Berechnung der mittleren Kantenrichtung zu erhalten.
  • Der Bewegungsdetektor 74 erfasst, wie in 2C gezeigt, in chronologischer oder in zeitlicher Reihenfolge eine Schwerpunktsposition, die eine Position eines Schwerpunkts der Hand des Fahrers beschreibt, für jedes der Mehrzahl von im Bildspeicher 50 gespeicherten extrahierten Bilder (siehe 2A). Der Schwerpunkt der Hand kann hierbei ein Mittelpunkt der extrahierten Hand sein. Anschließend werden, wie in 2D gezeigt, die Richtung und der Bewegungsbetrag der erfassten Schwerpunktsposition der Hand des Fahrers, die in zeitlicher Reihenfolge erfasst werden, als die Bewegungsrichtung und der Bewegungsbetrag der Hand des Fahrers bestimmt. D. h., wenn die Richtungen und die Bewegungsbeträge der Schwerpunktsposition der Hand in der zeitlichen Reihenfolge (Time-Series Order) verglichen werden, werden, wie in 2D gezeigt, die Richtung und der Bewegungsbetrag der Hand bestimmt. Es ist ferner möglich, einen optischen Fluss (Optical Flow) oder einen Musterabgleich (Pattern Matching) zur Erfassung der Bewegungsrichtung und des Bewegungsbetrags der Hand anzuwenden.
  • Im obigen Fall können die Bewegungsrichtung und der Bewegungsabstand der Hand des Fahrers erfasst werden, indem eine Mehrzahl von Schwerpunktspositionen mit Hilfe eines linearen Approximationsverfahrens oder eines lineares Approximationsverfahrens für ein zweidimensionales System angenähert werden. Bei dem obigen Verfahren wird das Rauschen entfernt, um so eine gleichmäßige Bewegung der Hand des Fahrers zu erfassen. Folglich können die Bewegungsrichtung und der Bewegungsabstand einer sich gleichmäßiger bewegenden Hand erhalten werden.
  • Der Signalausgabeabschnitt 80 gibt den Drehwinkel, die Bewegungsrichtung und den Bewegungsbetrag der Hand des Fahrers an das Fahrzeugnavigationssystem 10. Gemäß obiger Beschreibung wird der Drehwinkel vom Drehwinkeldetektor 72 erfasst und werden die Bewegungsrichtung und der Bewegungsbetrag vom Bewegungsdetektor 74 erfasst.
  • (Eigenschaften des Fahrzeugnavigationsbediengeräts 1)
  • Das obige Fahrzeugnavigationsbediengerät 1 wird im beschränkten Maße durch das Fremdlicht beeinflusst und kann auf einfache Art und Weise durch eine Bewegung der Hand des Fahrers bei der Bedienung der Zielvorrichtung eingesetzt werden. Das Fahrzeugnavigationsbediengerät 1 wird nachstehend beschrieben.
  • Bei dem Fahrzeugnavigationsbediengeräts 1 ist die Kamera 20 an einer Position angeordnet, an der sie das Bild der gegenüberliegenden Oberfläche der Hand des Fahrers aufnehmen kann, welche der Oberfläche der Hand gegenüberliegt, welche das Fremdlicht empfängt. D. h., die Kamera 20 nimmt das Bild eines Schattenseitenteils der Hand des Fahrers auf. Folglich ändert sich die Beleuchtungsstärke des Schattenseitenteils der Hand des Fahrers auch dann, wenn sich die Beleuchtungsstärke des Fremdlichts ändert, nur leicht. Dies führt dazu, dass das Fahrzeugnavigationsbediengerät 1 nur in beschränktem Maße durch das Fremdlicht beeinflusst wird.
  • Ferner ist die Beleuchtungseinrichtung 30 derart angeordnet, dass das erzeugte Licht auf die gegenüberliegende Oberfläche der Hand des Fahrers gestrahlt wird, welche der Oberfläche der Hand gegenüberliegt, welche das Fremdlicht empfängt. Folglich wird das Licht auf den Schattenseitenteil der Hand des Fahrers gestrahlt, wobei der Schattenseitenteil aus dem Fremdlicht hervorgeht bzw. durch das Fremdlicht gebildet wird. Folglich ändert sich die Beleuchtungsstärke des Schattenseitenteils auch dann, wenn sich die Beleuchtungsstärke des Fremdlichts ändert, nur leicht.
  • Ferner wird das Licht unter der Mehrzahl von Beleuchtungsstärkezuständen auf den Schattenseitenteil der Hand des Fahrers gestrahlt, um die Bilder aufzunehmen, und wird die unter den obigen Bedingungen aufgenommene Mehrzahl von Bildern gespeichert. Die Mehrzahl von Bildern wird miteinander verglichen, um die Hand des Fahrers zu extrahieren. D. h., da die Bilder der Hand des Fahrers unter den verschiedenen Beleuchtungsstärken erfasst werden, weist das Bild der Hand des Fahrers einen hohen bzw. deutlichen Kontrast auf. Auf diese Weise können die Form und die Bewegung der Hand des Fahrers selbst dann, wenn sich das Fremdlicht ändert, mit begrenztem Einfluss der Lichtänderung extrahiert werden.
  • Ferner wird ein der extrahierten Form und Bewegung der Hand des Fahrers entsprechendes Signal an eine Vorrichtung für ein bewegliches Objekt gegeben. Auf diese Weise kann die Vorrichtung für ein bewegliches Objekt dann, wenn die Vorrichtung für ein bewegliches Objekt das Signal zum Bedienen der Vorrichtung für ein bewegliches Objekt verwendet, bedient werden.
  • Wenn das Fahrzeugnavigationssystem 10 beispielsweise dazu ausgelegt ist, zu bewirken, dass eine Anzeigevorrichtung eine Bedienanzeige anzeigt, kann das Bild der Hand des Fahrers der Bedienanzeige überlagert werden. Auf diese Wiese kann der Bediener die überlagerte Anzeige bzw. den überlagerten Bedienhinweis in der Anzeigevorrichtung optisch erkennen oder überprüfen, um das Fahrzeugnavigationssystem 10 zu bedienen.
  • Das Fahrzeugnavigationsbediengerät 1 erfasst die Drehung und die Bewegung der Hand des Fahrers über dem berührungsempfindlichen Bedienfeld 100. D. h., das Fahrzeugnavigationsbediengerät 1 erfasst die Bewegung der Hand des Fahrers in zwei Richtungen, die auf einer imaginären Ebene senkrecht zur optischen Achse der Kamera 20 rechtwinklig zueinander verlaufen. Gemäß obiger Beschreibung entspricht die imaginäre Ebene einer beliebigen Bildebene, die von der Kamera 20 erfasst wird. Folglich kann das Fahrzeugnavigationsbediengerät 1 auf das Fahrzeugnavigationssystem 10 angewandt und können eine Drehung einer angezeigten Karte, eine Bewegung oder Verschiebung der angezeigten Karte oder eine Vergrößerung der angezeigten Karte auf einfache Weise ausgeführt werden. Ferner kann das Fahrzeugnavigationsbediengerät 1 bei dem obigen Aufbau auf einfache Weise die Lautstärke regeln.
  • (Zweite Ausführungsform)
  • Das Fahrzeugnavigationsbediengerät 1 der ersten Ausführungsform gibt Signale zur Bedienung des Fahrzeugnavigationssystems 10 auf der Grundlage der Bewegung der Hand des Fahrers oberhalb des berührungsempfindlichen Bedienfeldes 100 aus, wobei die Bewegung beispielsweise in dem zweidimensionalen System oder einer Ebene erfolgt. Das Fahrzeugnavigationsbediengerät 2 der zweiten Ausführungsform ist demgegenüber dazu ausgelegt, das Fahrzeugnavigationssystem 10 auf der Grundlage der Bewegung der Hand des Fahrers in einem dreidimensionalen Raum zu bedienen. Das Fahrzeugnavigationsbediengerät 2 der zweiten Ausführungsform wird nachstehend unter Bezugnahme auf die 3 und 4 beschrieben. Da der Aufbau des Fahrzeugnavigationsbediengeräts 2 dem Aufbau des Fahrzeugnavigationsbediengeräts 1 der ersten Ausführungsform ähnelt, sind gleiche Komponenten in beiden Fahrzeugnavigationsbediengeräten 1, 2 mit den gleichen Bezugszeichen versehen und werden diese Komponenten nachstehend zur Vermeidung von Redundanz nicht näher beschrieben.
  • 3 zeigt ein schematisches Blockdiagramm eines Aufbaus des Fahrzeugnavigationsbediengeräts 2, und die 4A bis 4I zeigen Abbildungen zur Veranschaulichung eines Raumdrehwinkelerfassungsprinzips.
  • Bei dem Fahrzeugnavigationsbediengerät 2 erfasst der Erfassungsabschnitt 70 die Bewegung der Hand des Fahrers im dreidimensionalen Raum. Es sollte beachtet werden, dass der dreidimensionale Raum durch die optische Achse der Kamera 20 und die zwei Achsen, die auf der senkrecht zur optischen Achse verlaufenden imaginären Ebene rechtwinklig zueinander verlaufen, definiert ist.
  • Der Erfassungsabschnitt 70 weist einen Raumdrehwinkeldetektor 76 und einen Raumbewegungsdetektor 78 auf. Der Raumdrehwinkeldetektor 76 erfasst einen dreidimensionalen Drehwinkel des Hand des Fahrers, und der Raumbewegungsdetektor 78 erfasst die Bewegungsrichtung und den Bewegungsbetrag der Hand des Fahrers im dreidimensionalen Raum.
  • Der Raumdrehwinkeldetektor 76 unterteilt das Bild der mit Hilfe des Bedienobjektextraktionsabschnitts 60 extrahierten Hand des Fahrers in mehrere Bereiche. Anschließend erfasst der Raumdrehwinkeldetektor 76 eine mittlere Helligkeit und eine Schwerpunktsposition für jeden unterteilten Bereich. Anschließend erfasst der Raumdrehwinkeldetektor 76 den dreidimensionalen Drehwinkel der Hand des Fahrers auf der Grundlage der mittleren Helligkeit und der Schwerpunktsposition für jeden erfassten Bereich.
  • Nachstehend wird ein Verfahren zur Unterteilung der aus dem Bild extrahierten Hand des Fahrers in die Mehrzahl von Bereichen beschrieben. Das extrahierte Bild wird, wie in 4A gezeigt, vom Bedienobjektextraktionsabschnitt 60 erfasst. Anschließend wird der Schwerpunkt des extrahierten Bildes der Hand erfasst und das extrahierte Bild der Hand des Fahrers entlang von Linien unterteilt, die, wie in 4C gezeigt, rechtwinklig zueinander und durch den erfassten Schwerpunkt verlaufen.
  • Es sollte beachtet werden, dass der ”dreidimensionale Drehwinkel” Winkeln entspricht, von denen jeder beispielsweise um drei Achsen gemessen wird, welche den dreidimensionalen Raum definieren. Die drei Achsen entsprechen der optischen Achse der Kamera 20 und den zwei Achsen, die auf einer senkrecht zur optischen Achse verlaufenen Ebene rechtwinklig zueinander verlaufen. Der dreidimensionale Drehwinkel ist, wie vorstehend beschrieben, ein Winkel, der um eine mit der Hand des Fahrers im dreidimensionalen Raum verknüpfte Drehachse gemessen wird.
  • Der Raumbewegungsdetektor 78 erfasst den mittleren Helligkeitswert des Bereichs der mit Hilfe des Bedienobjektextraktionsabschnitts extrahierten Hand des Fahrers zu vorbestimmten Zeitintervallen. Anschließend erfasst der Raumbewegungsdetektor 78 eine vertikale Bewegung der Hand des Fahrers oder eine Bewegung der Hand in einer Richtung der optischen Achse der Kamera 20, indem er die obigen erfassten mehreren mittleren Helligkeitswerte vergleicht.
  • Der Signalausgabeabschnitt 80 gibt (a) den vom Raumdrehwinkeldetektor 76 erfassten dreidimensionalen Drehwinkel der Hand des Fahrers und (b) die Bewegungsrichtung und den Bewegungsbetrag der Hand des Fahrers im Raum, die vom Raumbewegungsdetektor 78 erfasst werden, aus.
  • (Erfassungsverarbeitung)
  • Nachstehend wird die vom Erfassungsabschnitt 70 ausgeführte Erfassungsverarbeitung unter Bezugnahme auf die 5 bis 7 beschrieben.
  • 5 zeigt ein Ablaufdiagramm der Erfassungsverarbeitung, 6 zeigt ein Ablaufdiagramm eines Unterprogramms für eine Raumdrehwinkelerfassung, und 7 zeigt ein Ablaufdiagramm eines Unterprogramms für eine Raumbewegungserfassung.
  • Bei der Erfassungsverarbeitung wird, wie in 5 gezeigt, in Schritt S100 das Differenzbild der mit Hilfe des Bedienobjektextraktionsabschnitts 60 erfassten Hand des Fahrers erfasst bzw. gewonnen.
  • In Schritt S105 wird der Raumdrehwinkel erfasst, und in Schritt S110 wird die Raumbewegung erfasst. Anschließend werden in Schritt S115 der in Schritt S105 erfasste Raumdrehwinkel und die in Schritt S110 erfasste Raumbewegungsrichtung und der in Schritt S110 erfasste Bewegungsbetrag an das Fahrzeugnavigationssystem 10 gegeben.
  • (Raumdrehwinkelerfassungsverarbeitung)
  • Bei der Raumdrehwinkelerfassungsverarbeitung wird das in Schritt S100 erfasste Differenzbild (siehe 4A) in Schritt S200, wie in 6 gezeigt, binarisiert.
  • In Schritt S205 wird die Schwerpunktsposition das in Schritt S200 binarisierten Differenzbildes erfasst (siehe 4C).
  • In Schritt S210 wird das in Schritt S200 binarisierte Differenzbild mit Hilfe einer Maskenverarbeitung derart verarbeitet, dass das Bild der Hand des Fahrers aus dem Differenzbild extrahiert wird.
  • In Schritt S215 das in Schritt S210 extrahierte Bild der Hand des Fahrers entlang von zwei gerade verlaufenden Linien in vier Bildbereiche unterteilt (siehe 4C). Die obigen zwei Linien verlaufen rechtwinklig zueinander und durch die in Schritt S205 erfasste Schwerpunktsposition des Differenzbildes.
  • In Schritt S220 wird die mittlere Helligkeit für jeden der obigen unterteilten Bereiche erfasst (siehe 4G), und in Schritt S225 wird die in Schritt S220 erfasste mittlere Helligkeit unter Verwendung einer vorbestimmten Konstanten korrigiert (siehe 4H).
  • In Schritt S230 wird der Schwerpunkt für jeden Bereich, der gebildet wird, indem das Bild der Hand des Fahrers in Schritt S215 unterteilt wird, erfasst (siehe 4E).
  • In Schritt S235 wird eine Approximationsebene auf der Grundlage (a) des in Schritt S230 erfassten Schwerpunkts jedes Bereichs und (b) der in Schritt S225 korrigierten mittleren Helligkeit jedes Bereichs erfasst. Anschließend wird der Raumdrehwinkel der Hand des Fahrers auf der Grundlage der erfassten Approximationsebene erfasst (siehe 4I).
  • Die Approximationsebene wird bei dem Verfahren eines Ebenenanpassungsprozesses (plane fitting process) unter Verwendung der Umkehrfunktion der mittleren Helligkeit für jeden Bereich und des Schwerpunkts des jeweiligen Bereichs erfasst. D. h., die Umkehrfunktion der mittleren Helligkeit an jedem Schwerpunkt aller Bereiche wird angenähert, um die Approximationsebene mit Hilfe des Verfahrens der kleinsten Quadrate zu erfassen. Auf die Erfassung der Approximationsebene in Schritt S235 folgend wird die Raumdrehwinkelerfassungsverarbeitung beendet.
  • (Raumbewegungserfassungsverarbeitung)
  • Bei der Raumbewegungserfassungsverarbeitung wird das in Schritt S100 erfasste Differenzbild (siehe 4A) in Schritt S300, wie in 7 gezeigt, binarisiert.
  • Die Schwerpunktsposition des in Schritt S300 binarisierten Differenzbildes wird in Schritt S305 erfasst (siehe 4C).
  • Ferner wird in Schritt S310 das in Schritt S300 binarisierte Differenzbild mit Hilfe der Maskenverarbeitung derart verarbeitet, dass das Bild der Hand des Fahrers aus dem Differenzbild extrahiert wird. Anschließend wird in Schritt S315 die mittlere Helligkeit des in Schritt S310 extrahierten Bildes der Hand des Fahrers erfasst.
  • In Schritt S320 werden die Bewegungsrichtung und der Bewegungsbetrag der Hand des Fahrers auf der Grundlage (a) der in Schritt S305 erfassten Schwerpunktsposition des Differenzbildes und (b) der in Schritt S315 erfassten mittleren Helligkeit des Bereichs der Hand des Fahrers erfasst.
  • Zunächst wird die Quadratwurzel der Umkehrfunktion des letzten mittleren Helligkeitswerts des letzten Bildes der Hand des Fahrers erfasst. Ferner wird die Quadratwurzel der Umkehrfunktion eines vorherigen mittleren Helligkeitswerts des vorherigen Bildes der Hand des Fahrers erfasst. Hierbei wird das vorherige Bild während einer bestimmten Zeitspanne vor der Aufnahme des letzten Bildes aufgenommen. Die Bewegungsrichtung und der Bewegungsbetrag werden berechnet, indem die Differenz zwischen (a) der Quadratwurzel der Umkehrfunktion des letzten mittleren Helligkeitswerts und (b) der Quadratwurzel der Umkehrfunktion des vorherigen mittleren Helligkeitswerts genommen wird. Anschließend werden eine letzte Schwerpunktsposition des letzten Bildes der Hand des Fahrers und eine vorherige Schwerpunktsposition des vorherigen Bildes der Hand des Fahrers erfasst. Die Bewegungsrichtung und der Bewegungsbetrag der Hand des Fahrers werden berechnet, indem die Differenz zwischen (a) der letzten Schwerpunktsposition und (b) der vorherigen Schwerpunktsposition genommen wird. Die Raumbewegungsverarbeitung wird auf die obige Erfassung folgend beendet.
  • Bei dem obigen Fall können die Bewegungsrichtung und der Bewegungsbetrag der Hand des Fahrers genauer erfasst werden, indem die Bewegungsrichtungen und die Bewegungsbeträge mit Hilfe eines Verfahrens, wie beispielsweise einer linearen Approximation oder einer linearen Approximation für ein zweidimensionales System, angenähert werden. Durch die obige Approximation kann Rauschen entfernt und hierdurch eine gleichmäßige Bewegung der Hand des Fahrers erfasst werden. Auf diese Weise können die Bewegungsrichtung und der Bewegungsabstand einer sich gleichmäßiger bewegenden Hand erhalten werden.
  • (Eigenschaften des Fahrzeugnavigationsbediengeräts 2)
  • Gemäß obiger Beschreibung wird das von der Kamera 20 aufgenommene Bild verarbeitet und der Drehwinkel der Hand des Fahrers im dreidimensionalen Raum oder der dreidimensionale Drehwinkel der Hand erfasst. Ferner werden die Bewegungsrichtung und der Bewegungsbetrag erfasst. Auf diese Weise können verglichen mit einem Fall, bei welchem die Bewegung der Hand auf der zweidimensionalen Oberfläche oder der imaginären Ebene erfasst wird, mehr Informationselemente erfasst werden.
  • Folglich können auf der Grundlage der erfassten Bewegung der Hand des Fahrers im dreidimensionalen Raum komplexere Bedienungen des Fahrzeugnavigationssystems 10 ausgeführt werden.
  • (Dritte Ausführungsform)
  • Nachstehend wird ein Fahrzeugnavigationsbediengerät 3 unter Bezugnahme auf die 8A und 8B beschrieben. Es sollte beachtet werden, dass die Bewegung der Hand des Fahrers bei dem Fahrzeugnavigationsbediengerät 3 mit Hilfe eines Abstandssensors und nicht mit Hilfe der Kamera zur Aufnahme des Bildes erfasst wird. Es sollte ferner beachtet werden, dass der Aufbau des Fahrzeugnavigationsbediengeräts 3 dem Aufbau des Fahrzeugnavigationsbediengeräts 2 ähnelt. Folglich sind gleiche Komponenten der beiden Fahrzeugnavigationsbediengeräte 2, 3 mit gleichen Bezugszeichen versehen und werden diese Komponenten nachstehend nicht näher beschrieben.
  • 8A zeigt ein schematisches Blockdiagramm eines Aufbaus des Fahrzeugnavigationsbediengeräts 3. Das Fahrzeugnavigationsbediengeräts 3 weist, wie in 8B gezeigt, Ultraschallwellenabstandssensoren 90 mit einer Richtcharakteristik an vier Ecken des berührungsempfindlichen Bedienfelds 100 auf.
  • Der Raumdrehwinkeldetektor 76 erfasst einen dreidimensionalen Winkel der Hand des Fahrers auf der Grundlage des mit Hilfe der vier Ultraschallwellenabstandssensoren 90 erfassten Abstands.
  • D. h., da jeder der vier Ultraschallwellenabstandssensoren 90 eine Richtcharakteristik aufweist (oder der Ultraschallwellenabstandssensor 90 das eine Richtcharakteristik aufweisende Licht abstrahlt), zeigen die von den vier Ultraschallwellenabstandssensoren 90 gemessenen Abstände Abstände zu vier verschiedenen Punkten der Hand des Fahrers. Folglich kann durch eine Annäherung der gemessenen vier Abstände mit Hilfe der Methode der kleinsten Quadrate eine Ebene oder eine Oberfläche definiert werden, die nachstehend als Approximationsebene bezeichnet wird.
  • Wenn der Winkel, der um jede der Achsen des dreidimensionalen Systems gemessen wird, in Übereinstimmung mit einem Gradienten der Approximationsebene erfasst wird, wird der dreidimensionale Drehwinkel der Hand des Fahrers erfasst.
  • Ferner erfasst der Raumbewegungsdetektor 78 die Bewegungsrichtung und den Bewegungsbetrag der Hand des Fahrers im dreidimensionalen Raum. Die Bewegungsrichtung und der Bewegungsbetrag in der Richtung der optischen Achse der Kamera 20 im dreidimensionalen Raum können erfasst werden, indem die Bewegung der obigen Approximationsebene in der Aufwärts-Abwärts-Richtung erfasst wird. Die Aufwärts-Abwärts-Richtung entspricht der Richtung der in der 8A gezeigten optischen Achse.
  • Ferner kann die Bewegung der Richtung, die parallel zu der Ebene verläuft, entlang der sich das berührungsempfindliche Bedienfeld 100 erstreckt, auf der Grundlage der Zeit- bzw. Zeitreihendifferenz (time-series differenz) zwischen den mit Hilfe der Ultraschallwellenabstandssensoren 90 erfassten Abständen erfasst werden. Der obige Abstandssensor kann als optischer Sensor oder als Funksensor vorgesehen sein.
  • (Vierte Ausführungsform)
  • Nachstehend wird ein Fahrzeugnavigationsbediengerät 4 unter Bezugnahme auf die 9A bis 9C beschrieben. Das Fahrzeugnavigationsbediengerät 4 erfasst den dreidimensionalen Drehwinkel und die Bewegung der Hand des Fahrers mit Hilfe einer eine Öffnung aufweisenden Blende bzw. Ablenkplatte. Es sollte beachtet werden, dass der Aufbau des Fahrzeugnavigationsbediengeräts 4 dem Aufbau des Fahrzeugnavigationsbediengeräts 1 der ersten Ausführungsform ähnelt. Folglich sind gleiche Komponenten beider Fahrzeugnavigationsbediengeräte 1, 4 mit gleichen Bezugszeichen versehen und werden diese Komponenten nachstehend nicht näher beschrieben.
  • Das Fahrzeugnavigationsbediengerät 4 weist, wie in 9A gezeigt, eine erste Beleuchtungseinrichtung 32, eine zweite Beleuchtungseinrichtung 34, eine erste Ablenkplatte 36 und eine zweite Ablenkplatte 38 auf.
  • Die zweite Beleuchtungseinrichtung 34 ist, wie in 9A gezeigt, an einer der ersten Beleuchtungseinrichtung 32 gegenüberliegenden Position angeordnet.
  • Die erste Ablenkplatte 36 ist zwischen der ersten Beleuchtungseinrichtung 32 und der Hand des Fahrers angeordnet und weist eine Öffnung auf. Die erste Ablenkplatte 36 bewirkt, dass ein Teil des Lichts der ersten Beleuchtungseinrichtung 32 durch die Öffnung auf das Bedienobjekt projiziert wird.
  • Die zweite Ablenkplatte 38 ist zwischen der zweiten Beleuchtungseinrichtung 34 und der Hand des Fahrers angeordnet und weist eine Öffnung auf. Die zweite Ablenkplatte 38 bewirkt, dass ein Teil des Lichts der zweiten Beleuchtungseinrichtung 34 durch die Öffnung auf das Bedienobjekt projiziert wird.
  • Die erste und die zweite Ablenkplatte 36, 38 sind derart angeordnet, dass das durch die Öffnung der ersten Ablenkplatte 36 aufgebrachte Licht das durch die Öffnung der zweiten Ablenkplatte 38 aufgebrachte Licht an einer Position schneidet, die einen vorbestimmten Abstand von der Kamera entfernt gelegen ist.
  • Der Raumdrehwinkeldetektor 76 erfasst das über die Öffnungen der ersten und zweiten Ablenkplatte 36, 38 auf die Hand des Fahrers projizierte Licht auf der Grundlage des von der Kamera 20 eingegebenen Bildes. Anschließend wird das über die Öffnungen der ersten und der zweiten Ablenkplatte 36, 38 auf die Hand des Fahrers projizierte Licht dazu verwendet, den Raumdrehwinkel der Hand des Fahrers auf der Grundlage eines Abstands vom berührungsempfindlichen Bedienfeld 100, das einen vorbestimmten Abstand von der Kamera 20 entfernt gelegen ist, zu erfassen.
  • D. h., das über die Öffnung der ersten Ablenkplatte 36 und das über die Öffnung der zweiten Ablenkplatte 38 projizierte Licht wird auf die Hand des Fahrers aufgebracht. Das Licht, das durch die Öffnung jeder Ablenkplatte auf die Hand des Fahrers gestrahlt wird, kreuzt das andere Licht an einer Position auf der Hand des Fahrers auf dem berührungsempfindlichen Bedienfeld 100.
  • Folglich überlappen sich das durch die Öffnung der ersten Ablenkplatte 36 projizierte Spaltlicht und das durch die Öffnung der zweiten Ablenkplatte 38 projizierte Spaltlicht dann, wenn die Hand des Fahrers das berührungsempfindliche Bedienfeld 100 berührt, auf der Oberfläche der Hand des Fahrers, um, wie in 9B gezeigt, einen Lichtpunkt zu bilden.
  • Wenn die Hand des Fahrers vom berührungsempfindlichen Bedienfeld 100 entfernt angeordnet ist, tauchen zwei Lichtpunkte auf der Oberfläche der Hand des Fahrers auf. Ferner ändert sich dann, wenn die Hand des Fahrers geneigt wird, ein Abstand zwischen den auf der Oberfläche der Hand des Fahrers auftauchenden Lichtpunkten mit dem Grad der Neigung der Hand.
  • D. h., wenn die Neigung zunimmt, unterscheidet sich ein Abstand zwischen einem Ende der Hand des Fahrers und dem berührungsempfindlichen Bedienfeld 100, wie in 9C gezeigt, von einem anderen Abstand zwischen einem anderen Ende der Hand und dem berührungsempfindlichen Bedienfeld 100. Wenn die Differenz zwischen den obigen zwei Abständen gering ist, ist der Abstand zwischen den Lichtpunkten auf der Bedienobjektoberfläche gering. Wenn die Differenz zwischen den obigen zwei Abständen hoch ist, ist der Abstand zwischen den Lichtpunkten groß. 9C zeigt ein Beispiel der Neigung der Hand bezüglich des berührungsempfindlichen Bedienfeldes 100. In der 9C ist die Daumenseite der Hand derart geneigt, dass sie vom berührungsempfindlichen Bedienfeld 100 wegzeigt.
  • Gemäß obiger Beschreibung ändert sich der Abstand zwischen den zwei Lichtpunkten auf der Oberfläche der Hand des Fahrers, wenn die Hand des Fahrers geneigt oder gekippt wird. Folglich kann der dreidimensionale Drehwinkel der Hand des Fahrers erfasst werden, indem der Abstand zwischen den zwei Lichtpunkten auf der Oberfläche der Hand des Fahrers erfasst wird.
  • Ferner kann der Abstand zur Hand des Fahrers erfasst werden, indem die Größe des Lichtpunkts auf der Oberfläche der Hand des Fahrers erfasst wird.
  • Gemäß obiger Beschreibung wird das Licht auf einen Punkt auf der Hand des Fahrers gestrahlt bzw. projiziert, wenn sich die Hand des Fahrers auf dem berührungsempfindlichen Bedienfeld 100 befindet. D. h., im obigen Fall taucht einziger Lichtpunkt auf der Bedienobjektoberfläche auf. Wenn die Hand des Fahrers demgegenüber in einem Abstand, der größer als ein vorbestimmter Abstand ist, vom berührungsempfindlichen Bedienfeld 100 entfernt positioniert ist, tauchen zwei Lichtpunkte auf der Oberfläche der Hand des Fahrers auf.
  • Wenn der Abstand vom berührungsempfindlichen Bedienfeld 100 zur Hand des Fahrers größer und kleiner wird, wird der Abstand zwischen den obigen zwei Lichtpunkten proportional zum obigen Abstand zur Hand größer und kleiner. Ferner bleibt ein Verhältnis der Größe von einem der zwei Lichtpunkte zur Größe des anderen der zwei Lichtpunkte konstant, obgleich sich die Größe der zwei Lichtpunkte ändert.
  • Wenn der Abstand zwischen den zwei Lichtpunkten und das Größenverhältnis der zwei Lichtpunkte erfasst werden, kann der Abstand zur Hand des Fahrers erfasst werden.
  • Ferner kann anstelle der obigen Kombination bestehend aus der Beleuchtungseinrichtung und der Ablenkplatte eine andere Beleuchtungseinrichtung mit einer hohen Richtcharakteristik derart eingesetzt werden, dass das Licht auf einem schmalen Bereich aufgebracht wird.
  • (Fünfte Ausführungsform)
  • Nachstehend wird ein Fahrzeugnavigationsbediengerät 5 zur Bedienung des Fahrzeugnavigationssystems 10 auf der Grundlage einer Form der Hand des Fahrers beschrieben.
  • Der Aufbau des Fahrzeugnavigationsbediengeräts 5 ähnelt dem Aufbau des Fahrzeugnavigationsbediengeräts 1. Folglich wird der Aufbau des Fahrzeugnavigationsbediengeräts 5 nachstehend nicht näher beschrieben. Bei dem Fahrzeugnavigationsbediengerät 5 werden vorbestimmte Musterbilder der Hand des Fahrers im Bildspeicher 50 gespeichert. Die Musterbilder umfassen beispielsweise eine Form einer geballten Faust des Fahrers, eine Form einer teilweise geballten Faust, bei der wenigstens ein Finger hervorzeigt, eine O-Form, die aus einem Zeigefinger und einem Daumen gebildet wird, und eine bestimmte Form der Hand, die vom Fahrer bewusst gebildet wird.
  • Der Erfassungsabschnitt 70 vergleicht die im Bildspeicher 50 gespeicherten Musterbilder und das Bild der mit Hilfe des Bedienobjektextraktionsabschnitts 60 extrahierten Hand des Fahrers. Wenn eine Form, die durch eines der Musterbilder angezeigt wird, mit der Form der Hand des Fahrers übereinstimmt oder dieser sehr ähnelt, bestimmt der Erfassungsabschnitt 70, dass die Hand des Fahrers die vorbestimmte Form aufweist.
  • Der Signalausgabeabschnitt 80 gibt ein Ausgangssignal aus, welches der mit Hilfe des Erfassungsabschnitts 70 erfassten vorbestimmten Form der Hand des Fahrers entspricht. Wenn die Hand des Fahrers beispielsweise die Form einer geballten Faust aufweist oder der Fahrer seine Finger zur Handfläche faltet, kann der Signalausgabeabschnitt 80 das Signal zum Stoppen des Betriebs des Fahrzeugnavigationssystems 10 ausgeben. Der Signalausgabeabschnitt 80 kann ferner Signale für verschiedene Befehle in Übereinstimmung mit der Anzahl der ausgestreckten Finger an das Fahrzeugnavigationssystem 10 geben.
  • Gemäß obiger Beschreibung wird das Ausgangssignal dann, wenn die Hand des Fahrers die vorbestimmte Form aufweist, in Übereinstimmung mit der obigen Form ausgegeben. Der obige Betrieb wird durch den leicht auszuführenden Musterabgleich (Pattern-Matching) ermöglicht. Folglich kann der Fahrer bei dem Fahrzeugnavigationssystem 10 dann, wenn eine bestimmte Bedienung derart voreingestellt ist, dass sie dem Ausgangssignal entspricht, durch eine einfache Bedienung bewirken, dass die bestimmte Bedienung für das Fahrzeugnavigationssystem 10 ausgeführt wird.
  • (Sechste Ausführungsform)
    • (1) Es wird das berührungsempfindliche Bedienfeld 100 bereitgestellt, das ein Herunterdrücken eines Teils des berührungsempfindlichen Bedienfeldes 100 erfasst. Der Teil entspricht einem Bedienschalter. Der Signalausgabeabschnitt 80 ist dazu ausgelegt, ein Signal entsprechend einem vom berührungsempfindlichen Bedienfeld 100 erfassten Betriebszustand des Bedienschalters auszugeben, wenn die Hand des Fahrers die vorbestimmte Form und die vorbestimmte Bewegung aufweist.
  • Bei dem obigen Aufbau können verschiedene Signale in Übereinstimmung mit dem Betriebszustand des Bedienschalters ausgegeben werden, auch dann, wenn bei der sechsten Ausführungsform (a) eine bestimmte Bewegung der Hand, wie beispielsweise eine Drehung und eine Verschiebung, und (b) eine bestimmte Form der Hand erfasst werden. Demgegenüber kann nur das vorbestimmte Signal ausgegeben werden, wenn bei der ersten bis fünften Ausführungsform (a) die bestimmte Bewegung und (b) die bestimmte Form der Hand in gleicher Weise erfasst werden. Folglich führt das Fahrzeugnavigationssystem 10 bei der sechsten Ausführungsform verschiedene Operationen aus, die sich von den Operationen der ersten bis fünften Ausführungsform unterscheiden.
    • (2) Bei der zweiten Ausführungsform wird der Schwerpunkt der Hand des Fahrers auf der Grundlage des vom Bedienobjektextraktionsabschnitt 60 erfassten Differenzbildes erfasst. Anschließend wird das Differenzbild entlang der zwei Linien, die durch den erfassten Schwerpunkt und rechtwinklig zueinander verlaufen, unterteilt. Bei dem obigen Teilungsverfahren kann sich eine der zwei Linien nicht in einer Fingerrichtung erstrecken, in der sich der Finger der Hand des Fahrers erstreckt. Ferner kann sich die andere der zwei Linien nicht in einer Richtung erstrecken, die rechtwinklig zur Fingerrichtung verläuft. D. h., die zwei Linien können sich in beliebigen Richtung erstrecken, solange sie rechtwinklig zueinander verlaufen. Die zwei Linien können beispielsweise gemäß der 10C verlaufen.
  • 10A zeigt ein weiteres Teilungsverfahren. Insbesondere kann das Bild der vom Bedienobjektextraktionsabschnitt 60 extrahierten Hand des Fahrers durch eine Mehrzahl von Linien in die Mehrzahl von Bereichen unterteilt werden. D. h., zunächst wird der Schwerpunkt der Hand des Fahrers erfasst und anschließend werden parallele Linien, die parallel zu einer Linie verlaufen, die durch den erfassten Schwerpunkt verläuft, erfasst bzw. gewonnen. Ferner werden rechtwinklig zu den parallelen Linien verlaufende Linien erfasst. Anschließend wird das Bild entlang der obigen parallelen Linien und der obigen rechtwinklig zu den parallelen Linien verlaufenden Linien unterteilt.
  • (Weitere Ausführungsformen)
  • Bei der ersten bis sechsten Ausführungsform wird das Fahrzeugnavigationssystem 10 mit Hilfe des Informationsvorrichtungsbediengeräts (des Fahrzeugnavigationsbediengeräts 1 bis 5) bedient. Ein Informationsvorrichtungsbediengerät 6 kann dazu verwendet werden, eine Informationsvorrichtung, wie beispielsweise einen PC 12, ferngesteuert zu bedienen.
  • Bei dem obigen Fall ist das auf einem Schreibtisch angeordnete Informationsvorrichtungsbediengerät 6, wie in 11 gezeigt, mit dem PC 12 verbunden. Bei dem obigen Aufbau kann die Bedienung der Push-Down-Position und des Bereichs des extrahierten Bildes der Hand mit der Bedienung auf dem Bildschirm von Software funktionieren, die in Form eines Computerprogramms auf dem PC 12 ausgeführt wird. Die obige Software kann eine Kartenanzeigesoftware oder einen elektrischen Rechner umfassen.
  • Bei den obigen Ausführungsformen wird die Neigung bzw. die Schräglage der hand im dreidimensionalen Raum mit Hilfe des Informationsvorrichtungsbediengeräts erfasst. Die Neigung kann bezüglich der optischen Achse der Kamera 20 gemessen werden.
  • Bei der obigen Ausführungsform beschreibt die Kantenrichtung jedes Pixels eine Richtung des Gradienten der Helligkeit bzw. des Leuchtdichtegradienten und wird die Kantenrichtung mit Hilfe eines Differenzoperators erster Ordnung, wie beispielweise eines Sobel-Operators, erfasst.
  • Die mittlere Richtung der Kante wird auf der Grundlage der obigen Kantenrichtung jedes Pixels erfasst. Der Mittelwert der Kante jedes Pixels wird beispielsweise berechnet, um eine Richtung zu erfassen, vorausgesetzt, dass diese in einem Bereich zwischen 0 und 180° liegt. Die erfasste Richtung wird als mittlere Richtung der Kante bestimmt.
  • Bei der obigen Ausführungsform wird der dreidimensionale Drehwinkel erfasst. Im obigen Fall kann ein Blickpunkt für eine Betrachtung der dreidimensionalen Karte dann, wenn das Fahrzeugnavigationssystem bewirkt, dass die dreidimensionale Karte angezeigt wird, im dreidimensionalen Raum bewegt werden.
  • Bei der obigen Ausführungsform weisen die Lichtpunkte dann, wenn die erste Beleuchtungsvorrichtung 32 und die zweite Beleuchtungsvorrichtung 34 Beleuchtungseinrichtungen mit einer gute Richtcharakteristik einsetzen, klare Formen auf. Auf diese Weise kann der dreidimensionale Drehwinkel des Bedienobjekts noch genauer erfasst werden. Für die Beleuchtungsvorrichtung kann eine Laserdiode verwendet werden.
  • Wenn bei der obigen Ausführungsform die Blenden eingesetzt werden, kann der dreidimensionale Drehwinkel des Bedienobjekts genau erfasst werden, ohne dass die die gute Richtcharakteristik aufweisende Beleuchtungseinrichtung, wie beispielsweise die Laserdiode, eingesetzt werden muss.
  • Bei der obigen Ausführungsform kann die Zielvorrichtung, die durch das Informationsvorrichtungsbediengerät bedient wird, eine Vorrichtung für ein bewegliches Objekt oder eine Informationsvorrichtung, wie beispielsweise ein Fahrzeugnavigationssystem, sein.
  • Fachleuten werden weitere Vorteile und Ausgestaltungen ersichtlich sein. Die vorliegende Erfindung ist folglich nicht auf die bestimmten Details, die aufgezeigte Vorrichtung und die veranschaulichenden Beispiele, die vorstehend beschrieben wurden, beschränkt.
  • Vorstehend wurde ein Informationsvorrichtungsbediengerät offenbart.
  • Ein Informationsvorrichtungsbediengerät weist eine Bildaufnahmevorrichtung 20, eine Beleuchtungsvorrichtung 30, einen Controller 40, eine Bildspeichervorrichtung 50, eine Bedienobjektextraktionsvorrichtung 60, eine Erfassungsvorrichtung 70 und eine Signalausgabevorrichtung 80 auf. Die Bildspeichervorrichtung 50 speichert eine Mehrzahl von Bildern, die von der Bildaufnahmevorrichtung 20 unter einer Mehrzahl von Beleuchtungsstärkezuständen erfasst werden. Die Bedienobjektextraktionsvorrichtung 60 extrahiert das Bedienobjekt, indem es die Mahrzahl von Bildern vergleicht. Die Erfassungsvorrichtung 70 erfasst eine vorbestimmte Form und/oder eine Bewegung des von der Bedienobjektextraktionsvorrichtung 6 extrahierten Bedienobjekts. Die Signalausgabevorrichtung 80 gibt ein Signal an die Zielvorrichtung, vorbei das Signal der vorbestimmten Form und/oder der Bewegung des Bedienobjekts, die von der Erfassungsvorrichtung 70 erfasst werden, entspricht.

Claims (12)

  1. Informationsvorrichtungsbediengerät zum Extrahieren eines Bedienobjekts mit Hilfe einer Bildverarbeitung, wobei das Bedienobjekt für eine Bedienung einer Zielvorrichtung verwendet wird und das Informationsvorrichtungsbediengerät aufweist: – eine Bildaufnahmevorrichtung (20), die an einer Position zur Aufnahme eines Bildes einer gegenüberliegenden Oberfläche des Bedienobjekts, die einer Fremdlicht empfangenden Empfangsoberfläche des Bedienobjekts gegenüberliegt, angeordnet ist; – eine Beleuchtungsvorrichtung (30), die an einer Position zur Erzeugung von Licht angeordnet ist, das auf die gegenüberliegende Oberfläche des Bedienobjekts gestrahlt wird; – ein Steuermittel (40) zur Steuerung der Beleuchtungsvorrichtung (30), um das Licht unter einer Mehrzahl von Helligkeitszuständen zu erzeugen, und zur Steuerung der Bildaufnahmevorrichtung (20), um das Bild aufzunehmen; – ein Bildspeichermittel (50) zur Speicherung einer Mehrzahl von Bildern, die unter einer Mehrzahl von Beleuchtungsstärkezuständen von der Bildaufnahmevorrichtung (20) erfasst werden, wobei die Mehrzahl von Beleuchtungsstärkezuständen durch die vom Steuermittel (40) gesteuerte Beleuchtungsvorrichtung (30) erzeugt wird, um die Mehrzahl von Helligkeitszuständen zu erzeugen; – ein Bedienobjektextraktionsmittel (60) zur Extrahierung des Bedienobjekts durch einen Vergleich der Mehrzahl von Bildern; – ein Erfassungsmittel (70) zur Erfassung des Schwerpunkts des extrahierten Bedienobjekts und zur Erfassung einer vorbestimmten Form und/oder einer Bewegung des mit Hilfe des Bedienobjektextraktionsmittels (60) extrahierten Bedienobjekts; und – ein Signalausgabemittel (80) zur Ausgabe eines Signals an die Zielvorrichtung, wobei das Signal der vorbestimmten Form und/oder der Bewegung des Bedienobjekts, die vom Erfassungsmittel (70) erfasst werden, entspricht, wobei – das Erfassungsmittel (70) die Bewegung des Bedienobjekts in einem dreidimensionalen Raum erfasst, der durch eine optische Achse der Bildaufnahmevorrichtung (20) und zwei Achsen, die auf einer imaginären Ebene rechtwinklig zueinander verlaufen, definiert ist, wobei die imaginäre Ebene senkrecht zu einer optischen Achse der Bildaufnahmevorrichtung (20) verläuft, – das Erfassungsmittel (70) ein Raumdrehwinkelerfassungsmittel (76) zur Erfassung eines dreidimensionalen Drehwinkels des Bedienobjekts im dreidimensionalen Raum aufweist, wobei der dreidimensionale Drehwinkel einen Winkel anzeigt, der um eine Drehachse gemessen wird, die mit dem Bedienobjekt im dreidimensionalen Raum verknüpft ist, – das Signalausgabemittel (80) den vom Raumdrehwinkelerfassungsmittel (76) erfassten dreidimensionalen Drehwinkel des Bedienobjekts ausgibt, – das Raumdrehwinkelerfassungsmittel (76) das extrahierte Bedienobjekt in eine Mehrzahl von Bereichen unterteilt, wobei das extrahierte Bedienobjekt vom Bedienobjektextraktionsmittel (60) extrahiert wird, – das Raumdrehwinkelerfassungsmittel (76) eine mittlere Helligkeit und eine Schwerpunktsposition für jeden der Mehrzahl von Bereichen erfasst, – das Raumdrehwinkelerfassungsmittel (76) den dreidimensionalen Drehwinkel des Bedienobjekts auf der Grundlage der erfassten mittleren Helligkeit und der erfassten Schwerpunktsposition für jeden der Mehrzahl von Bereichen erfasst, – das Raumdrehwinkelerfassungsmittel (76) das extrahierte Bedienobjekt: – entlang zweier Linien unterteilt, die durch den Schwerpunkt des extrahierten Bedienobjekts führen und senkrecht zueinander verlaufen, oder – entlang einer Mehrzahl von Linien, die parallel zu einer Linie verlaufen, die durch den Schwerpunkt des extrahierten Bedienobjekts führt, und einer Mehrzahl von Linien unterteilt, welche die parallele verlaufenden Linien rechtwinklig schneiden.
  2. Informationsvorrichtungsbediengerät nach Anspruch 1, dadurch gekennzeichnet, dass – die Beleuchtungsvorrichtung (30) eine erste Beleuchtungsvorrichtung (32), die ein erstes Licht erzeugt, und eine zweite Beleuchtungsvorrichtung (34), die ein zweites Licht erzeugt, aufweist; – die zweite Beleuchtungsvorrichtung (34) an einer von einer Position der ersten Beleuchtungsvorrichtung (32) verschiedenen Position angeordnet ist; – die zweite Beleuchtungsvorrichtung (34) dazu ausgelegt ist, das zweite Licht zu erzeugen, welches das von der ersten Beleuchtungsvorrichtung (32) erzeugte erste Licht an einer Position schneidet, die einen ersten vorbestimmten Abstand von der Bildaufnahmevorrichtung (20) entfernt gelegen ist; – das Raumdrehwinkelerfassungsmittel (76) das auf das Bedienobjekt projizierte erste und zweite Licht auf der Grundlage des von der Bildaufnahmevorrichtung (20) eingegebenen Bildes erfasst; und – das Raumdrehwinkelerfassungsmittel (76) den dreidimensionalen Drehwinkel des Bedienobjekts auf der Grundlage eines Abstands zwischen dem ersten und zweiten Licht erfasst, die auf das Bedienobjekt projiziert werden, wobei das Bedienobjekt auf einer imaginären Ebene angeordnet ist, die einen zweiten vorbestimmten Abstand von der Bildaufnahmevorrichtung (20) entfernt gelegen ist und senkrecht zur optischen Achse der Bildaufnahmevorrichtung (20) verläuft.
  3. Informationsvorrichtungsbediengerät nach Anspruch 2, dadurch gekennzeichnet, dass – die erste Beleuchtungsvorrichtung (32) dazu ausgelegt ist, dass eine Richtcharakteristik aufweisende erste Licht zu erzeugen; und – die zweite Beleuchtungsvorrichtung (34) dazu ausgelegt ist, dass eine Richtcharakteristik aufweisende zweite Licht zu erzeugen.
  4. Informationsvorrichtungsbediengerät nach Anspruch 2, dadurch gekennzeichnet, dass es ferner aufweist: – eine erste Blende (36), die zwischen der ersten Beleuchtungsvorrichtung (32) und dem Bedienobjekt angeordnet ist, eine Öffnung aufweist und bewirkt, dass die erste Beleuchtungsvorrichtung (32) nur einen Teil des ersten Lichts durch die Öffnung der ersten Blende (36) auf das Bedienobjekt projizieren kann; und – eine zweite Blende (38), die zwischen der zweiten Beleuchtungsvorrichtung (34) und dem Bedienobjekt angeordnet ist, eine Öffnung aufweist und bewirkt, dass die zweite Beleuchtungsvorrichtung (38) nur einen Teil des zweiten Lichts durch die Öffnung der zweiten Blende (38) auf das Bedienobjekt projizieren kann; wobei – die erste Blende (36) und die zweite Blende (38) derart angeordnet sind, dass der Teil des ersten Lichts den Teil des zweiten Lichts an einer Position schneidet, welche den vorbestimmten Abstand von der Bildaufnahmevorrichtung (20) entfernt gelegt ist; – das Raumdrehwinkelerfassungsmittel (76) den Teil des ersten Lichts und den Teil des zweiten Lichts, die auf das Bedienobjekt projiziert werden, auf der Grundlage des von der Bildaufnahmevorrichtung (20) eingegebenen Bildes erfasst; und – das Raumdrehwinkelerfassungsmittel (76) den dreidimensionalen Drehwinkel des Bedienobjekts auf der Grundlage eines Abstands zwischen dem Teil des ersten Lichts und dem Teil des zweiten Lichts, die auf das Bedienobjekt projiziert werden, erfasst, wobei das Bedienobjekt auf einer imaginären Ebene angeordnet ist, welche den zweiten vorbestimmten Abstand von der Bildaufnahmevorrichtung (20) entfernt gelegen ist und senkrecht zur optischen Achse verläuft.
  5. Informationsvorrichtungsbediengerät nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass – das Erfassungsmittel (70) ein Raumbewegungserfassungsmittel (74) zur Erfassung einer Bewegungsrichtung und eines Bewegungsbetrags des Bedienobjekts im dreidimensionalen Raum aufweist; und – das Signalausgabemittel (80) die erfasste Bewegungsrichtung und den erfassten Bewegungsbetrag des Bedienobjekts im dreidimensionalen Raum ausgibt.
  6. Informationsvorrichtungsbediengerät nach Anspruch 5, dadurch gekennzeichnet, dass – das Raumbewegungserfassungsmittel (74) einen mittleren Helligkeitswert des extrahierten Bedienobjekts zu vorbestimmten Zeitintervallen erfasst, wobei das extrahierte Bedienobjekt vom Bedienobjektextraktionsmittel (60) extrahiert wird; und – das Raumbewegungserfassungsmittel (74) die Bewegung des Bedienobjekts in einer Richtung der optischen Achse der Bildaufnahmevorrichtung (20) erfasst, indem es die erfassten mittleren Helligkeitswerte vergleicht.
  7. Informationsvorrichtungsbediengerät nach Anspruch 5, dadurch gekennzeichnet, dass – die Beleuchtungsvorrichtung eine erste Beleuchtungsvorrichtung (32), die ein erstes Licht erzeugt, und eine zweite Beleuchtungsvorrichtung (34), die ein zweites Licht erzeugt, aufweist; – die zweite Beleuchtungsvorrichtung (34) an einer von einer Position der ersten Beleuchtungsvorrichtung (32) verschiedenen Position angeordnet ist; – die zweite Beleuchtungsvorrichtung (34) dazu ausgelegt ist, das zweite Licht zu erzeugen, welches das von der ersten Beleuchtungsvorrichtung (32) erzeugte erste Licht an einer Position schneidet, die einen ersten vorbestimmten Abstand von der Bildaufnahmevorrichtung (20) entfernt gelegen ist; – das Raumbewegungserfassungsmittel (74) einen ersten und einen zweiten Lichtpunkt, die auf dem Bedienobjekt gebildet werden, auf der Grundlage des von der Bildaufnahmevorrichtung (20) eingegebenen Bildes erfasst, wobei der erste Lichtpunkt gebildet wird, indem das erste Licht auf das Bedienobjekt projiziert wird, und der zweite Lichtpunkt gebildet wird, indem das zweite Licht auf das Bedienobjekt projiziert wird; – das Raumbewegungserfassungsmittel (74) eine Größe des erfassten ersten Lichtpunktes und eine Größe des erfassten zweiten Lichtpunktes auf der Grundlage des von der Bildaufnahmevorrichtung (20) erfassten Bildes erfasst; und – das Raumbewegungserfassungsmittel (74) einen Abstand zum Bedienobjekt auf der Grundlage der Größe des ersten Lichtpunkts und der Größe des zweiten Lichtpunkts erfasst.
  8. Informationsvorrichtungsbediengerät nach Anspruch 7, dadurch gekennzeichnet, dass – die erste Beleuchtungsvorrichtung (32) dazu ausgelegt ist, dass eine Richtcharakteristik aufweisende erste Licht zu erzeugen; und – die zweite Beleuchtungsvorrichtung (34) dazu ausgelegt ist, dass eine Richtcharakteristik aufweisende zweite Licht zu erzeugen.
  9. Informationsvorrichtungsbediengerät nach Anspruch 7, dadurch gekennzeichnet, dass es ferner aufweist: – eine erste Blende (36), die zwischen der ersten Beleuchtungsvorrichtung (32) und dem Bedienobjekt angeordnet ist, eine Öffnung aufweist und bewirkt, dass die erste Beleuchtungsvorrichtung (32) nur einen Teil des ersten Lichts durch die Öffnung der ersten Blende (36) auf das Bedienobjekt projizieren kann; und – eine zweite Blende (38), die zwischen der zweiten Beleuchtungsvorrichtung (34) und dem Bedienobjekt angeordnet ist, eine Öffnung aufweist und bewirkt, dass die zweite Beleuchtungsvorrichtung (38) nur einen Teil des zweiten Lichts durch die Öffnung der zweiten Blende (38) auf das Bedienobjekt projizieren kann; und – die erste Blende (36) und die zweite Blende (38) derart angeordnet sind, dass der Teil des ersten Lichts den Teil des zweiten Lichts an einer Position schneidet, die einen vorbestimmten Abstand von der Bildaufnahmevorrichtung (20) entfernt gelegt ist; – das Raumbewegungserfassungsmittel (74) den Teil des ersten Lichts und den Teil des zweiten Lichts, die auf das Bedienobjekt projiziert werden, auf der Grundlage des von der Bildaufnahmevorrichtung (20) eingegebenen Bildes erfasst; und – das Raumbewegungserfassungsmittel (74) einen ersten und einen zweiten Lichtpunkt, die auf dem Bedienobjekt gebildet werden, auf der Grundlage des von der Bildaufnahmevorrichtung (20) eingegebenen Bildes erfasst, wobei der erste Lichtpunkt gebildet wird, indem das erste Licht auf das Bedienobjekt projiziert wird, und der zweite Lichtpunkt gebildet wird, indem das zweite Licht auf das Bedienobjekt projiziert wird; – das Raumbewegungserfassungsmittel (74) eine Größe des erfassten ersten Lichtpunktes und eine Größe des erfassten zweiten Lichtpunktes auf der Grundalge des von der Bildaufnahmevorrichtung (20) erfassten Bildes erfasst; und – das Raumbewegungserfassungsmittel (74) einen Abstand zum Bedienobjekt auf der Grundlage der Größe des ersten Lichtpunktes und der Größe des zweiten Lichtpunktes erfasst.
  10. Informationsvorrichtungsbediengerät nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass das Signalausgabemittel (80) dazu ausgelegt ist, wenigstens entweder einen Drehwinkel, eine Bewegungsrichtung oder den Bewegungsbetrag des Bedienobjekts im Raum, die vom Erfassungsmittel (70) erfasst werden, auszugeben.
  11. Informationsvorrichtungsbediengerät nach Anspruch 1, dadurch gekennzeichnet, dass das Signalausgabemittel (80) dazu ausgelegt ist, das Signal auszugeben, welches der vom Erfassungsmittel (70) erfassten vorbestimmten Form des Bedienobjekts entspricht.
  12. Informationsvorrichtungsbediengerät nach Anspruch 11, dadurch gekennzeichnet, dass – das Bildspeichermittel (50) ein vorbestimmtes Musterbild speichert; und – das Erfassungsmittel (70) bestimmt, dass das Bedienobjekt die vorbestimmte Form aufweist, indem es das im Bildspeichermittel (50) gespeicherte vorbestimmte Musterbild und das Bild des vom Bedienobjektextraktionsmittel (60) extrahierten Bedienobjekts vergleicht.
DE102008016215.9A 2007-03-30 2008-03-28 Informationsvorrichtungsbediengerät Expired - Fee Related DE102008016215B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007092450A JP2008250774A (ja) 2007-03-30 2007-03-30 情報機器操作装置
JP2007-092450 2007-03-30

Publications (2)

Publication Number Publication Date
DE102008016215A1 DE102008016215A1 (de) 2008-10-02
DE102008016215B4 true DE102008016215B4 (de) 2017-08-24

Family

ID=39719771

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102008016215.9A Expired - Fee Related DE102008016215B4 (de) 2007-03-30 2008-03-28 Informationsvorrichtungsbediengerät

Country Status (3)

Country Link
US (1) US8023698B2 (de)
JP (1) JP2008250774A (de)
DE (1) DE102008016215B4 (de)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100975869B1 (ko) * 2008-10-17 2010-08-13 삼성모바일디스플레이주식회사 터치 포인트 검출 방법 및 장치
JP4840620B2 (ja) * 2009-04-30 2011-12-21 株式会社デンソー 車載用電子機器操作装置
US8860693B2 (en) * 2009-07-08 2014-10-14 Apple Inc. Image processing for camera based motion tracking
JP5116754B2 (ja) 2009-12-10 2013-01-09 シャープ株式会社 光学式検出装置および電子機器
KR101743948B1 (ko) 2010-04-07 2017-06-21 삼성전자주식회사 인터렉티브 디스플레이에서 근접 센싱을 위한 방법 및 근접 센싱 이미지를 처리하는 방법
KR101364571B1 (ko) * 2010-10-06 2014-02-26 한국전자통신연구원 영상 기반의 손 검출 장치 및 그 방법
US9114838B2 (en) 2011-01-05 2015-08-25 Sphero, Inc. Self-propelled device for interpreting input from a controller device
US9218316B2 (en) 2011-01-05 2015-12-22 Sphero, Inc. Remotely controlling a self-propelled device in a virtualized environment
US9090214B2 (en) 2011-01-05 2015-07-28 Orbotix, Inc. Magnetically coupled accessory for a self-propelled device
US9429940B2 (en) 2011-01-05 2016-08-30 Sphero, Inc. Self propelled device with magnetic coupling
US10281915B2 (en) 2011-01-05 2019-05-07 Sphero, Inc. Multi-purposed self-propelled device
US20120244969A1 (en) 2011-03-25 2012-09-27 May Patents Ltd. System and Method for a Motion Sensing Device
JP5311080B2 (ja) * 2011-05-23 2013-10-09 株式会社デンソー 車載用電子機器操作装置
JP5789771B2 (ja) * 2011-05-27 2015-10-07 パナソニックIpマネジメント株式会社 操作入力装置、プログラム
TWI409401B (zh) * 2011-05-30 2013-09-21 Hon Hai Prec Ind Co Ltd 意外防止系統及方法
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US20150253428A1 (en) 2013-03-15 2015-09-10 Leap Motion, Inc. Determining positional information for an object in space
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
CN103379269B (zh) * 2012-04-26 2017-11-24 富泰华工业(深圳)有限公司 拍摄系统、拍摄方法及使用该拍摄系统的电子设备
US9292758B2 (en) 2012-05-14 2016-03-22 Sphero, Inc. Augmentation of elements in data content
US9827487B2 (en) 2012-05-14 2017-11-28 Sphero, Inc. Interactive augmented reality using a self-propelled device
EP2850512A4 (de) 2012-05-14 2016-11-16 Sphero Inc Betrieb einer berechnungsvorrichtung durch erkennung von runden objekten in einem bild
US10056791B2 (en) 2012-07-13 2018-08-21 Sphero, Inc. Self-optimizing power transfer
JP5944287B2 (ja) * 2012-09-19 2016-07-05 アルプス電気株式会社 動作予測装置及びそれを用いた入力装置
US9091628B2 (en) 2012-12-21 2015-07-28 L-3 Communications Security And Detection Systems, Inc. 3D mapping with two orthogonal imaging views
DE102013000066A1 (de) 2013-01-08 2014-07-10 Audi Ag Zoomen und Verschieben eines Bildinhalts einer Anzeigeeinrichtung
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
CN105612473B (zh) 2013-09-12 2018-08-28 三菱电机株式会社 操作输入装置及方法
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9829882B2 (en) 2013-12-20 2017-11-28 Sphero, Inc. Self-propelled device with center of mass drive system
CN103759737B (zh) * 2014-01-17 2018-05-25 深圳市凯立德欣软件技术有限公司 一种手势控制方法及导航设备
GB2523132A (en) * 2014-02-13 2015-08-19 Nokia Technologies Oy An apparatus and associated methods for controlling content on a display user interface
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
DE102014017166A1 (de) * 2014-11-20 2016-05-25 Audi Ag Verfahren zum Betreiben einer Objektbewertungsvorrichtung für ein Kraftfahrzeug, Objektbewertungsvorrichtung für ein Kraftfahrzeug und Kraftfahrzeug mit einer Objektbewertungsvorrichtung
US20160321810A1 (en) * 2015-04-28 2016-11-03 Pixart Imaging (Penang) Sdn. Bhd. Optical navigation sensor, electronic device with optical navigation function and operation method thereof
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10177449A (ja) * 1996-10-18 1998-06-30 Toshiba Corp 情報入力装置及び情報入力方法及び補正データ生成装置及び固体撮像装置
JP2000331170A (ja) * 1999-05-21 2000-11-30 Atr Media Integration & Communications Res Lab 手振り認識装置
US6578962B1 (en) * 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking
JP2005135439A (ja) * 2004-12-28 2005-05-26 Toshiba Corp 操作入力装置
EP1608157A2 (de) * 2004-06-16 2005-12-21 Microsoft Corporation Verfahren und System zur Reduktion ungewünschter Signaleffekte in einem Infrarotbildsystem

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3182876B2 (ja) * 1991-05-24 2001-07-03 ソニー株式会社 画像信号処理方法とその装置
US5548667A (en) * 1991-05-24 1996-08-20 Sony Corporation Image processing system and method thereof in which three dimensional shape is reproduced from two dimensional image data
US5412487A (en) * 1991-11-27 1995-05-02 Hitachi, Ltd. Video camera and apparatus for extracting an object
DE69635101T2 (de) * 1995-11-01 2006-06-01 Canon K.K. Verfahren zur Extraktion von Gegenständen und dieses Verfahren verwendendes Bildaufnahmegerät
US6144366A (en) * 1996-10-18 2000-11-07 Kabushiki Kaisha Toshiba Method and apparatus for generating information input using reflected light image of target object
JP2005063090A (ja) 2003-08-11 2005-03-10 Keio Gijuku ハンドパターンスイッチ装置
JP2006285370A (ja) 2005-03-31 2006-10-19 Mitsubishi Fuso Truck & Bus Corp ハンドパターンスイッチ装置及びハンドパターン操作方法
JP4797752B2 (ja) 2006-03-31 2011-10-19 株式会社デンソー 移動体用操作物体抽出装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10177449A (ja) * 1996-10-18 1998-06-30 Toshiba Corp 情報入力装置及び情報入力方法及び補正データ生成装置及び固体撮像装置
JP2000331170A (ja) * 1999-05-21 2000-11-30 Atr Media Integration & Communications Res Lab 手振り認識装置
US6578962B1 (en) * 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking
EP1608157A2 (de) * 2004-06-16 2005-12-21 Microsoft Corporation Verfahren und System zur Reduktion ungewünschter Signaleffekte in einem Infrarotbildsystem
JP2005135439A (ja) * 2004-12-28 2005-05-26 Toshiba Corp 操作入力装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WILLIAMS, LANCE: Performance-Driven Facial Animation. ACM Computer Graphics, Volume 24, Number 4, August 1990, S. 235-242 *

Also Published As

Publication number Publication date
US20080240507A1 (en) 2008-10-02
JP2008250774A (ja) 2008-10-16
DE102008016215A1 (de) 2008-10-02
US8023698B2 (en) 2011-09-20

Similar Documents

Publication Publication Date Title
DE102008016215B4 (de) Informationsvorrichtungsbediengerät
DE60205662T2 (de) Vorrichtung und Verfahren zur Berechnung einer Position einer Anzeige
EP1998996B1 (de) Interaktive bedienvorrichtung und verfahren zum betreiben der interaktiven bedienvorrichtung
DE69826753T2 (de) Optischer Profilsensor
DE60123534T2 (de) Gerät zum Verfolgen eines sich bewegenden Objekts
EP2915022B1 (de) Verfahren zum eingeben eines steuerbefehls für eine komponente eines kraftwagens
DE112014004212T5 (de) Vorrichtung und Verfahren, Programm und Speichermedium zur Gestenbedienung
DE19937265A1 (de) Verfahren und Vorrichtung zur Positionierung eines Meßkopfes auf einer kontaktfreien dreidimensionalen Meßmaschine
DE102007019491A1 (de) Fahrzeugumgebungs-Überwachungsvorrichtung, Fahrzeug, Fahrzeugumgebungs-Überwachungsverfahren und Fahrzeugumgebungs-Überwachungsprogramm
EP3534210B1 (de) Fokuseinstellungs-anzeigeeinheit
EP3391163A1 (de) Vorrichtung und verfahren für ein unbemanntes flugobjekt
DE102019106520A1 (de) Parkunterstützungsvorrichtung, Parkunterstützungsverfahren und Parkunterstützungsprogramm
WO2020178198A1 (de) Schätzung der bewegung einer bildposition
WO2012095258A1 (de) Fernsteuerungseinrichtung und schnittstellen-modul zur steuerung einer vorrichtung anhand eines beweglichen objektes
EP3910314B1 (de) Verfahren und vorrichtung zur analyse der wechselwirkung zwischen einer oberfläche einer probe und einer flüssigkeit
WO2018215166A1 (de) Steuereinrichtung für eine kameravorrichtung, kameraanordnung und verfahren zur stereoskopischen aufnahme eines überwachungsbereichs
DE102014224898A1 (de) Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
DE112015006181T5 (de) Ladungsträgerstrahlvorrichtung, Ausrichtungsverfahren für die L.adungsträgerstrahlvorrichtung, Ausrichtungsprogramm und Speichermedium
DE102014224599A1 (de) Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
DE102011085426A1 (de) Fahrzeuggebundene anzeigevorrichtung
DE112019000857T5 (de) Referenzpositionseinstellverfahren und Vorrichtung zur Anzeige eines virtuellen Bilds
WO2020178137A1 (de) Verfahren zur klassifizierung von objekten innerhalb eines kraftfahrzeugs
EP3097511A1 (de) Verfahren zur erkennung einer bewegungsbahn mindestens eines bewegten objektes innerhalb eines erfassungsbereiches, verfahren zur gestikerkennung unter einsatz eines derartigen erkennungsverfahrens sowie vorrichtung zur durchführung eines derartigen erkennungsverfahrens
DE102018206675A1 (de) Verfahren zur Ansteuerung einer Maschine mittels mindestens einer Raumkoordinate als Ansteuergröße sowie Ansteuerungssystem einer Maschine
DE102022201316B3 (de) Markierung und Verfahren zur Positionsbestimmung sowie zugehöriges Kamerasystem

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
R016 Response to examination communication
R016 Response to examination communication
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06F0003037000

Ipc: G06F0003042000

R018 Grant decision by examination section/examining division
R084 Declaration of willingness to licence
R020 Patent grant now final
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee